KR102240663B1

KR102240663B1 - 필기 입력의 진행 디스플레이

Info

Publication number: KR102240663B1
Application number: KR1020207034183A
Authority: KR
Inventors: 프란즈 조셉 오치; 토마스 데셀래어스; 다니엘 마틴 케이져스; 헨리 알랜 롤리
Original assignee: 구글 엘엘씨
Priority date: 2012-09-26
Filing date: 2013-09-23
Publication date: 2021-04-16
Also published as: WO2014052223A1; JP6324969B2; JP2015536000A; US20190235749A1; CN104885041A; KR20200136505A; CN109358766B; KR102186428B1; KR20150060760A; US10254952B2; CN104885041B; CN109358766A; US10656829B2; US20140085215A1

Abstract

컴퓨터로 구현되는 방법은, 사용자 디바이스에서, 인식 엔진을 이용하여 인식될 필기 텍스트에 대응하는 사용자 입력을 수신하는 단계와 그리고 상기 사용자 디바이스에서, 상기 필기 텍스트의 표현를 수신하는 단계를 포함한다. 상기 표시는 개별적인 필기 문자들로 파싱되는 필기 텍스트를 포함한다. 상기 방법은 또한, 상기 사용자 디바이스의 디스플레이 상에서 제1 지시자를 이용하여 상기 필기 문자들을 디스플레이하는 단계와, 상기 사용자 디바이스에서, 상기 필기 문자들 중 하나로 인식되는 텍스트 문자의 식별을 수신하는 단계와, 상기 디스플레이 상에 상기 텍스트 문자를 디스플레이하는 단계와, 그리고 상기 수신된 식별에 응답하여, 상기 사용자 디바이스에서, 상기 필기 문자들 중 하나가 상기 제1 지시자를 이용하여 디스플레이되는 것으로부터 제2 지시자를 이용하여 디스플레이되는 것으로 조정하는 단계를 포함한다. 상기 제1 및 제2 지시자들을 서로 다르다.

Description

필기 입력의 진행 디스플레이{PROGRESS DISPLAY OF HANDWRITING INPUT}

[관련 출원의 상호 참조]

본 출원은 2012년 9월 26일자로 출원된 미국 출원 제13/626,963호의 우선권을 주장한다. 상기 출원은 그 전체가 본 명세서에 참조로서 포함된다.

[기술분야]

본 발명은 사용자 디바이스들에 관한 것이며, 특히 사용자 디바이스들에 입력되는 필기 텍스트의 인식에 관한 것이다.

본 명세서에서 제공되는 배경 설명은 본 발명의 배경을 개괄적으로 제시하기 위한 것이다. 본 배경 기술란에서 기술되는 정도의 본 발명의 발명자들의 연구와, 그렇지 않을 경우 출원 시점에 종래기술로서 볼 수 없는 본 발명의 양상들은, 본 발명에 대해 명시적으로나 암시적으로도 종래 기술로서 인정되는 것은 아니다.

"사용자 디바이스"는 일반적으로, 사용자 인터페이스, 디스플레이 및 프로세서를 갖는 컴퓨팅 디바이스를 지칭한다. 예를 들어, 상기 사용자 디바이스는 데스크탑 컴퓨터일 수 있다. 사용자 디바이스들은 또한, 모바일 폰들, 태블릿 컴퓨터들 및 기타 등등과 같은 모바일 사용자 디바이스들을 포함할 수 있다. 사용자 디바이스들은 인터넷 및/또는 모바일 텔레폰 네트워크와 같은 네트워크에 선택적으로 연결될 수 있다. 사용자는 키보드와 같은 사용자 인터페이스(또는 "문자 레이아웃")을 통해 사용자 디바이스에 정보, 예컨대 텍스트를 입력할 수 있다.

그러나, 사이즈 제약들로 인해, 많은 사용자 디바이스들, 예컨대 모바일 사용자 디바이스들은 부분적인 QWERTY 기반(QWERTY-based) 물리 키보드를 포함할 수 있다. 추가적으로 또는 대안적으로는, 사용자 디바이스들은 터치 디스플레이들, 예컨대 용량식 감지 디스플레이들을 포함할 수 있고, 이들은 사용자에게 정보를 디스플레이하고 사용자로부터 입력을 수신할 수 있다. 예를 들어, 이 사용자 디바이스들은 부분적인 QWERTY 기반 키보드와 유사한 문자 레이아웃을 사용자에게 디스플레이할 수 있다.

일 특징에서, 제1의 컴퓨터로 구현되는 방법은 사용자 디바이스에서, 인식될 필기 텍스트에 대응하는 사용자 입력을 수신하는 단계와, 상기 필기 텍스트의 인식을 위해 상기 사용자 디바이스로부터 서버로 상기 필기 텍스트의 표현 (representation)를 전송하는 단계와, 그리고 상기 사용자 디바이스에서, 상기 서버로부터 필기 문자들의 표시(indication)를 수신하는 단계를 포함한다. 상기 필기 문자들은 상기 필기 텍스트의 표현에 근거하여 상기 서버에 의해 결정된다. 상기 방법은, 제1 컬러를 이용하여 상기 사용자 디바이스의 디스플레이 상에 상기 필기 문자들을 디스플레이하는 단계와 그리고 상기 서버로부터 서로 다른 시간들에 텍스트 문자들의 표시들을 수신하는 단계를 더 포함한다. 상기 텍스트 문자들은 상기 필기 문자들에 각각 근거하여 상기 서버에 의해 결정된다. 상기 방법은 상기 지시들이 각각 수신됨에 따라 상기 디스플레이 상에 텍스트 문자들을 디스플레이하는 단계와 그리고 상기 텍스트 문자들의 표시들의 수신에 각각 응답하여 상기 디스플레이 상에서 상기 필기 문자들을 상기 제1 컬러로부터 제2 컬러로 변경하는 단계와, 그리고 상기 텍스트 문자들이 모두 디스플레이된 후에만 디스플레이로부터 상기 필기 문자들을 제거하는 단계를 더 포함한다. 상기 제1 및 제2 컬러들은 서로 다르다.

일 특징에서, 제2의 컴퓨터로 구현되는 방법은 사용자 디바이스에서, 인식 엔진을 이용하여 인식될 필기 텍스트에 대응하는 사용자 입력을 수신하는 단계와 그리고 상기 사용자 디바이스에서, 상기 필기 텍스트의 표현를 수신하는 단계를 포함한다. 상기 표시는 개별적인 필기 문자들로 파싱된 필기 텍스트를 포함한다. 상기 제2 방법은 제1 지시자를 이용하여 상기 필기 문자들을 상기 사용자 디바이스의 디스플레이 상에 디스플레이하는 단계와, 상기 사용자 디바이스에서 상기 필기 문자들 중 일 필기 문자로 인식되는 텍스트 문자의 식별을 수신하는 단계와, 그리고 수신된 식별에 응답하여, 상기 사용자 디바이스에서 상기 필기 문자들 중 상기 일 필기 문자가 상기 제1 지시자를 이용하여 디스플레이되는 것으로부터 제2 지시자를 이용하여 디스플레이되는 것으로 조정하는 단계를 더 포함한다. 상기 제1 및 제2 지시자들은 서로 다르다.

다른 특징들에서, 상기 제1 지시자는 제1 컬러이고 상기 제2 지시자는 제2 컬러이다.

또다른 특징들에서, 상기 제2 방법은 상기 사용자 디바이스에서, 상기 필기 문자들 중 제2 필기 문자로 인식되는 제2 텍스트 문자의 제2 식별을 수신하는 단계와 그리고 수신된 제2 식별에 응답하여, 상기 사용자 디바이스에서 상기 필기 문자들 중 상기 제2 필기 문자가 상기 제1 지시자를 이용하여 디스플레이되는 것으로부터 제2 지시자를 이용하여 디스플레이되는 것으로 조정하는 단계를 더 포함한다.

추가의 특징들에서, 상기 제2 방법은 상기 사용자 디바이스에서, 상기 텍스트 문자 및 상기 제2 텍스트 문자에 근거하여 필기 텍스트에 대한 가능한 어간(stem)을 결정하는 단계와 그리고 상기 디스플레이 상에 상기 가능한 어간을 디스플레이하는 단계를 더 포함한다.

또다른 특징들에서, 상기 제2 방법은 상기 사용자 디바이스에서, 상기 가능한 어간의 선택을 지시하는 사용자 입력을 수신하는 단계와, 상기 사용자 디바이스에서 상기 가능한 어간에 근거하여 상기 필기 텍스트에 대한 가능한 단어(word)를 결정하는 단계와, 그리고 상기 가능한 어간의 선택을 지시하는 사용자 입력의 수신에 응답하여, 상기 디스플레이 상에 상기 가능한 단어를 디스플레이하는 단계를 더 포함한다.

다른 특징들에서, 상기 제2 방법은 인식된 상기 필기 텍스트의 양을 지시하는 진행 바(progress bar)를 상기 디스플레이 상에 디스플레이하는 단계를 더 포함한다.

또 다른 특징들에서, 상기 제2 방법은 상기 양에 대응하는 퍼센티지를 상기 디스플레이 상에 디스플레이하는 단계를 더 포함한다.

추가의 특징들에서, 상기 제2 방법은 상기 필기 문자들에 대해 인식된 테스트 문자들이 모두 디스플레이된 후에만 상기 디스플레이로부터 상기 필기 문자들 중 적어도 하나를 제거하는 단계를 더 포함한다.

또다른 특징들에서, 상기 디스플레이는 터치 디스플레이이고, 상기 사용자 입력은 상기 터치 디스플레이를 통해 수신된다.

다른 특징들에서, 상기 제2 방법은 상기 사용자 디바이스에서, 상기 인식 엔진을 이용하여 인식될 추가적인 필기 텍스트에 대응하는 제2 사용자 입력을 수신하는 단계와, 그리고 상기 제2 사용자 입력에 응답하여 디스플레이되는 필기 문자들의 사이즈를 변경하는 단계를 더 포함한다.

일 특징에서, 사용자 디바이스는 디스플레이, 프로세서 및 사용자 인터페이스 모듈을 포함한다. 상기 사용자 인터페이스 모듈은 인식 엔진을 이용하여 인식될 필기 텍스트에 대응하는 사용자 입력을 수신하고, 그리고 상기 필기 텍스트의 표현를 수신한다. 상기 표시는 개별적인 필기 문자들로 파싱된 필기 텍스트를 포함한다. 상기 사용자 인터페이스 모듈은 또한, 상기 디스플레이 상에 제1 지시자를 이용하여 상기 필기 문자들을 디스플레이하고, 상기 필기 문자들 중 일 필기 문자로서 인식되는 텍스트 문자의 식별을 수신하며, 상기 디스플레이 상에 상기 텍스트 문자를 디스플레이하고, 그리고 수신된 식별에 응답하여, 상기 디스플레이 상에서 상기 필기 문자들 중 상기 일 필기 문자가 상기 제1 지시자를 이용하여 디스플레이되는 것으로부터 제2 지시자를 이용하여 디스플레이되는 것으로 조정한다. 상기 제1 및 제2 지시자들은 서로 다르다.

다른 특징들에서, 상기 제1 지시자는 제1 컬러이고, 상기 제2 지시자는 제2 컬러이다.

또 다른 특징들에서, 상기 사용자 인터페이스 모듈은 또한, 상기 필기 문자들 중 제2 필기 문자로 인식되는 제2 텍스트 문자의 제2 식별을 수신하고, 그리고 수신된 제2 식별에 응답하여, 상기 디스플레이 상에서 상기 필기 문자들 중 제2 필기 문자가 상기 제1 지시자를 이용하여 디스플레이되는 것으로부터 제2 지시자를 이용하여 디스플레이되는 것으로 조정한다.

추가의 특징들에서, 상기 사용자 인터페이스 모듈은 또한, 상기 텍스트 문자 및 상기 제2 텍스트 문자에 근거하여 필기 텍스트에 대한 가능한 어간을 결정하고 그리고 상기 디스플레이 상에 상기 가능한 어간을 디스플레이한다.

또다른 특징들에서, 상기 사용자 인터페이스 모듈은 또한, 상기 가능한 어간의 선택을 지시하는 사용자 입력을 수신하고, 상기 가능한 어간에 근거하여 필기 텍스트에 대한 가능한 단어를 결정하며, 그리고 상기 가능한 어간의 선택을 지시하는 사용자 입력의 수신에 응답하여 상기 디스플레이 상에 상기 가능한 단어를 디스플레이한다.

다른 특징들에서, 상기 사용자 인터페이스 모듈은 또한, 상기 디스플레이 상에 인식된 필기 텍스트의 양을 지시하는 진행 바를 디스플레이한다.

또다른 특징들에서, 상기 사용자 인터페이스 모듈은 또한, 상기 디스플레이 상에 상기 양에 대응하는 퍼센티지를 디스플레이한다.

추가의 특징들에서, 상기 사용자 인터페이스 모듈은 또한, 상기 필기 문자들에 대해 인식된 텍스트 문자들이 모두 디스플레이된 후에만 상기 디스플레이로부터 상기 필기 문자들 중 적어도 하나를 제거한다.

다른 특징들에서, 상기 사용자 인터페이스 모듈은 상기 인식 엔진을 이용하여 인식될 추가적인 필기 텍스트에 대응하는 제2 사용자 입력을 수신하고, 상기 제2 사용자 입력에 응답하여 디스플레이되는 필기 문자들의 사이즈를 변경한다.

추가적인 특징들에서, 컴퓨팅 디바이스가 개시된다. 상기 컴퓨팅 디바이스는 비일시적 컴퓨터 판독가능 저장 매체 및 적어도 하나의 프로세서를 포함할 수 있다. 비일시적 컴퓨터 판독가능 저장 매체는 상기 기술된 컴퓨터로 구현되는 방법들 중 어느 것 또는 모두를 수행하기 위한, 특히 필기 인식 방법 자체를 수행하기 위한 실행가능한 컴퓨터 프로그램 코드를 포함할 수 있고, 상기 적어도 하나의 프로세서는 상기 실행가능한 컴퓨터 프로그램 코드를 실행하도록 구성될 수 있다.

추가의 특징들에서, 실행가능한 컴퓨터 프로그램 명령어들을 저장한 비일시적 컴퓨터 판독가능 저장 매체가 개시된다. 컴퓨터 프로그램 명령어들은 상기에 기술된 컴퓨터로 구현되는 방법들 중 어느 것 또는 모두를 수행하기 위한 명령어들을 포함할 수 있다.

본 발명의 응용의 추가의 영역들이 이후 제공되는 상세한 설명으로부터 분명해질 것이다. 상세한 설명 및 특정 예들은 오직 예시를 위해 의도된 것이며, 본 발명의 범위를 제한하고자 의도된 것이 아님이 이해되어야만 한다.

본 발명은 상세한 설명 및 첨부 도면들로부터 보다 충분히 이해될 것이다.
도 1은 본 발명의 일부 구현들에 따른 사용자가 예시적인 사용자 디바이스와 인터랙팅(interacting)하는 예를 도시한다.
도 2는 도 1의 예시적인 사용자 디바이스의 기능 블록도이다.
도 3은 도 1의 사용자 디바이스의 사용자 인터페이스 모듈의 예의 기능 블록도이다.
도 4 내지 8은 본 발명의 일부 구현들에 따른 필기 텍스트의 인식 동안 다양한 시간들에서의 사용자 디스플레이의 예시적인 도면들이다.
도 9는 본 발명의 일부 구현들에 따른 도 1의 예시적인 사용자 디바이스 및 예시적인 서버의 기능 블록도이다.
도 10은 본 발명의 일부 구현들에 따른 사용자 디바이스에서 필기 인식을 수행하는 예시적인 기법을 도시하는 순서도이다.
도 11은 본 발명의 일부 구현들에 따른 필기 인식을 수행하기 위해 사용자 디바이스에 의해 수행될 수 있는 예시적인 기법을 도시하는 순서도이다.
도 12는 본 발명의 일부 구현들에 따른 필기 인식을 수행하는 예시적인 기법을 도시하는 순서도이다.

이제 도 1을 참조하면, 사용자가 예시적인 사용자 디바이스(100)와 인터랙팅하는 예시적인 도면이 제시된다. 사용자 디바이스(100)는 모바일 폰(미도시), 태블릿 컴퓨터, 랩탑 컴퓨터 또는 데스트탑 컴퓨터와 같은 어떤 컴퓨팅 디바이스일 수 있다.

사용자 디바이스(100)는 디스플레이(104)를 포함한다. 예를 들어, 디스플레이(104)는 도시된 바와 같이 터치 디스플레이일 수 있다. 사용자 디바이스(100)는 추가적으로 또는 대안적으로는, 부분적인 QWERTY 기반 키보드(미도시)와 같은 물리적 문자 레이아웃을 포함할 수 있다.

터치 디스플레이(104)는 정보를 디스플레이하고 사용자(108)로부터 입력을 수신할 수 있다. 단지 예를 들어, 사용자(108)는 손가락(112)과 같은 하나 이상의 손가락들을 이용하여 터치 디스플레이(104)를 통해 사용자 디바이스(100)에 정보를 입력할 수 있다. 사용자(108)는 추가적으로 또는 대안적으로는, 스타일러스, 마우스, 트랙볼 또는 기타 등등을 이용하여 터치 디스플레이(104)를 통해 사용자 디바이스(100)에 정보를 입력할 수 있다.

사용자 디바이스들은 널리 이용가능하고 따라서, 세계 전반의 서로다른 많은 국가들에서 사용될 수 있다. 사용자 디바이스들은 여러가지 많은 기능들을 실행한다. 사용자 디바이스들은 또한, 서버로의 연결을 통해서와 같이 원격으로 여러가지 많은 기능들을 실행하는 것을 지원할 수 있다. 사용자 디바이스(100)에 의해 수행되거나 원격으로 수행될 수 있는 일 예시적인 기능은 사용자 디바이스(100)에 입력되는 필기 텍스트를 인식하는 것이다.

사용자는 손가락(112)과 같은 하나 이상의 손가락들을 이용하여 인식을 위한 필기를 사용자 디바이스(100)에 입력할 수 있다. 사용자(108)는 추가적으로 또는 대안적으로는, 스타일러스, 마우스, 트랙볼, 펜 또는 기타 등등을 이용하여 터치 디스플레이(104)를 통해 인식을 위한 필기 입력을 사용자 디바이스(100)에 제공할 수 있다.

필기 입력은 일반적으로, 하나 이상의 스트로크들, 예컨대 단일 포인트들 또는 연속적인 라인들을 포함하며, 이들은 기입 시스템에서 하나 이상의 문자들을 개별적으로 또는 집합적으로 표시한다. "스트로크"는 문자의 일부, 하나 이상의 전체 문자들, 단어 또는 단어의 일부, 다단어 구(multiword phrase), 또는 심지어는 완전한 문장을 형성할 수 있다. 인식 엔진은 필기 입력을 개별적인 필기 문자들로 파싱한다. 인식 엔진은 필기 문자들에 각각 근거하여 텍스트 문자들을 결정한다. 결정된 텍스트 문자들은 사용자에게 디스플레이된다. 본 명세서의 설명은 한 번에 단일 문자를 인식하는 것에 관한 것이지만, 본 발명은 한 번에 단일 문자보다 적은 부분 또는 복수의 단일 문자들의 인식에 동일하게 응용가능함이 이해되어야만 한다. 따라서, 본 명세서의 설명이 "문자"를 결정하기 위한 필기 입력의 인식에 대해 논의할 때, 용어 "문자"는 단일 문자, (단어, 복수의 단어들, 구들, 문장들, 등을 포함하는) 복수의 문자들, 및 단일 문자의 일부를 포함하도록 의도되는 것임이 이해되어야 한다.

필기 입력 인식은 (사용자 디바이스(100))에서) 로컬하게, (네트워크를 통해 사용자 디바이스(100)에 연결된 서버에서의) 클라우드에서, 또는 이들의 조합에서 수행될 수 있다. "서버"에서 수행되는 것으로 본 명세서에 기술된 기법들은 분산형 또는 병렬 서버 구조 내의 하나보다 많은 서버에서 수행될 수 있음이 이해되어야 한다. 따라서, 본 명세서에서 사용되는 용어 서버는 단일 서버 및 함께 작동하는 복수의 서버들을 포함하는 것으로 의미된다.

사용자 디바이스(100)는 터치 디스플레이(104) 상에 두 개의 디스플레이 부분들 즉, 텍스트 디스플레이 부분 및 필기 디스플레이 부분을 생성한다. 상기 필기 디스플레이 부분에서, 사용자 디바이스(100)는 현재 인식되고 있는 필기 입력 및 아직 인식되지 않은 어떤 추가적인 필기 입력들을 디스플레이한다. 상기 텍스트 디스플레이 부분에서, 사용자 디바이스(100)는 이전에 인식된 필기 단어들 및/또는 필기 문자들에 대응하는 텍스트를 디스플레이한다.

단순히 필기 입력의 인식이 수행되고 있음을 아는 것 이상으로, 사용자(108)는 인식 프로세스의 진행에 관심을 가질 수 있다. 따라서, 사용자 디바이스(100)는 필기 입력의 인식의 진행의 하나 이상의 시각적 지시자들을 생성한다. 필기 입력의 인식의 진행을 사용자(108)에게 알려주기 위해 하나 이상의 기법들이 이용될 수 있다.

일 예시적인 기법은 인식의 진행을 지시하기 위한, 퍼센티지들을 갖는 또는 상기 퍼센티지가 없는 진행 바를 디스플레이하는 것을 포함한다. 다른 예시적인 기법은 필기 문자들이 인식됨에 따라 필기 입력의 필기 문자들에 대해 하나씩(one-by-one) 결정되는 문자들을 디스플레이하는 것을 포함한다. 또다른 예시적인 기법은 이미 인식된 필기 입력의 필기 문자들을 일 컬러로 디스플레이하고 아직 인식되지 않은 필기 입력의 필기 문자들을 다른 컬러로 디스플레이하는 것을 포함한다.

필기 입력이 인식되는 동안, 상기 필기 입력에 의해 표시되는 필기 단의 가능한 어간들 및 하나 이상의 가능한 어간들에 대한 가능한 전체 단어들이 식별될 수 있다. 사용자 디바이스(100)는 사용자(108)에게 가능한 어간들을 디스플레이할 수 있다. 사용자 디바이스(100)는 하나 이상의 가능한 전체 단어들이 가능한 어간에 대해 식별되면 가능한 어간을 갖는 가능한 단어 지시자를 디스플레이할 수 있다.

사용자는 가능한 단어 지시자와 함께 디스플레이되는 가능한 어간을 선택할 수 있다. 가능한 어간이 선택될 때, 사용자 디바이스(100)는 가능한 어간에 대해 식별되는 가능한 단어들을 디스플레이한다. 사용자(108)는 필기 입력의 인식이 완료되기 전에 가능한 단어들 중 하나 또는 가능한 어간들 중 하나를 선택할 수 있다. 이는 필기 입력이 빠르게 인식될 수 있게 한다.

필기 입력이 인식되는 동안 사용자가 다른 필기 입력을 입력하는 것을 시작하면, 사용자 디바이스(100)는 현재 인식되고 있는 제1 필기 입력의 사이즈를 변경(alter)할 수 있고, 필기 입력(들)은 아직 인식되지 않았다. 사용자 디바이스(100)는 또한, 필기 입력이 현재 인식되고 있을 때 및/또는 인식될 하나 이상의 추가적인 필기 입력들이 존재할 때, 사용자(108)를 위해 인식 계류 지시자(recognition pending indicator)를 디스플레이할 수 있다.

이제 도 2를 참조하면, 사용자 디바이스(100)의 예가 더 상세하게 도시된다. 이전에 기술된 바와 같이, 사용자 디바이스(100)는 터치 디스플레이(104)를 포함한다. 터치 디스플레이(104)는 용량식 감지 디스플레이와 같은 어떤 터치-감응형 디스플레이 디바이스를 포함할 수 있다. 터치 디스플레이(104)는 사용자(108)에게 정보를 디스플레이하고, 사용자(108)에 의해 입력되는 정보를 수신한다. 이전에 기술된 바와 같이, 사용자 디바이스(100)는 추가적으로 또는 대안적으로는, 사용자(108)로부터 입력을 수신하기 위한 물리적 문자 레이아웃, 예컨대 부분적인 QWERTY 기반 키보드를 포함할 수 있다. 다양한 구현들에서, 물리적 문자 레이아웃은 "소프트 키보드"로서 터치 디스플레이(104)의 부분 상에 렌더링될 수 있다.

사용자 디바이스(100)는 사용자 인터페이스 모듈(200), 프로세서(204) 및 통신 모듈(208)을 더 포함할 수 있다. 사용자 디바이스(100)가 메모리 및 파워 서플라이같은 추가적인 컴퓨팅 컴포넌트들을 포함할 수 있으며 사용자 인터페이스 모듈(200) 및 통신 모듈(208)이 프로세서(204)에 의해 전체적으로 또는 부분적으로 실행될 수 있음이 이해되어야 한다. 따라서, 본 명세서에서 사용되는 용어들, 사용자 인터페이스 모듈(200) 및 통신 모듈(208)은 명령어들을 실행하는 프로세서(204)와 같은 하나 이상의 프로세서들을 포함할 수 있고, 상기 명령어들은 사용자 디바이스(100)로 하여금 기술된 기법들을 수행하게 한다.

사용자 인터페이스 모듈(200)은 사용자 디바이스(100)의 터치 디스플레이(104)를 통해 사용자(108)와의 통신을 제어할 수 있다. 사용자 인터페이스 모듈(200)은 사용자 디바이스(100)의 터치 디스플레이(104)를 통해 여러가지 다양한 입력 구성들을 사용자(108)에게 제공할 수 있다. 예를 들어, 사용자 인터페이스 모듈(200)은 사용자 디바이스(100)의 터치 디스플레이(104)를 통해 표준 QWERTY 키보드의 형태를 사용자(108)에게 제공할 수 있다. 추가적으로 또는 대안적으로는, 사용자 인터페이스 모듈(200)은 인식을 위한 필기 입력을 입력하기 위해 인터페이스를 사용자(108)에게 제공할 수 있다.

필기 입력의 인식은 사용자 디바이스(100)에서 로컬하게, 원격 서버에서("클라우드"에서), 또는 이들의 조합으로 수행될 수 있다. 사용자 인터페이스 모듈(200)은 터치 디스플레이(104)를 통해 필기 입력에 대해 인식되는 텍스트를 디스플레이한다. 사용자 인터페이스 모듈(200)은 또한, 터치 디스플레이(104) 상에 필기 입력의 인식의 진행의 하나 이상의 시각적 지시자들을 디스플레이한다.

프로세서(204)는 사용자 디바이스(100)의 대부분의 동작들을 제어하고 사용자 인터페이스 모듈(200) 및 통신 모듈(208) 모두와 통신할 수 있다. 예를 들어, 프로세서(204)는, (이들로만 한정되는 것은 아니지만) 사용자 디바이스(100)의 운영 체제를 로딩/제어하는 것, 프로그램들 및 기능들을 로딩/실행하는 것, 통신 모듈(208)에 대한 통신 파라미터들을 로딩/구성하는 것, 필기 인식 파라미터들을 제어하는 것, 및 메모리 저장/검색 동작들을 제어하는 것과 같은 태스크들을 수행할 수 있다. 단일 프로세서(204)가 예시되지만, 병렬의 또는 분산형 구성에서 동작하는 복수의 개별적인 프로세서들이 단일 프로세서 대신 활용될 수 있음이 이해되어야 한다. 따라서, 본 명세서에서 사용되는 용어, (프로세서(204)와 같은)프로세서는 기술되는 기법들을 수행하기 위해 동작하는 하나 이상이 프로세서들을 포함하는 것으로 의미된다.

통신 모듈(208)은 사용자 디바이스(100)와 다른 디바이스들과의 사이의 통신을 제어한다. 단지 예를 들어, 통신 모듈(208)은 사용자 디바이스(100)와 사용자(108)와 관련된 다른 사용자들 및/또는 인터넷 사이의 통신을 제공할 수 있다. 사용자 디바이스(100)는 인터넷(이하 "네트워크(250)")과 같은 컴퓨팅 네트워크(250), 모바일 전화기 (셀룰러) 네트워크(254), 위성 네트워크(258) 및/또는 어떤 다른 적절한 통신 매체를 통해 통신할 수 있다. 통신 모듈(208)은 유선 및 무선 네트워크 연결들 모두, 무선 주파수(RF) 통신 및 기타 등등을 위해 구성될 수 있다.

이제 도 3을 참조하면, 사용자 인터페이스 모듈(200)의 예의 기능 블록도가 도시된다. 사용자 인터페이스 모듈(200)은 인식 엔진(300), 사용자 인터페이스 제어 모듈(304) 및 인식 데이터스토어(308)를 포함할 수 있다. 이 세 개의 모듈들 및 단일 데이터스토어가 본 명세서에 도시되고 기술되지만, 사용자 인터페이스 모듈(200)은 다른 메모리 및 기타 등등과 같은 추가적인 컴퓨팅 컴포넌트들을 포함할 수 있다.

사용자 인터페이스 제어 모듈(312)은 사용자(108)가 인식을 위해 필기를 사용자 디바이스(100)에 입력하도록 터치 디스플레이(104) 상에 필기 인식 인터페이스를 디스플레이한다. 사용자 인터페이스 제어 모듈(312)은 또한, 필기 입력에 근거하여 인식되는 텍스트가 사용자(108)에게 디스플레이되도록 동작한다.

터치 디스플레이(104) 상에 디스플레이되는 필기 인식 인터페이스(400)의 예가 도 4에 제시되어 있다. 이제 도 3 및 4를 참조하여, 필기 인식 인터페이스(400)은 두 개의 부분들 즉, 필기 디스플레이 부분(404) 및 텍스트 디스플레이 부분(408)을 포함할 수 있다. 필기 인식 인터페이스(400)는 또한, QWERTY 기반 키보드, T9 기반 키보드 또는 사용자(108)가 스페이스들, 리턴들, 구두점(punctuation mark)들, 심볼들 및 기타 등등을 입력할 수 있는 다른 어떤 타입의 인터페이스와 같은 전체적인 또는 부분적인 키보드를 포함할 수 있다. 도 4의 예에서, 필기 인식 인터페이스(400)는 사용자(108)가 스페이스들, 리턴들, 구두점들, 심볼들 및 기타 등등을 입력할 수 있는 인터페이스가 없이 터치 디스플레이(104) 상에 디스플레이된다.

사용자(108)는 터치 디스플레이(104) 상에 어느 곳 또는 터치 디스플레이(104)의 작은 부분 내에 예컨대, 필기 디스플레이 부분(400) 내에 인식을 위한 필기를 입력할 수 있다. 사용자 인터페이스 모듈(200)은 실시간으로 또는 필기의 인식 동안, 또는 실시간으로 그리고 필기의 인식 동안(both), 필기 입력이 사용자(108)에 의해 입력됨에 따라 상기 필기 입력을 디스플레이할 수 있다. 실시간은 입력과 디스플레이 간의 허용가능한 지연량을 포함할 수 있음이 이해되어야 한다.

일단 사용자(108)가 필기 입력을 제공하면, 사용자 인터페이스 모듈(200)은 필기 인식 인터페이스(400)의 필기 디스플레이 부분(404) 내에 필기 입력을 디스플레이할 수 있다. 필기 입력 "hand"가 도 4의 예에서 필기 디스플레이 부분(404) 내에 디스플레이된다. 사용자(108)는 필기체(cursive) 또는 (블록체(block letter)로도 지칭되는) 활자체(print)를 이용하여 필기 입력을 제공할 수 있다. 영어로 쓰여진 필기가 논의되고 도시되지만, 본 명세서에 개시된 인식 및 디스플레이 기법들은 또한, 다른 언어들로 쓰여진 필기 입력에도 응용가능하다.

필기 입력에 대해 인식되는 텍스트는 필기 인식 인터페이스(400)의 텍스트 디스플레이 부분(408)에서 사용자(108)에게 디스플레이된다. 필기 입력의 어떤 부분도 도 4의 예에서 아직 인식되지 않았기 때문에, 어떤 텍스트도 텍스트 디스플레이 부분(408)에 디스플레이되지 않고 있다.

인식 엔진(300)은 필기 입력을 하나 이상의 필기 문자들과 같은 다양한 부분들로 파싱할 수 있다. 예를 들어, 인식 엔진(300)은 필기 입력 "hand"를 필기 입력을 형성하는 네 개의 필기 문자들로 파싱할 수 있다. 다양한 언어들에서, 일 문자가 일 단어에 대응할 수 있다.

인식 엔진(300)은 인식 데이터스토어(308)에 저장된 데이터를 이용하여 필기 입력을 필기 문자들로 파싱할 수 있다. 사용자 인터페이스 제어 모듈(304)은 하나 이상의 필기 문자들을 이용하여 필기 입력의 표시를 디스플레이하도록 디스플레이되는 것을 갱신할 수 있다. 도 5는 네 개의 필기 문자들을 이용하여 필기 디스플레이 부분(404)에 디스플레이되는 필기 입력 "hand"의 예시적인 표시를 포함한다.

인식 데이터베이스(308)에 저장된 데이터에 근거하여, 인식 엔진(300)은 필기 입력의 필기 문자들을 하나씩 인식할 수 있다. 다시 말해, 인식 엔진(300)은 필기 문자들에 대한 텍스트 문자들을 한 번에 하나의 필기 문자씩 결정할 수 있다. 일부 구현들에서, 인식 엔진(300)은 한 번에 필기 입력의 복수의 필기 문자들을 인식할 수 있다. 인식 엔진(300)이 필기 문자들을 인식하는 순서(order)는 판독의 로직적 순서, 예컨대, 영어의 인식의 경우 좌에서 우로(left to right)의 순서일 수 있다.

사용자 인터페이스 제어 모듈(304)은 터치 디스플레이(104) 상에 필기 문자들의 인식의 진행의 시각적 지시자를 생성한다. 시각적 지시자는 터치 디스플레이(104)를 통해 사용자(108)에게 인식의 진행을 시각적으로 디스플레이하는 하나 이상의 특징들의 조합을 포함할 수 있다.

예를 들어, 사용자 인터페이스 제어 모듈(304)은 터치 디스플레이(104) 상에 진행 바를 디스플레이하고, 필기 문자들이 결정됨에 따라 상기 진행 바를 갱신할 수 있다. 상기 진행 바는 완료된 인식의 퍼센티지를 지시하는 수치적 퍼센티지를 포함할 수 있거나 또는 포함하지 않을 수 있다.

다른 예에서, 사용자 인터페이스 제어 모듈(304)은 텍스트 문자들이 결정됨에 따라 텍스트 디스플레이 부분(408) 내에 텍스트 문자들을 디스플레이한다. 도 5는 디스플레이되고 있는 필기 입력 "hand"의 처음 두 개의 필기 문자들로부터 결정된 텍스트 문자들 "h" 및 "a"의 예이다. 텍스트 문자들이 결정됨에 따른 텍스트 문자들의 추가는 사용자(108)에게 인식의 진행의 시각적 지시를 제공한다.

또다른 예에서, 사용자 인터페이스 제어 모듈(304)은 필기 문자들이 인식됨에 따라 필기 입력의 적어도 일부의 컬러를 변경한다. 이 방식으로, 텍스트 문자들이 결정된 필기 문자들은 제1 컬러로 디스플레이되고 텍스트 문자들이 아직 결정되지 않은 필기 문자들은 상기 제1 컬러와 다른 제2 컬러로 디스플레이된다. 도 5는 또한, 네 개의 필기 문자들 중 처음 두 개의 필기 문자들이 제1 컬러로 디스플레이되고, 상기 네 개의 필기 문자들 중 마지막 두 개의 필기 문자들이 상기 제1 컬러와 다른 제2 컬러로 디스플레이되는 것을 도시한다.

도 6은 텍스트 문자들 "h," "a," "n," 및 "d"가 네 개의 필기 문자들 각각에 근거하여 결정된 후 디스플레이되는 것을 도시한다. 도 6은 또한, 네 개의 필기 문자들에 대한 텍스트 문자들이 결정되었기 때문에 필기 입력 "hand"의 네 개의 필기 문자들 모두가 제2 컬러로 디스플레이되는 것을 도시한다. 필기 입력의 필기 문자들 모두가 인식되고 결정된 텍스트 문자들이 디스플레이된 후, 사용자 인터페이스 제어 모듈(304)은 필기 입력이 디스플레이되지 않도록 제거할 수 있다.

필기 입력이 인식됨에 따라, 인식 엔진(300)은 필기 입력의 가능한 어간들을 식별할 수 있다. 인식 엔진(300)은 또한, 필기 입력이 인식된 후 필기 입력의 가능한 어간들을 식별한다. 인식 엔진(300)은 필기 입력에 대해 결정된 텍스트 문자들에 근거하여 가능한 어간들을 결정할 수 있다. 어간은 단어, 구 및/또는 문장의 일부를 나타낼 수 있다. 어간은 또한 접사(affixe)(예컨대, 접미사(suffixe)들)가 덧붙을 수 있는 전체 단어를 나타낼 수 있다.

예를 들어, 일단 단어들 "h" 및 "a"가 도 5에서 필기 입력 "hand"의 처음 두 개의 필기 문자들로부터 인식되면, 인식 엔진(300)은 가능한 어간들이 "ha", "hat", "lna", "lra", 기타 등등을 포함함을 결정할 수 있다. 사용자 인터페이스 제어 모듈(304)은 터치 디스플레이(104) 상에 가능한 어간들을 선택적으로 디스플레이한다. 사용자 인터페이스 제어 모듈(304)은 가능한 어간들이 디스플레이되는 터치 디스플레이(104)의 영역에 사용자(108)가 상기 터치 디스플레이(104)를 터치함에 응답하여 다른 가능한 어간들을 디스플레이할 수 있다.

인식 엔진(300)은 하나 이상의 가능한 전체 단어들이 가능한 어간에 대해 식별되면 가능한 어간을 갖는 가능한 단어 지시자를 디스플레이할 수 있다. 예를 들어, 도 5 및 6의 예들에서, 가능한 단어 지시자 "..."는 하나 이상의 전체 단어들이 식별된 가능한 어간들과 함께 디스플레이된다. 단지 예를 들어, 가능한 어간 "ha"은 도 5의 예에서 가능한 단어 지시자 "..."와 함께 디스플레이되는 바, 그 이유는 "hands"와 같은 하나 이상의 전체 단어들이 가능한 어간 "ha"에 대해 식별되었기 때문이다.

사용자(108)는 가능한 단어 지시자와 함께 디스플레이되는 가능한 어간을 선택할 수 있다. 사용자(108)는 예컨대, 가능한 어간 주위에 정의된 영역 내의 또는 가까이의 터치 디스플레이(104)를 터치함으로써 가능한 어간을 선택할 수 있다. 가능한 어간이 선택되면, 사용자 인터페이스 제어 모듈(304)은 선택된 가능한 어간에 대해 식별된 가능한 전체 단어들을 디스플레이한다. 예를 들어, 사용자 인터페이스 제어 모듈(304)은 사용자(108)가 도 7의 예에 도시된 바와 같이 가능한 어간 "han"을 선택함에 응답하여, 가능한 전체 단어들 "hand," "hands," "handed," 및 "handle"을 디스플레이할 수 있다. 사용자 인터페이스 제어 모듈(304)은 팝업(pop-up) 또는 드롭 다운(drop-down) 메뉴 또는 다른 적절한 방식으로 가능한 전체 단어들을 디스플레이할 수 있다.

사용자(108)는 필기 단어의 인식이 완료되기 전에 가능한 전체 단어들 중 하나를 선택할 수 있다. 이는 필기 입력의 인식이 더 빨라지게 할 수 있다. 추가적으로, 하나 이상의 가능한 전체 단어들이 심지어는 전체 필기 단어가 인식되기 전에 식별될 수 있음에 따라, 속기 필기(short hand handwriting)가 이용될 수 있다. 예를 들어, 도 6의 예에서, 필기 입력 "hand"이 인식되었으며 텍스트 디스플레이 부분에 디스플레이된다. 그러나, "hand"는 또한, 가능한 어간으로 식별되었고, 하나 이상의 가능한 전체 단어들이 가능한 어간 "hand"에 대해 식별되었다. 가능한 어간 "hand"에 근거하여 식별될 수 있는 가능한 전체 단어들의 예들은 예컨대, "hands," "handed," "handle"를 포함한다.

사용자(108)가 제1 필기 입력이 인식되기 전에 다른 필기 이력을 제공하기 시작하면, 사용자 인터페이스 제어 모듈(304)은 제1 필기 입력이 줄어들게(shrink) 한다. 도 8은 필기 입력 "hand"의 더 작은 버전의 예를 포함한다.

사용자 인터페이스 제어 모듈(304)은 또한, 제1 필기 입력이 인식되고 그리고/또는 인식될 하나 이상의 추가적인 필기 입력들이 존재할 때, 디스플레이의 텍스트 디스플레이 부분 내에 인식 계류 지시자를 디스플레이할 수 있다. 예를 들어, 사용자 인터페이스 제어 모듈(304)은 도 5 내지 7에 도시된 바와 같은 인식 계류 지시자 또는 하나 이상의 필기 입력들의 인식이 계류중임을 지시하는 다른 적절한 지시자로 "..."을 디스플레이할 수 있다.

이제 도 9를 참조하면, 다른 예시적인 필기 인식 시스템의 기능블록도가 제시된다. 상기 언급한 바와 같이, 필기 입력의 인식은 원격 서버(500)에 의해 전체적으로 또는 부분적으로 수행될 수 있다. 사용자 인터페이스 모듈(200)은 터치 디스플레이(104)에 입력되는 필기 입력의 디지털 표시를 캡쳐할 수 있다. 통신 모듈(208)은 네트워크(502)를 통해 서버(500)에 디지털 표시를 전송할 수 있다. 네트워크(502)는 예컨대, 네트워크(250), 셀룰러 네트워크(254), 위성 네트워크(258) 또는 다른 적절한 타입의 네트워크일 수 있다. 서버(500)는 통신 모듈(504), 입력 결정 모듈(508), 인식 데이터스토어(512) 및 인식 엔진(516)을 포함할 수 있다. 서버(500)가 하나 이상의 프로세서들, 메모리, 파워 서플라이 및 다른 적절한 컴퓨팅 컴포넌트들과 같은 추가적인 컴퓨팅 컴포넌트들을 포함할 수 있음이 이해되어야만 한다.

서버(500)는 통신 모듈(504)을 통해 디지털 표시를 수신할 수 있다. 인식 엔진(508)은 디지털 표시를 필기 문자들로 파싱할 수 있다. 인식 엔진(508)은 예컨대, 인식 데이터스토어(512)에 저장된 데이터를 이용하여 필기 입력을 필기 문자들로 파싱할 수 있다. 서버(500)는 사용자 디바이스(100)가 사용자(108)에게 필기 문자들을 디스플레이하도록 상기 사용자 디바이스(100)에 필기 문자들의 하나 이상의 표시들을 다시 전송할 수 있다.

인식 엔진(508)은 한번에 하나씩 또는 둘 이상씩 필기 문자들에 대한 텍스트 문자들을 결정할 수 있다. 예를 들어, 인식 엔진(508)은 인식 데이터스토어(512)에 저장된 데이터를 이용하여 필기 문자들에 대한 텍스트 문자들을 결정할 수 있다. 서버(500)는 텍스트 문자들이 결정됨에 따라 사용자 디바이스(100)에 필기 문자들에 대한 텍스트 문자들의 표시자들을 전송할 수 있다. 사용자 디바이스(100)는 상기 지시자들에 근거하여 텍스트 문자들을 결정하고, 터치 디스플레이(104)를 통해 사용자(108)에게 상기 텍스트 문자들을 디스플레이한다.

사용자 디바이스(100)는 또한, 상기에 기술된 시각적 지시자들 중 하나 이상과 같은, 터치 디스플레이(104)를 통한 필기 입력의 인식의 진행의 하나 이상의 시각적 지시자들을 디스플레이한다. 사용자 디바이스(100)는 텍스트 문자들에 근거하여 가능한 어간들 및 가능한 전체 단어들을 결정할 수 있다. 예를 들어, 사용자 디바이스(100)는 사용자 디바이스(100)의 메모리에 구현되는 사전 데이터스토어(미도시)를 이용하여 가능한 어간들 및 가능한 전체 단어들을 결정할 수 있다.

이제 도 10을 참조하면, 사용자 디바이스(100)에서 필기 입력을 인식하고 필기 입력의 진행을 디스플레이하는 예시적인 기법(600)이 제시된다. 기법(600)은 사용자 디바이스(100)가 터치 디스플레이(104)를 통해 사용자(108)로부터 필기 입력을 수신하는 단계(604)로 시작될 수 있다. 단계(608)에서, 사용자 디바이스(100)는 필기 입력을 하나 이상의 필기 문자들로 파싱한다. 단계(612)에서, 사용자 디바이스(100)는 터치 디스플레이(104) 상에 필기 입력을 형성하는 필기 문자들을 디스플레이할 수 있다. 단계(612)에서, 사용자 디바이스(100)는 또한, 필기 입력의 인식의 진행의 하나 이상의 시각적 지시자들을 디스플레이할 수 있다.

단계(616)에서, 사용자 디바이스(100)는 하나 이상의 필기 문자들 중 제1 필기 문자에 대한 텍스트 문자를 결정한다. 사용자 디바이스(100)는 예컨대, 필기 문자에 근거하여 텍스트 문자를 결정하기 위한 데이터 및 상기 필기 문자들 중 제1 필기 문자에 근거하여 텍스트 문자를 결정할 수 있다. 단계(620)에서, 사용자 디바이스(100)는 상기 필기 문자들 중 제1 필기 문자에 대해 결정된 텍스트 문자를 디스플레이하고, 사용자(108)에게 필기 입력의 인식의 진행을 지시하기 위해 디스플레이되는 하나 이상의 시각적 지시자들을 갱신한다.

단계(624)에서, 사용자 디바이스(100)는 하나 이상의 필기 문자들 중 제2 필기 문자에 대한 텍스트 문자를 결정한다. 사용자 디바이스(100)는 예컨대, 필기 문자에 근거하여 텍스트 문자를 결정하기 위한 데이터 및 상기 필기 문자들 중 제2 필기 문자에 근거하여 텍스트 문자를 결정할 수 있다. 단계(628)에서, 사용자 디바이스(100)는 상기 필기 문자들 중 제2 필기 문자에 대해 결정된 텍스트 문자를 디스플레이하고, 사용자(108)에게 필기 입력의 인식의 진행을 지시하기 위해 디스플레이되는 하나 이상의 시각적 지시자들을 갱신한다. 사용자 디바이스(100)는 나머지 필기 문자들 있으면, 상기 나머지 필기 문자들에 대한 텍스트 문자를 결정하는 것을 계속하며, 상기 결정된 텍스트 문자들을 디스플레이하고, 그리고 디스플레이되는 하나 이상의 시각적 지시자들을 갱신할 수 있다. 단계(632)에서, 일단 필기 문자들 모두가 인식되고 결정된 텍스트 문자들이 디스플레이되면, 사용자 디바이스(100)는 터치 디스플레이(104)로부터 필기 문자들을 제거할 수 있다.

이제 도 11을 참조하면, 필기 입력의 인식이 서버(500)에서 수행되는 경우 사용자 디바이스(100)에 의해 수행될 수 있는 예시적인 기법(700)이 제시된다. 상기 기법은 사용자 디바이스(100)가 터치 디스플레이(104)를 통해 사용자(108)로부터 필기 입력을 수신하는 단계(704)로 시작될 수 있다. 단계(708)에서, 사용자 디바이스(100)는 필기 입력의 표시를 캡쳐할 수 있다. 단계(712)에서, 사용자 디바이스(100)는 필기 입력의 인식을 위해 서버(500)에 상기 필기 입력의 표시를 전송한다. 단계(716)에서, 사용자 디바이스(100)는 서버(500)에 의해 파싱되는 필기 입력의 필기 문자들의 하나 이상의 지시자들을 수신한다. 사용자 디바이스(100)는 또한, 터치 디스플레이(104)를 통해 필기 문자들을 디스플레이할 수 있다.

단계(720)에서, 사용자 디바이스(100)는 필기 입력의 인식의 진행의 하나 이상의 시각적 지시자들을 디스플레이한다. 단계(724)에서, 사용자 디바이스(100)는 필기 입력의 제1 필기 문자에 대응하는 텍스트 문자를 수신한다. 단계(728)에서, 사용자 디바이스(100)는 상기 제1 필기 문자에 대응하는 텍스트 문자를 디스플레이하고 인식의 진행의 하나 이상의 시각적 지시자들을 갱신한다.

단계(732)에서, 사용자 디바이스(100)는 필기 입력의 제2 필기 문자에 대응하는 텍스트 문자를 수신한다. 단계(736)에서, 사용자 디바이스(100)는 상기 제2 필기 문자에 대응하는 텍스트 문자를 디스플레이하고 인식의 진행의 하나 이상의 시각적 지시자들을 갱신한다. 사용자 디바이스(100)는 나머지 필기 문자들이 있으면 상기 나머지 필기 문자들에 대응하는 텍스트 문자들을 서버(500)로부터 수신하는 것을 계속하며, 결정된 텍스트 문자들을 디스플레이하며, 그리고 이들이 수신됨에 따라 디스플레이되는 하나 이상의 시각적 지시자들을 갱신할 수 있다. 단계(740)에서, 일단, 필기 문자들 모두가 인식되면, 사용자 디바이스(100)는 서버(500)로부터 필기 입력의 인식이 완료됨을 지시하는 지시자를 수신할 수 있다. 단계(744)에서, 사용자 디바이스(100)는 터치 디스플레이(104)로부터 필기 문자들을 제거할 수 있다.

이제 도 12를 참조하면 서버(500)에 의해 수행될 수 있는 예시적인 기법(800)이 제시된다. 상기 기법은 서버(500)가 사용자 디바이스(100)와 같은 사용자 디바이스로부터 필기 입력의 표시를 수신하는 단계(804)로 시작될 수 있다. 단계(808)에서, 서버(500)는 상기 표시를 하나 이상의 필기 문자들로 파싱한다. 단계(812)에서, 서버(500)는 사용자 디바이스에 필기 문자들의 하나 이상의 지시자들을 전송할 수 있다.

단계(816)에서, 서버(500)는 하나 이상의 필기 문자들 중 제1 필기 문자에 대응하는 텍스트 문자를 결정한다. 단계(820)에서, 서버(500)는 상기 필기 문자들 중 제1 필기 문자에 대응하는 텍스트 문자의 지시자를 전송한다. 단계(824)에서, 서버(500)는 하나 이상의 필기 문자들 중 제2 필기 문자에 대응하는 텍스트 문자를 결정할 수 있다. 단계(828)에서, 서버(500)는 필기 문자들 중 제2 필기 문자에 대응하는 텍스트 문자의 지시자를 전송한다. 서버(500)는 나머지 필기 문자들이 있으면 상기 나머지 필기 문자들에 대응하는 텍스트 문자들을 결정하는 것을 계속하며, 이들이 결정됨에 따라 텍스트 문자들의 표시자들을 전송할 수 있다. 일단, 텍스트 문자가 필기 문자들 각각에 대해 결정되면, 단계(836)에서 서버(500)는 사용자 디바이스에 인식 완료 지시자를 전송할 수 있다.

본 발명이 완전해지고(thorough) 당업자에게 범주(scope)를 충분히 전달하게 하도록 예시적인 실시예들이 제공된다. 본 발명의 실시예들의 완전한 이해를 제공하기 위해 특정 컴포넌트들, 디바이스들, 및 기법들의 예들과 같은 수많은 특정 세부사항이 제시된다. 특정 세부사항이 반드시 이용되어야 하는 것은 아니며, 예시적인 실시예들이 여러가지 많은 형태들로 구현될 수 있고 그리고 본 발명의 범위를 제한하는 것으로 해석되어서는 안됨이 당업자에게 분명할 것이다. 일부 예시적인 실시예들에서는, 잘 알려진 절차들, 잘 알려진 디바이스 구조들 및 잘 알려진 기술들이 상세히 설명되지 않는다.

본 명세서에서 사용되는 기술 용어는 단지 특별한 예시적인 실시예들을 기술하기 위한 것이며 제한적인 것으로 의도된 것이 아니다. 본 명세서에 사용된 단수형 "일", "하나" 및 "상기"는 문맥이 달리 분명하게 지시하지 않으면, 복수형들 역시 포함하는 것으로 의도될 수 있다. 용어 "및/또는"은 관련 나열된 아이템들 중 하나 이상 중의 어느 것 및 이들의 모든 조합들을 포함한다. 용어들 "포함한다", "포함하는", 및 "가지는"은 포괄적인 것이며, 그러므로 나타내진 특징들, 정수들, 단계들, 동작들, 요소들 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들 및/또는 이들의 그룹들의 존재 또는 추가를 배제하는 것이 아니다. 본 명세서에 기술된 기법 단계들, 프로세스들 및 동작들은 수행의 순서로서 구체적으로 식별되지 않는 한, 논의되거나 예시된 특별한 순서로 이들을 수행하는 것을 반드시 요하는 것으로 고려되어서는 안된다. 또한, 추가적인 또는 대안적인 단계들이 이용될 수 있음이 이해되어야 한다.

비록, 용어들 제1, 제2, 제3, 기타 등등이 다양한 요소들, 컴포넌트들, 영역들, 계층들 및/또는 섹션들을 기술하기 위해 본 명세서에서 이용될 수 있지만, 이러한 요소들, 컴포넌트들, 영역들, 계층들 및/또는 섹션들은 이 용어들로 한정되어서는 안된다. 이 용어들은 오직, 일 요소, 컴포넌트, 영역, 계층 또는 섹션을 다른 영역, 계층 또는 섹션으로부터 구별하기 위해 사용될 수 있다. "제1", "제2" 및 다른 수치적인 용어들과 같은 용어들은 본 명세서에 사용될 때, 맥락이 달리 분명하게 지시하지 않는 한 시퀀스 또는 순서를 암시하는 것이 아니다. 따라서, 하기에 논의된 제1 요소, 컴포넌트, 영역, 계층 또는 섹션은 예시적인 실시예들의 교시로부터 벗어남이 없이, 제2 요소, 컴포넌트, 영역, 계층 또는 섹션으로 칭해질 수 있다.

본 명세서에서 사용된 용어 모듈은 응용 주문형 집적 회로(ASIC), 전자 회로, 조합 논리 회로, 현장 프로그래머블 게이트 어레이(FPGA), 프로세서들의 분산형 네트워크, 및 네트워킹된 클러스터들 또는 데이터센터들 내의 스토리지에 의해 실행되는 프로세스 또는 코드를 실행하는 (공유, 전용 또는 그룹)프로세서, 기술된 기능을 제공하는 다른 적절한 컴포넌트들, 또는 시스템 온 칩과 같이 상기 언급된 것들 중 일부 또는 모두의 조합을 나타내거나, 이들 중의 일부이거나 또는 이들을 포함할 수 있다. 용어 모듈은 하나 이상의 프로세서들에 의해 실행되는 코드를 저장하는 (공유, 전용 또는 그룹)메모리를 포함할 수 있다.

상기에 사용된 용어 코드는 소프트웨어, 펌웨어, 바이트-코드, 및/또는 마이크로코드를 포함할 수 있고, 프로그램들, 루틴들, 함수(function)들, 클래스들 및/또는 객체(object)들을 나타낼 수 있다. 상기 사용된 용어 공유는 복수의 모듈들로부터 일부 또는 모드 코드가 단일 (공유) 프로세서를 이용하여 실행될 수 있음을 의미한다. 추가적으로, 복수의 모듈들로부터의 일부 또는 모든 코드는 단일 (공유) 메모리에 의해 저장될 수 있다. 상기 사용된 용어 그룹은 단일 모듈로부터의 일부 또는 모든 코드가 프로세서들의 그룹을 이용하여 실행될 수 있음을 의미한다. 추가적으로, 단일 모듈로부터의 일부 또는 모든 코드는 메모리들의 그룹을 이용하여 저장될 수 있다.

본 명세서에 기술된 기법들은 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 컴퓨터 프로그램들에 의해 구현될 수 있다. 컴퓨터 프로그램들은 비일시적 유형 컴퓨터 판독가능 매체에 저장된 프로세서로 실행가능한 명령어들을 포함한다. 컴퓨터 프로그램들은 또한, 저장된 데이터를 포함할 수 있다. 비일시적 유형 컴퓨터 판독가능 매체의 비 제한적인 예들은 비휘발성 메모리, 자기 스토리지 및 광학 스토리지이다.

상기 설명의 일부분들은 정보에 관한 동작들의 알고리즘들 및 심볼 표시들에 관점에서 본 명세서에 기술된 기법들을 제시한다. 이 알고리즘 설명들 및 표시들은 당업자들에게 이들의 작업의 요지(substance)를 가장 효과적으로 전달하기 위해 데이터 프로세싱 분야의 당업자가 사용하는 수단들이다. 이 동작들은, 기능적으로 또는 로직적으로 설명되지만, 컴퓨터 프로그램들에 의해 구현되는 것으로 이해된다. 더욱이, 이는 일반성(generality)을 잃음이 없이도 이 동작들의 배치(arrangement)들을 모듈들로서 또는 기능 이름들에 의해 나타내기에 때때로 편리한 것으로 입증되었다.

상기 논의로부터 분명한 바와 같이, 달리 구체적으로 나타내지 않는 한, 상세한 설명의 전반에서 "프로세싱" 또는 "컴퓨팅" 또는 "계산" 또는 "결정" 또는 "디스플레이" 또는 기타 등등과 같은 용어들을 이용한 논의들은, 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 이러한 정보 저장, 전송 또는 디스플레이 디바이스들 내의 물리(전자)량들로서 표시되는 데이터를 조작 및 변형(transform)하는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 동작(action) 및 프로세스들을 나타내는 것임이 이해된다.

기술된 기법들의 특정 양상들은 알고리즘의 형태로 본 명세서에 기술되는 프로세스 단계들 및 명령어들을 포함한다. 주목할 점으로서, 기술된 프로세스 단계들 및 명령어들은, 소프트웨어, 펌웨어, 또는 하드웨어로 구현될 수 있고, 소프트웨어로 구현될 때, 실시간 네트워크 운영 체제들에 의해 사용되는 서로 다른 플랫폼들 상에 상주하도록 다운로드되거나 또는 이들로부터 동작될 수 있다.

본 발명은 또한, 본 명세서에서 동작들을 수행하기 위한 장치에 관한 것이다. 이 장치는 요구되는 목적들을 위해 특별하게 구성될 수 있거나 또는 이는 컴퓨터에 의해 액세스될 수 있는 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 (이들로만 한정되는 것은 아니지만) 플로피 디스크들, 광학 디스크들, CD-ROM들, 자기 광학 디스크들, 판독 전용 메모리(ROM)들, 랜덤 액세스 메모리(RAM)들, EPROM, EEPROM들, 자기 또는 광학 카드들, 응용 주문형 집적 회로(ASIC)들 또는 전자 명령어들을 저장하기에 적합한 어떤 타입의 매체를 포함하고 컴퓨터 시스템 버스에 각각 결합된 어떤 타입의 디스크와 같은 유형의 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 더욱이, 본 명세서에서 지칭된 컴퓨터들은 단일 프로세서를 포함할 수 있거나 또는 증가된 컴퓨팅 용량을 위해 복수의 프로세서 설계들을 이용하는 아키텍쳐들일 수 있다.

본 명세서에 제시된 알고리즘들 및 동작들은 어떤 특별한 컴퓨터 또는 다른 장치에 선천적으로(inherently) 관계되지 않는다. 다양한 범용 시스템들이 또한 본 명세서의 교시들에 따른 프로그램과 함께 이용될 수 있거나 또는 요구되는 기법 단계들을 수행하기 위해 더욱 특수화된 장치들을 구성하기에 편리한 것으로 입증될 수 있다. 다양한 이 시스템들에 대한 요구되는 구조는 균등한 변형들과 함께 당업자들에게 분명할 것이다. 추가적으로, 본 발명은 어떤 특별한 프로그래밍 언어를 참조하여 기술되지 않는다. 다양한 프로그래밍 언어들이 본 명세서에 기술된 본 발명의 교시를 구현하기 위해 사용될 수 있고, 본 발명의 가능화(enablement) 및 베스트 모드(best mode)의 개시를 위해 특정 언어들에 대한 어떤 참조들이 제공됨이 이해되어야 한다.

본 발명은 수많은 토폴로지들에 걸친 다양한 컴퓨터 네트워크 시스템에 매우 적합하다. 이 분야에서, 거대 네트워크들의 구성 및 관리는 인터넷과 같은 네트워크를 통해 유사하지 않은 컴퓨터들 및 저장 디바이스들에 통신적으로 결합된 저장 디바이스들 및 컴퓨터들을 포함한다.

상기 실시예들의 설명은 예시 및 설명을 위해 제공되었다. 이는 완전한(exhaustive) 것으로 또는 본 발명을 한정하는 것으로 의도된 것이 아니다. 특별한 실시예들의 개별적인 요소들 또는 특징들은 일반적으로 그 특별한 실시예들에 한정되는 것이 아니라, 가능한 경우, 상호교환가능하며, 특별히 도시되거나 기술되지 않은 경우에도 선택되는 실시예에 사용될 수 있다. 이 실시예는 또한 많은 방식들로 변형될 수 있다. 이러한 변형들은 본 발명으로부터 벗어나는 것으로 여겨지지 않으며, 모든 이러한 수정들은 본 발명의 범위 내에 포함되는 것으로 의도된다.

Claims

컴퓨터 구현 방법으로서,
사용자 디바이스에서, 인식 엔진을 이용하여 인식될 초기 필기 텍스트 (initial handwritten text)에 대응하는 사용자 입력을 수신하는 단계;
사용자 디바이스에서, 초기 필기 텍스트의 표현을 수신하는 단계, 상기 초기 필기 텍스트의 표현은 개별 필기 문자들로 파싱된 초기 필기 텍스트를 포함하고;
사용자 디바이스의 디스플레이의 제1 부분에, 필기 문자들을 디스플레이하는 단계;
사용자 디바이스에서, 인식 엔진을 이용하여 인식될 추가 필기 텍스트에 대응하는 제2 사용자 입력을 수신하는 단계;
사용자 디바이스에서, 추가 필기 텍스트의 표현을 수신하는 단계, 상기 추가 필기 텍스트의 표현은 개별 필기 문자들로 파싱된 추가 필기 텍스트를 포함하고; 및
제2 사용자 입력을 수신하는 것에 응답하여 사용자 디바이스의 디스플레이의 제1 부분에 디스플레이된 필기 문자들의 크기를 변경하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제1항에 있어서,
사용자 디바이스에서, 초기 필기 텍스트의 필기 문자의 식별을 수신하는 단계;
사용자 디바이스의 디스플레이의 제2 부분에, 초기 필기 텍스트의 하나 이상의 필기 문자를 디스플레이하는 단계;
사용자 디바이스에서, 추가 필기 텍스트의 필기 문자의 식별을 수신하는 단계; 및
사용자 디바이스의 디스플레이의 제2 부분에, 추가 필기 텍스트의 하나 이상의 필기 문자를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제2항에 있어서,
사용자 디바이스에서, 초기 필기 텍스트의 제2 필기 문자의 제2 식별을 수신하는 단계;
사용자 디바이스에서, 필기 문자 및 제2 필기 문자에 기초하여 초기 필기 텍스트에 대한 가능한 어간(stem)을 결정하는 단계; 및
사용자 디바이스의 디스플레이의 제2 부분에, 가능한 어간을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제3항에 있어서,
사용자 디바이스에서, 가능한 어간의 선택을 나타내는 사용자 입력을 수신하는 단계;
사용자 디바이스에서, 가능한 어간에 기초하여 초기 필기 텍스트에 대한 가능한 단어를 결정하는 단계; 및
사용자 디바이스의 디스플레이의 제2 부분에, 가능한 어간의 선택을 나타내는 사용자 입력의 수신에 응답하여 상기 가능한 단어를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제3항에 있어서,
디스플레이의 제1 부분으로부터의 적어도 하나의 필기 문자가 사용자 디바이스의 디스플레이의 제2 부분에 디스플레이된 후에만 사용자 디바이스의 디스플레이의 제1 부분으로부터의 필기 문자들 중 적어도 하나를 제거하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제3항에 있어서,
필기 텍스트의 표현을 수신하는 단계는 사용자 디바이스에서, 필기 텍스트의 표현을 생성하는 단계를 포함하고; 또는
필기 문자의 식별을 수신하는 단계는 사용자 디바이스에서, 식별을 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제2항에 있어서,
디스플레이에, 인식 엔진에 의해 인식된 초기 필기 텍스트 또는 추가 필기 텍스트의 양을 나타내는 진행 바를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제7항에 있어서,
디스플레이에, 양에 대응하는 백분율을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
제1항에 있어서,
상기 디스플레이는 터치 디스플레이이고, 상기 사용자 입력은 터치 디스플레이를 통해 수신되는 것을 특징으로 하는 컴퓨터 구현 방법.
컴퓨팅 디바이스로서,
디스플레이;
디스플레이에 결합된 적어도 하나의 프로세서; 및
실행 가능한 컴퓨터 프로그램 코드를 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 적어도 하나의 프로세서는 실행 가능한 컴퓨터 프로그램 코드를 실행하여 동작들을 수행하고, 상기 동작들은:
인식 엔진을 이용하여 인식될 초기 필기 텍스트에 대응하는 사용자 입력을 수신하는 단계;
초기 필기 텍스트의 표현을 수신하는 단계, 상기 초기 필기 텍스트의 표현은 개별 필기 문자들로 파싱된 초기 필기 텍스트를 포함하고;
디스플레이의 제1 부분에, 필기 문자들을 디스플레이하는 단계;
인식 엔진을 이용하여 인식될 추가 필기 텍스트에 대응하는 제2 사용자 입력을 수신하는 단계;
추가 필기 텍스트의 표현을 수신하는 단계, 상기 추가 필기 텍스트의 표현은 개별 필기 문자들로 파싱된 추가 필기 텍스트를 포함하고; 및
제2 사용자 입력을 수신하는 것에 응답하여 디스플레이의 제1 부분에 디스플레이된 필기 문자들의 크기를 변경하는 단계를 포함하는 것을 특징으로 하는 컴퓨팅 디바이스.
제10항에 있어서,
상기 동작들은:
초기 필기 텍스트의 필기 문자의 식별을 수신하는 단계;
디스플레이의 제2 부분에, 초기 필기 텍스트의 하나 이상의 필기 문자를 디스플레이하는 단계;
추가 필기 텍스트의 필기 문자의 식별을 수신하는 단계; 및
디스플레이의 제2 부분에, 추가 필기 텍스트의 하나 이상의 필기 문자를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨팅 디바이스.
제10항에 있어서,
상기 동작들은:
초기 필기 텍스트의 제2 필기 문자의 제2 식별을 수신하는 단계;
필기 문자 및 제2 필기 문자에 기초하여 초기 필기 텍스트에 대한 가능한 어간을 결정하는 단계; 및
디스플레이의 제2 부분에, 가능한 어간을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨팅 디바이스.
제12항에 있어서,
상기 동작들은:
가능한 어간의 선택을 나타내는 사용자 입력을 수신하는 단계;
가능한 어간에 기초하여 초기 필기 텍스트에 대한 가능한 단어를 결정하는 단계; 및
디스플레이의 제2 부분에, 가능한 어간의 선택을 나타내는 사용자 입력의 수신에 응답하여 상기 가능한 단어를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨팅 디바이스.
제12항에 있어서,
상기 동작들은:
디스플레이의 제1 부분으로부터의 적어도 하나의 필기 문자가 디스플레이의 제2 부분에 디스플레이된 후에만 디스플레이의 제1 부분으로부터의 필기 문자들 중 적어도 하나를 제거하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨팅 디바이스.
제12항에 있어서,
필기 텍스트의 표현을 수신하는 단계는 필기 텍스트의 표현을 생성하는 단계를 포함하고; 또는
필기 문자의 식별을 수신하는 단계는 식별을 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨팅 디바이스.
제12항에 있어서,
상기 동작들은:
디스플레이에, 인식 엔진에 의해 인식된 초기 필기 텍스트 또는 추가 필기 텍스트의 양을 나타내는 진행 바를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨팅 디바이스.
제16항에 있어서,
상기 동작들은:
디스플레이에, 양에 대응하는 백분율을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨팅 디바이스.
제10항에 있어서,
상기 디스플레이는 터치 디스플레이이고, 상기 사용자 입력은 터치 디스플레이를 통해 수신되는 것을 특징으로 하는 컴퓨팅 디바이스.