KR20020034021A - 멀티미디어 단말기에서의 문서 편집 제스쳐 인식 장치 및그를 이용한 문서 편집 방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 멀티미디어 단말기에서의 문서 편집 제스쳐 인식 장치 및 그를 이용한 문서 편집 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 전자펜을 이용한 개인용 컴퓨터나 멀티미디어 단말기 등의 문서 편집창에서 실제 작성되고 있는 문서위에 편집기호를 도시하여 편집할 수 있는 문서 편집 제스쳐 인식 장치 및 그를 이용한 문서 편집 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.

3. 발명의 해결방법의 요지

본 발명은, 전자펜을 이용한 개인용 컴퓨터나 휴대용 멀티미디어 단말기 등에서의 문서 편집 제스쳐 인식 장치에 있어서, 각 제스쳐 모델을 은닉 마르코프 모델(HMM : Hidden Markov Model)로 만들어 모델링하고, 그 모델을 바탕으로 문서 편집창에서 사용자가 실제 작성중인 문서의 수정하고자 하는 글자위에 직접 제스쳐를 도시하여 문서를 편집한다.

4. 발명의 중요한 용도

본 발명은 멀티미디어 단말기 등에서의 문서 편집 등에 이용됨.

Description

멀티미디어 단말기에서의 문서 편집 제스쳐 인식 장치 및 그를 이용한 문서 편집 방법{Apparatus for recognizing document editing gesture in multimedia termination and method for editing document the same}

본 발명은 전자펜을 이용한 개인용 컴퓨터나 휴대용 멀티미디어 단말기 등에서의 문서 편집 제스쳐 인식 장치 및 그를 이용한 문서 편집 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 보다 상세하게는 각 제스쳐 모델을 은닉 마르코프 모델(HMM : Hidden Markov Model)로 만들어 모델링하고, 그 모델을 바탕으로 사용자가 작성중인 문서의 수정하고자 하는 글자위에 직접 제스쳐를 도시하여 문서를 편집하기 위한 것이다.

도 1 은 일반적인 멀티미디어 단말기의 구성 예시도이다.

도 1에 도시된 바와 같이, 멀티미디어 단말기의 하드웨어를 구성하는 요소는 크게 중앙처리장치(3), 기억장치(2), 입출력장치(1)로 구분한다.

기억장치(2)는 주기억장치와 보조기억장치로 구분된다.

중앙처리장치(3)는 컴퓨터의 두뇌로서, CPU(Central Processing Unit)라고 불려지는데, 이는 주기억장치로부터 명령을 가져와서 이를 분석하고 수행한다. 이러한 중앙처리장치(3)는 다시 제어장치, 연산논리장치 및 레지스터 등 세부분으로 구분할 수 있다. 이중 제어장치는 데이터의 통로를 개폐함으로써 중앙처리장치(3)내에서 데이터의 흐름을 제어하며, 이를 위해 주기억장치로부터 명령을 가져와서 이를 분석한다. 그리고, 연산논리장치는 실제의 산술연산이나 논리연산을 수행한다. 또한, 제어장치나 연산논리장치는 작업수행 도중 각종 또는 중간 계산결과를 저장하는 레지스터이다.

중앙처리장치는 데이터나 명령을 주기억장치로부터 꺼내 오거나 또는 주기억장치에 저장한다.

주기억장치는 전원이 꺼지면 그 내용이 사라져 버리는 반면에, 보조기억장치는 저장한 내용이 항상 유지되므로 컴퓨터 시스템내의 주요한 정보를 저장하는 데는 필수적 요소이다.

입출력장치(1)는 키보드나 펜 스타일러스 등으로 입력을 하고 처리된 결과값이 모니터, 프린터, 스피커 등으로 출력되는 장치이다.

컴퓨터는 입출력장치(1)를 통해 외부와 교신한다.

문서 편집 제스쳐의 일반적인 방법은 보통 글자 인식 소프트웨어와 연동하여동작되는데, 보편적으로 화면상에서 편집창 영역과 필기창 영역이 구분된 시스템에서 동작을 한다. 이러한 시스템에서는 사용자가 필기창 영역에 글자를 쓰면 그 글자 데이터가 글자를 인식하는 인식 알고리즘으로 전달되고, 알고리즘에서 인식동작이 이루어진 후에, 편집창에는 글자 인식 결과값이 출력되게 구성되어 있다.

종래의 이러한 시스템에서는 작성된 문서를 편집할 때 글자의 인식때와 마찬가지로 필기창 영역에 편집 제스쳐를 도시하는 구조를 가지고 있다. 이때, 문서의 편집을 위해서는 편집창에 편집하고자 하는 글자의 위치에 커서를 옮겨놓거나 블록을 지정하는 작업을 제스쳐 도시전에 해야한다. 도시된 제스쳐는 글자 데이터의 인식때와 마찬가지로 제스쳐를 인식하는 제스쳐 알고리즘으로 전달되고, 알고리즘에서 인식동작이 이루어진 후에, 편집창에 제스쳐 인식 결과에 따른 동작이 이루어지게 된다.

그러나, 이러한 방법은 편집을 위해 편집창 영역과 필기창 영역사이를 스타일러스 펜이 제스쳐 도시가 필요할 때마다 여러 번 이동해야 하는 불편이 있으며, 제스쳐 도시 영역 또한 제한되어 있어서 빠른 문서편집에 도움을 주지 못한다. 또한, 일반 원고지 문서 편집 표기법을 이용한 두 글자 이상 앞 뒤 문맥 교환과 같은 다양한 편집기능이 부족한 문제점이 있었다.

상기한 바와 같은 문제점을 해결하기 위하여 안출된 본 발명은, 전자펜을 이용한 개인용 컴퓨터나 멀티미디어 단말기 등의 문서 편집창에서 실제 작성되고 있는 문서위에 편집기호를 도시하여 편집할 수 있는 문서 편집 제스쳐 인식 장치 및 그를 이용한 문서 편집 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

도 1 은 일반적인 멀티미디어 단말기의 구성 예시도.

도 2 는 본 발명에 따른 문서 편집 제스쳐 인식 장치의 일실시예 구성도.

도 3a 는 일반적인 재샘플링된 데이터 값들의 방향코드를 나타낸 설명도.

도 3b 는 본 발명에 이용되는 재샘플링된 데이터 값들의 방향코드를 나타낸 일실시예 설명도.

도 4 는 본 발명에 이용되는 은닉 마르코프 모델(HMM)을 나타낸 일실시예 설명도.

도 5 는 본 발명에 따른 문서 편집 방법에 대한 일실시예 흐름도.

도 6a 내지 6d 는 본 발명의 실시예에 따라 멀티미디어 단말기의 편집창에서 삭제하기 기능을 나타낸 설명도.

도 7a 및 7b 는 본 발명의 실시예에 따라 멀티미디어 단말기의 편집창에서 띄어쓰기 기능을 나타낸 설명도.

도 8a 및 8b 는 본 발명의 실시예에 따라 멀티미디어 단말기의 편집창에서바꾸기 기능을 나타낸 설명도.

도 9a 및 9b 는 본 발명의 실시예에 따라 멀티미디어 단말기의 편집창에서 삽입하기 기능을 나타낸 설명도.

*도면의 주요 부분에 대한 부호의 설명

1 : 입출력장치 2 : 기억장치

3 : 중앙처리장치 4 : 제스쳐 입력

5 : Resampling 6 : Chaincode

7 : 제스쳐 인식기

상기 목적을 달성하기 위한 본 발명은, 전자펜을 이용한 개인용 컴퓨터나 휴대용 멀티미디어 단말기 등에서의 문서 편집 제스쳐 인식 장치에 있어서, 각 제스쳐 모델을 은닉 마르코프 모델(HMM : Hidden Markov Model)로 만들어 모델링하고, 그 모델을 바탕으로 문서 편집창에서 사용자가 실제 작성중인 문서의 수정하고자 하는 글자위에 직접 제스쳐를 도시하여 문서를 편집하는 것을 특징으로 한다.

그리고, 본 발명은 전자펜을 이용한 개인용 컴퓨터나 휴대용 멀티미디어 단말기 등의 문서 편집창에서 문서를 편집하는 방법에 있어서, 각 제스쳐 모델을 은닉 마르코프 모델(HMM : Hidden Markov Model)로 만들어 모델링하고, 그 모델을 바탕으로 문서 편집창에서 사용자가 실제 작성중인 문서의 수정하고자 하는 글자위에 직접 제스쳐를 도시하여 문서를 편집하는 것을 특징으로 한다.

또한, 본 발명은 문서 편집을 위하여, 프로세서를 구비한 멀티미디어 단말기에, 각 제스쳐 모델을 은닉 마르코프 모델(HMM : Hidden Markov Model)로 만들어 모델링하고, 그 모델을 바탕으로 문서 편집창에서 사용자가 실제 작성중인 문서의 수정하고자 하는 글자위에 직접 제스쳐를 도시하여 문서를 편집하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

본 발명은 흘림 필기 인식에 대한 많은 연구를 통한 필기 인식 및 편집에 대한 기반 기술을 바탕으로 하고 있다. 이에, 본 발명에서는 이러한 기술력을 바탕으로 한글, 영어, 숫자 등을 효율적으로 편집할 수 있는 멀티미디어 단말기에서의 문서 편집 제스쳐 인식 장치 및 그를 이용한 문서 편집 방법을 제안하고자 한다.

이를 위해, 본 발명은 각 제스쳐 모델을 음성인식에서 주로 쓰이는 HMM(Hidden Markov Model)으로 만들어 모델링하고 인식하는 기술을 기반으로 하여 일반적인 한글 수정표기법을 사용한 자유로운 글자의 수정 및 편집 기능을 제공한다.

따라서, 본 발명은 전자펜을 이용한 개인용 컴퓨터와 휴대형 멀티미디어 단말기 등에서 사용 가능한 일반 텍스트 문서의 편집 제스쳐 인식 장치 및 그를 이용한 문서 편집 방법을 통하여, 일반 키보드를 사용한 문서의 편집보다 사용이 편리하고 처리속도 또한 우수하여 키보드에 익숙하지 않은 단말기 사용자에게 편의성을 제공할 수 있을 뿐만아니라 빠른 문서편집에도 도움을 줄 수 있다.

본 발명에서 제안하는 편집 제스쳐의 문서 편집 방법은, 일반적인 문서 작성기에서 쓰이는 삽입, 삭제, 띄어쓰기 등의 명령을 키보드가 아닌 스타일러스 펜을 이용하여, 작성중인 문서위에 바로 제스쳐를 표시하여 문서를 편집하는 것이다. 또한, 일반적인 키보드에서 가능한 편집 명령 뿐만아니라 일반 원고지 문서 편집 기호를 제스쳐 모델로 도입하여 작성중인 문서를 키보드 메시지가 아닌, 원고지 편집 기호로 편집이 가능하다.

제스쳐 모델로 만들어진 이러한 키보드 메시지 및 원고지 문서 편집 기호를화면에 도시하면 그 데이터가 좌표값으로 입력이 되고, 입력된 좌표값은 이미 훈련되어 저장되어 있는 제스쳐 모델과 적절한 알고리즘을 거쳐 확률적으로 비교된 후 가장 높은 확률도 정합된 모델을 인식된 결과로 출력한다. 이렇게 인식된 결과에 따라 문서의 제스쳐가 도시된 적절한 부분에 있는 문서를 제스쳐가 지시하는 대로 편집 동작을 수행하게 된다.

본 발명의 특징을 살펴보면 다음과 같다.

본 발명은 Discrete 심볼 출력하는 HMM(Hidden Markov Model)을 이용하여 Viterbi 알고리즘 적용 후, 최적 모델을 선택하는 gesture 인식에 관한 것이다.

또한, 본 발명은 1/N resampling하여 gesture 입력으로 chain code를 이용한다. 즉, 원 글자와 가장 유사한 입력으로 원할한 인식을 위해 글자를 resampling 할때 그 등 간격을 1/N으로 나눈다. 이때, 글자의 인식률과 메모리 공간의 효율적 활용을 고려해 볼 때 N=12가 적당하다. chaincode란 두 획이상으로 이루어진 제스쳐도 일관성있게 코드를 표현하기 위하여 pen-up 연결을 구분하는 방향코드도 정의한다. 이는 도 3a 및 3b와 같은 pen-down 연결과 pen-up 이동 연결을 나타내기 위한 방향코드이다.

또한, 본 발명은 필기 영역을 분할하여 글자가 출력된 곳에 획을 그으면 자동으로 제스쳐 모드로 전환하여 제스쳐로 인식하고, 글자가 출력되지 않은 다른 영역에 획을 그으면 글자로 인식한다.

또한, 본 발명은 화면에서 제스쳐를 출력시 글자와는 다른 색(예: 빨간색)으로 구분하고, 제스쳐의 지시대로 화면의 문서를 처리한 후 그어진 제스쳐를 삭제한다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

본 발명에서는 전자펜을 이용한 개인용 컴퓨터나 휴대용 멀티미디어 단말기 등의 문서 편집창에서 실제 작성되고 있는 문서위에 편집기호를 도시하여 편집할 수 있는 문서 편집 제스쳐 인식 장치 및 그를 이용한 문서 편집 방법을 구현하고자 한다. 이러한 작성중인 문서에서의 직접적인 편집을 위해서는 우선 일반 원고지 문서 편집 표기법을 컴퓨터가 인식할 수 있어야 한다.

이를 위해, 본 발명에서는 음성 인식에서 주로 쓰이는 HMM을 이용하여 이러한 문서 편집 표기법 인식을 위한 모델을 제작하고, 도시된 제스쳐는 그 모델을 바탕으로 인식이 가능하다.

우수한 제스쳐 모델을 제작하려면, 우선 다양한 사용자의 풍부한 제스쳐 데이터를 수집해야 한다. 따라서, 본 발명에서는 이러한 목적에 부합하는 우수한 모델을 만들기 위해 약 20여명의 수집 대상으로부터 각 제스쳐 당 200여 개씩 샘플을 수집하고, 그 샘플을 여러 번 훈련시켜 우수한 제스쳐 모델을 만들 수 있다.

제스쳐 모델을 바탕으로 도시된 제스쳐를 인식하기 위해서는 도시된 제스쳐에 적절한 처리가 필요하다. 이를 위해, 우선 도시된 제스쳐를 같은 시간주기로 좌표값을 수집해야 하며, 수집된 좌표값은 인식 알고리즘에 넘길 수 있도록 등간격으로 나누는 재샘플링(Resampling) 과정이 필요하다. Resampling된 데이터는 다시 16방향으로 나뉜 방향코드로 변환된 후, 그 방향코드가 인식 엔진에 입력되어 어떤 제스쳐인지 인식하게 된다.

인식된 제스쳐는 그 결과를 바탕으로 해당되는 동작을 구현해야 한다. 그러기 위해서는 기본적으로 각 제스쳐가 도시된 좌표의 임의의 구성을 아는 것이 필요하고, 제스쳐의 위치를 파악하여 그 위치에 해당하는 글자에 적절한 동작을 해야 한다.

제스쳐를 컴퓨터에 인식시키기 위한 첫 번째 단계로 우선 사람이 쓴 제스쳐를 컴퓨터가 알아볼 수 있는 정보로 변환하는 작업이 먼저 수행되어야 한다.

기호 또는 제스쳐를 컴퓨터의 정보로 변환하는 가장 보편적인 방법은 입력된 제스쳐 입력(4)을 순서에 따라 일련의 획들로 분류하고, 각 획을 일정시간 간격으로 Sampling된 일련의 점으로 표현하여 모든 점의 좌표값을 수집한다. 이는 제스쳐를 화면에 도시했을 때 그 좌표를 수집하는 동작한다.

입력된 제스쳐를 인식하기 위해서는 입력된 글자에 포함된 잡음을 제거하기 위한 전처리 단계를 거쳐야 한다. 왜냐하면, 펜으로 쓴 데이터에는 인쇄된 기호와는 달리 획 끝 부분에 노이즈가 많이 발생하며, 이를 분석하고(hook analysis) 제거하는 처리(wild points removal)를 해야 올바른 제스쳐로 인식할 수 있기 때문이다.

전처리 단계를 거치고 노이즈가 제거된 제스쳐 데이터는 각 획마다 등간격으로 길이를 나누어 Resampling(5)해야 한다. 이는 제스쳐 데이터를 인식기에서 받아들일 수 있는 입력값으로 바꾸기 위한 처리과정으로, Resampling된 데이터는 방향코드를 만드는 과정의 입력값이 된다.

Resampling을 거친 제스쳐 데이터는 원래의 입력 제스쳐 데이터에 변형을 가한 것이므로 어떻게 Sampling 하느냐에 따라 인식률에 커다란 영향을 미칠 수 있다. 입력된 글자의 크기에 관계없이 일정한 방향코드를 만들기 위해서는 입력된 글자크기를 고려한 Resampling(5)이 되어야 하며, 그 등간격 설정은 정해진 표준은 없으나 제스쳐의 가로축, 세로축 길이중 긴 축의 길이의 1/12을 단위로 하는 것이 가장 적당하다. 1/12보다 좀 더 길거나 짧은 길이로 단위길이를 설정할 수도 있으나, 1/12보다 짧게 단위길이를 설정했을 때는 발생되는 방향코드 정보량이 많아 메모리의 낭비를 가져올 수도 있으며, 1/12보다 길게 했을 때는 원래 글자 데이터의 정보를 잃어버릴 수도 있기 때문이다.

등간격으로 Resampling된 제스쳐 데이터는 인식 엔진에서 입력값으로 받을 수 있도록 미리 정의한 심볼로 변환해야 한다. 이에, 본 발명에서는 필기 데이터의 부분적 정보를 충실하고 간단히 표현하는 방향코드를 채택한다.

Resampling된 데이터를 각 점의 방향에 따라 순차적으로 방향코드값을 할당하고 방향코드값 리스트를 구성한다. 이것이 ChainCode(6)이다. 인식 엔진에 차례로 입력된다. 방향코드값은 보통 8방향(도 3a 참조)과 16방향(도 3b 참조)으로 정의하여 할당을 하며, 본 발명에서는 좀 더 높은 인식률을 보장하기 위해 16방향 코드를 적용한다.

방향코드로 처리된 제스쳐 데이터는 인식을 위해 제스쳐 인식기(7)에 입력된다. 제스쳐 인식기(7)는 그 인식과정이 비터비 알고리즘으로 구현된다.

비터비(Viterbi) 알고리즘은 최적원리(principle of optimality)에 입각한 동적 프로그래밍 기법중에 하나이다. 이는 임의의 상태에 이르는 경로 비용 또는 확률은 이전 상태의 비용과 현재 상태의 비용의 전이 비용을 합하는 방식으로 순환 계산하는 기법이다. 이점은 마르코프 모델의 가정과 그것에 따르는 시간적 제약에 밀접한 관계를 가지므로 마르코프 모델내의 최적 경로를 찾는데 적용할 수 있다.

같은 음절이나 단어에 대해서도, 음운 환경이나 화자의 개인차 등과 같은 원인에 의해서 커다란 음향적인 변동이 생긴다. 이와 같은 변동이 있는 특징 벡터의 시계열 패턴은 HMM(Hidden Markov Model)이라고 부르는 확률 모델에 의해서 표현될 수 있다.

HMM은 음소나 음절 또는 단어를 하나의 HMM으로 표현하는 것으로 모델의 수는 대상이 되는 어휘의 단어 수와 같다. 이 모델의 파라미터는 특징 벡터의 시계열 패턴의 변동을 가장 잘 흡수하기 위해 학습에 의해서 구해진다.

음성인식에 흔히 상용되는 HMM은 도 4에 도시된 바와 같이 각 시간에 대해서 N개의 상태를 가진 left-to-right 형의 구조가 대부분이다. 이러한 모델을 "Bakis 모델"이라고 부른다.

도 4의 상태 천이의 arc에 첨부된 수치 a_ij는 상태 i로부터 상태 j로 천이하는 확률을 표시한다. 상태 천이 확률은 상태 수를 N이라 하면, N×N 행렬 A={a_ij}로서 표현된다.

도 4의 상태 천이 확률 A를 수학식으로 표현하면, (수학식 1)과 같다.

각 상태 i의 초기 확률을로 표시하고, 최종 상태의 집합을 F로 표시하면 도 4의 예에서,,가 된다.

b_j(k)는 관측 심볼 v_k가 상태 j로부터 출력되는 확률을 표시한다. 관측열이 벡터 양자화 등의 방법을 사용하여 유한개의 심볼로서 표현되는 경우에는 이산 분포모델이라 부르며, 관측 심볼 확률은 N×N 행렬 B={b_j(k)}가 된다. 도 4에 관측 심볼 v_k가 x, y로 한정되는 경우, 관측 심볼의 확률이 표시되었다.

이와 같은 시스템은, 상태 천이 확률에 따라서 상태 천이가 발생하며, 이 상태로부터 어떤 확률로서 관측 심볼이 출력된다. 상태의 천이는 직접적으로 관측되지 않으며, 상태로부터 어떤 확률로서 출력되는 심볼만이 관측된다.

이 확률 모델에 관해서 외부로부터 관측되는 것은, 모델에 의해서 생성되는 관측 심볼의 열이 된다. 일반적으로 모델 내부의 형상과 그 상태천이의 모양은 외부에서 관측되지 않는다. 이와 같은 것으로부터 이 확률의 모델을 HMM이라고 부른다.

정리하면, HMM은 3개의 파라미터 집합(λ= (π, A, B ); 초기상태분포, 상태천이분포, 관찰신호분포)으로 나타내며, K개의 모델, N개의 상태와 W개의 관찰신호들로 이루어진 경우 파라미터들은 다음과 같다.

첫째, 초기상태분포(Π)를 수학식으로 표현하면, (수학식 2)와 같다.

둘째, 상태천이분포(A)를 수학식으로 표현하면, (수학식 3)과 같다.

세째, 관찰신호분포(B)를 수학식으로 표현하면, (수학식 4)와 같다.

그리고, 파라미터들은 다음의 (수학식 5)를 만족해야 한다.

관측열 O에 대해서 최상의 Q^*를 구하기 위해서를 다음의 (수학식 6)과 같이 정의할 수 있다.

여기서,는 모델 λ가 주어졌을 때 시간 t에서, 상태 i에 도달할 경로에 적합할 가장 높은 확률을 나타낸다.를 귀납적으로 계산하면 (수학식 7)과 같다.

실제적으로 상태열을 탐색하기 위해서는, 각각의 t와 j에 대해서, 상기 (수학식 7)을 최대로 하는 상태열을 저장할 필요가 있다. 이것은에 의해서 수행된다. 절차는 다음과 같다.

여기서, P^*는 Maximum Likelihood의 상태열이다. 그리고, Φ는 Maximum Likelihood의 상태열이다.

그래서 최적의 상태열은 {q^* ₁q^* ₂.... q^* _T}이 되고, 이로부터 (수학식 8)을얻을 수 있다.

상기 (수학식 8)로부터 최적의 상태열을 따라 구한 확률은 다음의 (수학식 9)와 같다.

상기 (수학식 9)로부터 각 상태에 대해 누적상태대수확률(accumulated state log likelihood)을 다음의 (수학식 10)과 같이 나타낼 수 있다.

상기 (수학식 10)으로부터 다음의 (수학식 11)이 성립한다.

따라서, 모델 i에 대해서 다음과 같이 변별함수가 (수학식 12)와 같이 정의된다.

이와 같이하여 각 글자 모델에 대해 (수학식 12)를 최대로 만족하는 값을 구하여 그 글자의 인식된 모델로 정합(matching)시키는 것이다. 이러한 Viterbi 인식 알고리즘을 바탕으로 제스쳐를 인식하는 인식 엔진을 구성할 수 있다.

도 5 는 본 발명에 따른 문서 편집 방법에 대한 일실시예 흐름도이다.

먼저, 제스쳐를 입력받기 전에 제스쳐 모델을 로딩한다. 펜으로 제스쳐를 쓰면 제스쳐를 입력을 받게 된다.

이후, 모델이 총 N라면 모델의 N개만큼 확률값을 계산을 한다. 여기서, N개의 모델중 가장 확률이 높은 제스쳐 모델을 구하면 구해진 제스쳐 모델의 문서편집 기능을 실행한다.

문서 편집을 다시 하려면 제스쳐 입력을 다시 받고 아니면 종료한다.

도 6 내지 도 9는 인식된 제스쳐는 그 결과에 따라 적절한 화면 처리를 보여준다. 본 발명에서 제시된 처리는 다음과 같다.

도 6a 내지 6d 는 삭제하기 기능의 순서를 나타낸 것이다.

이를 살펴보면, 도 6a 는 문자를 입력한 상태를 나타내고, 도 6b 는 다음 순서로 삭제하고자 하는 문자영역을 선택한 것이고, 도 6c에서 추가로 제스쳐를 하면위와 같은 방법으로 삭제기능임을 인식하게 된다. 도 6d 는 인식한 삭제기능을 실행하여 삭제가 된다.

그 외, 7a 및 7b 는 띄어쓰기, 도 8a 및 8b 는 바꾸기, 도 9a 및 9b 는 삽입하기 기능을 각각 보여준다.

이상에서와 같이 제스쳐에 따른 적절한 편집 처리를 하기 위해서는 각 제스쳐의 위치를 파악하는 처리가 우선되어야 하며, 각 제스쳐의 형태에 따라 올바른 편집 동작을 구현해야 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.

상기한 바와 같은 본 발명은, 편집창에서 버튼 클릭없이 문자위에서 삽입, 삭제, 띄어쓰기 등의 편집기능이 제스쳐로 편집이 가능해 진다. 또한, 키보드에 익숙하지 못한 사용자를 위한 일반 원고지 문서 편집 표기법을 이용한 효율적인 문서 편집이 가능한 효과가 있다.

Claims (3)

1. 전자펜을 이용한 개인용 컴퓨터나 휴대용 멀티미디어 단말기 등에서의 문서 편집 제스쳐 인식 장치에 있어서,

   각 제스쳐 모델을 은닉 마르코프 모델(HMM : Hidden Markov Model)로 만들어 모델링하고, 그 모델을 바탕으로 문서 편집창에서 사용자가 실제 작성중인 문서의 수정하고자 하는 글자위에 직접 제스쳐를 도시하여 문서를 편집하는 것을 특징으로 하는 문서 편집 제스쳐 인식 장치.
2. 전자펜을 이용한 개인용 컴퓨터나 휴대용 멀티미디어 단말기 등의 문서 편집창에서 문서를 편집하는 방법에 있어서,

   각 제스쳐 모델을 은닉 마르코프 모델(HMM : Hidden Markov Model)로 만들어 모델링하고, 그 모델을 바탕으로 문서 편집창에서 사용자가 실제 작성중인 문서의 수정하고자 하는 글자위에 직접 제스쳐를 도시하여 문서를 편집하는 것을 특징으로 하는 문서 편집 방법.
3. 문서 편집을 위하여, 프로세서를 구비한 멀티미디어 단말기에,

   각 제스쳐 모델을 은닉 마르코프 모델(HMM : Hidden Markov Model)로 만들어모델링하고, 그 모델을 바탕으로 문서 편집창에서 사용자가 실제 작성중인 문서의 수정하고자 하는 글자위에 직접 제스쳐를 도시하여 문서를 편집하는 기능

   을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.