KR100323569B1

KR100323569B1 - 수기입력표시장치

Info

Publication number: KR100323569B1
Application number: KR1019940019672A
Authority: KR
Inventors: 시노즈까히데아끼; 자따니마사유끼
Original assignee: 이데이 노부유끼; 소니 가부시끼 가이샤
Priority date: 1993-08-11
Filing date: 1994-08-10
Publication date: 2002-06-20
Also published as: US6240207B1; DE69427622T2; KR950006651A; JP3282637B2; EP0644476A3; EP0644476B1; EP0644476A2; JPH0756679A; DE69427622D1

Abstract

펜을 이용하여 입력 태블릿 상에 입력하여 디스플레이부에 표시한 도형, 문자 등의 임의의 형상에 대하여 소정의 관계가 되도록 한다. 또한, 펜을 입력 태블릿 상에서 조작하여 제스처를 수기 입력함으로써, 디스플레이부에 이미 표시되어 있는 형상에 대하여 소정의 처리를 실행하여 그 표시 상태를 변경한다.

사용자는 펜을 입력 태블릿 상에서 조작함으로써 입력을 행한다. 그리고, 입력된 것이 제스처인지의 여부를 판정한다, 입력된 것이 제스처 커맨드라고 판정된 경우에는 표시되어 있는 선분은 임의의 상태로 신속하고 용이하게 변경된다. 즉, 대상 선분에 대하여 제스처를 입력하면 선분은 제스처에 대응하는 커맨드에 따라 재배열된다.

Description

수기 입력 표시 장치

본 발명은, 예를 들면 전자 수첩 장치, 휴대용 컴퓨터 등에 이용하기에 적합한 수기 입력 표시 방법에 관한 것이다.

최근, CAD 시스템이 발달하여 비교적 간단하게 임의의 도형 등을 입력할 수 있다. 이 CAS 시스템에서는, 예를 들면 마우스나 펜 등을 이용하여 임의의 형상의 도형을 그리면, 그 입력에 대응하는 도형이 모니터에 표시된다. 그리고, 예를 들면 복수의 선분을 입력한 후, 이 선분의 표시 상태를 변경하려면 소정의 파리메터를 지정하도록 하고 있다.

예를 들면, 종방향으로 긴 복수의 선분의 상단을 수평으로 정렬하여 표시시키는 경우, 다음과 같은 파라메터를 입력한다.

(1) 대상이 되는 선분을 지정한다.

(2) 대상이 되는 각 선분의 기준점을 지정한다.

(3) 대상이 되는 각 선분의 기준점이 정렬해야 할 직선을 입력한다.

(4) 기준점의 간격 조정의 유무를 지정한다.

(5) 정렬 후의 양단의 기준점의 위치를 지정한다.

(6) 대상이 되는 선분의 이동 방법을 지정한다(예를 들면, 선분을 y 축 방향으로 이동시킬 것인지, 또는 선분의 방향으로 이동시킬 것인지를 지정한다).

또한, 메뉴 조작으로 소정의 모드를 선택하여 각 선분의 처리를 종합하여 지정한다.

그렇지만, 상술한 파라메터를 지정하는 방법은 조작 수순이 길고, 처리에 시간이 걸리는 문제가 있었다. 또한, 파라메터를 지정할 때에는 수치를 입력하는 등의 방법으로 행하기 때문에 직감적으로 행할 수 없어서 조작성이 나쁜 문제가 있었다.

또한, 메뉴 조작에 의한 방법은 다음과 같은 결점을 갖고 있다.

(1) 임의의 점이나 임의의 방향을 고속으로 지정하는 것이 곤란하다.

(2) 기존 선분의 특징량(예를 들면, 그 선분 상의 임의의 점이나 그 선분의 방향 또는 길이)을 간단하게 이용하는 것이 곤란하다.

(3) 특징량의 지정에 수치 입력을 사용한 경우, 직감적인 입력이 곤란해 진다.

본 발명은 이와 같은 상황을 감안하여 이루어진 것으로, 보다 신속하고 간편하게 형상의 입력 처리를 행할 수 있도록 하는 것이다.

본 발명의 수기 입력 표시 장치는 복수의 선분을 표시하고, 선분에 대하여 소정의 관계가 되도록 제스처를 입력하며, 제스처에 대응하여, 선분의 표시 상태를 변경하는 것을 특징으로 한다.

또한, 본 발명의 수기 입력 표시 장치는 복수의 형상을 표시하고, 형상에 대하여 소정의 관계가 되도록 제스처를 입력하며, 제스처의 특징량을 검출하여 제스처의 특징량에 대응하여 형상의 표시 상태를 변경하는 것을 특징으로 한다.

이 제스처에는 수기 입력된 문자를 포함시킬 수 있다 또한, 이 제스처에 의해 문자를 정렬시키도록 할 수 있다.

본 발명의 수기 입력 표시 장치에 있어서는 제스처를 선분에 대하여 소정의 관계가 되도록 입력하면, 이 제스처에 대응하여 선분의 간격이 정렬되는 등, 표시 상태가 변경된다. 따라서, 간단하고 신속하게 선분의 표시 상태를 변경할 수 있다.

본 발명의 수기 입력 표시 장치에 있어서는 문자, 도형 등의 형상에 대하여소정의 관계가 되도록 제스처를 입력하면, 이 제스처의 특징량에 대응하여, 예를 들면 그 제스처의 입력 위치에 형상이 등간격으로 정렬된다. 따라서, 간단하고 신속하게 형상의 표시 상테를 변경하는 것이 가능해 진다.

제1도는 본 발명의 수기 입력 표시 방법을 운용한 장치의 일실시예의 구성을 도시한 블럭도이다. CPU(1)은 ROM(2)에 기억되어 있는 프로그램에 따라 각부를 제어하여 문자 입력 표시 동작을 실행하게 되어 있다. RAH(3)에는 필요에 따라 소정의 데이타 등이 기억된다. 백업 RAM(4)에는 밧데리(5)로부터 항상 소정의 전력이 공급되고 있어서 장치의 전원을 오프한 경우에도 기억하여 두고 싶은 정보를 기억하도록 되어 있다. 타이머(6)은 수정 발진자(7)을 기준으로 하여 밧데리(5)로 항시 동작하게 되어 있다.

디스플레이 콘트롤러(11)은 버스 라인(8)을 통하여 입력되는 데이타를 V-RAM(12)에 전개하고 그곳에 전개된 화상을 디스플레이부(13)에 표시시키게 되어있다. 입력 태블릿(tablet)(15)은 펜(16)을 조작함으로써 입력된 좌표 위치 데이타를 태블릿 인터페이스(14)로 출력하고, 태블릿 인터페이스(14)는 이 데이타를 버스 라인 (8)을 통하여 CPU(1) 또는 디스플레이 콘트롤러(11)로 출력하게 되어 있다.

마이크(18)은 집음(集音)된 음성 신호를 고체 녹음 처리 회로(17)로 출력하여 기억시키게 되어 있다. 또한, 고체 녹음 처리 회로(17)이 출력한 음성 신호는 가산기(20)을 통하여 스피커(21)에 공급되어 방음(放音)되도록 되어 있다 다이얼러(19)는 CPU(1)로 제어되고, 소정의 다이얼 신호를 가산기(20)을 통하여 스피커(21)로 출력하게 되어 있다.

복수의 키 스위치군(22)는 장치의 동작을 전환할 때 조작되고, 그 조작에 대응하는 신호가 키 인터페이스(23)에서 버스 라인(8)을 통하여 CPU(1)로 출력되도록되어 있다. 또한, 복수의 키 스위치군(24)의 소정의 것을 조작함으로써 전원 회로(25)를 온하여 각 부에 전력을 공급시키게 하기도 하고, 고체 녹음 처리 회로(17)에의한 녹음, 재생, 정지, 음량 조정 등을 실행할 수 있게 되어 있다.

또한, 소켓(26)에는 도시되어 있지 않은 IC 카드를 삽입할 수 있게 되어 있고, IC 카드 인터페이스(27)은 이 IC 카드에 대하여 데이타를 수수하게 되어 있다.

핀 커넥터(29)에는 예를 들면, 모뎀 등을 접속할 수 있고, 확장용 인터페이스(28)과 그 모뎀을 통하여 신호를 수수할 수 있게 되어 있다.

또, 입력 태블릿(15)은 투명한 재질로 구성되고 디스플레이부(13)의 위에 형성되어 있다. 그 결과, 디스플레이부(13)의 표시가 입력 태블릿(15)를 통하여 볼 수있도록 되어 있다.

다음에, 제1도에 도시한 실시예의 동작에 대하여 설명하는데, 그 전에, CPU(1)이 행하는 처리를 기능 블럭으로 종합하여, 제2도와 제3도를 참조하여 설명한다. 이 CPU(1)은 후술하는 바와 같이, 제4도 내지 제8도의 플로우차트로 도시한 처리를 실행하는 것인데, 제2도의 기능 블럭은 이들 중 제4도 내지 제6도의 플로우차트로 도시한 제스처를 판별하는 처리에 관한 기능 블럭을 나타내고 있고, 제3도의 기능 블럭은 제7도 및 제8도에 도시한 제스처에 대응하는 처리를 실행하는 기능 블럭을 나타내고 있다.

본 실시예에서는 표시되어 있는 선분에 대하여 소정의 관계가 되도록 제스처를 입력함으로써, 그 선분의 표시 상태를 변경하도록 하는 것이지만, 이들 기능 블럭중, 각 기억부와 데이타 베이스는 제1도에서의 RAM(3) 또는 ROM(2)에 형성되는 것이고, 그 이외의 부근은 CPU(1)의 내부에 형성되는 것이다.

펜(16)을 조작하여 입력 태블릿(15) 상에 소정 형상의 제스처를 입력하면, 입력 태블릿(15)에 의해 검출된 그 좌표 데이타가 태블릿 인터페이스(14)를 통하여 CPU(1)에 입력된다. CPU(1)은 이 데이타를 입력 필적 기억부(51)에 공급하여 기억시킨다. 입력된 제스처가 1 화면이 아닌 복수 화면에 의해 구성되는 경우, 제스처를 구성하는 전체의 화면이 입력될 때까지의 도중의 데이타는 복수 화면 필적 기억부(52)에 기억된다.

필적 특징량 추출부(53)은 입력 필적 기억부(51)에 기억된 필적으로부터 그특징량을 추출한다. 이 특징량은 예를 들면, 선분의 직선 부분의 방향이나 길이, 원호의 반경이나 중심각, 모서리(정점)의 수나 루프의 수 등이고, 1 화면 제스처 데이타 베이스(57)이나 복수 화면 제스처 데이타 베이스(58)에 기억되어 있는 제스처의 특징량과 동일한 것이다.

필적 특징량 추출부(53)에 의해 추출된 특징량은 입력 필적 측징량 기억부(54)에 공급되어 기억된다. 또한, 복수 화면의 제스처가 입력되어 있는 경우에서의 전체 화면이 입력될 때까지의 도중의 특징량은 복수 화면 필적 특징량 기억부(55)에 공급되어 기억된다.

필적 비교부(56)은 이와 같이 하여, 입력 필적 특징량 기억부(54) 또는 복수화면 특징량 기억부(55)에 기억된 제스처의 특징량을 1 화면 제스처 데이타베이스(57)에 기억되어 있는 1 화면 제스처 특징량과 비교한다. 이 1 화면 제스처 데이타베이스(57)은 1 화면으로 구성되는 제스처 커맨드(1 화면 제스처)의 식별 번호와 특징량, 처리 대상 선분의 검색 방법, 실행하는 처리 방법의 조합을 1개의 요소로 하는 데이타 베이스로 되어 있다.

필적 비교부(56)은 입력 필적 특징량 기억부(54)에 기억된 특징량과, 1 화면제스처 데이타 베이스(57)에 기억되어 있는 특징량을 비교하여 입력 필적의 유사도를 구한다. 후보 변경부(61)은 필적 비교부(56)해서 공급된 입력 필적의 유사도를 미리 설정되어 있는 기준치와 비교하여 그 유사도가 기준치보다 클 때, 입력 필적은 제스처인 것으로 하고, 그 제스처 번호와 유사도를 완성 제스처 후보 리스트 기억부(62)에 공급하여 기억시킨다.

한편, 복수 화면 제스처 데이타 베이스(58)은 복수 화면 제스처의 식별 번호와 제스처를 구성하는 화면의 화면수, 각 화면의 특징량, 화면 사이의 특징량(예를 들면 위치 관계), 처리 대상 선분의 검색 방법, 실행하는 처리 방법의 조합을 요소로 하는 데이타 베이스로 되어 있다. 대상 화면 선택부(59)는 이 복수 화면제스처 데이타 베이스(58)에 기억되어 있는 소정의 복수 화면 제스처를 선택함과 동시에, 그중 하나의 화면을 비교 대상으로서 선택하여 필적 비교기(56)에 공급한다. 필적 비교기(56)은 이 비교 대상과 입력 필적 특징량 기억부(54)에서 공급된 입력 필적의 1 화면의 특징량을 비교하여 양자의 유사도를 구한다. 후보 변경부(61)은 그 유사도가 미리 설정된 기준치보다 클 때, 그 유사도를 그 제스처의 득점으로서 복수 화면제스처 후보 리스트 기억부(60)에 공급하여 그 제스처 번호와 함께 기억시킨다.

대상 화면 선택부(59)는 복수 화면 제스처 후보 리스트 기억부(60)에 기억된 화면 이외에 그 제스처를 구성하는 다른 화면이 존재하는 경우, 그 화면을 복수 화면 제스처 데이타 베이스(58)에서 판독하고, 이것을 비교 대상으로 하여 필적 비교부(56)에 공급한다.

다음에 필적 비교부(56)은 이와 같이 하여 입력된 비교 대상을 입력 필적 특징량 기억부(54)에서 공급되는 입력 필적의 특징량과 비교하여 그 유사도를 구한다. 후보 변경부(61)은 새롭게 입력된 유사도가 미리 설정된 기준치보다 클 경우, 그 유사도와 전회(前回)의 입력 필적의 유사도(제스처의 득점)를 예를 들면 평균하고, 이것을 제스처의 새로운 득점으로서 갱신한다.

이상과 같이 하여, 후보 변경부(61)에서 기준치 이상의 득점을 갖는 복수 화면의 제스처가 검출되었을 때, 그 제스처는 완성 제스처 후보 리스트 기억부(62)에 공급되어 기록된다.

또, 이상에 있어서는, 필적 비교부(56)에서 입력 필적이 1 화면 입력될 때마다 비교를 행하도록 하였지만, 복수 화면 제스처인 경우, 종합하여 비교하도록 할 수도 있다. 또한, 1 화면의 입력 필적에 대하여 복수의 화면을 차례로 선택하여 가장유사도가 높은 화면을 선택하도록 할 수도 있다.

한편, 이상과 같이 하여, 완성 제스처 후보 리스트 기억부(62)에 제스처가 기억되면, 제3도에 도시한 기능 블럭에서 그 제스처에 대응하는 처리가 실행된다.

이 기능 블럭에 있어서, 완성 제스처 후보 리스트 기억부(73)은 제2도에서완성 제스처 후보 리스트 기억부(62)에 대응하여 있고, 제스처 데이타 베이스(72)는 제2도에서의 1 화면 제스처 데이타 베이스(57)과 복수 화면 제스처 데이타 베이스(58)에 대응되어 있고, 또한 필적 특징량 기억부(74)는 제2도에서의 입력 필적 특징량기억부(54)와 복수 화면 필적 특징량 기억부(55)에 대응되어 있다.

처리 결정부(75)는 완성 제스처 후보 리스트 기억부(73)에 기억된 제스처에 대응하는 대상 선분 검색 방법, 대상 선분 특징량 추출 방법, 대상 선분 처리 방법등의 데이타를 제스처 데이타 베이스(72)에서 판독해냄과 동시에, 필적 특징량 기억부(74)로부터 입력된 제스처의 특징량을 판독한다. 그리고, 이들 데이타에 대응하여 처리를 결정하여 대상 선분 검색부(77), 특징량 추출부(79) 및 선분 처리부(81)을 제어한다.

기존 선분 리스트 기억부(76)에는 제스처 이외의 이미 입력되어 있는 선분(처리 대상이 되는 선분 등)의 데이타가 기억되어 있다. 대상 선분 검색부(77)은 처리 결정부(75)로부터의 제어에 대응하여 기존 선분 리스트 기억부(76)에 기억되어 있는 선분 중에서 처리 대상이 되는 선분을 검색하고, 검색 결과를 대상 선분 리스트 기억부(78)에 공급하여 기억시킨다.

또한, 특징량 추출부(79)는 처리 결정부(75)의 제어에 대응하여 대상 선분 리스트 기억부(78)에 기억된 대상 선분의 특징량을 추출하고, 그 추출 결과를 선분 특징량 기억부(80)에 공급하여 기억시킨다. 선분 처리부(81)은 처리 결정부(75)의 제어에 대응하여 선분 특징량 기억부(80)에 기억된 처리 대상으로 되어 있는 선분의 특징량을 처리하고, 그 선분의 표시 상태를 변경하기 위한 데이타를 생성한다.그리고, 그 데이타는 처리후 선분 기억부(82)로 공급되어 기억된다.

이 처리후 선분 기억부(82)에 기억된 데이타가 판독되어 디스플레이 콘트롤러(11)를 통하여 V-RAM(12)에 공급되어 비트맵 데이타로서 전개된다. 그리고, 이 데이타가 디스플레이 콘트롤러(11)에 의해 판독되어 디스플레이부(12)로 출력되어 표시된다.

다음에 제4도 내지 제8도를 참조하여, 펜(16)을 이용하여 입력 태블릿(15) 상에 입력하여 디스플레이부(13)에 표시한 도형, 문자 등의 임의의 형상에 대하여 소정의 관계가 되도록, 또한 펜(16)을 입력 태블릿(15) 상에서 조작하여 제스처를 수기입력하고, 디스플레이부(13)에 이미 표시되어 있는 형상에 대하여 소정의 처리를 실행하여, 그 표시 상태를 변경하는 경우의 기본적인 처리에 대하여 설명한다. 상술한 바와 같이, 제4도 내지 제6도는 입력된 것이 제스처인지의 여부를 판정하기 위한 처리이고, 제7도 및 제8도의 처리는 입력된 제스처에 대응하는 처리를 실행하는 것이다.

최초에 제4도의 스텝(S1)에서 사용자는 펜(16)을 입력 태블릿(15) 상에서 조작함으로써 1 화면의 입력을 행한다. 그리고, 그 이후의 스텝(S2 내지 S49)의 처리를 행하여 입력된 것이 제스처인지의 여부를 판정한다. 입력된 것이 제스처가 아닐경우, 제7도의 스텝(S61)에서 완성 제스처 후보 리스트 기억부(62)에 후보가 기억되어 있지 않다라고 판정되고, 또한 스텝(S62)에서 복수 화면 제스처 후보 리스트 기억부(60)에도 후보가 기억되어 있지 않다라고 판정되어 처리가 종료된다.

입력된 것이 제스처 커맨드라고 판정된 경우에 있어서는 완성 제스처 후보리스트 기억부(62)에 후보가 존재하게 되고, 제7도의 스텝(S65) 이후의 처리가 실행된다.

입력된 것이 제스처인지의 여부를 판정하기 위하여, 스텝(S2)에서, 스텝(S1)에서 입력된 입력 필적의 특징량이 필적 특징량 추출부(53)에서 추출되고, 입력 필적 특징량 기억부(54)에 기억된다. 그리고 스텝(S3)으로 진행하여 완성 제스처 후보리스트 기억부(62)의 리스트의 초기화가 행해진다. 상술한 바와 같이, 이 완성 제스처 후보 리스트에는 최종적으로 제스처라고 판정된 것(득점이 높은 것)이 등록된다. 이 초기화에 의해, 예를 들면 득점을 "0"으로 하는 등으로 하여, 대응하는 제스처 번호를 미처리를 나타내는 번호(예를 들면 "0"이나 "-1")로 초기 설정한다.

다음에 스텝(S4)로 진행하여 복수 화면 제스처 후보 리스트에 후보가 존재하는지의 여부가 판정된다. 상술한 바화 같이, 이 복수 화면 제스처 후걸 리스트에는 복수 화면의 제스처가 입력되어 있는 경우에 이미 입력된 화면이 기억된다. 따라서, 초기의 입력인 경우, 복수 화면 제스처 후보 리스트에는 또한 후보가 등록되어 있지 않게 된다. 이 경우는, 스텝(S21)로 진행하여 1 화면 제스처가 데이타 베이스중에 존재하는지의 여부가 판정된다.

제스처가 전체 복수 화면의 제스처에 의해 구성되어 있는 경우, 1 화면 제스처의 입력은 행해지지 않게 된다. 즉, 이경우에 있어서는, 데이타 베이스 중에 1 화면 제스처 데이타 베이스(57)이 존재하지 않게 된다. 그래서 이 경우에는 스텝(S21)에서 스텝(S41)로 진행하여 복수 화면 제스처가 데이타 베이스 중에 존재하는지의 여부를 판정한다. 1 화면 제스처 데이타 베이스(57)이 존재하지 않는 경우, 전체의 제스처가 복수 화면 제스처에 의해 구성되어지기 때문에, 이 복수 화면 제스처 데이타 베이스(58)가 데이타 베이스 중에 존재하게 된다. 그래서, 이 경우에는 스텝(S41)에서 스텝(S42 내지 S49)로 진행하여 입력된 것이 복수 화면 제스처인지 여부의 판정 처리를 행한다.

이에 대하여, 제스처는 전체 1 화면의 제스처인 경우, 데이타 베이스에는 1 화면의 제스처가 미리 등록되어 있을 것이다. 그래서 이 경우에는 스텝(S21)에서 스텝(S22 내지 S28)로 진행하여, 입력된 필적이 1 차면 제스처인지 여부의 판정 처리를 행하는 것이다.

제스처가 1 화면 제스처와 복수 화면 제스처의 양쪽에 의해 구성되어 있는 경우, 1 화면 제스처 데이타 베이스(57)와 복수 화면 제스처 데이타 베이스(58)의 양쪽이 존재할 것이다. 이 경우, 이 스텝(S22 내지 S28)의 처리와 스텝(S42 내지 S49)의 처리가 필요에 따라 행해지게 된다.

1 화면 제스처를 복수 화면 제스처의 한 종류로서 처리하는 것도 논리적으로는 가능하지만, 그와 같이 하면 판정 처리가 복잡해 진다. 그래서 실시예와 같이 양자를 구별하여 처리하는 것이 바람직하다.

제4도로 돌아가서, 스텝(S4)에서 복수 화면 제스처 후보 리스트에 후보가 기억되어 있다고 판정된 경우, 즉 제2 화면째 이후의 입력 필적인 경우, 스텝(S5)로 진행하여, 복수 화면 제스처 후보 리스트 중 선두 후보가 최초의 검토 대상으로서 선택된다. 다음에 스텝(S6)으로 진행하여 스텝(S5)에서 선택된 검토 대상 후보의 복수 화면의 제스처 중, 소정의 1 화면이 예상 입력 화면으로서 비교 대상으로 선택된다.

다음에 스텝(S7)로 진행하여 스텝(S6)에서 선택된 비교 대상과 지금 입력된 입력 필체와의 유사도를 필적 비교부(56)에서 구한다. 그리고 스텝(S8)에서 스텝(S7)에서 구한 유사도에 대응하여 제스처 후보의 득점을 수정한다. 즉, 상술한 바와같이, 복수 화면의 입력 필적 중, 각 입력 필적의 유사도를 평균화하여 그 평균치를 그 제스처의 득점으로 하는 경우, 미리 입력되어 있는 입력 필적의 유사도와 지금입력된 입력 필적의 유사도와의 평균치가 연산되어 새롭게 구해진 평균치가 그 제스처의 득점으로서 수정(설정)된다.

이 득점은 상술한 평균 등의 통계량을 이용하는 것 외에, 퍼지 연산 등을 이용하여 연산할 수 있다.

다음에 스텝(S9)로 진행하여 스텝(S8)에서 구해진 득점이 미리 실정되어 있는 기준치보다도 큰지의 여부가 후보 변경부(61)에서 판정된다. 득점이 기준치보다도 큰 경우, 스텝(S11)로 진행하여 제스처가 완성되었는지의 여부가 판정된다. 즉, 지금 복수 화면의 제스처가 입력되어 있고, 예를 들면 이 복수 화면의 제스처가 3 화면으로 구성되는 경우, 제3 화면째의 입력이 행해졌을 때 제스처가 완성되게 된다. 그래서 이 경우에는 스텝(S12)로 진행하여 완성 제스처 후보 리스트 기억부(62)의 리스트에 그 제스처를 등록한다.

스텝(S11)에서 제스처가 또한 완성되어 있지 않다고 판정된 경우, 스텝(S13)으로 진행하여 복수 화면 제스처 후보 리스트에 다음의 제스처 후보가 존재하는지 여 여부가 판정된다 [스텝(S3)에서 그 득점을 초기화한 채 제스처 후보가 존재하는지의 여부가 판정된다]. 복수 화면의 제스처가 아직 완성되어 있지 않은 경우, 다음의 제스처 후보가 계속 존재하게 된다. 그래서 이 경우에는 스텝(S14)로 진행하여 검토 대상을 다음의 제스처 후보로 변경한다. 스텝(S12)에서 완성된 제스처를 완성제스처 후보로 등록한 후, 스텝(S13)에서 다음의 제스처 후보가 존재한다고 판정된 경우도 마찬가지이다. 그리고 스텝(S14)의 다음에 스텝(S6)으로 되돌아가서 스텝(S14)에서 검토 대상으로 했던 예측 입력 화면을 비교 대상으로 하여 동일한 처리를 반복한다.

또한, 스텝(S9)에서 제스처 후보의 득점이 기준치보다 작다고 판정된 경우, 스텝(S10)으로 진행하여 그 제스처 후보를 복수 화면 제스처 후보 리스트로부터 제거한다. 즉 이 경우에는 지금 입력된 것이지만, 그 제스처를 입력하기 위한 것은 아니다라는 점이다.

스텝(S13)에서 복수 화면 제스처 후보 리스트에 다음의 제스처 후보가 존재하지 않는다고 판정된 경우 스텝(S21)로 진행한다.

제5도에서의 스텝(S21)에서는 상술한 바와 같이, 1 화면 제스처가 데이타 베이스 중에 존재하는지의 여부를 판정한다, 그리고, 여기에서 "예"라고 판정이 행해진 경우에는 스텝(S22)로 진행하여 비교 대상을 1 화면 제스처 데이타 베이스(57)에 기억되어 있는 제스처의 선두 제스처로 설정한다. 그리고 스텝(S23)에서, 스텝(S22)에서 설정한 비교 대상의 1 화면 제스처와 지금 입력된 필적과의 유사도를 연산한다. 스텝(S24)에서는 이와 같이 하여 연산된 유사도가 그 1 화면 제스처의 득점으로서 설정된다.

스텝(S25)에서는 스텝(S24)에서 설정된 제스처의 득점(유사도)가 미리 설정된 기준치와 비교되어 이 득점이 기준치보다도 큰 경우, 스텝(S26)으로 진행하여 완성제스처 후보 리스트에 등록된다.

스텝(S25)에서 득점이 기준치보다도 작다고 판정된 경우, 또는 스텝(S26)에서 와성 제스처 후보 리스트로의 등록이 완료된 후, 스텝(S27)로 진행하여 1 화면 제스처 데이타 베이스(57) 중에 다음의 제스처(득점을 구하고 있지 않는 제스처)가 존재하는지의 여부를 판정한다. 다음의 제스처가 존재하는 경우, 스텝(S28)로 진행하고, 비교 대상이 다음의 제스처로 변경된다 그리고 스텝(S23)으로 되돌아가서 새롭게 비교 대상이 된 제스처와 입력 필적과의 유사도가 구해지고, 동일한 처리가 반복된다.

스텝(S27)에서 1 화면 제스처 데이타 베이스(57) 중에 다음의 제스처가 존재하지 않는다고 판정된 경우 스텝(S41)로 진행한다.

제6도의 스텝(S41)에서는 복수 화면 제스처가 데이타 베이스 중에 존재하는지의 여부를 판정하여 존재한다고 판정된 경우, 스텝(S42)로 진행하여 입력 필적과 비교되는 검토 대상이 복수 화면 제스처 데이타 베이스(58) 중의 선두 제스처로 설정된다. 그리고 스텝(S43)으로 진행하여 검토 대상이 된 제스처의 소정의 1 화면이 예상 제1 화면이 되어 비교 대상이 된다.

다음에 스텝(S44)로 진행하여 입력 필적과 스텝(S43)에서 설정한 비교 대상과의 유사도가 연산된다. 연산에 의해 구해진 유사도는 스텝(S45)에서 그 제스처의 득점이 된다. 스텝(S46)에서는 스텝(S45)에서 구해진 제스처의 득점(규사도)가 기준치보다 큰지의 여부가 판정되고 기준치보다 크다고 판정된 경우, 복수 화면 제스처의 후보로서 복수 화면 제스처 후보 리스트 기억부(60)의 리스트에 기억된다.

스텝(S46)에서 유사도가 기준치보다도 적다고 판정된 경우 또는 스텝(S47)에서의 복수 화면 제스처 후보 리스트로의 등록이 완료된 경우, 스텝(S48)로 진행하여 복수 화면 제스처 데이타 베이스(58) 중에 다음의 제스처(득점을 갱신하고 있지 않은 제스처)가 존재하는지의 여부가 판정된다. 다음의 제스처가 존재하는 경우, 스텝(S49)로 진행하여 검토 대상이 다음의 제스처로 설정된다. 그리고 스텝(S43)으로 되돌아가서 그 검토 대상의 예상 제1 화면이 비교 대상이 되어, 입력 필적과의 비교 처리가 상술한 경우와 동일하게 반복 실행된다.

스텝(S48)에서 복수 화면 제스처 데이타 베이스(58) 중에 다음의 제스처가 존재하지 않는다고 판정된 경우, 제7도의 스텝(S61)로 진행한다.

이상의 처리에 따라, 입력된 것이 제스처인지의 여부가 판정되게 된다. 입력된 것이 제스처인 경우, 완성 제스처 후보 리스트 중에 후보로서 기술되어 있다. 이 경우는 스텝(S65)로 진행하여 그 이후의 처리가 실행된다.

입력된 것이 제스처가 아닌 경우에 있어서는 완성 제스처 후보 리스트에 후보가 존재하지 않게 된다. 그래서 이 경우에는 스텝(S62)로 진행하여 복수 화면 제스처 후보가 존재하는지의 여부를 판정한다. 입력된 것이 제스처가 아니라면, 복수화면 제스처 후보 리스트에도 데이타가 존재하지 않게 된다. 그래서, 이 경우에는 처리를 종료한다.

한편, 복수 화면 제스처 입력 도중에는, 스텝(S61)에서 완성 제스처 후보 리스트에 후보가 존재하지 않는다라고 판정된다. 단, 이 경우 스텝(S62)에서 복수 화면 제스처 후보 리스트에 후보가 존재한다라고 판정된다. 그래서 스텝(S63)으로 진행하여 복수 화면 제스처 후보 리스트 기억부(60)에서 입력 필적이 복수 화면 필적에 추가된다. 그리고 스텝(S64)로 진행하여 복수 하면 필적 특징량 기억부(55)에서 입력 특징량을 복수 화면 특징량에 추가한다. 그리고 재차 스텝(S1)로 되돌아가서 새롭게 입력전 입력 필적에 대하여 상술한 경우와 동일한 처리가 반복된다.

스텝(S65) 이후에서는 입력된 제스처에 대응하는 커맨드가 실행된다. 즉, 스텝(S65)에서는 완성 제스처 후보 리스트 기억부(62)의 리스트 중에 기억되어 있는 후보 중에서 최고 득점한 것이 선택된다. 다음에 스텝(S66)으로 진행하여 이미 입력되어 디스플레이부(13)에 표시되어 있는 선분의 데이타를 변경하는데에 있어서 필요한 제스처의 필적의 특징량이 검출된다. 필요한 특징량은 제스처 데이타 베이스(72)로부터 얻을 수 있다.

다음에 스텝(S67)로 진행하여 제스처가 처리 대상으로 하는 선분의 리스트가 초기화 된다. 그리고 스텝(S68)로 진행하여 스텝(S66)에서 구해진 제스처의 특징량(파라메터)를 이용하여 처리 대상이 되는 선분이 검색된다. 처리 대상의 검색 방법은 제스처 데이타 베이스(72)에 기억되어 있다.

다음에 스텝(S69)에서, 스텝(S68)에서의 검색 결과, 처리 대상이 되는 선분이 검색되었는지의 여부가 판정된다. 처리 대상이 되는 선분이 검색되어 있지 않은 경우 스텝(S70)으로 진행하여 완성 제스처 후보 리스트에 다른 후보가 존재하는지의 여부가 판정되고, 다른 후보가 존재하는 경우 스텝(S71)로 진행하여 다음으로득점이 높은 후보가 선택된다. 그리고 스텝(S66)으로 되돌아가서 그 후보의 커맨드를 실행하는데에 있어서 필요한 특징량이 추출되고, 그 이후 처리가 동일하게 반복된다.

스텝(S70)에서 완성 제스처 후보 리스트에 다른 후보가 존재하지 않는다고 판정된 경우에는 스텝(S62)로 되돌아가서 복수 화면 제스처 후보 리스트 중에 후보가 존재하는지의 여부를 판정한다. 그리고, 그 판정 결과에 대응하여 그 이후의 처리가 동일하게 실행된다.

이와 같이, 스텝(S70)에서 스텝(S62)로 되돌아가서, 그 이후의 처리를 반복하는 것은 복수 화면 제스처의 입력중이라고 간주할것인지 말것인지의 확인을 행하기 위함이다.

스텝(S69)에서 제스처의 처리 대상이 되는 선분이 검색되었다고 판정된 경우 제8도의 스텝(S81)로 진행한다.

스텝(S81)에서는 처리의 대상이 되는 선분의 특징량(파라메터)가 확인된다. 필요한 특징량을 제스처 데이타 베이스(72)로부터 알 수 있다. 스텝(S82)에서는 제스처 데이타 베이스(73)에 기억되어 있는 처리 내용과 제스처의 특징량, 대상 선분의 특징량을 이용하여 처리 후의 선분 데이타가 연산된다. 그리고, 구해진 데이타가 처리후 선분 기억부(82)에 기억된다.

다음에 스텝(S83)으로 진행하여 제스처에 대응하는 처리를 실행 가능한지의 여부의 확인을 행한다. 예를 들면, 제스처 커맨드를 실행한 경우의 변화를 색을 변화하여 표시하는 등으로 하여 사용자에게 알리고, 실행해서 좋은지의 여부의 확인을 사용자에 대하여 행한다. 구체적인 확인 방법으로서는, 디스플레이부(13)에 예/아니오에 대응하는 영역을 표시하고, 펜(16)으로 어느쪽인가를 터치시키는 것을 고려할 수 있다. 사용자가 실행을 거부한 경우에 있어서는 스텝(S70)으로 되돌아가서 별도의 제스처의 확인 처리를 행한다.

사용자가 제스처의 실행을 허가한 경우, 스텝(S84)로 진행하여 제스처의 필적을 소거시킨다. 예를 들면, 제스처 후보로 구성하는 필적 번호를 추가시키는 등의 처리를 부가함으로써, 복수 화면 제스처 입력 중에 제스처와는 관계가 없는 필적의 입력을 허용하는 경우에는 확정된 제스처 커맨드를 구성하는 필적만을 소거하도록 한다.

다음에 스텝(S85)에서, 선분 데이타를 스텝(S82)에서 연산한 데이타로 변경한다. 구체적으로는 기존 선분 리스트 기억부(76)에서 대상 선분 리스트 기억부(78)에 기억된 처리 대상 선분의 데이타를 제거하고, 처리후 선분 기억부(82)에 기억되어 있는 변경후의 선분의 데이타를 추가하는 등의 처리를 행한다. 이에 따라, 이미 입력되어 표시되어 있던 선분이 입력된 제스처에 대응하는 표시 상태로 변경되게 된다.

다음에 스텝(S86 내지 S88)에서 복수 화면 제스처 후보 리스트 기억부(60)의 리스트, 복수 화면 필적 기억부(52)의 복수 화면 필적 데이타 및 복수 화면 필적 틀징량 기억부(55)의 복수 화면 필적 특징량의 데이타를 초기화한다.

상술한 경우와 같이, 제스처 후보로 구성하는 필적 번호를 추가시키는 등에 의해 복수 화면 제스처 입력 중에 관계없는 필적의 표시를 허용하는 경우에는 확정된 제스처 커맨드를 구성하는 필적을 포함하는 후보만을 제거한다. 이 경우, 예를들면 입력 중의 복수 화면 제스처를 전부 무효로 하는 제스처 커맨드를 준비함으로써 제스처 입력 모드에서 누락시킬 수도 있다.

또한, 제8도의 스텝(S88)의 처리 후 제스처 입력 종료시, 제스처 커맨드 입력모드에서 도형 입력 모드로 자동적으로 변경하도록 할 수 있다.

이상의 제4도 내지 제8도의 플로우차트에 도시한 처리는 기본적인 처리이다. 이러한 처리는 구체적인 제스처에 대응하여 약간 다르다. 이하에, 이 다른 부분에 대하여 설명한다.

제9도 내지 제13도는 이미 입력 표시되어 있는 선분을 등간격으로 정렬시키는 경우의 제스처의 표시예를 나타내고 있다. 이와 같은 처리를 행하려면, 제4도 내지 제8도에 도시한 처리 중, 스텝(S66)은 제14도에 도시한 바와 같이, 스텝(S68)은 제15도에 도시한 바와 같이, 스텝(S81)은 제16도에 도시한 바와 같이, 스텝(S82)는 제17도에 도시한 바와 같이 각각 행해진다.

제9도에 도시한 바와 같이, 본 실시예의 경우 3개의 직선(L₁, L₂, L₃)가 서로 평행하게, 그 간격이 다르게, 거의 상하 방향으로 연장되도록 표시되어 있다. 또, 이 직선(L₁내지 L₃)와 소정의 각도를 이루도록, 직선(L₁₁)이 직선(L₁)의 좌측에 거의 수평에 가까운 상태로 표시되어 있다. 또한 마찬가지로, 직선(L₁₂)가 직선(L₃)의 우측으로 소정의 각도를 이루도록 거의 수평에 가까운 상태로 표시되어 있다.

사용자는 지금 3개의 직선(L₁, L₂, L₃)의 표시 상태를 등간격의 표시 상태로변경시키려고 한다. 이 경우, 사용자는 제9도에 도시한 바와 같이, 펜(16)으로 반원형상의 도형이 2개 연속하는 제스처(S₁)을 입력한다. 제스처(S₁)의 시점은 Q_1s가 되고 종점은 Q_1e가 된다.

스텝(S66)의 처리는 제스처의 필적의 특징량을 추출하는 처리이다. 본 실시예의 경우, 특징량으로서 제14도에 도시한 바와 같이, 스텝(S101)에서 제스처(입력필적 ; S₁)의 시점(Q_1s)와 종점(Q_1e)의 좌표가 받아들여 진다. 그리고 스텝(S102)에서 제10도에 도시한 바와 같이, 시점(Q_1s)과 종점(Q_1e)를 포함하는 직선(L_s1)이 추출된다.

한편, 제7도의 스텝(S68)은 제스처 커맨드의 처리 대상이 되는 선분을 검색하는 처리이지만, 이 처리는 제15도에 도시한 바와 같이 행해진다. 즉, 최초에 스텝(S111)에서 처리 대상이 기존 선분 리스트 기억부(76)의 리스트의 선두의 선분(L_i)로 설정된다. 예를 들면, 이제 L_i= L₁이 된다. 다음에 스텝(S112)로 진행하여 스텝(S111)에서 설정한 선분(L_i)의 데이타가 존재하는지의 여부가 판정된다.

이 데이타가 존재하는 경우, 스텝(S113)으로 진행하여 이 선분(L_i)가 제스처(S₁)과 교차하고 있는지의 여부가 판정된다. 선분(L_i)가 제스처(S₁)과 교차하고 있는 경우, 스텝(S114)로 진행하여 선분(L_i)과 직선(L_s1)의 이루는 각도가 미리 설정된 기준치 이상인지의 여부가 판정된다. 즉, 선분(L_i)와 제스처(S₁)의 이루는각도가 기준치보다 작은 경우에는 이 선분(L_i)는 처리 대상에서 제외되게 된다. 양자의 각도가 기준치 이상인 경우에는 스텝(S115)로 진행하여 이 선분(L_i)가 대상 선분 리스트 기억부(78)의 리스트에 등록된다.

다음에 스텝(S116)으로 진행하여 변수(i)가 1 만큼 증가되어 기존 선분 리스트 중의 다음 선분이 대상이 된다. 그리고 스텝(S112)로 되돌아가서 이 이후의 처리가 반복 실행된다. 스텝(S113)에서 선분(L_i)와 제스처(S₁)가 교차하고 있지 않다라고 판정된 경우 및 스텝(S114)에서 선분(L_i)과 직선(L_s1)의 이루는 각도가 기준치 미만이라고 판정된 경우에도 스텝(S116)으로 진행하여 대상이 다음 선분으로 이행된다.

본 실시예의 경우 제11도에 도시한 바와 같이, 3개의 직선(L₁내지 L₃)이 제스처(S₁)과 충분히 큰 각도로 교차하고 있기 때문에, 이 3개의 직선(L₁내지 L₃)가 처리 대상으로 판정되어 대상 선분 리스트로 기억된다.

한편, 제8도의 스텝(S81)은 대상 선분의 특징량을 확인하는 처리이지만, 본 실시예에서는 제16도에 도시한 바와 같이 행해진다. 최초에, 그 스텝(S121)에서 대상 선분 리스트의 선두의 선분(L_i)가 최초로 처리 대상이 된다. 다음에 스텝(S122)로 진행하여 선분(L_i)의 데이타가 존재하는지의 여부가 판정되고, 존재하는 경우, 스텝(Sl23)으로 진행하여 선분(L_i)와 직선(L_s1)과의 교정(P_i)가 구해진다.

다음에 스텝(Sl24)로 진행하여 교점(P_i)와 제스처(S₁)의 시점(Q_1s)와의 거리(D_i)가 구해진다. 그리고 다음에 스텝(S125)로 진행하여 변수(i)가 1 만큼 증가되어 대상으로 하는 선분이 다음의 선분으로 변경된다. 그리고 스텝(Sl22)로 되돌아가서동일한 처리가 반복된다.

스텝(S122)에서 선분(L_i)의 데이타가 존재하지 않는다고 판정된 경우, 스텝(S82)로 진행한다.

본 실시예의 경우 제12도에 도시한 바와 같이, 직선(L₁)과 직선(L_s1)과의 교점(P_i), 직선(L₂)와 직선(L_s1)과의 교점(P₂) 및 직선(L₃)와 직선(L_s1)과의 교점(P₃)가 구해지고, 각각 제스처(S₁)의 시점(Q_1s)에서 교점(P₁, P₂, P₃)까지의 거리(D₁, D₂, D₃)가 구해진다.

제8도의 스텝(S82)의 처리는 처리후의 선분 데이타의 연산을 행하는 처리이다. 이 처리는 본 실시예의 경우, 제17도에 도시한 바와 같이 실행된다. 즉, 최초에 스텝(Sl3l)에서 대상 선분 리스트에 등록되어 있는 선분의 수를 나타내는 변수(N)이 0 으로 세트된다. 다음에 스텝(Sl32)에서 대상 선분 리스트의 선두의 선분(L_i)가 처리 대상이 된다.

다음에 스텝(S133)으로 진행하여 선분(L_i)의 데이타가 존재하는지의 여부가 판정되어, 존재하는 경우, 또 스텝(S134)로 진행하여 변수(N)이 1 만큼 증가된다. 다음에 스텝(S135)으로 진행하여 변수(i)가 1 만큼 증가되고, 스텝(S133)으로 되돌아가서 동일한 처리가 반복된다. 즉, 이 처리에 의해 존재하는 선분의 수가 계수되어 변수(N)으로 세트된다.

스텝(S133)에서 선분(L_i)의 데이타가 존재하지 않는다(리스트 중의 선분을 전부 계수하였다)라고 판정된 경우, 스텝(S136)으로 진행하여 거리(D_i)가 작은 순서로 늘어서도록 대상 선분 리스트를 소트한다. 다음에 스텝(S137)에서 기존 선분 리스트의 선두의 선분(L_i)을 처리 대상으로 설정한다. 그리고 스텝(S138)로 진행하여 그 선분(L_i)의 데이타가 존재하는지의 여부를 판정하고, 존재하는 경우 스텝(S139)로 진행하여 선분(L_i)과 선분(L_s1)과의 교점(P_i)을 제스처(S₁)의 시점(Q_1s)과 종점(Q_1e)와의 사이를 (i - 1) : (N - 1)의 비율로 분할한 점으로 이동한다. 다음에 스텝(S140)으로 진행하여 변수(i)를 1 만큼 증가한 후, 스텝(S138)로 되돌아가서 동일한 처리를 반복한다.

스텝(S138)에서 선분(L_i)의 데이타가 존재하지 않는다고 판정되었을 때, 스텝(S83)의 처리로 이행한다.

본 실시예의 경우, 제13도에 도시한 바와 같이, 대상 선분은 L₁, L₂, L₃이기때문에 N = 3 이 된다. 그리고 직선(L₁)과 직선(L_s1)과의 교점(P₁)이 제스처(S₁)의 시점(Q_1s)와 일치하는 위치로 배치되어 직선(L₃)와 직선(L_s1)과의 교점(P₃)가 제스처(S₁)의 종점(Q_1e)와 일치하는 위치로 이동된다. 그리고, 직선(L₂)와 직선(L_s1)과의 교점(P₂)는 제스처(S₁)의 시점(Q_1s)과 종점(Q_1e)와의 중간점으로 이동된다. 그 결과, 직선(L₁)와 직선(L₂)와의 간격은 직선(L₂)와 직선(L₃)와의 간격과 같아지도록 직선(L₁내지 L₃)가 이동, 표시된다.

제18도 내지 제22도의 실시예는 소정의 각도로 배치되어 있는 2개의 직선을 직각으로 배치하는 처리 즉, 수화(垂化) 처리를 행하는 경우의 실시예를 도시하고있다. 이 경우에는, 제4도 내지 제8도에 도시한 처리 중, 스텝(S66, S68, S81) 또는 스텝(S82)의 각 처리는, 각각 제23도, 제24도, 제25도 또는 제26도에 도시한 바와 같이 행해진다.

스텝(S66)의 제스처 필적의 특징량 추출의 처리를 위하여, 본 실시예에서는 제23도에 도시한 바와 같이, 스텝(S151)에서 제스처(S₂)의 시점(Q_2s)와 종점(Q_2e)의 좌표가 검출된다.

즉, 제18도와 제19도에 도시한 바와 같이, 본 실시예의 경우 직선(L₃와 L₁₂)를 수직인 관계로 하기 위하여, 거의 직각으로 구부러진 선분으로 이루어지는 제스처(S₂)가 시점을 Q_2s로 하고, 또한 종점을 Q_2e로 하여 기입되어 있다. 이 시점(Q_2s)와 종점(Q_2e)가 검출된다.

또한, 제7도에 있어서의 스텝(S68)에서는 처리 대상이 되는 선분이 검색되는 것이지만, 이 처리는 제24도에 도시한 바와 같이 행해진다. 즉, 최초에 스텝(S161)에서 기존 선분 리스트의 선두의 선분(L_i)가 최초의 처리 대상이 된다. 그리고스텝(S162)에서 선분(L_i)의 데이타가 존재하는지의 여부가 판정되고, 존재하는 경우 스텝(Sl63)으로 진행하여 선분(L_i)와 제스처(S₂)와의 거리가 미리 설정된 기준치 이하인지의 여부가 판정된다. 기준치 이하라고 판정된 경우, 스텝(S164)로 진행하여 선분(L_i)이 대상 선분 리스트에 등록된다.

스텝(S163)에서 선분(L_i)와 제스처(S₂)와의 거리가 기준치보다 크게 떨어져있다고 판정된 경우, 그 선분(L_i)은 대상 선분 리스트에는 부가되지 않고, 처리 대상으로부터 제외된다. 즉, 본 실시예의 경우 제스처(S₂)와의 거리가 기준치 이하인 선분이 처리 대상이 되게 된다.

선분(L_i)에 대한 판정이 행해진 후, 스텝(S165)로 진행하여 변수(i)가 1 만큼 증가되어 스텝(S162)로 되돌아가고, 동일한 처리가 반복된다.

그리고 스텝(S162)에서 선분(L_i)의 데이타가 존재하지 않는다고 판정된 경우스텝(S68)로 진행한다.

제19도에 도시한 바와 같이, 본 실시예의 경우 제스처(S₂)에 대하여 기준치 이하의 거리에 존재하는 직선은 직선(L₃와 L₁₂)이기 때문에, 이 2개의 직선이 처리 대상이 된다.

다음에 제8도의 스텝(S81)의 대상 선분의 특징량 확인의 처리를 위하여, 제25도에 도시한 처리가 행해진다 즉, 본 실시예에서는 스텝(S171)에서 대상 선분리스트의 선두의 선분(L_i)이 최초로 처리 대상이 된다. 그리고 스텝(S172)로 진행하여 이 선분(L_i)의 데이타가 존재하는지의 여부가 판정된다. 선분(L_i)의 데이타가 존재하는 경우 스텝(S173)으로 진행하여 선분(L_i) 상의 점에서 제스처(S₂)의 시점(Q_2s)와의 거리가 최소인 점(P_is)가 구해진다. 다음에 스텝(S174)에 있어서, 스텝(S173)에서 구해진 점(P_is)와 제스처(S₂)의 시점(Q_2s)와의 거리를 선분(L_i)과 시점(Q_2s)과의 거리(D_si)로 한다.

마찬가지로, 스텝(S175)에서 선분(L_i) 상의 점에서 제스처(S₂)의 종점(Q_2e)와의 거리가 최소인 점(P_ie)가 구해진다. 다음에, 스텝(S176)에서 점(P_ie)와 종점(Q_2e)와의 거리가 선분(L_i)와 종점(Q_2e)와의 거리(D_ei)로 된다.

다음에 스텝(S177)에서 선분(L_i)의 방향(a_i)가 연산된다. 다음에 스텝(S178)에서 변수(i)가 1 만큼 증가된 후, 스텝(S172)로 되돌아가서 동일한 처리가 반복 실행된다. 스텝(S172)에서 선분(L_i)의 데이타가 존재하지 않는다고 판정된 경우 스텝(S82)로 진행한다.

또한, 제8도의 스텝(S82)에서 처리 후의 선분 데이타의 연산은 제26도의 스텝(S181 내지 S194)에 도시한 바와 같이 행해진다. 즉, 스텝(S181)에서 대상 선분 리스트의 선두의 선분(L_i)가 최초의 처리 대상이 된다. 그리고 스텝(S182)에서선분(Li)의 데이타가 존재하는지의 여부가 판정되고, 존재하는 경우 스텝(S182)로 진행하여 제스처(S₂)의 시점(Q_2s)와의 거리(D_si)가 가장 작은 직선을 L_s로 하고, 그 직선의 방향(a_i)를 a_s로 하고, 그 직선상의 점이며, 시점(Q_2s)와 가장 가까운 점(P_is)가 P_s로 된다.

즉, 스텝(S183)에서는 바로 전에 처리한 선분(L_i-1)의 거리(D_si-1)과, 금회의 선분(L_i)의 거리(D_si)를 비교하여 적은쪽의 직선을 L_s로 한다. 이에 따라 제스처(S₂)의 시점(Q_2s)에 가장 가까운 직선이 제1 처리 대상 선분(L_s)로서 선택된다.

다음에 스텝(S184)로 진행하여 제스처(S₂)의 종점(Q_2e)와의 거리(D_ei)가 가장 작은 직선이 Le로 되고, 그 직선의 방향(a_i)가 a_e로 되고, 그 직선상의 점이며, 제스처(S₂)의 종점(Q_2e)와 가장 가까운 점(P_ie)가 점(P_e)로 된다. 즉, 전회 대상이 된 선분(L_i-1)의 거리(D_ei-1)과 금회의 거리(D_ei)를 비교하여 적은쪽의 직선을 L_e로 한다. 이에 따라, 제스처(S₂)의 종점(Q_2e)에 가장 가까운 직선이 제2 처리 대상 선분(L_e)로서 선택된다.

다음에 스텝(S185)로 진행하여 변수(i)를 1 만큼 증가하여 스텝(S182)로 되돌아가서 동일한 처리가 반복된다.

스텝(S182)에서 선분(L_i)의 데이타가 존재하지 않는다[전체의 선분(L_i)의 데이타에 대해서 검색이 종료되었다]라고 판정된 경우, 스텝(S186)으로 진행하여 제스처(S₂)의 시점(Q_2s)에 가장 가까운 선분(L_s)의 방향(a_s)와, 종점(Q_2e)에 가장 가까운 선분(L_e)의 방향(a_e)가 비교된다. a_e쪽이 a_s보다 크거나 같은 경우, 스텝(S187)로 진행하여 a_e에서 a_s를 감산한 값이 90도 보다 큰지의 여부가 판정된다.

a_e- a_s가 90도 보다 큰 경우, 스텝(S188)로 진행하여 앵글에 180° - (a_e- a_s)의 값이 세트된다. a_e- a_s의 값이 90°보다 작거나 같은 경우에는 스텝(S189)로 진행하여 앵글에 a_e- a_s의 값이 그대로 세트된다. 즉, 앵글에는 선분(L_s)와 선분(L_e)가 이루는 각도 중, 예각의 각도(보다 작은쪽의 각도)가 설정된다.

그리고, 스텝(S188) 또는 스텝(S189)에서 스텝(S190)으로 진행하여, 제스처(S₂)의 시점(Q_2s)에 가장 가까운 선분(L_s)가 제스처(S₂)의 시점(Q_2s)에 가장 가까운 점(P_s)를 중심으로 하며 각도[(a_e- a_s) - 90°]만큼 회전한다. 이에 따라, 제스처 (S₂)의 시점(Q_2s)에 가까운 선분(L_s)가 종점(Q_2e)에 가장 가까운 선분(L_e)에 대하여 소정의 각도만큼 회전하고, 양자가 90도가 되도록 변경된다.

스텝(S186)에서 각도(a_s)가 각도(a_e)보다 크다고 판정된 경우, 스텝(S191)로 진행하여 a_s- a_e가 90° 보다 큰지의 여부가 판정되고, 90° 보다 큰 경우 스텝(S192)로 진행하여 앵글에 180° - (a_s- a_e)의 값이 세트된다. a_s- a_e의 값이90° 보다작거나 같다고 판정된 경우에는 스텝(S193)으로 진행하여 앵글에 a_s- a_e의 값이 세트된다.

즉, 상술한 경우와 마찬가지로, 앵글에 2개의 직선(L_s와 L_e)가 이루는 각도중, 작은 쪽의 각도(예각의 각도)가 세트된다. 그리고, 스텝(S194)에서 직선(L_s)가점(P_s)를 중심으로 하여 90 ° - (a_s- a_e)만큼 회전되어 직선(L_e)에 대하여 90°로 변경된다.

제18도 내지 제22도에 도시한 실시예에서는 제스처(S₂)의 시점(Q_2s)에 가장 가까운 직선이 L₃이고, 종점(Q_2e)에 가장 가까운 직선은 L₁₂이기 때문에, 이 2개의 직선(L₃)와 직선(L₁₂)가 처리 대상으로서 선택된다. 제21도에서 점(P₁₁)은 직선(L₃) 상의 점이며, 제스처(S₂)의 시점(Q_2s)에 가장 가까운 점이고, 점(P₁₂)는 직선(L₁₂) 상의 점이며, 제스처(S₂)의 종점(Q_2e)에 가장 가까운 점이다. 또한, 참조 부호(a₃)은 직선(L₃)의 방향(각도)를 표시하고, 참조 부호(a₁₂)는 직선(L₁₂)의 방향(각도)를 표시하고있다.

본 실시예의 경우, 수평 방향에 대하여 반시계 방향으로 회전하는 방향으로 각도가 설정되어 있지만, 시계 방향으로 설정할 수도 있다. 그리고, 본 실시예의 경우, x축의 정 방향(0° )에서 x축의 부 방향(180° )의 범위로 각도가 정규화되어 있다.

제22도는 직선(L₃)가 직선(L₁₂)에 대하여 90°가 되도록 회전된 후의 상태를 표시하고 있다.

이상의 실시예에서는, 제스처의 시점에 가까운 직선을 회전시키도록 하였지만, 종점에 가까운 직선을 회전시키게 하기도 하고, 또는 양쪽의 직선을 회전시키도록 할 수도 있다.

제27도 내지 제31도는 선분의 끝점을 소정의 직선상에 맞추는 실시예를 나타내고 있다. 이와 같은 실시예를 실현하는 경우, 제7도에서 스텝(S66)은 제32도의 스텝(S201)에 도시한 바와 같이 행해진다. 즉, 제27도에 도시한 바와 같이, 충분히 긴 직선의 한쪽 끝부분을 짧게 구부려 그려진 제스처(S₃)이 입력되면, 제28도에 도시한 바와 같이, 그 제스처(S₃) 중, 긴 쪽의 선분을 포함하는 직선(L)이 검출된다.

또, 이 제스처(S₃)은 직각에 가까운 모서리를 갖는 형상이며, 한쪽이 다른쪽 보다 기준치의 배 이상의 길이를 가질 때, 끝점 정렬의 제스처로서 인식된다.

그리고, 제7도의 스텝(S68)에서의 대상 선분 검색의 처리는 제33도에 도시한 바와 같이 행해진다. 즉, 스텝(S211)에서 기존 선분 리스트의 선두의 선분(L_i)이 최초의 처리 대상으로서 처리된다. 다음에 스텝(S212)에서 선분(L_i)의 데이타가 존재하는지의 여부가 판정되고, 존재하는 경우에는 스텝(S213)으로 진행하고, 제스처(S₃)과 선분(L_i)의 한쪽의 끝점(P_ia)와의 거리가 미리 설정되어 있는 기준치 이하인지의 여부가 판정된다. 끝점(P_ia)가 제스처(S₃)에 가까운 경우 스텝(S215)로진행하여 그 선분(L_i)가 대상 선분 리스트로 등록된다.

스텝(S213)에서 끝점(P_ia)가 제스처(S₃)과 직교적 크게 떨어져 있다고 판정된 경우, 스텝(S214)로 진행하여 그 선분(L_i)의 다른쪽 끝점(P_ib)와 제스처(S₃)와의 거리가 기준치 이하인지의 여부가 판정된다. 기준치 이하인 경우, 스텝(S215)로 진행하여 그 선분(L_i)가 대상 선분 리스트에 등록된다.

다음에 스텝(S216)으로 진행하여 변수(i)를 1 만큼 증가하고, 스텝(S212)로 되돌아가서 동일한 처리가 반복된다. 이하의 동작이 반복되어 제스처(S₃)의 처리 대상이 되는 선분이 검색된다.

제27도 내지 제31도에 도시한 실시예의 경우, 제스처(S₃)의 근처에 끝점이 배치되어 있는 직선으로서 직선(L₁, L₂, L₃)이 있다. 따라서, 이 경우에는 이 3개의 직선이 제스처(S₃)에 따른 처리 대상으로서 선택된다.

다음에, 제8도에서의 스텝(S81)의 대상 선분의 특징량 확인의 처리는 제34도의 스텝(S221 내지 S228)에 도시한 바와 같이 행해진다. 즉, 최초에 스텝(S221)에서 대상 선분 리스트의 선두의 선분(L_i)가 최초로 처리 대상이 되고, 스텝(S222)에서 그 선분(L_i)의 데이타의 존재가 확인된다. 선분(L_i)의 데이타가 존재하는 경우, 스텝(S223)으로 진행하여 제32도의 스텝(S201)에서 확인된 제스처(S₃)에 대응하는직선(L)과 선분(L_i)의 한쪽의 끝점(P_ia)과의 거리(D_ia)가 구해진다. 마찬가지로, 스텝(S224)에서 다른쪽의 끝점(P_ib)와의 거리(D_ib)가 구해진다.

다음에 스텝(S225)에서 거리(D_ia)와 거리(D_ib)의 크기가 비교되고, 스텝(S226) 또는 스텝(S227)에서 적은쪽에 대응하는 끝점(P_ia또는 P_ib)가 점(P_i)로 설정된다.

그 후, 스텝(S228)에서 변수(i)를 1 만큼 증가하여 스텝(S222)로 되돌아가서 동일한 처리가 반복된다. 이와 같이 하여, 각 선분의 끝점 중, 제스처(S₃)에 대응하는 직선(L)에 가장 가까운 쪽의 끝점이 P_i로서 기억된다.

제30도에 도시한 실시예에서는 직선(L₁, L₂, L₃) 중, 도면중 윗쪽에 도시된 끝점(P₂₁, P₂₂, P₂₃)이 각각 제스처(S₃)에 대응하는 직선(L)에 가장 가까운 끝점으로서 기억된다.

제8도의 스텝(S82)에서의 처리후의 선분 데이타의 연산 처리는 제35도의 스텝(S231 내지 S234)에 도시한 바와 같이 실행된다. 즉, 최초에 스텝(S231)에서 대상선분 리스트의 선두의 선분(L_i)가 선택되고, 스텝(S232)에서 그 선분(L_i)의 데이타의 존재의 유무가 확인된다. 선분(L_i)의 데이타가 존재하는 경우, 스텝(S233)에서 그 전분의 제스처(S₃)에 대응하는 직선(L)에 가까운 쪽의 끝점(P_i)를 직선(L) 상으로 이동시킨다. 그리고, 스텝(S234)로 진행하여 변수(i)를 1 만큼 증가하여스텝(S232)로 되돌아가서 동일한 처리가 반복된다. 이와 같이 하여, 처리 대상이 된 신분의 끝점이 직선(L) 상으로 이동된다.

제31도에 도시한 실시예에서는 직선(L₁내지 L₃)의 끝점(P₂₁내지 P₂₃)이 직선(L) 상으로 이동된다.

또, 본 실시예에서는 직선(L₁내지 L₃)를 그 방향으로 평행 이동시키도록 하였지만, x축 방향, y축 방향 또는 직선(L)과 교차하는 방향으로 평행 이동시키도록 할 수도 있다. 또한, 끝점(P₂₁내지 P₂₃)을 직선(L) 상으로 이동시키지 않고, 직선(L)과 평행하게 각 끝점(P₂₁내지 P₂₃)과의 거리의 합이 최소가 되도록 직선상으로 이동시키기도 하고, 직선(L)과 평행하게 각 끝점(P₂₁내지 P₂₃)의 거리의 제곱합이 최소가 되는 직선상으로 이동시키도록 할 수도 있다.

제36도 내지 제40도는 임의의 직선을 소정의 각도로 평행하게 맞추는 경우의 실시예를 도시하고 있다. 이와 같은 처리를 실현하는 경우, 제7도에서의 스텝(S66)과 스텝(S68) 및 제8도에서의 스텝(S81)과 스텝(S82)에서의 처리는 각각 제41도 내지 제44도에 도시한 바와 같이 실행된다.

즉, 제41도에 도시한 바와 같이, 제스처의 특징량의 검출은 다음과 같이 행해진다. 본 실시예의 경우, 제스처는 3 화면으로 구성되고, 최초의 제스처는 제36도에 도시한 바와 같이, 처리 대상이 되는 선분(L₁내지 L₃)를 횡단하도록 1개의 직선으로서 제스처(S₄)가 그려진다.

그리고 다음에 제37도에 도시한 바와 같이, 제스처(S₄)보다 충분히 짧은 길이의 제스처(S₅, S₆)이 제스처(S₄)와 소정의 기준치 이상의 각도로 교차하도록 입력된다. 스텝(S241)에서는 제38도에 도시한 바와 같이, 제스처(S₄)에 대응하는 직선(L_s4)가 추출된다 다음에 스텝(S242)에서 제스처(S₅)에 대응하는 직선(L_s5)가 추출된다.그외에 또한, 스텝(S243)에서는 직선(L_s5)의 방향(A₅)가 검출된다.

또한, 스텝(S68)에 대응하는 처리로서는 제42도에 도시한 바와 같이, 최초에 스텝(S251)에서 기존 선분 리스트의 선두의 선분(L_i)가 처리 대상으로서 선택되고, 스텝(S252)에서 그 선분(L_i)의 데이타의 존재의 유무가 판정된다. 선분(L_i)의 데이타가 존재한다고 판정된 경우, 스텝(S253)으로 진행하여 선분(L_i)가 제스처(S₄)와 교차하고 있는지의 여부가 판정된다. 선분(L_i)가 제스처(S₄)와 교차하고 있다고 판정된 경우, 스텝(S254)로 진행하여 양자의 교차하고 있는 각도가 기준치 이상인지의 여부가 판정된다. 기준치 이상인 경우, 스텝(S255)로 진행하여 그 선분(L_i)가 대상 선분 리스트에 등록된다.

스텝(S253)에서 선분(L_i)가 제스처(S₄)와 교차하고 있지 않다라고 판정된 경우, 스텝(S254)에서 선분(L_i)가 직선(L_s4)와 이루는 각도가 기준치 미만이라고 판정된 경우 및 스텝(S255)에서 대상 선분 리스트로의 등록 처리가 종료된 경우, 스텝(S256)으로 진행하고, 변수(i)가 1 만큼 증가되고 스텝(S252)로 되돌아 간다. 그리고, 동일한 처리가 반복된다.

이상과 같이 하여, 제스처(S₄)와 제스처(S₅)에 의해 지정되는 처리 대상이 되는 선분이 검색된다. 제39도의 실시예에서는 3개의 직선(L₁, L₂, L₃)가 처리 대상으로서 대상 선분 리스트에 등록된다.

또한, 제8도의 스텝(S81)에서의 처리로서, 제43도의 스텝(S261 내지 S265)의 처리가 행해진다. 즉, 최초에 스텝(S261)에서 대상 선분 리스트의 선두의 선분(L_i)가 처리 대상으로서 선택되고, 스텝(S262)에서 그 전분(L_i)의 데이타의 존재의 유무가 판정된다. 선분(L_i)의 데이타가 존재한다고 판정된 경우, 스텝(S263)으로 진행하여 선분(L_i)와 제스처(S₄)와의 교점(P_i)가 구해진다. 그리고, 스텝(S264)에서는 선분(L_i)의 방향(a_i)가 구해진다. 다음에 스텝(S265)로 진행하여 변수(i)가 1 만큼 증가되어 스텝(S262)로 되돌하가서 동일한 처리가 반복된다.

이상과 같이 하여, 제38도, 제39도의 실시예의 경우, 선분(L₁, L₂, L₃)의 제스처(S₄)와의 교점(P₃₁, P₃₂, P₃₃)이 구해짐과 동시에, 각 선분의 방향(a₁, a₂, a₃)이 구해진다.

또한 제8도의 스텝(S82)에서의 처리 후의 선분 데이타의 연산은 제44도의 스텝(S271 내지 S274)에 도시한 바와 같이 행해진다. 최초에 스텝(S271)에서 대상 선분 리스트의 선두의 선분(L_i)가 처리 대상으로서 선택되고, 스텝(S272)에서 그 선분(L_i)의 데이타의 존재 유무가 판정된다. 선분(L_i)의 데이타가 존재한다고 판정된 경우, 스텝(S273)으로 진행하여 제43도의 스텝(S263)에서 구해진 선분(L_i)와 제스처(S₄)와의 교점(P_i)를 중심으로 이 선분(L_i)를 각도(A₅- a_i)만큼 회전한다. 즉, 선분(L_i)는 각도가 A₅가 되도록[제스처(S₅)와 평행이 되도록] 회전시킨다.

다음에, 스텝(S274)로 진행하여 변수(i)가 1 만큼 증가된 후, 스텝(S272)로 되돌아가서 동일한 조작이 반복된다.

이상과 같이 하여, 제40도에 도시한 바와 같이, 처리 대상이 된 선분(L₁, L₂, L₃)는 제스처(S₅)와의 교점(P₃₁, P₃₂, P₃₃)을 중심으로 각각 제스처(S₅)에 대응하는 직선(L_s5)와 평행해지도록 회전한다.

또, 이상의 실시예에 있어서는, 직선(L₁내지 L₃)를 직선(L_s5)와 대응하는 각도(A₅)와 같아지도록 보정하였지만, 제스처(S₆)에 의해 규정되는 각도(A₆)와, 제스처 (S₅)에 의해 규정되는 각도(A₅)의 평균치에 대응하는 각도 또는 직선(L₁내지 L₃)의 각도(a_i내지 a₃)의 평균치에 대응하는 각도로 보정하게 하는 것도 가능하다.

제45도 내지 제48도는 선분 양단의 끝점을 소정의 선상에 맞추는 실시예를 나타내고 있다. 이 경우에 있어서 제7도 또는 제8도에 도시된 스텝(S66, S68, S81,S82)의 처리는 각각 제49도 내지 제52도에 도시된 바와 같이 행해진다.

즉, 본 실시예에서는 제스처가 제45도에 도시한 바와 같이, 처리 대상이 되는 선분(L₁, L₂, L₃)의 한쪽 끝점의 근처에 직선적으로 그려지는 제스처(S₇)과 다른쪽 끝점의 근처에 직선적으로 그려지는 제스처(S₈)에 의해 구성된다.

제49도의 스텝(S281)과 스텝(S282)에서는 이 2개의 제스처(S₇)와 제스처(S₈)에 대응하는 직선(L_s7와 L_s8)이 제46도에 도시한 바와 같이 추출된다.

다음에 제50도에 도시한 바와 같이, 스텝(S291 내지 S298)의 처리에 따라, 처리 대상이 되는 선분 대상이 검색된다. 즉, 최초에 스텝(S291)에서 기존 선분 리스트의 선두의 선분(L_i)가 처리 대상으로서 선택되고, 스텝(S292)에서 그 선분(L_i)의 데이타의 존재의 유무가 판정된다. 선분(L_i)의 데이타가 존재한다고 판정된 경우, 스텝(S293)으로 진행하여 직선(L_s7)과 선분(L_i)의 한쪽 끝점(P_ia)와의 거리가 미리 설정된 기준치 이하인지의 여부가 판정된다.

끝점(P_ia)가 직선(L_s7)과 기준치 이하의 거리에 있는 경우, 그 직선의 다른쪽의 끝점(P_ib)가 다른쪽의 직선(L_s8)과 기준치 이하의 거리에 있는지의 여부가 판정된다. 다른쪽의 끝점(P_ib)도 다른쪽의 직선(L_s8)과 기준치 이하의 거리에 있을 때, 결국양쪽의 끝점(P_ia, P_ib)가 각각 직선(L_s7, L_s8)의 근처에 배치되어지기 때문에,스텝(S297)로 진행하여 그 선분(L_i)를 대상 선분 리스트에 등록한다.

스텝(S293)에서 한쪽의 끝점(P_ia)가 직선(L_s7)과 기준치보다 떨어진 거리에 있다고 판정된 경우, 또는 스텝(S294)에서 다른쪽의 끝점(P_ia)가 다른쪽의 직선(L_s8)과 기준치보다 떨어진 거리에 있다고 판정된 경우, 스텝(S295)로 진행하여 끝점(P_ib)가 직선(L_s7)과 기준치 이하의 거리에 있는지의 여부가 판정된다. 기준치 이하의 거리에 있다고 판정된 경우, 또 스텝(S296)으로 진행하여 끝점(P_ia)와 직선(L_s8)과의 거리가 기준치 이하에 있는지의 여부를 판정한다. 기준치 이하라면, 스텝(S297)로 진행하여 그 선분(L_i)를 대상 선분 리스트로 등록한다.

스텝(S295) 또는 스텝(S296)에서 끝점(P_ib) 또는 끝점(P_ia)가 기준치보다 크게 떨어진 거리에 있다고 판정된 경우 및 스텝(S297)에서 대상 선분 리스트로의 등록이 완료된 경우, 스텝(S298)로 진행하여 변수(i)를 1 만큼 증가하여 스텝(S292)로 되돌아가서 동일한 처리가 반복된다.

즉, 이와 같이 하여, 한쪽의 끝점(P_ia)와 다른쪽의 끝점(P_ib)가 직선(L_s7, L_s8)의 근처에 배치되어 있는 경우, 그 선분이 처리 대상으로서 대상 선분 리스트에 등록된다.

제47도의 실시예에서는 직선(L₁, L₂, L₃)의 한쪽의 끝점(P₄₁, P₄₂, P₄₃)이 각각 직선(L_s7)의 근처에 배치되어 있고, 또한 다른쪽의 끝점(P₅₁, P₅₂, P₅₃)이 각각 다른쪽의 직선(L_s8)의 근처에 배치되어 있기 때문에, 직선(L₁, L₂, L₃)가 처리 대상의 선분으로서 등록된다.

다음에, 제51도에 도시한 바와 같이, 대상 선분의 특징량이 확인된다. 즉, 최초에 스텝(S311)에서 대상 선분 리스트의 선두의 선분(L_i)가 처리 대상으로서 선택되고, 스텝(S312)에서 그 선분(L_i)의 데이타 존재의 유무가 판정된다. 선분(L_i)의 데이타가 존재한다고 판정된 경우, 스텝(S313)에서 직전(L_s7)과 선분(L_i)의 한쪽의 끝점(P_ia)와의 거리(D_ia)가 구해진다. 또한, 스텝(S314)에서 다른쪽의 끝점(P_ib)와의 거리(D_ib)도 구해진다.

스텝(S315)에서는 이상과 같이 하여 구해진 2개의 거리(D_ia)와 거리(D_ib)가 비교되고, 스텝(S316 내지 S319)에서 끝점(P_ia와 P_ib) 중, 각각 직선(L_s7)에 가까운 쪽의 끝점이 P_i7로서 기억되고, 직선(L_s8)에 가까운 쪽의 끝점이 P_i8로서 기억된다.

그리고 스텝(S320)으로 진행하여 변수(i)가 1 만큼 증가된 후, 스텝(S312)로 되돌아가서 동일한 처리가 반복된다.

이상과 같이 하여, 대상 선분의 양단의 좌표가 가까운쪽의 직선(L_s7) 또는 직선(L_s8)에 대응하는 점으로서 기억된다.

제47도의 실시예에서는 직선(L_s7)에 대응하는 끝점으로서, 직선(L₁내지 L₃)의 한쪽의 끝점(P₄₁내지 P₄₃)이 기억되고, 다른쪽의 직선(L_s8)에 대응하는 끝점으로서 다른쪽의 끝점(P₅₁내지 P₅₃)이 기억된다.

또한, 처리후의 선분 데이타의 계산으로서, 제52도에 도시한 처리가 행해진나. 즉, 최초에 스텝(S331)에서 대상 선분 리스트의 선두의 선분(L_i)이 처리의 대상으로서 최초로 선택되고, 스텝(S332)에서 선분(L_i)의 데이타의 존재가 확인된다. 다음에 스텝(S333)에서 직선(L_s7)에 대응하는 끝점으로서 기억된 점(P_i7)이 직선(L_s7) 상으로 이동된다. 또한, 스텝(S334)에서 직선(L_s8)에 대응하는 끝점으로서 기억된 점(P_i8)이 직선(L_s8) 상으로 이동된다. 다음에 스텝(S335)으로 진행하여 변수(i)를 1 만큼 증가한 후, 스텝(S332)로 되돌아가서 동일한 처리가 반복된다.

이와 같이 하여, 각 선분(L_i)의 양쪽의 끝점이 직선(L_s7, L_s8) 상으로 각각 이동된다.

제48도의 실시예에서는 직선(L₁, L₂, L₃)의 자각 양단의 끝점(P₄₁과 P₅₁, P₄₂와 P₅₂, P₄₃과 P₅₃)이 각각 직선(L_s7) 상 또는 직선(L_s8) 상으로 이동된다. 이에 따라, 각직선의 끝점이 맞춰지게 된다.

각 선분(L₁내지 L₃)의 방향을 변화시키지 않기 위해서는 이들 선분의 연장선 상에 각 끝점을 이동시킬 필요가 있다. 선분의 방향이 변화되어도 좋은 경우에는 x축 방향, y축 방향, 기준선(L_s7, L_s8)과 직교하는 방향 등, 임의의 방향으로 각 끝점을 이동시킬 수 있다.

제53도 내지 제56도는 2개의 직선을 임의의 점에서 교차하도록 배치하는 실시예를 도시하고 있다. 본 실시예의 경우, 제53도에 도시한 바와 같이, 처리 대상으로 하는 선분(L₁과 L₁₁)을 연결하도록, 원호 형상의 제스처(S₁₁)가 입력되고, 또한 그 2개의 선분(L₁, L₁₁) 또는 그 연장선이 교차하는 점을 지정하는 상호 교차하는 2 개의 제스처(S₁₂, S₁₃)이 입력된다.

제57도의 스텝(S341)에서는 이와 같이 하여 입력된 제스처(S₁₁)의 시점(Q_11s)와 종점(Q_11e)가 제54도에 도시한 바와 같이 확인된다. 또한, 스텝(S342)에서는 제스처(S₁₂)와 제스처(S₁₃)의 교점(Q_x)가 확인된다.

다음에 제58도의 스텝(S351 내지 S356)에서, 제7도의 스텝(S68)에서의 대상선분의 검색 처리가 행해진다, 즉, 최초에 스텝(S351)에서 기존 선분 리스트의 선두의 선분(L_i)가 처리 대상이 되고, 스텝(S352)에서 선분(L_i)의 데이타가 존재하는지의 여부가 판정된다. 선분(L_i)의 데이타가 존재한다고 판정된 경우에는 스텝(S353)으로 진행하여 선분(L_i)와 제스처(S₁₁)의 시점(Q_11s)와의 거리가 기준치 이하인지의 여부가 판정된다.

기준치 이하라면, 스텝(S355)로 진행하여 그 선분(L_i)가 대상 선분 리스트에등록된다. 또한, 선분(L_i)가 시점(Q_11s)와 기준치에서 떨어진 거리에 있을 때, 스텝(S354)로 진행하여 종점(Q_11e)와의 거리가 기준치 이하인지의 여부가 판정된다. 종점(Q_11e)와의 거리가 기준치 이하인 경우에는 스텝(S355)로 진행하여 그 선분(L_i)가 대상 선분 리스트로 등록된다.

이와 같이, 대상 선분 리스트로의 등록이 완료된 후, 또는 스텝(S353)과 스텝(S354)에서 각각 제스처(S₁₁)의 시점(Q_11s)과 종점(Q_11e)과의 거리가 기준치보다 크다고 판정된 경우, 스텝(S356)으로 진행하여 변수(i)가 1 만큼 증가된 후, 스텝(S352)로 되돌아가서 동일한 처리가 반복된다.

이와 같이 하여, 제54도에 도시한 바와 같이, 제스처(S₁₁)의 시점(Q_11s)과 종점(Q_11e)의 근처에 배치되어 있는 선분(L₁₁과 L₁)이 대상 선분 리스트에 등록된다.

제59도에 도시한 스텝(S361 내지 S370)에서는, 제8도에서의 스텝(S81)의 대상 선분의 특징량 확인의 처리가 실행된다. 최초에 스텝(S361)에서 대상 선분 리스트의 선두의 선분(L_i)이 처리 대상이 된다. 그리고, 스텝(S362)에서 선분(L_i)의 데이타가 존재하는지의 여부가 판정된다. 선분(L_i)의 데이타가 존재한다고 판정된 경우에는 스텝(S363)으로 진행하여 이 선분(L_i)의 방향(각도 ; a_i)가 구해진다.

다음에 스텝(S364)로 진행하여 선분(L_i) 상의 점이며, 제스처(S₁₁)의 시점(Q_11s)와의 거리가 최소인 점(P_is)가 구해진다 또한 스텝(S365)에서 이 점(P_is)와시점(Q_11s)와의 거리가 이 선분(L_i)와 제스처(S₁₁)의 시점(Q_11s)와의 거리(D_si)가 된다. 다음에 스텝(S366)으로 진행하여 점(P_is)와 제스처(S₁₂와 S₁₃)의 교점(Q_x)를 포함하는 직선(L_is)의 방향(a_is)이 구해진다.

마찬가지로, 스텝(S367)에서 선분(L_i) 상의 점이며, 제스처(S₁₁)의 종점(Q_11e)와리 거리가 최소인 점(P_ie)로서 설정된다. 그리고 스텝(S368)에서 이 점(P_ie)와 제스처(S₁₁)의 종점(Q_11e)와의 거리가 선분(L_i)와 종점(Q_11e)와의 거리(D_ei)로서 설정된다. 또한 스텝(S369)에서 점(P_ie)와 제스처(S₁₂와 S₁₃)의 교점(Q_x)를 포함하는 직선(L_ie)의 방향(a_ie)가 구해진다.

그리고, 스텝(S370)에서 변수(i)가 1 만큼 증가된 후, 스텝(S362)로 되돌아가서 동일한 동작이 반복된다.

이와 같이 하여 제55도에 도시한 바와 같이, 선분(L₁₁)의 방향(a₁₁)과, 선분(L₁)의 방향(a₁)가 구해진다. 또한, 제스처(S₁₁)의 시점(Q_11s)에 가장 가까운 선분(L₁₁)상의 점이 P₆₃이 되고, 제스처(S₁₁)의 종점(Q_11e)에 가장 가까운 선분(L₁) 상의 점이 P₆₂가 된다. 또, 제56도에 도시한 바와 같이, 직선(L₁₁) 상의 점이 P₆₃과 교점(Q_x)를 통과하는 직선(L_s)의 방향(a_xs)가 구해진다. 또한, 직선(L₁) 상의 점(P₆₂)와 교점(Q_x)를 통과하는 직선(L_e)의 방향(a_xe)가 구해진다.

또한, 제60도에 도시한 스텝(S381 내지 S387)의 처리에 따라, 제8도의 스텝(S82)에서의 처리 후의 선분 테이타의 연산 처리기 실행된다. 즉, 스텝(S381)에서 대상 선분 리스트의 선두의 선분(L_i)가 최초의 처리 대상으로서 선택되고, 스텝(S382)에서 선분(L_i)의 데이타가 존재하는지의 여부가 판정된다.

선분(L_i)의 데이타가 존재한다고 판정된 경우에는 스텝(S383)으로 진행한다. 여기에서는, 선분(L_i)과 제스처(S₁₁)의 시점(Q_11s)와의 거리(D_si)와, 직전의 선분(L_i-1)에서의 거리(D_si-1)의 크기가 비교된다. 그리고, 보다 적은쪽의 직선이 L_s가 되고, 그방향(a_i)가 a_s로 되고, 그 직선상의 점이며, 제스처(S₁₁)의 시점(Q_11s)에 가장 가까운 점(P_is)가 P_s로 된다. 또한, 그 점(P_s)와 교점(Q_x)를 포함하는 직선(L_is)의 방향(a_is)가 a_xs로 된다.

마찬가지로, 스텝(S384)에서는 선분(L_i)와 제스처(S₁₁)의 종점(Q_11e)까지의 거리(D_ei)가 가장 작은 직선이 L_e가 된다. 이 경우에서도, 그 직선의 a_i가 a_e로 되고, P_ie가 P_e로 되고, a_ie가 a_xe로 된다. 다음에 스텝(S385)로 진행하여 변수(i)가 1 만큼 증가한 후, 스텝(S382)로 되돌아가서 동일한 처리가 반복된다.

즉, 이 스텝(S382 내지 S385)의 처리를 반복함으로써, 제스처(S₁₁)의 시점(Q_11s)와 종점(Q_11e)에 가장 가까운 선분이 각각 선분(L_s) 또는 선분(L_e)로서 선택된다.

다음에 스텝(S386)으로 진행하고, 이와 같이 하여 제스처(S₁₁)의 시점(Q_11s)에 가장 가까운 직선(L_s)가 그 직선 상의 점이며, 시점(Q_11s)에 가장 가까운 점(P_s)를 중심으로 각도(a_xe-ae)만큼 회전한다. 즉, 직선(L_s)가 그 자신 또는 그 연장선이 교점(Q_x)를 통과하도록 회전된다 또한, 스텝(S387)에서는 제스처(S₁₁)의 종점(Q_11e)에 가장 가까운 직선(L_e)가 그 직선상의 점이며, 종점(Q_11e)에 가장 가까운 점(Pe)를 중심으로 각도(a_xs-a_s)만큼 회전된다. 즉, 직선(L_e)가 그 자신 또는 그 연장선이 교점(Qx)를 통과하도록 회전된다.

제56도에는 직선(L₁₁)이 점(P₆₃)을 중심으로 회전하고, 그 연장선이 교점(Qx)를 통과하도록 이동, 표시되어 있다. 또한 마찬가지로, 직선(L₁)이 점(P₆₂)을 중심으로 회전하고, 교점(Qx)를 통과하도록 이동, 표시하고 있다.

제61도 내지 제65도는 또 다른 실시예를 도시하고 있다. 이 실시예에서는, 상술한 선분을 등간격으로 배열시키기 위한 제스처(S₁), 2개의 직선을 수직화하기위한 제스처(S₂), 선분의 양끝점을 맞추기 위한 제스치(S₇과 S₈) 및 선분을 소정의 각도로 평행하게 배열시키기 위한 제스처(S₈, S₅, S₆)가 복합하여 입력되어 있다.

본 실시예에서는 제스처(S₈)이 제스처(S₇)과 함께, 양끝점을 맞추기 위한 제스처로서 입력되어 있을 뿐만 아니라, 제스처(S₅, S₆)와 함께 선분을 소정의 각도에 맞추기 위한 제스처[제37도에서의 제스처(S₄)]로서도 이용되고 있다. 이와 같이 1개의 제스처를 복수의 제스처의 구성 요소로 하는 것도 가능하다.

본 실시예에 있어서 제62도에 도시한 제스처(S₁₂)는 상기한 각 제스처를 입력했을 때, 이것을 실행시키지 않고 보존하여 두고, 최후에 정리하여 실행할 때 입력되는 제스처이다.

이와 같은 처리를 실행하는 경우, 제4도 내지 제8도에 도시된 처리 중, 제7도의 스텝(S61) 이후에 도시한 처리는 제66도 및 제67도에 도시한 바와 같이 변경된다.

즉, 제6도에서의 스텝(S41 또는 S48)의 처리 다음에, 제66도에서의 스텝(S401)로 진행하고, 거기에서 제62도에 도시한 바와 같은 보존 필적 실행의 제스처(S₁₂)가 입력되었는지의 여부를 판정한다. 보존 필적 실행의 제스처(S₁₂)가 입력되어 있지 않다라고 판정된 경우, 스텝(S402)로 진행하여 복수 화면 제스처 후보가 존재 하는지의 여부를 판정한다. 그리고, 복수 화면 제스처 후보가 존재한다라고 판정된 경우, 또한 스텝(S403)으로 진행하여 입력된 제스처의 특징량을 복수 화면 필적 특징량 기억부(55)에 추가, 기억하고, 제4도의 스텝(S1)로 되돌아 간다. 그리고, 이후 입력되는 복수 화면 제스처의 다른 화면에 대한 처리가 행해진다.

스텝(S402)에서 복수 화면 제스처 후보가 존재하지 않는다고 판정된 경우, 처리는 종료된다.

즉, 이상의 처리는 상술한 제7도에서의 경우와 동일한 처리가 된다.

한편, 스텝(S401)에서 보존 필적 실행의 제스처(S₁₂)가 입력되었다고 판정된 경우, 스텝(S404)로 진행하여 완성 제스처 후보 리스트 기억부(62)의 리스트에 제스처 후보가 존재하는지의 여부가 판정된다. 그리고, 후보가 존재하지 않는 경우, 스텝(S402)로 되돌아가서 그 이후의 처리가 동일하게 실행된다.

스텝(S404)에서 완성 제스처 후보 리스트에 제스처 후보가 존재한다고 판정된 경우, 스텝(S405)로 진행하여 후보 중의 제스처 중에서 최고 득점한 것이 선택된다. 그리고, 스텝(S406)에서 그 제스처의 필적의 특징량이 검출된다. 상술한 바와같이, 이 특징량은 표시되어 있는 선분의 표시 상태를 변경하는 데에 있어서 필요한 것이다. 다음에 스텝(S407)로 진행하여 대상 선분 리스트를 초기화한다.

다음에 스텝(S408)로 진행하여 스텝(S406)에서 검출된 제스처의 특징량을 이용하여 이 제스처에 따른 처리의 대상이 되는 선분을 검색한다. 스텝(S409)에서 처리 대상이 되는 선분이 존재하는지의 여부를 판정하고, 존재하지 않는다고 판정된 경우, 스텝(S410)으로 진행하여 완성 제스처 후보 리스트에 다른 제스처의 후보가 존재하는지의 여부를 판정한다. 이 외에도 제스처의 후보가 존재하는 경우, 스텝(S411)로 진행하여 다음으로 득점이 높은 후보를 선택하고 스텝(S406)으로 되돌아가서 그 특징량을 검출하여 동일한 처리를 실행한다.

한편, 스텝(S410)에서 완성 제스처 후보 리스트에 다른 후보가 존재하지 않는다고 판정된 경우, 스텝(S402)로 되돌아가서, 복수 화면 제스처 후보가 존재하는지의 여부를 판정하고, 그 판정 결과에 대응하여 상술한 경우와 마찬가지의 처리를 실행한다.

한편, 스텝(S409)에서, 제스처 커맨드의 처리 대상이 되는 선분이 존재한다고 판정된 경우, 스텝(S421)로 진행하여 대상 선분의 특징량을 검출한다. 그리고, 스텝(S422)로 진행하여 처리 후의 선분 데이타의 연산이 실행된다. 다음에 스텝(S423)으로 진행하여 제스처를 실행하여도 좋은지 어떤지를 사용자에 확인한다. 사용자가 실행을 허가하지 않았을 때, 스텝(S410)으로 되돌아가서 완성 제스처 후보 리스트에 다른 제스처의 후보가 존재하는지의 여부의 처리를 실행한다.

스텝(S423)에서 사용자가 제스처의 실행을 허가한 경우, 스텝(S424)로 진행하여 제스처 필적을 소거하고, 스텝(S425)에서 선분의 데이타를 스텝(S422)에서 구한 처리 후의 선분 데이타로 변경한다 이에 따라, 선분의 표시 상태가 종합하여 변경되게 된다.

다음에, 스텝(S426 내지 S429)로 진행하여 복수 화면 제스처 후보, 완성 제스처 후보, 복수 화면 필적 및 복수 화면 특징량을 제거한다. 그리고 스텝(S404)로 되돌아가서 동일한 처리가 반복된다.

이상과 같은 처리가 행해지면, 제63도 내지 제65도에 도시한 바와 같이, 입력된 제스처(S₁, S₂, S₅, S₆, S₇, S₈)에 대응하는 처리가 종합하여 실행된다.

즉, 제66도의 스텝(S401)에서, 보존 필적 실행의 제스처(S₁₂)가 입력되기까지 스텝(S404) 이후의 처리, 즉 그때까지 입력된 제스처를 실행하는 처리가 행해지지않는다. 이 때문에, 그때까지 입력된 제스처가 보존 필적으로서 스텝(S401)보다 앞의 처리에 의해 보존된다. 그리고, 제스처(S₁₂)가 입력된 후, 이들 보존 필적의 제스처가 종합하여 실행되어지는 것이다.

제68도 내지 제72도는 또 다른 실시예를 도시하고 있다. 이 실시예에서는 입력 필적의 형상 인식으로서 문자를 포함시킴으로써, 특징량(파라메터)를 보다 확실하게 지정할 수 있도록 한 것이다. 이와 같은 처리를 실행하려면, 상술한 제4도 내지 제8도의 처리 중, 스텝(S66)에서의 제스처의 필적의 특징량을 검출하는 처리와, 스텝(S82)에서 처리 후의 선분 데이타의 연산의 처리는 각각 제73도 또는 제74도에 도시한 바와 같이 행해진다.

또, 스텝(S68)과 스텝(S81)에서의 처리는 제24도 또는 제25도에 각각 도시한 경우와 동일한 처리가 실행된다.

제73도에서, 최초에 스텝(S441)에서 제스처(S₁₁)의 시점(P_11s)와 종점(P_11e)의 좌표가 확인된다. 또한, 스텝(S442)에서 제스처(S₂₃)의 내부에 포함되는 제스처(S₂₁)과 제스처(S₂₂)가 확인된다. 그리고, 스텝(S443)과 스텝(S444)에서 그 제스처(S₂₃) 내부의 제스처(S₂₁)과 제스처(S₂₂)의 숫자가 해석된다. 그리고, 최후에 스텝(S445)에서 제스처(S₂₁, S₂₂)가 합하여 의미하는 것의 숫자가 확인된다.

제68도에 도시한 실시예에서는 내부의 공간을 외부의 공간과 분리하도록 폐쇄하는 형상으로 이루어지는 제스처(S₂₃) 중에 60의 문자가 제스처(S₂₁, S₂₂)로서 입력된다. 그리고, 제69도에 도시한 바와 같이, 이들 제스처(S₁₁, S₂₁내지 S₂₃)이 입력된 후, 또 보존 필적 실행 제스처(S₁₂)가 입력되면, 제스처(S₂₃)의 내부의 문자가 인식되고, 제70도에 도시한 바와 같이, 그 인식 결과가 그 근처에 표시된다.

한편, 제74도의 스텝(S451)에서, 대상 선분 리스트의 선두의 선분(L_i)가 최초의 처리 대상이 된다. 그리고 스텝(S452)에서 선분(L_i)의 데이타가 존재하는지의 여부가 판정되고, 존재하는 경우 스텝(S453)으로 진행하여 제스처(S₁₁)의 시점(Q_11s)와의 거리(D_si)가 가장 작은 직선을 L_s로 하고, 그 직선의 방향(a_i)를 a_s로 하고, 그 직선상의 점이며, 시점(Q_11s)에 가장 가까운 점(P_is)가 P_s로 된다. 즉, 스텝(S453)에서는 직전의 선분(L_i-1)에서 얻은 거리(D_si-1)과, 금회의 선분(L_i)의 거리(D_si)를 비교하여 적은 쪽의 직선을 L_s로 한다. 즉, 여기에서는 제스처(S₁₁)의 시점(Q_11s)에 가장 가까운 직선이 제1의 처리 대상 선분(L_s)로서 선택된다.

다음에, 스텝(S454)로 진행하여 제스처(S₁₁)의 종점(Q_11e)와의 거리(D_ei)가 가장 작은 직선이 L_e가 되고, 그 직선의 방향(a_i)가 a_e로 되고, 그 직선 상의 점이며, 제스처(S₁₁)의 종점(Q_11e)에 가장 가까운 점(P_ie)가 점(P_e)로 된다. 즉, 전회 대상이 된 선분(L_i-1)의 거리(D_ei-1)과 금회의 거리(D_si)를 비교하여 작은 쪽의 직선을 L_e로 한다. 이에 따라, 제스처(S₁₁)의 종점(Q_11e)에 가장 가까운 직선이 제2의 처리 대상선분(L_e)로서 선택된다.

다음에 스텝(S455)로 진행하여 변수(i)를 1만큼 증가하여 스텝(S452)로 되돌아가서 동일한 처리가 반복된다.

스텝(S452)에서 선분(L_i)의 데이타가 존재하지 않는다[전체의 선분(L_i)의 데이타에 대한 검색이 종료되었다]라고 판정된 경우, 스텝(S456)으로 진행하여 제스처(S₁₁)의 시점(Q_11s)에 가장 가까운 선분(L_s)의 방향(a_s)와, 종점(Q_11e)에 가장 가까운 선분(L_e)의 방향(a_e)가 비교된다. 참조 부호(a_e)의 쪽이 참조 부호(a_s)보다 큰 경우, 스텝(S457)로 진행하여 참조 부호(a_e)에서 참조 부호(a_s)를 감산한 값이 90° 보다 큰지의 여부가 판정된다.

(a_e- a_s)가 90° 보다 큰 경우, 스텝(S458)로 진행하여 앵글에 180° - (a_e- a_s)의 값이 세트된다. (a_e- a_s)의 값이 90° 보다 작거나 같은 경우에는 스텝(S459)로 진행하여 앵글에 (a_e- a_s)의 값이 그대로 세트된다. 즉, 앵글에는 선분(L_s)와 선분(L_e)의 이루는 각도 중, 예각의 각도(보다 작은쪽의 각도)가 설정된다.

그리고, 스텝(S458) 또는 스텝(S459)에서 스텝(S460)으로 진행하여 제스처(S₁₁)의 시점(Q_11s)에 가장 가까운 선분(L_s)가, 제스처(S₁₁)의 시점(Q_11s)에 가장 가까운 점(Ps)를 중심으로 하여 각도 [(a_e- a_s) - A°] 만큼 회전된다. 이에 따라,제스처(S₁₁)의 시점(Q_11s)에 가까운 선분(L_s)가, 종점(Q_11e)에 가장 가까운 선분(L_e)에 대하여 소정의 각도만큼 회전되어 양자가 A° 가 되도록 조정된다. 또, 이 A는 스텝(S445)에서 인식된 값이다.

스텝(S456)에서 각도(a_s)가 각도(a_e)보다 크다고 판정된 경우, 스텝(S461)로 진행하여 (a_s- a_e)가 90° 보다 큰지의 여부가 판정되고, 90° 보다 큰 경우 스텝(S462)로 진행하여 앵글에 180 ° - (a_s- a_e)의 값이 세트된다. (a_s- a_e)의 값이 90° 보다 작거나 같다고 판정된 경우에는 스텝(S463)으로 진행하여 앵글에 (a_s- a_e)의 값이 세트된다.

즉, 상술한 경우와 마찬가지로, 앵글에 2개의 직선(L_s와 L_e)의 이루는 각도중, 작은 쪽의 각도(예각의 각도)가 세트된다. 그리고 스텝(S464)에서 직선(Ls)가 점 (P_s)를 중심으로 A° - (a_s- a_e)만큼 회전되어 직선(L_e)에 대하여 A° 로 조정된다.

제71도와 제72도에 도시한 실시예에서는 제스처(S₁₁)의 시점과 종점의 근처에 배치되어 있는 직선(L₃)의 방향(a₃)와, 직선(L₁₂)의 방향(a₁₂)가 구해진다. 그리고, 또한 제72도에 도시한 바와 같이, 직선(L₃)의 방향(a₃)가 변경되어 직선(L₁₂)와의 이루는 각도가 제스처(S₂₁)과 제스처(S₂₂)에서 지정된 각도 A° (= 60° )가 되도록 보정된다.

또, 제스처에 대응하는 커맨드를 실행한 후의 표시의 변화를 사용자에게 보이기 위해, 복수의 윈도우를 이용할 수 있다. 또한, 제스처의 실행 확인 시에 긍정과 부정 뿐만 아니라, 처리의 대상이나 파라메터를 변경 또는 수정할 수 있도록 하여도 좋다.

또한, 기존 선분에 대한 처리뿐만 아니라, 제스처 커맨드의 인식 방법이나 실행 방법 등의 모드 전환(예를 들면, 제스처 입력 중지, 복수 제스처에 의한 동일한 필적의 이용 허가) 등을 제스처 커맨드에 의해 행하게 할 수도 있다.

이상의 실시예에서는, 선분의 표시 상태를 보정하도록 하였지만, 본 발명은 문자의 표시 상태를 변경, 보정하는 경우에 적용할 수 있다. 이하에, 그 실시예에 대하여 설명한다.

제75도는 문자 또는 도형의 표시 상태를 변경하는 경우에 있어서의 제스처 실행 처리의 기능 블럭을 표시하고 있다. 필적 기억부(171) 내지 처리후 도형 기억부(182)를 포함하는 이 기능 블럭의 기본적인 구성은 제3도에 도시된 필적 기억부(71) 내지 처리후 선분 기억부(82)를 포함하는 기능 블럭과 동일하지만, 본 실시예에서는 도형 데이타 베이스(170)이 부가되어 있는 점이 제3도의 기능 블럭과 다르다.

예를 들면, 상술한 제스처 필적에 대한 선분의 거리를 구하는 경우, 선분의 양끝점의 가까운 쪽과 제스처와의 거리를 구하도록한 것이지만, 도형(문자)와 제스처와의 거리를 구하는 경우에는 문자의 외곽(외접 사각형)의 가장 가까운 점과의거리를 구하도록 한다.

또한 마찬가지로, 예를 들면 상술한 선분의 중심을 구하는 경우에는, 선분의 양끝점의 중심을 구하는 것이지만, 문자의 경우는 그 중심 위치는 반드시 명료한 것은 아니다. 그래서, 문자의 외곽의 중심을 그 문자의 중심으로 하는 것이다. 외곽으로서는, 사각형 외에 원, 다각형 등을 이용할 수 있다. 또한, 문자가 아닌 일반 도형의 경우, 도형의 중심 위치를 그 중심으로 한다. 이와 같이, 문자나 도형 등, 오브젝트마다 다른 처리가 필요해지기 때문에, 이 처리를 도형 데이타 베이스(170)에 따라 행하여 처리 결정부(175)에 공급하도록 하고 있다.

처리 결정부(175)는 완성 제스처 후보 리스트 기억부(173)에 기억된 제스처에 대응하는 대상 도형 검색 방법, 대상 도형 특징량 추출 방법, 대상 도형 처리 방법등의 데이타를 제스처 데이타 베이스(172)로부터 판독함과 동시에, 필적 특징량 기억부(174)에서 입력된 제스처의 특징량을 판독한다. 그리고, 이들 데이타에 대응하여 처리를 결정하고 대상 도형 검색부(177), 특징량 추출부(179) 및 도형 처리부(181)을 제어한다.

기존 도형 리스트 기억부(176)에는 제스처 이외의 이미 입력되어 있는 도형(처리 대상이 되는 도형 등)의 데이타 외에, 도형 종류 번호가 기억되어 있고, 이 데이타가 도형 데이타 베이스(170)에 따라 상술된 필요한 변형 처리가 실시된 후, 처리 결정부(175)에 공급된다. 처리 결정부(175)는 이 도형 종류 번호를 이용하여 리스트의 요소마다 종류에 맞는 처리를 결정하게 된다.

대상 도형 검색부(177)은 처리 결정부(175)로부터의 제어에 대응하여 기존도형 리스트 기억부(176)에 기억되어 있는 선분 중에서 처리 대상이 되는 도형을 검색하여 검색 결과를 대상 도형 리스트 기억부(178)에 공급하여 기억시킨다.

또한, 특징량 추출부(179)는 처리 결정부(175)의 제어에 대응하여 대상 도형리스트 기억부(178)에 기억된 대상 도형의 특징량을 추출하고, 그 추출 결과를 도형 특징량 기억부(180)에 공급하여 기억시킨다. 도형 처리부(181)은 처리 결정부(175)의 제어에 대응하여 도형 특징량 기억부(180)에 기억된 처리 대상이 되어 있는 도형의 특징량을 처리하고, 그 도형의 표시 상태를 변경하기 위한 데이타를 생성한다. 그리고, 그 데이타는 처리후 도형 기억부(182)에 공급되어 기억된다.

이 처리후 도형 기억부(182)예 기억된 데이타가 판독되어 디스플레이 콘트롤러(11)을 통하여 V-RAM(12)에 공급되어 비트맵 데이타로서 전개된다. 그리고, 이 데이타가 디스플레이 콘트롤러(11)에 의해 판독되고 디스플레이부(13)로 출력되어 표시된다.

제76도 내지 제80도는 문자를 소정의 직선상에 맞추는 실시예를 나타내고 있다. 이와 같은 실시예를 실현하는 경우, 제7도에서의 스텝(S66)은 제81도의 스텝 (S501)에 도시한 바와 같이 행해진다. 즉, 제76도에 도시한 바와 같이, 충분히 긴 직선의 한쪽 끝부분을 거의 직각으로 짧게 구부려 그린 제스처(S₃₁)이 입력되면, 제77도에 도시한 바와 같이, 그 제스처(S₃₁) 중, 긴 쪽의 선분을 포함하는 직선(L_s31)이 검출된다.

또, 이 제스처(S₃₁)은 직각에 가까운 모서리를 갖는 형상이며, 한쪽이 다른쪽보다 기준치의 배 이상의 길이를 가질 때, 문자 정렬의 제스처로서 인식된다.

그리고, 제7도의 스텝(S68)에서의 대상 선분 검색의 처리는 제82도에 도시한 바와 같이 행해진다. 즉, 스텝(S511)에서 기존 도형 리스트의 선두의 도형(L_i)가 최초의 처리 대상으로서 선택된다. 기존 도형 리스트에는 도형(L_i)로서 선분(L_Li), 문자(L_Ci) 또는 도형(L_Fi)가 기억되어 있기 때문에, 그 어느쪽인가 선택된다. 다음에 스텝(S512)에서 도형(L_i)의 데이타가 존재하는지의 여부가 판정되어, 존재하는 경우에는 스텝(S513)으로 진행하여 직선(L_s31)과 도형(L_i)와의 거리가 미리 설정되어 있는 기준치 이하인지의 여부가 판정된다. 도형(L_i)가 직선(L_s31)에 가까운 경우, 스텝(S514)로 진행하여 그 도형(L_i)가 대상 도형 리스트로 등록된다.

스텝(S513)에서 도형(L_i)가 선분(L_s31)과 비고적 크게 떨어져 있다고 판정된 경우 또는 스텝(S514)에서 도형(L_i)가 대상 도형 리스트로 등록된 후, 스텝(S515)로 진행하여 변수(i)를 1 만큼 증가하여 스텝(S512)로 되돌아가서 동일한 처리가 반복된다. 이상의 동작이 반복되어 제스처(S₃₁)의 처리 대상이 되는 도형(문자)가 검색된다.

제76도 내지 제80도에 도시한 실시예의 경우, 직선(L_s31)의 근처에 배치되어 있는 문자로서 문자(C₁내지 C₈)이 있다, 따라서, 이 경우에는 이 8개의 문자가 제스처(S₃₁)에 따른 처리 대상으로서 선택된다.

다음에, 제8도에서의 스텝(S81)의 대상 선분의 특징량 확인 처리는 제83도의 스텝(S521 내지 S524)에 도시한 바와 같이 행해진다. 즉, 최초에 스텝(S521)에서 대상 도형 리스트의 선두의 도형(L_i)이 최초로 처리 대상이 되고, 스텝(S522)에서 그 도형(L_i)의 데이타의 존재가 확인된다. 도형(L_i)의 데이타가 존재하는 경우, 스텝(S523)으로 진행하여 도형(L_i)의 기준점(P_i)가 구해진다. 이 기준점(P_i)는 예를 들면 도형의 외형곽의 우측 하부의 점이 된다.

그 후, 스텝(S524)에서, 변수(i)를 1 만큼 증가하여 스텝(S522)로 되돌아가서 동일한 처리가 반복된다. 이와 같이 하여, 각 도형(L_i)의 외형곽 중, 제스처(S₃₁)에 대응하는 직선(L_s31)에 가장 가까운 점이 P_i로서 기억된다.

제79도에 도시한 실시예에서는 문자(C₁내지 C₈)의 우측 하부의 점(P₁내지 P₈)이 각각 제스처(S₃₁)에 대응하는 직선(L_s31)에 대응하는 점으로서 기억된다.

제8도의 스텝(S82)에서의 처리 후의 선분 데이타의 연산 처리는 제84도의 스텝(S531 내지 S534)에 도시한 바와 같이 실행된다. 즉, 최초에 스텝(S531)에서 대상 도형 리스트의 선두의 도형(L_i)이 선택되고, 스텝(S532)에서 그 도형(L_i)의 데이타의 존재 유무가 확인된다. 도형(L_i)의 데이타가 존재하는 경우, 스텝(S533)에서 그 점(P_i)가 제스처(S₃₁)에 대응하는 직선(L_s31) 상으로 이동된다. 그리고,스텝(S534)로 진행하여 변수(i)를 1 만큼 증가하여 스텝(S532)로 되돌아가서 동일한 처리가 반복된다. 이와 같이 하여, 처리 대상이 된 문자의 점이 직선(L_s31) 상으로 이동된다.

제80도에 도시한 실시예에서는 문자(C₁내지 C₈)의 외형곽의 점(P₁내지 P₈)이 직선(L_s31) 상으로 이동된다.

또, 본 실시예에서는 점(P₁)을 직선(L_s31) 상으로 이동시키도록 하였지만, 직선(L_s31)과 평행하고 점(P_i)와의 거리의 합이 최소가 되도록 직선상으로 이동시키기도 하고, 직선(L_s31)과 평행하고 점(P_i)와의 거리의 제곱합이 최소가 되는 직선상으로 이동시키게 할 수도 있다.

이상과 같이 본 발명의 수기 입력 표시 장치에 따르면, 입력된 제스처에 대응하여 선분의 표시 상태를 변경하도록 하였기 때문에, 신속하고 확실하게 선분의 표시 상태를 변경할 수 있게 된다.

또한, 본 발명의 수기 입력 표시 장치에 따르면, 제스처의 특징량에 대응하여 현상의 표시 상태를 변경하도록 하였기 때문에, 제스처의 입력 상태를 조정함으로써 보다 미세하게 표시 상태를 변경할 수 있게 된다.

제1도는 본 발명의 수기(手記) 입력 표시 방법을 응용한 장치의 일실시예의 구성을 도시한 블럭도.

제2도는 제1도의 실시예의 동작을 설명하는 기능 블럭도.

제3도는 제1도의 실시예의 동작을 설명하는 다른 기능 블럭도.

제4도는 제1 실시예의 동작을 설명하는 플로우차트.

제5도는 제4도에 계속되는 플로우차트.

제6도는 제5도에 계속되는 플로우차트.

제7도는 제6도에 계속되는 플로우차트.

제8도는 제7도에 계속되는 플로우차트.

제9도는 선분을 등간격으로 정렬하는 제스처의 동작을 설명하는 제1 도면.

제10도는 선분을 등간격으로 정렬하는 제스처의 동작을 설명하는 제2 도면.

제11도는 선분을 등간격으로 정렬하는 제스처의 동작을 설명하는 제3 도면.

제12도는 선분을 등간격으로 정렬하는 제스처의 동작을 설명하는 제4 도면.

제13도는 선분을 등간격으로 정렬하는 제스처의 동작을 설명하는 제5 도면.

제14도는 제9도내지 제13도에 도시한 처리를 행하는 경우에 있어서 제7도의 스텝(S66)의 보다 상세한 처리를 설명하는 플로우차트.

제15도는 제9도내지 제13도에 도시한 처리를 행하는 경우에 있어서 제7도의 스텝(S68)의 보다 상세한 처리를 설명하는 플로우차트.

제16도는 제9도내지 제13도에 도시한 처리를 행하는 경우에 있어서 제8도의 스템(S81)의 보다 상세한 처리를 설명하는 플로우차트.

제17도는 제9도내지 제13도에 도시한 처리를 행하는 경우에 있어서 제8도의 스텝(S82)의 보다 상세한 처리를 설명하는 플로우차트.

제18도는 2개의 직선을 수직화하는 제스처를 설명하는 제1 도면.

제19도는 2개의 직선을 수직화하는 제스처를 설명하는 제2 도면.

제20도는 2개의 직선을 수직화하는 제스처를 설명하는 제3 도면.

제21도는 2개의 직선을 수직화하는 제스처를 설명하는 제4 도면,

제22도는 2개의 직선을 수직화하는 제스처를 설명하는 제5 도면.

제23도는 제18도 내지 제22도의 실시예를 실행하는 경우에 있어서 제7도의 스텝(S66)의 보다 상세한 처리를 설명하는 플로우차트.

제24도는 제18도 내지 제22도의 실시예를 실행하는 경우에 있어서 제7도의 스텝(S68)의 보다 상세한 처리를 설명하는 플로우차트.

제25도는 제18도 내지 제22도의 실시예를 실행하는 경우에 있어서 제8도의 스텝(S81)의 보다 상세한 처리를 설명하는 플로우차트.

제26도는 제18도 내지 제22도의 실시예를 실행하는 경우에 있어서 제8도의 스텝(S82)의 보다 상세한 처리를 설명하는 플로우차트.

제27도는 직선의 한쪽의 끝점을 직선상에 정렬시키는 제스처를 설명하는 제1도면.

제28도는 직선의 한쪽의 끝점을 직선상에 정렬시키는 제스처를 설명하는 제2도면.

제29도는 직선의 한쪽의 끝점을 직선상에 정렬시키는 제스처를 설명하는 제3도면.

제30도는 직선의 한쪽의 끝점을 직선상에 정렬시키는 제스처를 설명하는 제4도면.

제31도는 직선의 한쪽의 끝점을 직선상에 정렬시키는 제스처를 설명하는 제5도면.

제32도는 제27도 내지 제31도에 도시한 실시예를 실행하는 경우에 있어서 제7도의 스텝(S66)의 보다 상세한 처리를 설명하는 플로우차트.

제33도는 제27도 내지 제31도에 도시한 실시예를 실행하는 경우에 있어서 제7도의 스텝(S68)의 보다 상세한 처리를 설명하는 플로우차트.

제34도는 제27도 내지 제31도에 도시한 실시예를 실행하는 경부에 있어서 제8도의 스텝(S81)의 보다 상세한 처리를 설명하는 플로우차트.

제35도는 제27도 내지 제31도에 도시한 실시예를 실행하는 경부에 있어서 제8도의 스텝(S82)의 보다 상세한 처리를 설명하는 플로우차트.

제36도는 복수의 선분을 소정의 각도로 맞추는 제스처를 설명하는 제1 도면.

제37도는 복수의 선분을 소정의 각도로 맞추는 제스처를 설명하는 제2 도면.

제38도는 복수의 선분을 소정의 각도로 맞추는 제스처를 설명하는 제3 도면.

제39도는 복수의 선분을 소정의 각도로 맞추는 제스처를 설명하는 제4 도면.

제40도는 복수의 선분을 소정의 각도로 맞추는 제스처를 설명하는 제5 도면.

제41도는 제36도 내지 제40도에 도시한 실시예를 실행하는 경우에 있어서 제7도의 스텝(S66)의 보다 상세한 처리를 설명하는 플로우차트.

제42도는 제36도 내지 제40도에 도시한 실시예를 실행하는 경우에 있어서 제7도의 스텝(S68)의 보다 상세한 처리를 설명하는 플로우차트.

제43도는 제36도 내지 제40도에 도시한 실시예를 실행하는 경우에 있어서 제8도의 스텝(S81)의 보다 상세한 처리를 설명하는 플로우차트.

제44도는 제36도 내지 제40도에 도시한 실시예를 실행하는 경우에 있어서 제8도의 스텝(S82)의 보다 상세한 처리를 설명하는 플로우차트.

제45도는 복수의 직선의 양쪽의 끝점을 소정의 직선상에 맞추기 위한 제스처를 설명하는 제1 도면.

제46도는 복수의 직선의 양쪽의 끝점을 소정의 직선상에 맞추기 위한 제스처를 설명하는 제2 도면.

제47도는 복수의 직선의 양쪽의 끝점을 소정의 직선상에 맞추기 위한 제스처를 설명하는 제3 도면.

제48도는 복수의 직선의 양쪽의 끝점을 소정의 직선상에 맞추기 위한 제스처를 설명하는 제4 도면.

제49도는 제45도 내지 제48도에 도시한 실시예를 실행하는 경우에 있어서 제7도의 스텝(S66)의 보다 상세한 처리를 설명하는 플로우차트.

제50도는 제45도 내지 제48도에 도시한 실시예를 실행하는 경우에 있어서 제 7도의 스텝(S68)의 보다 상세한 처리를 설명하는 플로우차트.

제51도는 제45도 내지 제48도에 도시한 실시예를 실행하는 경우에 있어서 제 8도의 스텝(S81)의 보다 상세한 처리를 설명하는 플로우차트.

제52도는 제45도 내지 제48도에 도시한 실시예를 실행하는 경우에 있어서 제8도의 스텝(S82)의 보다 상세한 처리를 설명하는 플로우차트.

제53도는 2개의 직선을 소정의 각도로 배열하는 제스처를 설명하는 제1 도면.

제54도는 2개의 직선을 소정의 각도로 배열하는 제스처를 설명하는 제2 도면.

제55도는 2개의 직선을 소정의 각도로 배열하는 제스처를 설명하는 제3 도면.

제56도는 2개의 직선을 소정의 각도로 배열하는 제스처를 설명하는 제4 도면.

제57도는 제53도 내지 제56도에 도시한 실시예를 실행하는 경우에 있어서 제7도의 스텝(S66)의 보다 상세한 처리를 설명하는 플로우차트.

제58도는 제53도 내지 제56도에 도시한 실시예를 실행하는 경우에 있어서 제7도의 스텝(S68)의 보다 상세한 처리를 설명하는 플로우차트.

제59도는 제53도 내지 제56도에 도시한 실시예를 실행하는 경우에 있어서 제8도의 스텝(S81)의 보다 상세한 처리를 설명하는 플로우차트.

제60도는 제53도 내지 제56도에 도시한 실시예를 실행하는 경우에 있어서 제8도의 스텝(S82)의 보다 상세한 처리를 설명하는 플로우차트.

제61도는 복수의 제스처를 종합하여 처리하는 제스처를 설명하는 제1 도면.

제62도는 복수의 제스처를 종합하여 처리하는 제스처를 설명하는 제2 도면.

제63도는 복수의 제스처를 종합하여 처리하는 제스처를 설명하는 제3 도면.

제64도는 복수의 제스처를 종합하여 처리하는 제스처를 설명하는 제4 도면.

제65도는 복수의 제스처를 종합하여 처리하는 제스처를 설명하는 제5 도면.

제66도는 제61도 내지 제65도에 도시한 실시예를 실행하는 경우에 있어서 제4도 내지 제6도에 도시한 플로우차트에 계속하여 실행되는 플로우차트.

제67도는 제66도에 계속되는 플로우차트.

제68도는 수기 입력된 문자의 제스처를 설명하는 제1 도면.

제69도는 수기 입력된 문자의 제스처를 설명하는 제2 도면.

제70도는 수기 입력된 문자의 제스처를 설명하는 제3 도면.

제71도는 수기 입력된 문자의 제스처를 설명하는 제4 도면.

제72도는 수기 입력된 문자의 제스처를 설명하는 제5 도면.

제73도는 제68도 내지 제72도의 실시예를 실행하는 경우에 있어서 제7도의 스텝(S66)의 보다 상세한 동작을 설명하는 플로우차트.

제74도는 제68도 내지 제72도의 실시예를 실행하는 경우에 있어서 제8도의 스텝(S82)의 보다 상세한 동작을 설명하는 플로우차트.

제75도는 제1도의 실시예의 동작을 설명하는 또 다른 기능 블럭도.

제76도는 문자를 정렬시키는 처리를 설명하는 제1 도면.

제77도는 문자를 정렬시키는 처리를 설명하는 제2 도면.

제78도는 문자를 정렬시키는 처리를 설명하는 제3 도면.

제79도는 문자를 정렬시키는 처리를 설명하는 제4 도면.

제80도는 문자를 정렬시키는 처리를 설명하는 제5 도면.

제81도는 제76도 내지 제80도의 실시예를 실행하는 경우에 있어서 제7도의 스텝(S66)의 보다 상세한 처리를 설명하는 플로우차트.

제82도는 제76도 내지 제80도의 실시예를 실행하는 경우에 있어서 제7도의 스텝(S68)의 보다 상세한 처리를 설명하는 플로우차트.

제83도는 제76도 내지 제80도의 실시예를 실행하는 경우에 있어서 제8도의 스텝(S81)의 보다 상세한 처리를 설명하는 플로우차트.

제84도는 제76도 내지 제80도의 실시예를 실행하는 경우에 있어서 제8도의 스텝(S82)의 보다 상세한 처리를 설명하는 플로우차트.

도면의 주요부분에 대한 부호의 설명

1 : CPU

2 : ROM

3 : RAM

8 : 버스 라인

11 : 디스플레이 콘트롤러

12 : V-RAM

13 : 디스플레이부

14 : 태블릿 인터페이스

15 : 입력 태블릿

16: 펜

53 : 필적 특징량 추출부

56 : 필적 비교부

57 : 1 화면 제스처 데이타 베이스

58 : 복수 화면 제스처 데이타 베이스

62 : 완성 제스처 후보 리스트 기억부

72 : 제스처 데이타 베이스

75 : 처리 결정부

76 : 기존 선분 리스트 기억부

78 : 대상 선분 리스트 기억부

80 : 선분 특징량 기억부

82 : 처리후 선분 기억부

Claims

컴퓨터의 연산 결과의 선분 또는 문자를 표시하기 위한 디스플레이 수단과,

상기 디스플레이 상에 형성되고, 조작에 따라 좌표 데이타를 출력하는 적어도 일부가 투명한 태블릿(tablet) 수단과,

상기 태블릿을 조작하기 위한 조작 수단과,

상기 조작 수단의 조작에 의해 상기 태블릿으로부터 출력된 상기 좌표 데이터에 의해 이루어지는 입력 필적을 기억하기 위한 하나 이상의 입력 필적 기억 수단과,

상기 입력 필적 기억 수단에 기억된 필적으로부터 특징량을 검출하는 수단과,

상기 특징량과, 미리 설치된 제스처 · 데이타 베이스에 기억되어 있는 제스처의 특징량을 비교하는 수단과,

상기 비교 수단이, 상기 특징량과 상기 제스처의 특징량이 소정 이상 유사한것으로 판정한 경우, 상기 조작 수단의 조작을 제스처인 것으로 특정하여, 대응하는 커맨드를 실행하는 수단

을 포함하고,

상기 디스플레이에 선분 또는 문자가 표시되어 있는 상태에서,

상기 조작 수단에 의해, 상기 선분 또는 문자에 대하여 소정의 관계가 되도록 조작을 행함으로써, 상기 조작에 의한 특징량의 입력이 행해지고, 이 특징량의입력에 대응하여 소정의 커맨드가 실행되어, 상기 선분 또는 문자의 표시 상태가 변경되는 것을 특징으로 하는 수기 입력 표시 장치.
제1항에 있어서,

상기 디스플레이에 복수의 선분이 표시되어 있는 상태에서,

상기 조작이, 3개 이상의 선분을 걸치는 조작일 때,

상기 커맨드는, 상기 3개 이상의 선분을 등간격으로 재배치하여 표시하는 커맨드인 것을 특징으로 하는 수기 입력 표시 장치.
제1항에 있어서,

상기 디스플레이에 복수의 선분이 표시되어 있는 상태에서,

상기 조작이, 2개 이상의 선분의 교차 각도를 지정하는 조작일 때,

상기 커맨드는, 상기 2개 이상의 선분을 소정의 각도로 재배치하여 표시하는 커맨트인 것을 특징으로 하는 수기 입력 표시 장치.
제3항에 있어서,

상기 조작이, 상기 2개 이상의 선분 각각의 선분상의 소정의 점에서의 교차를 더 지시하는 조작일 때,

상기 커맨드는, 상기 2개 이상의 선분을, 각각의 선분상의 소정의 점에서 소정의 각도로 교차하는 관계로 재배치하여 표시하는 커맨드인 것을 특징으로 하는수기 입력 표시 장치.
제3항 또는 제4항에 있어서,

상기 조작이, 상기 2개 이상의 선분 부근에서의 숫자를 더 입력하는 조작일때,

상기 커맨드는, 상기 2개 이상의 선분을, 숫자로 지정된 각도로 재배치하여 표시하는 커맨드인 것을 특징으로 하는 수기 입력 표시 장치.
제1항에 있어서,

상기 디스플레이에 복수의 선분이 표시되어 있는 상태에서,

상기 조작이, 2개 이상의 선분의 끝점 근방을 교차하는 조작일 때,

상기 커맨드는, 상기 2개 이상의 선분의 끝점이 동일 직선상에 늘어서는 관계로 재배치하여 표시하는 커맨드인 것을 특징으로 하는 수기 입력 표시 장치.
제6항에 있어서,

상기 조작이, 상기 2개 이상의 선분의 다른쪽의 끝점 근방을 더 교차하는 조작일 때,

상기 커맨드는, 상기 2개 이상의 선분의 양끝점이 각각 2개의 동일 직선상에 늘어서는 관계로 재배치하여 표시하는 커맨드인 것을 특징으로 하는 수기 입력 표시 장치.
제1항에 있어서,

상기 디스플레이에 복수의 선분이 표시되어 있는 상태에서,

상기 조작이, 2개 이상의 선분에 대하여, 소정 각도의 병행선(竝行線)을 입력하는 조작일 때,

상기 커맨드는, 상기 2개 이상의 선분이 병행으로 되도록 하는 관계로 재배치하여 표시하는 커맨트인 것을 특징으로 하는 수기 입력 표시 장치.
제8항에 있어서,

상기 조작이, 상기 2개 이상의 선분에 교차하는 조작을 더 포함할 때,

상기 커맨드는, 상기 2개 이상의 선분상의 교차점이 동일 직선상에 늘어서는 관계로 재배치하여 표시하는 커맨드인 것을 특징으로 하는 수기 입력 표시 장치.
제1항에 있어서,

상기 조작이, 상기 커맨드의 실행을 일시 정지하는 조작을 더 포함할 때,

해제를 위한 조작이 행해질 때까지, 상기 커맨드의 실행을 일시 정지하는 것을 특징으로 하는 수기 입력 표시 장치.
제1항에 있어서,

상기 디스플레이에 복수의 문자가 표시되어 있는 상태에서,

상기 조작이, 2개 이상의 문자에 대하여, 소정 관계의 직선을 입력하는 조작일 때,

상기 커맨드는, 상기 2개 이상의 문자를 정렬하여 재배치하여 표시하는 커맨드인 것을 특징으로 하는 수기 입력 표시 장치.