KR20040010364A - 문서 정보 입력 프로그램, 문서 정보 입력 장치 및 문서정보 입력 방법 - Google Patents

Abstract

본 발명은 기존 문서로부터 정보를 인식하여 문서에 입력하는 문서 정보 입력 프로그램, 문서 정보 입력 장치 및 문서 정보 입력 방법에 관한 것으로, 지정 수단으로 지정된 문서중의 처리 대상의 정확한 위치, 속성을 검출하여, 해당 위치, 속성을 바탕으로 촬상한 화상으로부터 문자 인식, 표 인식, 그림 처리 등에 적합한 처리를 행하여 전자 문서에 점착하고, 기존 문서에서 전자 문서로의 문자열, 표, 그림 등의 정보 입력을 고속으로 또한 고정밀도로 실현하는 것을 목적으로 한다.

컴퓨터로 기존 문서상에서 지정 수단에 의해 지정된 처리 대상 영역을 검출하는 수단과, 검출된 처리 대상 영역의 화상을 적어도 판독하는 수단과, 판독한 처리 대상 영역의 화상에 대해서 문자 인식하는 수단과, 문자 인식한 결과를 화면상의 해당 개소에 점착하는 수단으로서 실행시키기 위한 문서 정보 입력 프로그램이다.

Description

문서 정보 입력 프로그램, 문서 정보 입력 장치 및 문서 정보 입력 방법{DOCUMENT INFORMATION INPUT PROGRAM, DOCUMENT INFORMATION INPUT APPARATUS AND DOCUMENT INFORMATION INPUT METHOD}

본 발명은 기존 문서로부터 정보를 인식하여 문서에 입력하는 문서 정보 입력 프로그램, 문서 정보 입력 장치 및 문서 정보 입력 방법에 관한 것이다.

종래, 문서중의 문자열을 컴퓨터의 화면상에 입력하고 싶은 경우, 문서를 스캐너로 판독하여 화상을 생성하고, 그 화상을 문자 인식하며, 문자 인식한 문자열을 카피하여 화면상의 해당 개소에 점착함으로써 행하고 있었다.

또한, 일본 특허 공개 평성 제11-203403호 공보에서는, CCD 카메라에 의해 문서의 화상을 저해상도로 수시 촬영하고, 손가락이나 펜이 촬상되었을 때에 전회의 화상과의 차분을 취하여, 인식 영역 지정의 판단을 행하며, 지정 영역에 대해서 고해상도 화상을 새롭게 촬상하여, 문자 인식을 행하도록 하고 있었다.

전술한 종래의 전자의 방법에서는, 문서 중에서 영역을 지정하여 문자를 인식하고, 화면상의 해당 개소에 입력하는 데, 순서가 복잡하여 화상 입력도 시간이 걸리고, 효율이 나쁘다고 하는 문제가 있었다.

또한, 후자의 방법에서는, 수시 촬상된 화상을 처리할 필요가 있고, 부하가 증대하는 동시에, 저해상도 화상으로부터 손가락이나 펜 끝의 위치를 검출하여 영역 지정을 검출하여 그 영역에 대해서 문자를 인식할 필요가 있기 때문에, 정보가 적어 정확한 인식 영역을 추출하기 어려운 동시에, 고해상도 화상을 촬상할 필요가 있어, 많은 시간을 요한다고 하는 문제가 있었다.

본 발명은 이들 문제를 해결하기 위해 지정 수단으로 지정된 문서중의 처리 대상의 정확한 위치, 속성을 검출하고, 그 위치, 속성을 바탕으로 촬상한 화상으로부터 문자 인식, 표 인식, 그림 처리 등에 적합한 처리를 행하여 전자 문서에 점착하며, 기존 문서에서 전자 문서로의 문자열, 표, 그림 등의 정보 입력을 고속으로 또한 고정밀도로 실현하는 것을 목적으로 하고 있다.

도 1은 본 발명의 시스템 구성도.

도 2는 본 발명의 동작 설명 흐름도.

도 3은 본 발명의 설명도(그 1).

도 4는 본 발명의 상세 흐름도(그 1).

도 5는 본 발명의 상세 흐름도(그 2).

도 6은 본 발명의 설명도(그 2).

도 7은 본 발명의 상세 흐름도(그 3).

도 8은 본 발명의 상세 흐름도(그 4).

도 9는 본 발명의 상세 흐름도(그 5).

도 10은 본 발명의 상세 흐름도(그 6).

도 11은 본 발명의 속성/모드의 개략 설명도.

〈도면의 주요부분에 대한 부호의 설명〉

1 : 처리 장치

11 : 속성 검출 수단

12 : 영역 검출 수단

13 : 인식 수단

14 : 점착 수단

2 : 촬상 장치

3 : 지정 수단

4 : 출력 장치

도 1을 참조하여 과제를 해결하기 위한 수단을 설명한다.

도 1에 있어서, 처리 장치(1)는 기존 문서를 판독하여 문자 인식하고, 화면상의 해당 개소에 점착하는 것으로서, 여기서는, 속성 검출 수단(11), 영역 검출 수단(12), 인식 수단(13) 및 점착 수단(14) 등으로 구성되는 것이다.

속성 검출 수단(11)은 문서로부터 판독하는 영역의 속성(텍스트, 표, 그림 등)을 검출하는 것이다.

영역 검출 수단(12)은 문서 중에서 문자 인식하는 영역을 검출하는 것이다.

인식 수단(13)은 문서 중에서 검출된 영역에 대해서, 검출된 속성에 따라 문자 인식 등을 행하는 것이다.

점착 수단(14)은 화면상의 해당 위치에 점착하는 것이다.

촬상 장치(2)는 문서의 화상을 판독하는 것이다.

지정 수단(3)은 문서상의 위치를 지정하는 것(예컨대 전자 펜)이다.

다음에, 동작을 설명한다.

영역 검출 수단(12)이 문서상에서 지정 수단(3)에 의해 지정된 처리 대상 영역을 검출하고, 촬상 장치(2)가 검출된 처리 대상 영역의 화상을 적어도 판독하며, 인식 수단(13)이 판독한 처리 대상 영역의 화상에 대해서 문자 인식하고, 점착 수단(14)이 문자 인식한 결과를 화면상의 해당 개소에 점착하도록 하고 있다.

이 때, 속성 검출 수단(11)이 지정 수단(3)에 의해 지정된 처리 대상 영역을 검출할 때에, 지정된 처리 대상 영역이 텍스트 영역, 표 영역 혹은 그림 영역 중 어느 하나의 속성을 검출하도록 하고 있다.

또한, 지정 수단(3)에 의해 화면상에서 지정된 영역에 대응하여 텍스트 영역, 표 영역 혹은 그림 영역을 검출하도록 하고 있다.

또한, 지정 수단(3)에 의해 시점에서 종점으로 향하는 방향의 차이로, 텍스트 영역, 표 영역 혹은 그림 영역을 검출하도록 하고 있다.

또한, 지정 수단(3)에 의해 처리 대상 영역이 텍스트 영역으로 검출되었을 때에, 추가로 텍스트 영역에 대해서 문자 인식하는, 지정된 모드를 검출하도록 하고 있다.

또한, 표 영역으로 검출되었을 때에, 지정 수단(3)으로 지정된 위치가 셀 안일 때에는 지정된 셀 내의 영역을 처리 대상 영역, 혹은 셀 밖일 때에는 지정된 위치의 문자를 중심으로 각 인접 거리가 소정치 이내의 문자열을 포함하는 영역을 처리 대상 영역으로 하도록 하고 있다.

따라서, 지정 수단(3)으로 지정된 문서중의 처리 대상의 정확한 위치, 속성을 검출하고, 그 위치, 속성을 바탕으로 촬상한 화상으로부터 문자 인식, 표 인식, 그림 처리 등에 적합한 처리를 행하여 전자 문서에 점착함으로써, 기존 문서에서 전자 문서로의 문자열, 표, 그림 등의 정보 입력을 고속으로 또한 고정밀도로 실현하는 것이 가능해진다.

다음에, 도 1에서 도 11을 이용하여 본 발명의 실시 형태 및 동작을 순차 상세히 설명한다. 여기서, 본원 발명이 처리 대상으로 하는 문서(기성 문서)는 종이 문서, 자동차 등의 번호판, 간판 등의 기 작성된 문서이다(문자, 표, 그림, 식 등이 인쇄, 프린트 아웃 등이 행해진 문서임).

도 1은 본 발명의 시스템 구성도를 도시한다.

도 1에 있어서, 처리 장치(1)는 프로그램에 따라 각종 처리를 실행하는 것으로서, 여기서는 기존 문서를 판독하여 문자 인식하고, 화면상의 해당 개소에 점착하는 것으로서, 속성 검출 수단(11), 영역 검출 수단(12), 인식 수단(13) 및 점착 수단(14) 등으로 구성되는 것이다.

속성 검출 수단(11)은 문서로부터 판독하는 영역의 속성(텍스트, 표, 그림 등)을 검출하는 것이다(도 3 내지 도 11을 이용하여 후술함).

영역 검출 수단(12)은 문서 중에서 문자 인식하는 영역을 검출하는 것이다(도 3 내지 도 11을 이용하여 후술함).

인식 수단(13)은 문서 중에서 검출된 영역에 대해서, 검출된 속성에 따라 문자 인식 등을 행하는 것이다(도 3 내지 도 11을 이용하여 후술함).

점착 수단(14)은 화면(문서를 표시한 화면, 그래픽 소프트웨어로 연 화면, 엑셀 등으로 연 워크 시트 등의 점착 가능한 화면 등)의 해당 위치에 점착하는 것이다(도 3 내지 도 11을 이용하여 후술함).

촬상 장치(2)는 문서의 화상을 판독하는 것으로서, 예컨대 디지털 카메라, 스캐너 등이다.

지정 수단(3)은 문서상의 위치를 지정하는 것(예컨대, 전자 펜)이다.

출력 장치(4)는 각종 출력 장치로서, 여기서는, 디스플레이 장치, 프린터 장치 등이다.

다음에, 도 2의 흐름도의 순서에 따라 도 1의 구성의 전체 동작을 설명한다.

도 2는 본 발명의 동작 설명 흐름도를 도시한다.

도 2에 있어서, S1은 좌표를 취득한다. 이것은, 도 1의 지정 수단(3)에 의해, 예컨대 후술하는 도 3의 (1)의 종이 문서상에서 전자 펜을 ON(시점)하여 드래그하고 OFF(종점)한 것에 대응하여 그 시점 및 종점의 좌표(또한, 필요에 따라 궤적의 좌표)를 취득한다(좌측 상부의 수신기로 검출하여 시점과 종점 등의 좌표를 취득함).

S2는 화상을 취득한다. 이것은 도 1의 촬상 장치(2)로 문서의 화상을 촬상하여 취득한다.

S3은 속성을 검출한다. 이것은, 지정 수단(3)으로 지정된 영역에 대응하는 속성(텍스트, 표, 그림)을 검출, 혹은 지정 수단(3)으로 지정된 시점에서 종점으로 향하는 방향의 차이로 속성(텍스트, 표, 그림)을 검출하는 등을 행한다.

S4는 영역을 검출한다. 이것은, 지정 수단(3)으로 지정된, 예컨대 시점과 종점으로 정해지는 영역을 검출한다.

S5는 인식한다. 이것은, S4에서 검출한 영역내의 화상에 대해서, S3에서 검출한 속성(텍스트, 표, 그림)에 따라 문자 인식 등을 행한다.

S6은 점착한다. 이것은, S5에서 인식한 결과를 화면상의 문서중의 지정된 위치에 점착한다.

이상에 의해, 종이 문서상에서 영역 및 속성을 검출하고, 검출된 영역에 대해서 검출된 속성에 따라 문자 인식 등을 행하여, 그 결과를 지정된 화면상의 개소에 점착함으로써, 간이하고 또한 신속하게 종이 문서중의 텍스트, 표, 그림 등을 전자 문서중의 해당 개소에 점착하는(입력하는) 것이 가능해진다. 이하 순차 상세히 설명한다.

도 3은 본 발명의 설명도(그 1)를 도시한다.

도 3의 (1)은 좌표 취득 및 화상 취득의 예를 도시한다.

도 3의 (1)에 있어서, 종이 문서는 종이(예컨대 A4의 종이)상에 문자가 인쇄된 텍스트 영역(좌측), 표가 인쇄된 표 영역(우측 하단), 그림이 인쇄된 그림 영역(우측 상단)이 각각 도시와 같이 존재하는 것이다.

수신기는 도시 밖의 펜(전자 펜)을 종이 문서상에서 눌러 펜 ON으로 하면 그 펜 ON의 좌표(시점)를 검출하고, 전자 펜이 드래그되면 그 궤적의 좌표를 검출하며, 전자 펜을 OFF로 하면 그 좌표(종점)를 검출하는 공지의 것이다.

이상의 구성을 바탕으로, 여기서는, 종이 문서상에서 전자 펜이 눌려진 시점과 종점의 좌표를 검출, 및 종이 문서를 디지털 카메라, 스캐너 등으로 판독하여 화상을 생성하는 것이 가능해진다.

도 3의 (2)는 인식의 예를 나타낸다. 여기서는,

·좌측의 종이 문서중의 텍스트 영역에 대해서는 문자 인식을 행한다.

·중앙의 종이 문서중의 표 영역에 대해서는 표중의 각 셀의 문자 인식을 행한다.

·우측의 종이 문서중의 그림 영역에 대해서는 그림이기 때문에, 여기서는, 문자 인식하지 않는다.

이상에 의해, 종이 문서중의 텍스트 영역 및 표 영역에 대해서는 문자 인식되게 된다.

도 3의 (3)은 점착예를 나타낸다. 여기서는,

·좌측의 종이 문서중의 텍스트 영역에 대해서는 도 3의 (2)에서 문자 인식 결과를, 화면상의 문서의 커서가 있는 위치를 선두에 점착한다(입력한다).

·중앙의 종이 문서중의 표 영역에 대해서는 도 3의 (2)에서 문자 인식 결과를 화면상의 여기서는 표중의 커서가 있는 위치에 점착한다(입력한다).

·우측의 종이 문서중의 그림 영역에 대해서는 도 3의 (1)에서 취득한 화상중에서 추출한 그 그림 영역의 그림을 그대로 화면상에 그대로 점착한다(필요에 따라 사이즈, 점착 개소를 지정함).

이상에 의해, 화면상의 전자 문서 중에, 종이 문서 중에서 추출한 텍스트 영역, 표 영역에서 인식한 문자열, 추가로 그림 영역에 대해서는 그림을 전자 문서중의 해당 위치에 점착하는 것이 간이하고 또한 고정밀이면서 신속하게 행하는 것이 가능해진다.

도 4는 본 발명의 상세 흐름도(그 1)를 도시한다.

도 4에 있어서, S11은 전자 펜이 ON인지 판별한다. 이것은, 이미 설명한 도 3의 (1)의 종이 문서상에서, 전자 펜이 눌려져 ON이 검출되었는지 판별한다. YES의 경우에는, S12로 진행한다. NO의 경우에는, S11을 반복 대기한다.

S12는 S11의 YES이며, 전자 펜 ON이 검출되었기 때문에, 궤적을 취득한다. 이것은, S11의 YES에서 전자 펜 ON이 검출되고, 드래그되었기 때문에 그 드래그된 위치의 궤적(좌표)을 취득한다.

S13은 전자 펜이 OFF인지 판별한다. 이것은 S12에서 전자 펜이 드래그되어 OFF가 검출되었는지 판별한다. YES의 경우에는, S14로 진행한다. NO의 경우에는, S13을 반복하여 행하고 대기한다.

S14는 S13의 YES에서 전자 펜이 OFF되었다고 검출되었기 때문에, S11의 YES에서 전자 펜 ON 검출시의 시점 좌표 및 전자 펜 OFF 검출시의 종점 좌표를 바탕으로 정해지는 영역의 화상을 도 1의 촬상 장치(2)로 촬상하여 취득한다.

이상에 의해, 이미 설명한 도 3의 (1)에서 종이 문서상에서 예컨대 좌측의①의 시점 및 종점이 검출되었을 때에는 그 시점과 종점을 포함하는 직사각형 영역의 화상을 예컨대 도시된 점선과 같이 촬상 장치(2)로 촬상하여 취득한다. 그리고, 이미 설명한 도 3의 (2)의 인식 처리로 진행한다.

도 5는 본 발명의 상세 흐름도(그 2)를 도시한다.

도 5에 있어서, S21은 궤적을 포함하는 표를 추출한다. 이것은, 이미 설명한 3의 (1)의 ②의 표 영역에 대해서, 이미 설명한 도 4의 흐름도에 따라 검출한 시점과 종점의 궤적을 포함하는 표 영역의 화상을 추출한다.

S22는 셀마다의 문자열 정보를 얻는다. 이것은, S21에서 추출한 표 영역 중에서 각 셀마다 문자 인식하여 문자 인식 정보를 얻는다.

S23은 표의 논리 구조를 인식한다. 이것은, 도 3의 (1)의 ②의 표 영역에 대해서, 괘선을 바탕으로 표의 논리 구조(셀의 행렬 정보 등)를 인식한다.

S24는 고착한다. 이것은, 이미 설명한 도 3의 (3)의 중앙에 도시한 바와 같이, 화면상의 전자 문서중의 해당 셀에 인식한 각각의 셀마다의 문자 인식 정보를 점착하여 입력한다.

이상에 의해, 도 3의 (1)의 종이 문서중의 표 영역에 대해서, 그 표의 각 셀마다 문자 인식 및 표의 논리 구조를 인식하고, 전자 문서중의 해당하는 표의 셀에 문자 정보를 정확하고 또한 신속하게 점착하여 입력하는 것이 가능해진다.

도 6은 본 발명의 설명도(그 2)를 도시한다.

도 6에 있어서, 하단의 속성 지정 영역은 상단의 종이 문서의 영역의 속성을 지정하는 영역이다. 어느 하나의 속성을 전자 펜으로 클릭(전자 펜으로 ON-OFF)하여 속성을 지정하고, 다음에, 이미 설명한 도 3의 (1)의 종이 문서상에서 전자 펜을 ON-드래그-OFF하며, 그 시점과 종점을 포함하는 소정의 직사각형 영역을 추출하고, 그 지정한 속성으로 추출한 영역의 인식, 추가로, 전자 문서의 해당 개소로의 점착을 행하도록 한 것이다. 여기서 속성 지정 영역에는 도시한 하기의 속성 지정 영역을 설치한다.

·텍스트:

·성명 문자열:

·주소 문자열:

·전화번호 문자열:

·표:

·그림:

여기서, 텍스트로 성명 문자열, 주소 문자열 및 전화번호 문자열 중 어느 하나의 영역이 전자 펜으로 클릭하여 지정되었을 때에는 종이 문서상에서 전자 펜에 의해 지정된 시점과 종점을 포함하는 직사각형 영역의 화상을 취득하고, 그 취득한 화상에 대해서 지정된 성명 문자열, 주소 문자열, 전화번호 문자열을 인식하기 위해서 최적의 예컨대 성명 사전, 주소 사전, 전화번호 사전 및 이들을 인식하는 최적의 문자 추출 방법을 설정하여 고정밀도로 문자 인식을 행하는 것이 가능해진다. 또한, 표에 대해서는, 종횡의 괘선을 검출하여 각 셀의 위치, 사이즈 등을 인식하는 인식 엔진을 기동 및 표 안의 문자 인식에 최적인 인식 방법을 설정하고, 고정밀도로 각 셀 및 셀 안의 문자 인식을 행한다. 그림에 대해서는, 그 그림의 화상을확대, 축소, 회전 등을 필요에 따라 행하고, 전자 문서중의 해당 개소에 점착하여 입력한다.

이상과 같이, 전자 펜으로 속성 지정 영역중의 임의의 개소를 클릭하여 속성을 지정하고, 그 지정한 속성으로 종이 문서 중에서 취득한 화상을 인식하여, 전자 문서중의 해당 개소에 점착하여 입력을 행함으로써, 각각의 속성(텍스트, 표, 그림 등)에 적합한 최적의 고정밀도로 인식하여, 전자 문서의 해당 개소로의 점착을 행하는 것이 가능해진다.

도 7은 본 발명의 상세 흐름도(그 3)를 도시한다.

도 7에 있어서, S31은 속성 지정한다. 이것은, 예컨대 이미 설명한 도 6의 속성 지정 영역 중 어느 하나의 영역을 전자 펜으로 클릭하여 지정한다.

S32는 S31의 속성 지정으로, 문자(텍스트)로서, 성명 모드, 주소 모드, 전화번호 모드 중 어느 하나가 지정된 경우, 그 지정된 모드로 최적으로 설정한 사전(성명 사전, 주소 사전, 전화번호 사전) 또한 문자의 추출 방법(성명에 최적인 문자 추출 방법, 주소에 최적인 문자 추출 방법, 전화번호에 최적인 문자 추출 방법)으로, 도 3의 (2)의 좌측의 문자 인식을 고정밀도로 또한 신속하게 행한다. 그리고, 도 3의 (3)에서, 전자 문서중의 커서 위치에 점착하여 입력한다.

S33은 S31의 속성 지정으로, 표가 지정된 경우, 그 지정된 표에 최적으로 설정한 표 인식 처리를 기동하여, 표의 논리 구조(각 셀의 행렬과 사이즈 등)를 검출하고, 도 3의 (2)의 중앙의 문자 인식(각 셀 안의 문자 인식)을 고정밀도로 또한 신속하게 행한다. 그리고, 도 3의 (3)에서, 전자 문서중의 표중의 해당 개소에 논리 구조를 복원하여 점착하여 입력한다.

S34는 S31의 속성 지정으로, 그림이 지정된 경우, 그 지정된 그림에 최적으로 설정한 엔진을 기동하고, 그림에 대해서, 필요에 따라 확대, 축소 등을 행하여 도 3의 (3)에서, 전자 문서중의 해당 개소에 점착하여 입력한다.

이상과 같이, 종이 문서중의 인식하고자 하는 영역의 속성을 전자 펜으로 지정하고, 그 지정된 속성에 최적인 설정(사전, 문자 추출 방법 등)을 하여, 인식을 고정밀도로 또한 신속하게 행하며, 전자 문서중의 해당 개소에 점착하여 입력하는 것이 가능해진다.

도 8은 본 발명의 상세 흐름도(그 4)를 도시한다.

도 8에 있어서, S41은 궤적을 취득한다. 이것은, 이미 설명한 도 3의 (1)의 종이 문서상에서, 전자 펜으로 ON하고, 드래그하여, OFF 하는 궤적(좌표)을 취득한다.

S42는 S41에서 취득한 전자 펜의 궤적의 시점과 종점이 도시한 바와 같이 좌측에서 우측 방향으로 거의 수평의 경우, 1행 문자열이라고 판정(시점과 종점에서 가로지른 문자열을 인식으로 판정)하고, 그 문자열을 포함하는 직사각형 영역의 화상을 취득하여, 도 3의 (2)의 문자 인식을 행한다.

S43은 S41에서 취득한 전자 펜의 궤적의 시점과 종점이, 도시한 바와 같이 좌측 하단에서 우측 상단으로 향하는 경우, 그 시점과 종점의 궤적으로 가로지른 복수의 문자열의 직사각형 영역의 화상을 취득하여, 도 3의 (2)의 문자 인식을 행한다. 그리고, 문자 인식한 결과를 전자 문서상의 커서 위치에 점착하여 입력한다.

S44는 S41에서 취득한 전자 펜의 궤적의 시점과 종점이, 도시한 바와 같이 좌측 상단에서 우측 하단으로 향하는 경우, 그 시점과 종점의 궤적으로 정해지는 직사각형의 표 영역의 화상을 취득하여, 도 3의 (2)의 표 인식(표의 각 셀 안의 문자 인식 및 표의 논리 구조(행렬 등)의 인식)을 행한다. 그리고, 문자 인식한 결과를 전자 문서상의 커서 위치 등에 점착하여 입력한다.

S45는 S41에서 취득한 전자 펜의 궤적의 시점과 종점이 도시한 바와 같이 우측 상단에서 좌측 하단으로 향하는 경우, 그 시점과 종점의 궤적으로 정해지는 그림 영역의 화상을 취득하여, 도 3의 (3)의 전자 문서상의 해당 개소에 점착하여 입력한다.

이상에 의해, 종이 문서상에서 전자 펜을 ON하여 드래그하여 OFF한다고 하는 일련의 간단한 조작에 의해 종이 문서상의 인식 대상의 영역 및 인식하는 속성(문자열, 표, 그림)을 검출시켜 전자 문서 중에 점착하여 신속하게 입력하는 것이 가능해진다.

도 9는 본 발명의 상세 흐름도(그 5)를 도시한다.

도 9에 있어서, S51은 궤적을 취득한다. 이것은, 이미 설명한 예컨대 도 8의 S41의 궤적을 취득하고, 여기서는, 영역과 표인 취지를 검출한다(도 8의 S44).

S52는 화상을 취득한다. 이것은, S51에서 취득한 궤적을 바탕으로 검출한 영역의 화상을 취득한다.

S53은 표를 인식한다. 이것은, S51에서 취득한 화상으로부터 표의 괘선, 셀의 인식(추출)을 행한다.

S54는 펜의 포인트가 셀에 포함되는지 판별한다. YES의 경우에는, 전자 펜으로 포인트된 위치가 표중의 셀에 포함된다고 판명되었기 때문에, S55에서 셀의 내접 영역을 추출하여, 도 3의 (2)의 문자 인식을 행하고, 그 셀 안의 문자열의 인식을 행한다. 그리고, 문자 인식한 결과를 이미 설명한 도 3의 (3)의 중앙의 전자 문서상의 표의 해당 개소에 점착하여 입력한다. 한편, S54의 NO의 경우에는, 전자 펜으로 포인트된 위치가 표중의 셀에 포함되지 않는다고 판명되었기 때문에, S56에서 펜의 포인트를 포함하는 영역의 문자열을 추출(전자 펜으로 포인트된 위치의 문자와 인접하는 문자가 소정 거리 범위내의 다른 문자를 통합하여 일련의 문자열로서 그 영역의 문자열의 화상을 추출)하여, 도 3의 (2)의 문자 인식을 행하고, 인식 결과를 전자 문서상의 해당 위치에 점착하여 입력한다.

이상에 의해, 표 안의 셀 혹은 표 밖의 문자열의 화상을 추출하여 문자 인식하고, 전자 문서상의 해당 개소에 점착하여 신속하게 입력하는 것이 가능해진다.

도 10은 본 발명의 상세 흐름도(그 6)를 도시한다.

도 10에 있어서, S61은 궤적을 취득한다. 이것은, 이미 설명한 도 6의 속성 지정 영역에서 전자 펜으로 지정된 궤적(이 경우에는, 전자 펜으로 클릭하기 때문에, 시점과 종점이 거의 동일한 좌표값이 되는 궤적)을 취득한다.

S62는 영역을 추출한다. 여기서는, 도 6의 성명 문자열의 영역이 지정되었다고 추출한다.

S63은 속성을 문자 인식을 이용하여 검출한다. 이것은, S62에서 추출된 영역의 속성의 모드 여기서는 예컨대 「성명」이라고 검출한다. 그 검출은 추출된 영역의 화상을 문자 인식하여 예컨대 「성명」이라고 인식하여도 좋고, 그 영역의 범위에 대응하는 미리 설정되어 있는 속성(여기서는, 「성명」)을 검출하여도 좋다.

S64는 S63에서 검출된 속성의 모드(성명 모드, 주소 모드, 전화번호 모드 등)에 최적인 사전, 문자의 추출 방법 등을 설정하고, S65로 진행한다.

S65는 궤적을 취득한다. 이것은, 도 6의 종이 문서상에서 전자 펜으로 ON하고, 드래그하며, OFF한 궤적을 취득한다.

S66은 영역을 추출한다. 이것은, 도 S65에서 취득한 궤적, 예컨대 시점과 종점의 좌표를 바탕으로 영역을 추출한다.

S67은 선택된 사전(모드)을 사용한 문자 인식을 행한다. 이에 따라, 성명 모드의 경우에는, 화상으로부터 그 성명에 최적인 성명 사전 및 화상 중에서 문자를 추출하는 방법을 사용하여 문자 인식하기 때문에, 고정밀도로 문자 인식할 수 있다.

S68은 점착한다. 이것은, S67에서 인식한 인식 결과를 전자 문서상의 예컨대 커서가 있는 위치에 점착하여 입력한다.

이상에 의해, 문자열의 경우에 성명, 주소, 전화번호 등의 모드를 합쳐서 지정하고, 그 모드에 최적인 사전이나 문자 추출 방법을 설정하여 문자 인식하며, 인식 결과를 전자 문서상의 해당 개소에 점착하여 입력함으로써, 전용의 사전 및 문자 추출 방법 등을 이용하여 고정밀도로 문자 인식하여 전자 문서상의 해당 개소에 입력하는 것이 가능해진다.

도 11은 본 발명의 속성/모드의 개략 설명도를 도시한다.

도 11에 있어서,

·속성 「문자」에는 추가로 모드 「성명」, 「주소」, 「전화번호」, 기타가 있다. 문자의 경우에, 추가로 모드 지정함으로써, 지정된 모드에 최적인 사전이나 화상으로부터의 문자 추출 방법을 설정함으로써, 고정밀도로 또한 신속하게 문자 인식하는 것이 가능해진다.

·속성 「표」는 속성만이다. 표 인식의 경우에는, 종횡의 괘선을 검출하고, 각 셀의 행렬 정보와 사이즈 등의 표의 논리 구성을 검출해야 하기 때문에, 그 속성 「표」용의 인식 엔진을 기동하여 인식시킨다.

·속성 「그림」은 속성만이다. 그림의 경우에는, 종이 문서중의 그림 영역으로부터 화상을 취득하고, 필요에 따라 확대, 축소, 회전 등을 행하여 전자 문서상의 해당 개소에 점착하여 입력하기 때문에, 그 확대, 축소, 회전 등을 행하는 엔진(소프트)을 기동하여 실행시키도록 한다.

또한, 본 실시예에서는, 문자열(성명, 주소, 전화번호 등), 표, 그림에 대해서 구별하여 속성을 검출하고, 각각의 속성에 최적인 처리를 설명하였지만, 이 밖에, 수식, 전표 등의 특별한 문자나 기호를 사용하거나 하는 기존 문서에서는, 그 전용의 속성을 마련하여 전용 사전, 문자 추출 방법 등을 설정하고, 지정된 속성에 최적인 사전, 문자 추출 방법을 사용하여 고정밀도로 또한 신속하게 기존 문서로부터 추출하여 인식하여 전자 문서에 점착하여 입력하도록 하는 것이 가능하다.

이상 설명한 바와 같이, 본 발명에 따르면, 지정 수단(3)으로 지정된 문서중의 처리 대상의 정확한 위치, 속성을 검출하여, 그 위치, 속성을 바탕으로 촬상한 화상으로부터 문자 인식, 표 인식, 그림 처리 등에 적합한 처리를 행하여 전자 문서에 고착하는 구성을 채용하고 있기 때문에, 기존 문서에서 전자 문서로의 문자열, 표, 그림 등의 정보 입력을 고속으로 또한 고정밀도로 실현하는 것이 가능해진다.

Claims (8)

1. 기존 문서로부터 정보를 인식하여 문서에 입력하는 문서 정보 입력 프로그램에 있어서,

   컴퓨터에 의해,

   기존 문서상에서 지정 수단에 의해 지정된 처리 대상 영역을 검출하는 수단과,

   상기 검출된 처리 대상 영역의 화상을 적어도 판독하는 수단과,

   상기 판독한 처리 대상 영역의 화상에 대해서, 문자 인식하는 수단과,

   상기 문자 인식한 결과를 화면상의 해당 개소에 점착하는 수단으로서 실행시키기 위한 문서 정보 입력 프로그램.
2. 제1항에 있어서, 상기 지정 수단에 의해 지정된 상기 처리 대상 영역을 검출하는 경우, 지정된 상기 처리 대상 영역이 텍스트 영역, 표 영역 혹은 그림 영역 중 어느 하나의 속성을 검출하는 것을 특징으로 하는 문서 정보 입력 프로그램.
3. 제1항 또는 제2항에 있어서, 상기 지정 수단에 의해 지정된 영역에 대응하여 상기 텍스트 영역, 표 영역 혹은 그림 영역을 검출하는 것을 특징으로 하는 문서 정보 입력 프로그램.
4. 제1항 또는 제2항에 있어서, 상기 지정 수단에 의해 시점에서 종점으로 향하는 방향의 차이로, 상기 텍스트 영역, 표 영역 혹은 그림 영역을 검출하는 것을 특징으로 하는 문서 정보 입력 프로그램.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 지정 수단에 의해 처리 대상 영역이 텍스트 영역으로 검출되었을 때에, 그 텍스트 영역에 대해서 문자 인식하는 지정된 모드를 더 검출하는 것을 특징으로 하는 문서 정보 입력 프로그램.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 표 영역으로 검출되었을 때에, 지정 수단으로 지정된 위치가 셀 내일 때에는 그 지정된 셀 내의 영역을 상기 처리 대상 영역, 혹은 셀 밖일 때에는 그 지정된 위치의 문자를 중심으로 각 인접 거리가 소정치 이내의 문자열을 포함하는 영역을 처리 대상 영역으로 하는 것을 특징으로 하는 문서 정보 입력 프로그램.
7. 기존 문서로부터 정보를 인식하여 문서에 입력하는 문서 정보 입력 장치에 있어서,

   기존 문서상에서 지정 수단에 의해 지정된 처리 대상 영역을 검출하는 수단과,

   상기 검출된 처리 대상 영역의 화상을 적어도 판독하는 수단과,

   상기 판독한 처리 대상 영역의 화상에 대해서, 문자 인식하는 수단과,

   상기 문자 인식한 결과를 화면상의 해당 개소에 점착하는 수단을 구비한 것을 특징으로 하는 문서 정보 입력 장치.
8. 기존 문서로부터 정보를 인식하여 문서에 입력하는 문서 정보 입력 방법에 있어서,

   기존 문서상에서 지정 수단에 의해 지정된 처리 대상 영역을 검출하는 단계와,

   상기 검출된 처리 대상 영역의 화상을 적어도 판독하는 단계와,

   상기 판독한 처리 대상 영역의 화상에 대해서, 문자 인식하는 단계와,

   상기 문자 인식한 결과를 화면상의 해당 개소에 점착하는 단계를 갖는 문서 정보 입력 방법.