KR20210140844A

KR20210140844A - 전자문서 내 테이블 정보 저장 시스템 및 그 방법

Info

Publication number: KR20210140844A
Application number: KR1020200057436A
Authority: KR
Inventors: 김영호; 이현빈; 경민영
Original assignee: 지의소프트 주식회사
Priority date: 2020-05-14
Filing date: 2020-05-14
Publication date: 2021-11-23
Also published as: KR102364100B1

Abstract

본 발명에 의한 전자문서 내 테이블 정보 저장 시스템 및 그 방법은, 기저장되어 있는 이미지 검출 모델을 이용하여, 입력된 전자문서 내 테이블 이미지를 인식하고, 인식한 상기 테이블 이미지의 좌표정보를 추론하는 테이블 검출부(100), 입력된 전자문서 이미지를 기준으로, 상기 테이블 검출부(100)에서 추론한 상기 테이블 이미지의 좌표정보를 보정하여, 테이블 영역 이미지만을 추출하는 테이블 이미지 추출부(200), 상기 테이블 이미지 추출부(200)에 의해 추출한 상기 테이블 영역 이미지 내 포함되어 있는 글자 영역 이미지를 인식하여 상기 글자 영역 이미지를 제거하고, 글자 영역 이미지가 제거된 테이블 영역 이미지를 이용하여 선 기준의 테이블 구조를 인식하고, 인식한 상기 글자 영역 이미지를 이용하여 글자 기준의 테이블 구조를 인식하는 테이블 구조 인식부(300) 및 상기 테이블 구조 인식부(300)에서 인식한 상기 선 기준의 테이블 구조와 글자 기준의 테이블 구조를 비교하여, 테이블 구조를 이루고 있는 각 셀 별로 인식한 상기 글자 영역 이미지를 매핑하는 테이블 매핑부(400)를 포함하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 시스템에 관한 것이다.

Description

전자문서 내 테이블 정보 저장 시스템 및 그 방법 {Table data storing system and method on the electronic document}

본 발명은 전자문서 내 테이블 정보 저장 시스템 및 그 방법에 관한 것으로, 전자문서 내 포함되어 있는 테이블의 정보를 저장할 수 있는 전자문서 내 테이블 정보 저장 시스템 및 그 방법에 관한 것이다.

종래의 전자문서 내 테이블 객체를 찾아 저장하는 기술은, 사전에 학습되어 있는 테이블 형태와 비교하여 추출하는 방식으로서, 검은 실선과 같은 특정한 형식을 이루고 있는 테이블 형태만을 탐지할 수 있어, 실제 이용되는 테이블은 다양한 형태 구조를 갖고 있기 때문에, 추출의 정확도가 매우 낮은 실정이다.

이와 관련해서, 국내등록특허 제10-1316780호("문서 내의 테이블의 정보를 기반으로 한 테이블 자동분류 시스템 및 그 방법")에서는 다수의 테이블을 포함한 문서를 업로드하여, 문서 내의 테이블의 정보를 기반으로 한 테이블 자동분류 시스템을 개시하고 있다.

한국등록특허 제10-1316780호 (등록일 2013.10.11.)

따라서 본 발명은 상기한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 전자문서 내 포함되어 있는 테이블을 구성하고 있는 셀의 크기, 셀 병합에 따른 셀 간격의 불균형의 인식률을 향상시켜, 테이블 정보의 신뢰성을 향상시킬 수 있는 전자문서 내 테이블 정보 저장 시스템 및 그 방법을 제공함에 있다.

상기한 바와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 의한 전자문서 내 테이블 정보 저장 시스템은, 기저장되어 있는 이미지 검출 모델을 이용하여, 입력된 전자문서 내 테이블 이미지를 인식하고, 인식한 상기 테이블 이미지의 좌표정보를 추론하는 테이블 검출부(100), 입력된 전자문서 이미지를 기준으로, 상기 테이블 검출부(100)에서 추론한 상기 테이블 이미지의 좌표정보를 보정하여, 테이블 영역 이미지만을 추출하는 테이블 이미지 추출부(200), 상기 테이블 이미지 추출부(200)에 의해 추출한 상기 테이블 영역 이미지 내 포함되어 있는 글자 영역 이미지를 인식하여 상기 글자 영역 이미지를 제거하고, 글자 영역 이미지가 제거된 테이블 영역 이미지를 이용하여 선 기준의 테이블 구조를 인식하고, 인식한 상기 글자 영역 이미지를 이용하여 글자 기준의 테이블 구조를 인식하는 테이블 구조 인식부(300) 및 상기 테이블 구조 인식부(300)에서 인식한 상기 선 기준의 테이블 구조와 글자 기준의 테이블 구조를 비교하여, 테이블 구조를 이루고 있는 각 셀 별로 인식한 상기 글자 영역 이미지를 매핑하는 테이블 매핑부(400)를 포함하는 것이 바람직하다.

더 나아가, 상기 테이블 검출부(100)는 입력된 전자문서의 형태에 따라, 이미지 형태로 변환한 후 테이블 이미지를 인식하는 것이 바람직하다.

더 나아가, 상기 테이블 이미지 추출부(200)는 상기 테이블 이미지의 좌표정보를 이용하여 사각 영역을 이루는 4개의 선을 생성하고, 상기 사각 영역이 확장되도록 상기 선들을 이동시키되, 각 선 별로 가지는 픽셀이 기설정된 배경색을 가질 경우, 상기 사각 영역의 확장을 중지하고, 상기 사각 영역이 축소되도록 상기 선들을 이동시키되, 각 선 별로 가지는 픽셀이 기설정된 선색을 가질 경우, 상기 사각 영역의 축소를 중지하여, 해당하는 사각 영역의 좌표정보로 상기 테이블 이미지의 좌표정보를 보정하는 것이 바람직하다.

더 나아가, 상기 테이블 구조 인식부(300)는 기저장되어 있는 엣지 검출 알고리즘을 이용하여, 상기 테이블 영역 이미지에 포함되어 있는 글자 영역 이미지, 선 영역 이미지 및 배경 영역 이미지를 구분하는 테이블 이미지 구분부(310), 기저장되어 있는 OCR 알고리즘을 이용하여, 상기 테이블 영역 이미지에 포함되어 있는 글자 영역 이미지와 글자 영역 이미지의 좌표 정보를 인식하여 저장 및 관리하고, 상기 테이블 영역 이미지 내에서 상기 글자 영역 이미지를 제거하는 글자 이미지 관리부(320) 및 상기 글자 이미지 관리부(320)에 의해 상기 글자 영역 이미지를 제거한 테이블 영역 이미지 내에서 선 영역을 검출한 제1 선 영역 이미지를 생성하고, 상기 제1 선 영역 이미지를 상기 테이블 영역 이미지의 가장자리까지 연장시켜 보정한 제2 선 영역 이미지를 생성하여, 상기 제2 선 영역 이미지에 의한 각 셀의 중심점을 설정하고, 각 셀들을 기준으로 중심점과 인접한 셀들의 중심점들을 연결하는 가상의 선을 생성하여, 상기 제1 선 영역 이미지와 제2 선 영역 이미지를 매핑시켜 상기 제2 선 영역 이미지의 가상의 선에 의해 상기 제1 선 영역 이미지의 선 영역이 겹쳐지지 않을 경우, 해당하는 셀은 병합이 이루어진 셀인 것으로 판단하여, 선 기준 테이블 구조 이미지를 생성하는 선 기준 구조 인식부(330)를 더 포함하여 구성되는 것이 바람직하다.

더 나아가, 상기 테이블 이미지 구분부(310)는 기저장되어 있는 모폴로지 연산 알고리즘을 이용하여, 구분한 글자 영역 이미지, 선 영역 이미지 및 배경 영역 이미지의 명확성을 향상시키는 것이 바람직하다.

더 나아가, 상기 글자 이미지 관리부(320)는 상기 테이블 영역 이미지의 배율을 소정 횟수만큼 상이하게 제어하면서, 각 배율마다 각각의 글자 영역 이미지와 글자 영역 이미지의 좌표 정보를 인식하는 것이 바람직하다.

더 나아가, 상기 테이블 구조 인식부(300)는 상기 테이블 이미지 구분부(310)에서 구분한 상기 글자 영역 이미지를 전달받아, 상기 선 기준 구조 인식부(330)에서 생성한 테이블 구조 이미지의 각 셀을 기준으로 상기 글자 영역 이미지를 인식하여, 글자 기준 테이블 구조 이미지를 생성하는 글자 기준 구조 인식부(340)를 더 포함하여 구성되는 것이 바람직하다.

더 나아가, 상기 글자 기준 구조 인식부(340)는 하나의 셀에서 인식한 글자 영역 이미지가 둘 이상이면서 인접한 셀과 글자 영역 이미지의 개수가 동일할 경우, 인식한 글자 영역 이미지 개수만큼 상기 선 기준 구조 인식부(330)에서 생성한 테이블 구조 이미지의 행 또는 열을 추가하여 상기 글자 기준 테이블 구조 이미지를 생성하는 것이 바람직하다.

더 나아가, 상기 글자 기준 구조 인식부(340)는 글자 간격, 글자의 자음과 모음 사이의 간격, 입력되는 글자 크기 중 적어도 하나 이상을 고려하여, 상기 글자 영역 이미지를 인식하는 것이 바람직하다.

더 나아가, 상기 테이블 매핑부(400)는 기설정된 형식에 따라 상기 글자 영역 이미지를 매핑한 테이블 구조 이미지의 파일을 생성하는 것이 바람직하다.

본 발명의 일 실시예에 의한 전자문서 내 테이블 정보 저장 방법은, 테이블 검출부에서, 테이블 이미지를 포함하는 전자문서를 입력받는 전자문서 입력단계(S100), 테이블 검출부에서, 상기 전자문서 입력단계(S100)에 의한 상기 전자문서 내 테이블 이미지를 인식하고, 인식한 상기 테이블 이미지의 좌표정보를 추론하는 테이블 이미지 좌표정보 추론단계(S200), 테이블 이미지 추출부에서, 상기 전자문서 입력단계(S100)에 의한 상기 전자문서 이미지를 기준으로, 상기 테이블 이미지 좌표정보 추론단계(S200)에서 추론한 상기 테이블 이미지의 좌표정보를 보정하여, 테이블 영역 이미지만을 추출하는 테이블 이미지 좌표정보 보정단계(S300), 테이블 구조 인식부에서, 상기 테이블 이미지 좌표정보 보정단계(S300)에 의해 추출한 상기 테이블 영역 이미지 내 포함되어 있는 글자 영역 이미지를 인식한 후 상기 글자 영역 이미지를 제거하고, 글자 영역 이미지가 제거된 테이블 영역 이미지를 이용하여 선 기준의 테이블 구조를 인식하고, 인식한 상기 글자 영역 이미지를 이용하여 글자 기준의 테이블 구조를 인식하는 테이블 구조 인식단계(S400) 및 테이블 매핑부에서, 상기 테이블 구조 인식단계(S400)에서 인식한 상기 선 기준의 테이블 구조와 글자 기준의 테이블 구조를 비교하여, 테이블 구조를 이루고 있는 각 셀 별로 인식한 상기 글자 영역 이미지를 매핑하여, 테이블 정보를 생성하는 테이블 이미지 매핑단계(S500)를 포함하여 구성되는 것이 바람직하다.

더 나아가, 상기 전자문서 입력단계(S100)에 의해 입력되는 상기 전자문서의 형태에 따라, 이미지 형태로 변환한 후 테이블 이미지를 인식하는 것이 바람직하다.

더 나아가, 상기 테이블 이미지 좌표정보 보정단계(S300)는 추론한 상기 테이블 이미지의 좌표정보를 이용하여 사각 영역을 이루는 4개의 선을 생성하고, 상기 사각 영역이 확장되도록 상기 선들을 이동시키되, 각 선 별로 가지는 픽셀이 기설정된 배경색을 가질 경우, 상기 사각 영역의 확장을 중지하고, 상기 사각 영역이 축소되도록 상기 선들을 이동시키되, 각 선 별로 가지는 픽셀이 기설정된 선색을 가질 경우, 상기 사각 영역의 축소를 중지하여, 해당하는 사각 영역의 좌표정보로 상기 테이블 이미지의 좌표정보를 보정하는 것이 바람직하다.

더 나아가, 상기 테이블 구조 인식단계(S400)는 기저장되어 있는 엣지 검출 알고리즘을 이용하여, 상기 테이블 이미지 좌표정보 보정단계(S300)에 의한 상기 테이블 영역 이미지에 포함되어 있는 글자 영역 이미지, 선 영역 이미지 및 배경 영역 이미지를 구분하는 테이블 이미지 구분단계(S410), 기저장되어 있는 OCR 알고리즘을 이용하여, 상기 테이블 이미지 좌표정보 보정단계(S300)에 의한 상기 테이블 영역 이미지에 포함되어 있는 글자 영역 이미지와 글자 영역 이미지의 좌표 정보를 인식하여 저장 및 관리하고, 상기 테이블 영역 이미지 내에서 상기 글자 영역 이미지를 제거하는 글자 이미지 관리단계(S420) 및 상기 글자 이미지 관리단계(S420)에 의해 상기 글자 영역 이미지를 제거한 테이블 영역 이미지 내에서 선 영역을 검출한 제1 선 영역 이미지를 생성하고, 상기 제1 선 영역 이미지를 상기 테이블 영역 이미지의 가장자리까지 연장시켜 보정한 제2 선 영역 이미지를 생성하여, 상기 제2 선 영역 이미지에 의한 각 셀의 중심점을 설정하고, 각 셀들을 기준으로 중심점과 인접한 셀들의 중심점들을 연결하는 가상의 선을 생성하여, 상기 제1 선 영역 이미지와 제2 선 영역 이미지를 매핑시켜 상기 제2 선 영역 이미지의 가상의 선에 의해 상기 제1 선 영역 이미지의 선 영역이 겹쳐지지 않을 경우, 해당하는 셀은 병합이 이루어진 셀인 것으로 판단하여, 선 기준 테이블 구조 이미지를 생성하는 선 기준 구조 인식단계(S430)를 더 포함하는 것이 바람직하다.

더 나아가, 상기 테이블 이미지 구분단계(S410)는 기저장되어 있는 모폴로지 연산 알고리즘을 이용하여, 구분한 글자 영역 이미지, 선 영역 이미지 및 배경 영역 이미지의 명확성을 향상시키는 것이 바람직하다.

더 나아가, 상기 글자 이미지 관리단계(S420)는 상기 테이블 영역 이미지의 배율을 소정 횟수만큼 상이하게 제어하면서, 각 배율마다 각각의 글자 영역 이미지와 글자 영역 이미지의 좌표 정보를 인식하는 것이 바람직하다.

더 나아가, 상기 테이블 구조 인식단계(S400)는 상기 테이블 이미지 구분단계(S410)에 의해 구분한 상기 글자 영역 이미지를 전달받아, 상기 선 기준 구조 인식단계(S430)에 의해 생성한 테이블 구조 이미지의 각 셀을 기준으로 상기 글자 영역 이미지를 인식하여, 글자 기준 테이블 구조 이미지를 생성하는 글자 기준 구조 인식단계(S440)를 더 포함하는 것이 바람직하다.

더 나아가, 상기 글자 기준 구조 인식단계(S440)는 하나의 셀에서 인식한 글자 영역 이미지가 둘 이상이면서 인접한 셀과 글자 영역 이미지의 개수가 동일할 경우, 인식한 글자 영역 이미지 개수만큼 상기 선 기준 구조 인식단계(S430)에 의해 생성한 테이블 구조 이미지의 행 또는 열을 추가하여 상기 글자 기준 테이블 구조 이미지를 생성하는 것이 바람직하다.

더 나아가, 상기 글자 기준 구조 인식단계(S440)는 글자 간격, 글자의 자음과 모음 사이의 간격, 입력되는 글자 크기 중 적어도 하나 이상을 고려하여, 상기 글자 영역 이미지를 인식하는 것이 바람직하다.

본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 시스템 및 그 방법은, 전자문서 내에 포함되어 있는 다양한 형태의 셀 크기, 셀 병합에 따른 불균일한 셀 간격을 갖고있는 다양한 형태의 테이블에 대한 인식률을 향상시켜, 전자문서 내에 포함되어 있는 글자 뿐 아니라, 테이블 형태로 포함되어 있는 정보들까지 효과적으로 저장할 수 있는 장점이 있다.

이러한 과정에서, 전자문서 내에 포함되어 있는 테이블 형태의 정보들을 단순하게 텍스트로 풀어서 저장하는 것이 아니라, 테이블과 동일한 구조 배열을 인식하여, 테이블 그대로 저장할 수 있어, 문서 데이터를 좀 뎌 효율적으로 이용할 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 시스템을 나타낸 구성 예시도이다.
도 2 내지 도 11은 본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 시스템 및 그 방법에서의 각 과정의 실시예이다.
도 12는 본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 방법을 나타낸 순서 예시도이다.

이하 첨부한 도면들을 참조하여 본 발명의 전자문서 내 테이블 정보 저장 시스템 및 그 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.

이 때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.

더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.

본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 시스템 및 그 방법은 전자문서 내에 포함되어 있는 다양한 형태의 셀 크기, 셀 병합에 따른 불균일한 셀 간격을 갖고있는 다양한 형태의 테이블에 대한 인식률을 향상시켜, 전자문서 내에 포함되어 있는 글자 뿐 아니라, 테이블 형태로 포함되어 있는 정보들까지 효과적으로 저장할 수 있다.

즉, 일 예를 들자면, 종래에는 이미지 파일로 업로드한 전자문서를 한글 파일 형식(HWP) 또는 엑셀 파일 형식(EXCEL)으로 저장할 경우, 테이블 내에 포함되어 있는 문자들은 그대로 옮겨지는 것이 불가능할 뿐 아니라, 설령 테이블 내에 포함되어 있는 문자들이 그대로 옮겨진다 할지라도 테이블 구조 변화(셀 크기 조절, 셀 병합 등)를 인식하지 못하여 사용자가 추가 보정작업을 진행하는 과정이 요구되어 왔다.

그렇지만, 본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 시스템의 경우, 테이블 내에 포함되어 있는 문자들을 인식할 수 있을 뿐 아니라, 테이블 구조 변화(셀 크기 조절, 셀 병합 등)를 정확하게 인지할 수 있어, 업로드한 전자문서 내 포함되어 있는 테이블 정보를 그대로 파일화 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 시스템의 구성을 나타낸 도면이다. 도 1을 참조로 하여 본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 시스템을 자세히 알아보도록 한다.

본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 시스템은 도 1에 도시된 바와 같이, 테이블 검출부(100), 테이블 이미지 추출부(200), 테이블 구조 인식부(300) 및 테이블 매핑부(400)를 포함하여 구성되는 것이 바람직하다.

각 구성에 대해서 자세히 알아보자면,

상기 테이블 검출부(100)는 미리 저장되어 있는 이미지 검출 모델을 이용하여, 입력된 전자문서 내 테이블 이미지를 인식하고, 인식한 상기 테이블 이미지의 좌표정보를 추론하는 것이 바람직하다.

즉, 상기 테이블 검출부(100)는 다양한 문서 이미지에 포함되어 있는 여러 종류의 테이블(표)을 인식하기 위하여, 딥러닝 학습 기반의 전자문서 내 테이블 이미지를 인식하는 것이 바람직하다. 상세하게는, 도 2에 도시된 바와 같이, 사전에 다양한 형태의 테이블이 포함된 문서 이미지와 표 영역의 좌표(좌상단, 우하단)로 구성된 대량의 학습 데이터를 이용하여, 딥러닝 학습을 수행하는 것이 바람직하다.

이러한 학습 수행을 통해서 생성된 이미지 검출 모델을 이용하여, 입력되는 전자문서 내 테이블 이미지를 인식하고, 인식한 상기 테이블 이미지의 좌표정보를 추론할 수 있다.

이 때, 딥러닝 학습에 이용되는 네트워크는 객체 인식을 위해 제안된 Faster R-CNN 알고리즘을 포함하여 다양한 테이블 검출 알고리즘 네트워크를 적용할 수 있으며, 이에 대해서 한정하는 것은 아니다.

또한, 상기 테이블 검출부(100)는 상술한 바와 같이, 전자문서를 입력받게 되는데, 입력되는 전자문서 자체가 이미지 형태의 문서 파일인 것이 가장 바람직하나, 경우에 따라서 전자문서의 형태가 이미지 형태가 아닌 PDF 파일 형태로 입력될 수 있다.

이 경우, PDF 파일에 포함되어 있는 페이지 별로 이미지 파일로 변환한 후 미리 저장되어 있는 이미지 검출 모델을 이용하여, 입력된 전자문서 내 테이블 이미지를 인식하고, 인식한 상기 테이블 이미지의 좌표정보를 추론하는 것이 바람직하다.

상기 테이블 이미지 추출부(200)는 입력된 전자문서 이미지를 기준으로, 상기 테이블 검출부(100)에서 추론한 상기 테이블 이미지의 좌표정보를 보정하여, 테이블 영역 이미지만을 추출하는 것이 바람직하다.

즉, 상기 테이블 검출부(100)에서 인식하는 상기 테이블 이미지란, 전자문서 내에 포함되어 있는 테이블 정보의 초기 이미지를 의미하는 것이 바람직하며, 상기 테이블 이미지 추출부(200)에서 추출한 상기 테이블 영역 이미지란, 전자문서 내에 포함되어 있는 테이블 정보의 최종 이미지로서, 이를 상세하게 세부 분석하여 테이블 구조 및 테이블에 포함되어 있는 글자 영역의 정보를 추출하여 원하는 파일 형태로의 저장을 수행하는 것이 바람직하다.

상세하게는, 상기 테이블 이미지 추출부(200)는 상기 테이블 이미지의 좌표정보를 이용하여 사각 영역을 이루는 4개의 선을 생성하고, 상기 사각 영역이 확장되도록 상기 선들을 이동시키되, 각 선 별로 가지는 픽셀이 미리 설정된 배경색을 가질 경우, 상기 사각 영역의 확장을 중지하는 것이 바람직하다.

이 후, 다시 상기 사각 영역이 축소되도록 상기 선들을 이동시키되, 각 선 별로 가지는 픽셀이 미리 설정된 선 색을 가질 경우, 상기 사각 영역의 축소를 중지하고, 해당하는 사각 영역의 좌표정보로 상기 테이블 이미지의 좌표정보를 보정하는 것이 바람직하다.

또한, 이렇게 보정한 상기 테이블 이미지의 좌표정보에 해당하는 테이블 영역 이미지를 추출하는 것이 바람직하다.

다시 말하자면, 상기 테이블 이미지 추출부(200)는 도 3의 a)에 도시된 바와 같이, 상기 테이블 검출부(100)에서 추론한 상기 테이블 이미지의 좌표정보를 이용하여 사각 영역을 이루는 4개의 선을 생성할 수 있다.

상기 테이블 검출부(100)를 통해서 추론한 상기 테이블 이미지의 좌표정보가 테이블 영역 만을 포함하고 있어, 별도의 보정없이 테이블 영역 이미지만을 추출할 수 있으면 가장 바람직하지만, 이미지 검출 모델을 이용하여 상기 테이블 이미지의 좌표정보를 추론하기 때문에, 그 정확도가 높긴 하지만 현재로서는 100% 신뢰하기는 곤란하다.

다만, 지속적으로 이미지 검출 모델을 이용하여 추론한 상기 테이블 이미지의 좌표정보를 보정한 좌표정보를 추가적으로 학습하면서, 이미지 검출 모델의 정확도를 향상시킬 수 있다.

이 때, 사각 영역을 이루는 4개의 선은 도 3의 a)에 도시된 바와 같이, 추론에 의한 상기 테이블 이미지의 좌표정보이기 때문에, 테이블 영역의 안쪽이나 바깥쪽에 생성될 수 있다. 즉, 상기 전자문서 이미지에 포함되어 있는 상기 테이블 이미지만을 정확하게 포함하고 있지 않기 때문에, 각 선들의 좌표를 조절하여 테이블 영역 만을 포함하도록 하는 것이 바람직하다.

이를 위해, 테이블의 모든 영역을 포함할 수 있도록 각 선을 바깥쪽으로 이동, 다시 말하자면, 4개의 선이 이루고 있는 사각 영역이 확장되도록 각 선을 전자문서 이미지의 가장자리 방향으로 이동시켜 움직이는 것이 바람직하다.

이 때, 각 선 별로 가지는 픽셀이 모두 배경색(도 3에서는 하얀색으로 설정되어 있으나, 이는 본 발명의 일 실시예에 불과하며, 상기 테이블 검출부(100)에서 입력되는 전자문서 이미지를 이용하여 설정하는 것이 바람직하다.)을 가질 때, 각 선의 움직임을 멈추어 사각 영역의 확장을 중지하는 것이 바람직하다.

이러한 과정을 통해서, 4개의 선이 모두 테이블 영역의 바깥에 위치하기 때문에, 다시 4개의 선이 테이블 영역과 일치할 수 있도록 각 선을 안쪽으로 이동, 다시 말하자면, 4개의 선이 이루고 있는 사각 영역이 축소되도록 각 선을 전자문서 이미지의 중심 방향으로 이동시켜 움직이는 것이 발마직하다.

이 때, 각 선 별로 가지는 픽셀이 모두 선 색(도 3에서는 검정색으로 설정되어 있응나, 이는 본 발명의 일 실시예에 불과하며, 상기 테이블 검출부(100)에서 입력되는 전자문서 이미지를 이용하여 설정하는 것이 바람직하다.)을 가질 때, 각 선의 움직임을 멈추어 사각 영역의 축소를 중지하는 것이 바람직하다.

이를 통해서, 최종 결정된 각 선의 좌표를 이용하여, 상기 테이블 검출부(100)를 통해서 추론한 상기 테이블 이미지의 좌표정보를 보정할 수 있다.

즉, 상기 테이블 이미지 추출부(200)는 도 3의 b)에 도시된 바와 같이, 테이블 영역 만을 포함하도록 테이블 이미지의 좌표정보를 보정하여, 도 3의 c)에 도시된 바와 같이, 상기 테이블 영역 이미지 만을 추출할 수 있다.

상기 테이블 구조 인식부(300)는 상기 테이블 이미지 추출부(200)에 의해 추출한 상기 테이블 영역 이미지 내 포함되어 있는 글자 영역 이미지를 인식하여 상기 글자 영역 이미지를 제거하고, 글자 영역 이미지가 제거된 테이블 영역 이미지를 이용하여 선 기준의 테이블 구조를 인식하고, 인식한 상기 글자 영역 이미지를 이용하여 글자 기준의 테이블 구조를 인식하는 것이 바람직하다.

이를 위해, 상기 테이블 구조 인식부(300)는 도 1에 도시된 바와 같이, 테이블 이미지 구분부(310), 글자 이미지 관리부(320), 선 기준 구조 인식부(330) 및 글자 기준 구조 인식부(340)를 더 포함하여 구성되는 것이 바람직하다.

상기 테이블 이미지 구분부(310)는 미리 저장되어 있는 엣지 검출 알고리즘을 이용하여, 상기 테이블 이미지 추출부(200)에서 추출한 상기 테이블 영역 이미지에 포함되어 있는 글자 영역 이미지, 선 영역 이미지 및 배경 영역 이미지를 구분하는 것이 바람직하다.

즉, 상기 테이블 이미지 구분부(310)는 테이블에 포함되어 있는 다양한 글자 색과 배경 색에 대응하기 위하여, 다시 말하자면, 다양한 색깔의 글씨나, 테이블을 이루고 있는 셀의 배경 색을 통일하기 위하여, 엣지 검출을 기반으로 테이블 영역 이미지의 전경(테이블 영역 이미지에 포함되어 있는 글자 영역, 선 영역)과 배경을 구분할 수 있다.

상세하게는, 도 4의 a)에 도시된 바와 같이, 상기 테이블 이미지 추출부(200)에서 추출한 상기 테이블 영역 이미지를 전달받아, 도 4의 b)에 도시된 바와 같이, 엣지 검출을 수행하여 검출한 엣지 영역은 테이블 영역 이미지의 전경으로 설정 구분하고, 엣지 영역 외의 영역은 테이블 영역 이미지의 배경으로 설정 구분하는 것이 바람직하다.

본 발명의 일 실시예에 따른 상기 테이블 이미지 구분부(310)에서는, 캐니 엣지 검출기를 사용하여 엣지 검출을 수행하였으나, 이는 본 발명의 일 실시예에 불과하며 이에 대해서 한정하는 것은 아니다.

이 때, 상기 테이블 이미지 구분부(310)는 엣지 검출한 상기 테이블 영역 이미지의 전경이 더욱 더 명확하게 보일 수 있도록, 미리 저장되어 있는 모폴로지 연산 알고리즘을 이용하여, 엣지 검출을 통해서 구분한 글자 영역 이미지와 선 영역 이미지의 픽셀을 확장시켜 테이블 영역 이미지의 전경과 배경을 좀 더 명확하게 구분할 수 있도록 하는 것이 바람직하다.

즉, 도 4의 c)에 도시된 바와 같이, 전경의 테두리만을 검출하는 엣지 검출을 보완하기 위하여, 모폴로지 연산을 수행하여 엣지 검출을 통해서 구분한 글자 영역 이미지와 선 영역 이미지의 테두리 안쪽을 채움으로써 테이블 영역 이미지의 전경과 배경을 좀 더 명확하게 구분할 수 있을 뿐 아니라, 이를 통해서 테이블 영역 이미지의 전경을 하얀색(이는 본 발명의 일 실시예에 불과하며, 사용자의 제어에 의해 변경 가능함.)으로 나타낼 수 있으며, 테이블 영역 이미지의 배경은 검정색(이는 본 발명의 일 실시예에 불과하며, 사용자의 제어에 의해 변경 가능함.)으로 나타낼 수 있다.

상기 글자 이미지 관리부(320)는 미리 저장되어 있는 OCR 알고리즘을 이용하여, 상기 테이블 이미지 추출부(200)에서 추출한 상기 테이블 영역 이미지에 포함되어 있는 글자를 인식하고, 인식한 글자의 좌표 정보를 저장 및 관리하는 것이 바람직하다. 또한, 상기 테이블 영역 이미지 내에서 인식한 글자 영역을 제거하는 것이 바람직하다.

상세하게는, 상기 글자 이미지 관리부(320)는 도 5의 a)에 도시된 바와 같이, OCR을 통해서 상기 테이블 영역 이미지에 포함되어 있는 글자를 인식하고, 글자의 위치와 내용 정보는 저장 및 관리하며, 도 5의 b)에 도시된 바와 같이, 상기 테이블 영역 이미지에서 글자 영역을 제거하는 것이 바람직하다.

이를 통해서, 이 후 과정에서 이루어지는 상기 테이블 영역 이미지 내에 포함되어 있는 선 영역의 인식 정확도를 향상시킬 수 있으며, 상기 OCR 알고리즘으로는 통상적으로 사용되는 다양한 OCR 알고리즘의 적용이 가능하며 이에 대해서 한정하는 것은 아니다.

이 때, 이미지의 해상도, 다시 말하자면, 상기 테이블 영역 이미지의 해상도에 따라 글자 인식률이 상이하기 때문에, 상기 테이블 영역 이미지의 배율을 0.8배 ~ 1.2배로 0.1배씩 증가시키면서 글자 인식을 수행하는 것이 바람직하다.

일 예를 들자면, 0.8배 ~ 1.2배로 0.1배씩 상기 테이블 영역 이미지의 해상도를 증가시키면서 글자 인식을 수행할 경우, 총 5개의 테이블 영역 이미지의 5개 세트의 글자 인식이 이루어지며, 제일 많은 글자를 인식한 배율을 기준으로 글자의 위치와 내용 정보는 저장 및 관리하는 것이 바람직하다.

상기 선 기준 구조 인식부(330)는 상기 글자 이미지 관리부(320)에 의해 상기 글자 영역 이미지를 제거한 테이블 영역 이미지 내에서 선 영역을 검출한 제1 선 영역 이미지를 생성하고, 상기 제1 선 영역 이미지를 상기 테이블 영역 이미지의 가장자리까지 연장시켜 보정한 제2 선 영역 이미지를 생성하는 것이 바람직하다.

이 후, 상기 제2 선 영역 이미지에 의한 각 셀의 중심점을 설정하고, 각 셀들을 기준으로 중심점과 인접한 셀들의 중심점들을 연결하는 가상의 선을 생성하여, 상기 제1 선 영역 이미지와 제2 선 영역 이미지를 매핑시켜 상기 제2 선 영역 이미지의 가상의 선에 의해 상기 제1 선 영역 이미지의 선 영역이 겹쳐지지 않을 경우, 해당하는 셀은 병합이 이루어진 셀인 것으로 판단하여 선 기준 테이블 구조 이미지를 생성하는 것이 바람직하다.

상세하게는, 상기 선 기준 구조 인식부(330)는 선을 기준으로 테이블의 구보를 인식하기 위하여, 도 6의 a)에 도시된 바와 같이, 상기 글자 이미지 관리부(320)에 의해 상기 글자 영역 이미지를 제거한 테이블 영역 이미지를 이용하여 선 영역 검출을 수행하여, 상기 제1 선 영역 이미지를 생성하는 것이 바람직하다.

또한, 상기 제1 선 영역 이미지는 도 6의 a)에 도시된 바와 같이, 셀 크기, 셀 병합 등에 의해 구조를 일반화하기 어렵기 때문에, 도 6의 b)에 도시된 바와 같이, 상기 글자 이미지 관리부(320)에 의해 상기 글자 영역 이미지를 제거한 테이블 영역 이미지 내에서 검출한 선 영역을 상기 테이블 영역 이미지의 가장자리까지 연장시켜 보정한 상기 제2 선 영역 이미지를 생성하는 것이 바람직하다. 이를 통해서, 상기 테이블 매핑부(400)를 통해서 수행되는 테이블 배열 매핑을 원활하게 수행할 수 있다.

이 때, 선 영역을 검출하기 위한 선 검출 알고리즘으로 허프 변환(Hough Transformation) 알고리즘을 포함하여 다양한 선 검출 알고리즘의 적용이 가능하며, 이에 대해서 한정하는 것은 아니다.

이 후, 도 6의 c)에 도시된 바와 같이, 상기 제2 선 영역 이미지에서 검출된 선을 기준으로 셀 분할을 인식할 수 있어, 인식한 셀 분할 구조를 통해서 테이블 배열(구조)의 기본형으로 설정하여, 각 셀의 위치 정보(좌상단, 우하단 좌표 등)를 저장 및 관리하는 것이 바람직하다.

일 예를 들자면, 도 6의 c)과 같이, 셀 분할 인식된 제2 선 영역 이미지는 3행 7열의 테이블 배열이 생성됨을 알 수 있으며, 이 후, 상기 글자 기준 구조 인식부(340)를 통해서 행 또는 열이 추가되어 테이블 배열이 보정될 수 있다.

이 후, 셀 크기, 셀 병합 등에 의한 구조를 판단하기 위하여, 도 6의 c)에 도시된 바와 같이, 상기 제2 영역 이미지에 의한 각 셀의 중심점을 설정하는 것이 바람직하다.

이 후, 도 7의 a)에 도시된 바와 같이, 각각의 셀들에서, 각 셀들의 중심점을 기준으로 인접한 셀(상, 하, 좌, 우, 대각선 셀)들의 중심점들을 연결하는 가상의 선을 생성하는 것이 바람직하다.

이 후, 가상의 선을 생성한 제2 선 영역 이미지와 도 7의 b)에 도시된 상기 제1 선 영역 이미지를 매핑시켜, 도 7의 c)에 도시된 바와 같이, 상기 제2 선 영역 이미지의 가상의 선에 의해 상기 제1 선 영역 이미지의 선 영역이 겹쳐지지 않을 경우, 해당하는 셀은 병합이 이루어진 셀인 것으로 판단하면서, 상기 제2 선 영역 이미지에 포함되어 있는 모든 셀의 분할 구조를 파악하여 도 7의 d)에 도시된 바와 같이, 선 기준 테이블 구조 이미지를 생성하는 것이 바람직하다.

상기 글자 기준 구조 인식부(340)는 상기 테이블 이미지 구분부(310)에서 구분한 상기 글자 영역 이미지를 전달받아, 상기 선 기준 구조 인식부(330)에서 생성한 테이블 구조 이미지의 각 셀을 기준으로 상기 글자 영역 이미지를 인식하여, 글자 기준 테이블 구조 이미지를 생성하는 것이 바람직하다.

즉, 상기 글자 기준 구조 인식부(340)는 상기 선 기준 구조 인식부(330)에서 생성한 상기 선 기준 테이블 구조 이미지에 포함되어 있는 각 셀 별로 글자 영역을 스캔하는 것이 바람직하다.

상세하게는, 글자 영역을 스캔하는 과정은, 각 셀마다 수직적으로 스캔(x축의 한 라인이 y축을 기준으로 위에서 아래로 스캔)하거나, 수평적으로 스캔(y축의 한 라인이 x축을 기준으로 왼쪽에서 오른쪽으로 스캔)하는 것이 바람직하다.

일 예를 들자면, 수직적 스캔의 경우, 도 8의 a)에 도시된 바와 같이, 한 라인이 위에서 아래 방향으로 움직이며 글자 영역의 색을 검출하면서, 글자 영역의 시작점을 설정하는 것이 바람직하다. 이 후, 라인의 배경 영역의 색만으로 구성될 때, 글자 영역의 끝으로 설정하면서, 글자 영역 개수를 한 개씩 증가시키는 것이 바람직하다.

이 때, 수직적 스캔은 한 셀에 두 줄로 이루어진 글자 영역을 인식하기 위하여, 라인의 배경 영역의 색만으로 구성될 때, 소정 영역 만큼을 추가적으로 스캔하여 글자 영역이 포함되는지 판단하는 것이 바람직하다. 이를 통해서, 지정한 영역 내에 글자 영역이 검출된다면 스캔을 연장하고, 검출되지 않는다면 글자 영역의 끝으로 설정하는 것이 바람직하다.

이 때, 소정 영역은 테이블 이미지 영역을 인식할 때, 테이블 이미지 내 줄 간격을 인지하거나, 입력되는 글자 크기 등을 고려하여 설정하는 것이 가장 바람직하나, 이는 본 발명의 일 실시예에 불과하다.

또한, 수평적 스캔의 경우, 도 8의 b)에 도시된 바와 같이, 수직적 스캔과 유사한 방법으로 한 라인이 좌에서 우로 움직이며 글자 영역의 색을 검출하면서, 글자 영역의 시작점을 설정하는 것이 바람직하다. 이 후, 라인의 배경 영역의 색만으로 구성될 때, 글자 영역의 끝으로 설정하면서, 글자 영역 개수를 한 개씩 증가시키는 것이 바람직하다.

이 때, 수평적 스캔 역시도 수직적 스캔과 마찬가지로, 글자 사이의 빈 영역(글자의 자음과 모음 사이의 간격 등), 띄어쓰기(글자 간격, 입력되는 글자 크기 등) 등을 고려하여, 글자 영역의 끝을 설정하기 전에 미리 지정한 간격만큼 추가적으로 스캔하여 글자 영역이 포함되는지 판단하는 것이 바람직하다. 이를 통해서, 지정한 간격 내에서 글자 영역이 검출된다면 스캔을 연장하고, 검출되지 않는다면 글자 영역의 끝으로 설정하는 것이 바람직하다.

상기 글자 기준 구조 인식부(340)는 이렇게 상기 선 기준 테이블 구조 이미지에 포함되어 있는 각 셀 별로 글자 영역을 스캔을 수행한 결과에 따라, 하나의 셀에서 인식한 글자 영역 이미지가 둘 이상이면서 인접한 셀과 글자 영역 이미지의 개수가 동일할 경우, 인식한 글자 영역 이미지 개수만큼 상기 선 기준 구조 인식부(330)에서 생성한 상기 선 기준 테이블 구조 이미지의 행 또는 열을 추가하여 상기 글자 기준 테이블 구조 이미지를 생성하는 것이 바람직하다.

다시 말하자면, 상기 글자 기준 구조 인식부(340)는 스캔한 상기 글자 영역 이미지가 하나의 셀에서 2개 이상이고, 주변 셀들의 글자 영역 개수가 같을 경우, 각 기준(행, 열)에 맞게 테이블 구조 배열을 추가하는 것이 바람직하다.

일 예를 들자면, 도 9의 a)에 도시된 바와 같이, 1행 1열(병합 셀)은 수직적(행) 스캔과 수평적(열) 스캔의 글자 영역이 각각 1개이므로 테이블 구조 배열을 추가하지 않으며, 3행 1열의 경우, 수직적 스캔의 글자 영역이 14개이고, 주변 셀(예를 들자면, 3행 2열)의 수직적 스캔의 글자 영역 개수 역시 14개일 경우, 해당 테이블 구조 배열에 13개의 행을 추가하는 것이 바람직하다.

즉, 도 9의 a)와 같은 테이블 형태는 상기 선 기준 테이블 구조 이미지의 경우, 도 9의 b)와 같이 생성되지만, 도 9의 b)의 상기 선 기준 테이블 구조 이미지에 포함되어 있는 각 셀의 글자 영역을 스캔할 경우, 테이블 구조 배열의 추가가 이루어져 도 9의 c)와 같은 상기 글자 기준 테이블 구조 이미지가 생성되는 것이 바람직하다.

또다른 예를 들자면, 도 10의 a)와 같은 테이블 형태를 상기 선 기준 테이블 구조 이미지의 경우, 도 10의 b)와 같이 생성되지만, 도 10의 b)의 상기 선 기준 테이블 구조 이미지에 포함되어 있는 각 셀의 글자 영역을 스캔할 경우, 테이블 구조 배열의 추가가 이루어져 도 10의 c)와 같은 상기 글자 기준 테이블 구조 이미지가 생성되는 것이 바람직하다.

상기 테이블 매핑부(400)는 상기 테이블 구조 인식부(300)에서 인식한 상기 선 기준의 테이블 구조와 글자 기준의 테이블 구조를 비교하여, 테이블 구조를 이루고 있는 각 셀 별로 인식한 상기 글자 영역 이미지를 매핑하는 것이 바람직하다.

상세하게는, 상기 테이블 매핑부(400)는 상기 글자 이미지 관리부(320)에 저장되어 있는 글자의 좌표 정보와 최종적으로 보정된 상기 글자 기준 테이블 구조 이미지에 포함되어 있는 각 셀의 좌표정보(테이블 배열의 좌표정보)를 비교하여 테이블 배열의 글자 내용을 매핑시키는 것이 바람직하다.

즉, 상기 글자 이미지 관리부(320)를 통해서, 글자의 좌표 정보(좌상단, 우하단)와 글자 내용을 저장하고 있으며, 상기 글자 기준 테이블 구조 이미지를 통해서 각 셀별 좌표정보(좌상단, 우하단)를 저장하고 있기 때문에, 각 셀 영역에 포함되는 글자 인식 정보를 테이블 구조 배열의 글자 내용에 추가할 수 있다.

이를 통해서, 글자의 좌표 정보를 기반으로 각 셀 별로 글자 내용을 매핑시킬 수 있으며, 도 11에 도시된 바와 같이, 미리 설정된 형식에 따라 상기 글자 영역 이미지를 매핑한 테이블 구조 이미지의 파일을 생성할 수도 있다.

도 12는 본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 방법을 나타낸 순서도이다. 도 12를 참조로 하여 본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 방법을 자세히 알아보도록 한다.

본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 방법은 도 12에 도시된 바와 같이, 전자문서 입력단계(S100), 테이블 이미지 좌표정보 추론단계(S200), 테이블 이미지 좌표정보 보정단계(S300), 테이블 구조 인식단계(S400) 및 테이블 이미지 매핑단계(S500)를 포함하여 구성되는 것이 바람직하다.

각 단계에 대해서 자세히 알아보자면,

상기 전자문서 입력단계(S100)는 상기 테이블 검출부(100)에서, 테이블 이미지를 포함하는 전자문서를 입력받는 것이 바람직하다.

입력되는 전자문서 자체가 이미지 형태의 문서 파일인 것이 가장 바람직하나, 경우에 따라서 전자문서의 형태가 이미지 형태가 아닌 PDF 파일 형태로 입력될 수 있다. 이 경우, PDF 파일에 포함되어 있는 페이지 별로 이미지 파일로 변환하는 것이 바람직하다.

상기 테이블 이미지 좌표정보 추론단계(S200)는 상기 테이블 검출부(100)에서, 상기 전자문서 입력단계(S100)에 의한 상기 전자문서 내 테이블 이미지를 인식하고, 인식한 상기 테이블 이미지의 좌표정보를 추론하는 것이 바람직하다.

상기 테이블 이미지 좌표정보 추론단계(S200)는 미리 저장되어 있는 이미지 검출 모델을 이용하여, 입력된 전자문서 내 테이블 이미지를 인식하고, 인식한 상기 테이블 이미지의 좌표정보를 추론하게 된다.

즉, 다양한 문서 이미지에 포함되어 있는 여러 종류의 테이블(표)을 인식하기 위하여, 딥러닝 학습 기반의 전자문서 내 테이블 이미지를 인식하는 것이 바람직하다. 상세하게는, 도 2에 도시된 바와 같이, 사전에 다양한 형태의 테이블이 포함된 문서 이미지와 표 영역의 좌표(좌상단, 우하단)로 구성된 대량의 학습 데이터를 이용하여, 딥러닝 학습을 수행하는 것이 바람직하다.

이 때, 딥러닝 학습에 이용되는 네트워크는 객체 인식을 위해 제안된 다양한 네트워크를 적용할 수 있으며, 이에 대해서 한정하는 것은 아니다.

상기 테이블 이미지 좌표정보 보정단계(S300)는 상기 테이블 이미지 추출부(200)에서, 상기 전자문서 입력단계(S100)에 의한 상기 전자문서 이미지를 기준으로, 상기 테이블 이미지 좌표정보 추론단계(S200)에서 추론한 상기 테이블 이미지의 좌표정보를 보정하여, 테이블 영역 이미지만을 추출하는 것이 바람직하다.

이 때, 상기 테이블 이미지란, 전자문서 내에 포함되어 있는 테이블 정보의 초기 이미지를 의미하는 것이 바람직하며, 상기 테이블 영역 이미지란, 전자문서 내에 포함되어 있는 테이블 정보의 최종 이미지로서, 이를 상세하게 세부 분석하여 테이블 구조 및 테이블에 포함되어 있는 글자 영역의 정보를 추출하여 원하는 파일 형태로의 저장을 수행하는 것이 바람직하다.

상기 테이블 이미지 좌표정보 보정단계(S300)는 상기 테이블 이미지의 좌표정보를 이용하여 사각 영역을 이루는 4개의 선을 생성하고, 상기 사각 영역이 확장되도록 상기 선들을 이동시키되, 각 선 별로 가지는 픽셀이 미리 설정된 배경색을 가질 경우, 상기 사각 영역의 확장을 중지하는 것이 바람직하다.

다시 말하자면, 상기 테이블 이미지 좌표정보 보정단계(S300)는 도 3의 a)에 도시된 바와 같이, 추론한 상기 테이블 이미지의 좌표정보를 이용하여 사각 영역을 이루는 4개의 선을 생성할 수 있다.

추론한 상기 테이블 이미지의 좌표정보가 테이블 영역 만을 포함하고 있어, 별도의 보정없이 테이블 영역 이미지만을 추출할 수 있으면 가장 바람직하지만, 이미지 검출 모델을 이용하여 상기 테이블 이미지의 좌표정보를 추론하기 때문에, 그 정확도가 높긴 하지만 현재로서는 100% 신뢰하기는 곤란하다.

이에 따라, 도 3의 b)에 도시된 바와 같이, 테이블 영역 만을 포함하도록 테이블 이미지의 좌표정보를 보정하여, 도 3의 c)에 도시된 바와 같이, 상기 테이블 영역 이미지 만을 추출할 수 있다.

상기 테이블 구조 인식단계(S400)는 상기 테이블 구조 인식부(300)에서, 상기 테이블 이미지 좌표정보 보정단계(S300)에 의해 추출한 상기 테이블 영역 이미지 내 포함되어 있는 글자 영역 이미지를 인식한 후 상기 글자 영역 이미지를 제거하고, 글자 영역 이미지가 제거된 테이블 영역 이미지를 이용하여 선 기준의 테이블 구조를 인식하고, 인식한 상기 글자 영역 이미지를 이용하여 글자 기준의 테이블 구조를 인식하는 것이 바람직하다.

이를 위해, 상기 테이블 구조 인식단계(S400)는 도 12에 도시된 바와 같이, 테이블 이미지 구분단계(S410), 글자 이미지 관리단계(S420), 선 기준 구조 인식단계(S430) 및 글자 기준 구조 인식단계(S440)를 더 포함하여 구성되는 것이 바람직하다.

상기 테이블 이미지 구분단계(S410)는 상기 테이블 이미지 구분부(310)에서, 미리 저장되어 있는 엣지 검출 알고리즘을 이용하여, 상기 테이블 이미지 좌표정보 보정단계(S300)에 의한 상기 테이블 영역 이미지에 포함되어 있는 글자 영역 이미지, 선 영역 이미지 및 배경 영역 이미지를 구분하는 것이 바람직하다.

즉, 상기 테이블 이미지 구분단계(S410)는 테이블에 포함되어 있는 다양한 글자 색과 배경 색에 대응하기 위하여, 다시 말하자면, 다양한 색깔의 글씨나, 테이블을 이루고 있는 셀의 배경 색을 통일하기 위하여, 엣지 검출을 기반으로 테이블 영역 이미지의 전경(테이블 영역 이미지에 포함되어 있는 글자 영역, 선 영역)과 배경을 구분할 수 있다.

상세하게는, 도 4의 a)에 도시된 바와 같이, 상기 테이블 이미지 좌표정보 보정단계(S300)에 의한 상기 테이블 영역 이미지를 전달받아, 도 4의 b)에 도시된 바와 같이, 엣지 검출을 수행하여 검출한 엣지 영역은 테이블 영역 이미지의 전경으로 설정 구분하고, 엣지 영역 외의 영역은 테이블 영역 이미지의 배경으로 설정 구분하는 것이 바람직하다.

이 때, 상기 테이블 이미지 구분단계(S410)는 엣지 검출한 상기 테이블 영역 이미지의 전경이 더욱 더 명확하게 보일 수 있도록, 미리 저장되어 있는 모폴로지 연산 알고리즘을 이용하여, 엣지 검출을 통해서 구분한 글자 영역 이미지와 선 영역 이미지의 픽셀을 확장시켜 테이블 영역 이미지의 전경과 배경을 좀 더 명확하게 구분할 수 있도록 하는 것이 바람직하다.

상기 글자 이미지 관리단계(S420)는 상기 글자 이미지 관리부(320)에서, 미리 저장되어 있는 OCR 알고리즘을 이용하여, 상기 테이블 이미지 좌표정보 보정단계(S300)에 의한 상기 테이블 영역 이미지에 포함되어 있는 글자를 인식하고, 인식한 글자의 좌표 정보를 저장 및 관리하는 것이 바람직하다. 또한, 상기 테이블 영역 이미지 내에서 인식한 글자 영역을 제거하는 것이 바람직하다.

상세하게는, 상기 글자 이미지 관리단계(S420)는 도 5의 a)에 도시된 바와 같이, OCR을 통해서 상기 테이블 영역 이미지에 포함되어 있는 글자를 인식하고, 글자의 위치와 내용 정보는 저장 및 관리하며, 도 5의 b)에 도시된 바와 같이, 상기 테이블 영역 이미지에서 글자 영역을 제거하는 것이 바람직하다.

이를 통해서, 이 후 과정에서 이루어지는 상기 테이블 영역 이미지 내에 포함되어 있는 선 영역의 인식 정확도를 향상시킬 수 있다.

상기 선 기준 구조 인식단계(S430)는 상기 선 기준 구조 인식부(330)에서, 상기 글자 이미지 관리단계(S420)에 의해 상기 글자 영역 이미지를 제거한 테이블 영역 이미지 내에서 선 영역을 검출한 제1 선 영역 이미지를 생성하고, 상기 제1 선 영역 이미지를 상기 테이블 영역 이미지의 가장자리까지 연장시켜 보정한 제2 선 영역 이미지를 생성하는 것이 바람직하다.

상세하게는, 상기 선 기준 구조 인식단계(S430)는 선을 기준으로 테이블의 구보를 인식하기 위하여, 도 6의 a)에 도시된 바와 같이, 상기 글자 이미지 관리부(320)에 의해 상기 글자 영역 이미지를 제거한 테이블 영역 이미지를 이용하여 선 영역 검출을 수행하여, 상기 제1 선 영역 이미지를 생성하는 것이 바람직하다.

또한, 상기 제1 선 영역 이미지는 도 6의 a)에 도시된 바와 같이, 셀 크기, 셀 병합 등에 의해 구조를 일반화하기 어렵기 때문에, 도 6의 b)에 도시된 바와 같이, 상기 글자 이미지 관리부(320)에 의해 상기 글자 영역 이미지를 제거한 테이블 영역 이미지 내에서 검출한 선 영역을 상기 테이블 영역 이미지의 가장자리까지 연장시켜 보정한 상기 제2 선 영역 이미지를 생성하는 것이 바람직하다. 이를 통해서, 상기 테이블 매핑단계(S500)를 통해서 수행되는 테이블 배열 매핑을 원활하게 수행할 수 있다.

상기 글자 기준 구조 인식단계(S440)는 상기 글자 기준 구조 인식부(340)에서, 상기 테이블 이미지 구분단계(S410)에 의해 구분한 상기 글자 영역 이미지를 전달받아, 상기 선 기준 구조 인식단계(S430)에 의해 생성한 테이블 구조 이미지의 각 셀을 기준으로 상기 글자 영역 이미지를 인식하여, 글자 기준 테이블 구조 이미지를 생성하는 것이 바람직하다.

즉, 상기 글자 기준 구조 인식단계(S440)는 상기 선 기준 테이블 구조 이미지에 포함되어 있는 각 셀 별로 글자 영역을 스캔하는 것이 바람직하다.

또한, 수평적 스캔의 경우, 도 8의 b)에 도시된 바와 같이, 수직적 스캔과 방법이 유사하지만, 글자 사이의 빈 영역(글자의 자음과 모음 사이의 간격 등), 띄어쓰기(글자 간격, 입력되는 글자 크기 등)을 고려하여, 글자 영역의 끝을 설정하기 전에 미리 지정한 간격만큼 추가적으로 스캔하여 글자 영역이 포함되는지 판단하는 것이 발마직하다. 이를 통해서, 지정한 간격 내에서 글자 영역이 검출된다면 스캔을 연장하고, 검출되지 않는다면 글자 영역의 끝으로 설정하는 것이 바람직하다.

상기 글자 기준 구조 인식단계(S440)는 이렇게 상기 선 기준 테이블 구조 이미지에 포함되어 있는 각 셀 별로 글자 영역을 스캔을 수행한 결과에 따라, 하나의 셀에서 인식한 글자 영역 이미지가 둘 이상이면서 인접한 셀과 글자 영역 이미지의 개수가 동일할 경우, 인식한 글자 영역 이미지 개수만큼 상기 선 기준 테이블 구조 이미지의 행 또는 열을 추가하여 상기 글자 기준 테이블 구조 이미지를 생성하는 것이 바람직하다.

다시 말하자면, 상기 글자 기준 구조 인식단계(S440)는 스캔한 상기 글자 영역 이미지가 하나의 셀에서 2개 이상이고, 주변 셀들의 글자 영역 개수가 같을 경우, 각 기준(행, 열)에 맞게 테이블 구조 배열을 추가하는 것이 바람직하다.

상기 테이블 이미지 매핑단계(S500)는 상기 테이블 매핑부(400)에서, 상기 테이블 구조 인식단계(S400)에서 인식한 상기 선 기준의 테이블 구조와 글자 기준의 테이블 구조를 비교하여, 테이블 구조를 이루고 있는 각 셀 별로 인식한 상기 글자 영역 이미지를 매핑하는 것이 바람직하다.

상세하게는, 상기 테이블 이미지 매핑단계(S500)는 상기 글자 이미지 관리단계(S420)에 의해 저장되어 있는 글자의 좌표 정보와 최종적으로 보정된 상기 글자 기준 테이블 구조 이미지에 포함되어 있는 각 셀의 좌표정보(테이블 배열의 좌표정보)를 비교하여 테이블 배열의 글자 내용을 매핑시키는 것이 바람직하다.

즉, 상기 글자 이미지 관리단계(S420)에 의해 글자의 좌표 정보(좌상단, 우하단)와 글자 내용을 저장하고 있으며, 상기 글자 기준 테이블 구조 이미지를 통해서 각 셀별 좌표정보(좌상단, 우하단)를 저장하고 있기 때문에, 각 셀 영역에 포함되는 글자 인식 정보를 테이블 구조 배열의 글자 내용에 추가할 수 있다.

즉, 다시 말하자면, 본 발명의 일 실시예에 따른 전자문서 내 테이블 정보 저장 시스템 및 그 방법은, 전자문서 내에 포함되어 있는 다양한 형태의 셀 크기, 셀 병합에 따른 불균일한 셀 간격을 갖고있는 다양한 형태의 테이블에 대한 인식률을 향상시켜, 전자문서 내에 포함되어 있는 글자 뿐 아니라, 테이블 형태로 포함되어 있는 정보들까지 효과적으로 저장할 수 있는 장점이 있다.

이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100 : 테이블 검출부
200 : 테이블 이미지 추출부
300 : 테이블 구조 인식부
310 : 테이블 이미지 구분부 320 : 글자 이미지 관리부
330 : 선 기준 구조 인식부 340 : 글자 기준 구조 인식부
400 : 테이블 매핑부

Claims

기저장되어 있는 이미지 검출 모델을 이용하여, 입력된 전자문서 내 테이블 이미지를 인식하고, 인식한 상기 테이블 이미지의 좌표정보를 추론하는 테이블 검출부(100);
입력된 전자문서 이미지를 기준으로, 상기 테이블 검출부(100)에서 추론한 상기 테이블 이미지의 좌표정보를 보정하여, 테이블 영역 이미지만을 추출하는 테이블 이미지 추출부(200);
상기 테이블 이미지 추출부(200)에 의해 추출한 상기 테이블 영역 이미지 내 포함되어 있는 글자 영역 이미지를 인식하여 상기 글자 영역 이미지를 제거하고,
글자 영역 이미지가 제거된 테이블 영역 이미지를 이용하여 선 기준의 테이블 구조를 인식하고,
인식한 상기 글자 영역 이미지를 이용하여 글자 기준의 테이블 구조를 인식하는 테이블 구조 인식부(300); 및
상기 테이블 구조 인식부(300)에서 인식한 상기 선 기준의 테이블 구조와 글자 기준의 테이블 구조를 비교하여, 테이블 구조를 이루고 있는 각 셀 별로 인식한 상기 글자 영역 이미지를 매핑하는 테이블 매핑부(400);
를 포함하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 시스템.
제 1항에 있어서,
상기 테이블 검출부(100)는
입력된 전자문서의 형태에 따라, 이미지 형태로 변환한 후 테이블 이미지를 인식하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 시스템.
제 1항에 있어서,
상기 테이블 이미지 추출부(200)는
상기 테이블 이미지의 좌표정보를 이용하여 사각 영역을 이루는 4개의 선을 생성하고,
상기 사각 영역이 확장되도록 상기 선들을 이동시키되, 각 선 별로 가지는 픽셀이 기설정된 배경색을 가질 경우, 상기 사각 영역의 확장을 중지하고,
상기 사각 영역이 축소되도록 상기 선들을 이동시키되, 각 선 별로 가지는 픽셀이 기설정된 선색을 가질 경우, 상기 사각 영역의 축소를 중지하여,
해당하는 사각 영역의 좌표정보로 상기 테이블 이미지의 좌표정보를 보정하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 시스템.
제 1항에 있어서,
상기 테이블 구조 인식부(300)는
기저장되어 있는 엣지 검출 알고리즘을 이용하여, 상기 테이블 영역 이미지에 포함되어 있는 글자 영역 이미지, 선 영역 이미지 및 배경 영역 이미지를 구분하는 테이블 이미지 구분부(310);
기저장되어 있는 OCR 알고리즘을 이용하여, 상기 테이블 영역 이미지에 포함되어 있는 글자 영역 이미지와 글자 영역 이미지의 좌표 정보를 인식하여 저장 및 관리하고, 상기 테이블 영역 이미지 내에서 상기 글자 영역 이미지를 제거하는 글자 이미지 관리부(320); 및
상기 글자 이미지 관리부(320)에 의해 상기 글자 영역 이미지를 제거한 테이블 영역 이미지 내에서 선 영역을 검출한 제1 선 영역 이미지를 생성하고,
상기 제1 선 영역 이미지를 상기 테이블 영역 이미지의 가장자리까지 연장시켜 보정한 제2 선 영역 이미지를 생성하여,
상기 제2 선 영역 이미지에 의한 각 셀의 중심점을 설정하고,
각 셀들을 기준으로 중심점과 인접한 셀들의 중심점들을 연결하는 가상의 선을 생성하여, 상기 제1 선 영역 이미지와 제2 선 영역 이미지를 매핑시켜 상기 제2 선 영역 이미지의 가상의 선에 의해 상기 제1 선 영역 이미지의 선 영역이 겹쳐지지 않을 경우, 해당하는 셀은 병합이 이루어진 셀인 것으로 판단하여, 선 기준 테이블 구조 이미지를 생성하는 선 기준 구조 인식부(330);
를 더 포함하여 구성되는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 시스템.
제 4항에 있어서,
상기 테이블 이미지 구분부(310)는
기저장되어 있는 모폴로지 연산 알고리즘을 이용하여, 구분한 글자 영역 이미지, 선 영역 이미지 및 배경 영역 이미지의 명확성을 향상시키는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 시스템.
제 4항에 있어서,
상기 글자 이미지 관리부(320)는
상기 테이블 영역 이미지의 배율을 소정 횟수만큼 상이하게 제어하면서, 각 배율마다 각각의 글자 영역 이미지와 글자 영역 이미지의 좌표 정보를 인식하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 시스템.
제 4항에 있어서,
상기 테이블 구조 인식부(300)는
상기 테이블 이미지 구분부(310)에서 구분한 상기 글자 영역 이미지를 전달받아, 상기 선 기준 구조 인식부(330)에서 생성한 테이블 구조 이미지의 각 셀을 기준으로 상기 글자 영역 이미지를 인식하여, 글자 기준 테이블 구조 이미지를 생성하는 글자 기준 구조 인식부(340);
를 더 포함하여 구성되는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 시스템.
제 7항에 있어서,
상기 글자 기준 구조 인식부(340)는
하나의 셀에서 인식한 글자 영역 이미지가 둘 이상이면서 인접한 셀과 글자 영역 이미지의 개수가 동일할 경우, 인식한 글자 영역 이미지 개수만큼 상기 선 기준 구조 인식부(330)에서 생성한 테이블 구조 이미지의 행 또는 열을 추가하여 상기 글자 기준 테이블 구조 이미지를 생성하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 시스템.
제 7항에 있어서,
상기 글자 기준 구조 인식부(340)는
글자 간격, 글자의 자음과 모음 사이의 간격, 입력되는 글자 크기 중 적어도 하나 이상을 고려하여, 상기 글자 영역 이미지를 인식하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 시스템.
제 1항에 있어서,
상기 테이블 매핑부(400)는
기설정된 형식에 따라 상기 글자 영역 이미지를 매핑한 테이블 구조 이미지의 파일을 생성하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 시스템.
테이블 검출부에서, 테이블 이미지를 포함하는 전자문서를 입력받는 전자문서 입력단계(S100);
테이블 검출부에서, 상기 전자문서 입력단계(S100)에 의한 상기 전자문서 내 테이블 이미지를 인식하고, 인식한 상기 테이블 이미지의 좌표정보를 추론하는 테이블 이미지 좌표정보 추론단계(S200);
테이블 이미지 추출부에서, 상기 전자문서 입력단계(S100)에 의한 상기 전자문서 이미지를 기준으로, 상기 테이블 이미지 좌표정보 추론단계(S200)에서 추론한 상기 테이블 이미지의 좌표정보를 보정하여, 테이블 영역 이미지만을 추출하는 테이블 이미지 좌표정보 보정단계(S300);
테이블 구조 인식부에서, 상기 테이블 이미지 좌표정보 보정단계(S300)에 의해 추출한 상기 테이블 영역 이미지 내 포함되어 있는 글자 영역 이미지를 인식한 후 상기 글자 영역 이미지를 제거하고, 글자 영역 이미지가 제거된 테이블 영역 이미지를 이용하여 선 기준의 테이블 구조를 인식하고, 인식한 상기 글자 영역 이미지를 이용하여 글자 기준의 테이블 구조를 인식하는 테이블 구조 인식단계(S400); 및
테이블 매핑부에서, 상기 테이블 구조 인식단계(S400)에서 인식한 상기 선 기준의 테이블 구조와 글자 기준의 테이블 구조를 비교하여, 테이블 구조를 이루고 있는 각 셀 별로 인식한 상기 글자 영역 이미지를 매핑하여, 테이블 정보를 생성하는 테이블 이미지 매핑단계(S500);
를 포함하여 구성되는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 방법.
제 11항에 있어서,
상기 전자문서 입력단계(S100)에 의해 입력되는 상기 전자문서의 형태에 따라, 이미지 형태로 변환한 후 테이블 이미지를 인식하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 방법.
제 11항에 있어서,
상기 테이블 이미지 좌표정보 보정단계(S300)는
추론한 상기 테이블 이미지의 좌표정보를 이용하여 사각 영역을 이루는 4개의 선을 생성하고,
상기 사각 영역이 확장되도록 상기 선들을 이동시키되, 각 선 별로 가지는 픽셀이 기설정된 배경색을 가질 경우, 상기 사각 영역의 확장을 중지하고,
상기 사각 영역이 축소되도록 상기 선들을 이동시키되, 각 선 별로 가지는 픽셀이 기설정된 선색을 가질 경우, 상기 사각 영역의 축소를 중지하여,
해당하는 사각 영역의 좌표정보로 상기 테이블 이미지의 좌표정보를 보정하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 방법.
제 11항에 있어서,
상기 테이블 구조 인식단계(S400)는
기저장되어 있는 엣지 검출 알고리즘을 이용하여, 상기 테이블 이미지 좌표정보 보정단계(S300)에 의한 상기 테이블 영역 이미지에 포함되어 있는 글자 영역 이미지, 선 영역 이미지 및 배경 영역 이미지를 구분하는 테이블 이미지 구분단계(S410);
기저장되어 있는 OCR 알고리즘을 이용하여, 상기 테이블 이미지 좌표정보 보정단계(S300)에 의한 상기 테이블 영역 이미지에 포함되어 있는 글자 영역 이미지와 글자 영역 이미지의 좌표 정보를 인식하여 저장 및 관리하고, 상기 테이블 영역 이미지 내에서 상기 글자 영역 이미지를 제거하는 글자 이미지 관리단계(S420); 및
상기 글자 이미지 관리단계(S420)에 의해 상기 글자 영역 이미지를 제거한 테이블 영역 이미지 내에서 선 영역을 검출한 제1 선 영역 이미지를 생성하고,
상기 제1 선 영역 이미지를 상기 테이블 영역 이미지의 가장자리까지 연장시켜 보정한 제2 선 영역 이미지를 생성하여,
상기 제2 선 영역 이미지에 의한 각 셀의 중심점을 설정하고,
각 셀들을 기준으로 중심점과 인접한 셀들의 중심점들을 연결하는 가상의 선을 생성하여, 상기 제1 선 영역 이미지와 제2 선 영역 이미지를 매핑시켜 상기 제2 선 영역 이미지의 가상의 선에 의해 상기 제1 선 영역 이미지의 선 영역이 겹쳐지지 않을 경우, 해당하는 셀은 병합이 이루어진 셀인 것으로 판단하여, 선 기준 테이블 구조 이미지를 생성하는 선 기준 구조 인식단계(S430);
를 더 포함하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 방법.
제 14항에 있어서,
상기 테이블 이미지 구분단계(S410)는
기저장되어 있는 모폴로지 연산 알고리즘을 이용하여, 구분한 글자 영역 이미지, 선 영역 이미지 및 배경 영역 이미지의 명확성을 향상시키는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 방법.
제 14항에 있어서,
상기 글자 이미지 관리단계(S420)는
상기 테이블 영역 이미지의 배율을 소정 횟수만큼 상이하게 제어하면서, 각 배율마다 각각의 글자 영역 이미지와 글자 영역 이미지의 좌표 정보를 인식하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 방법.
제 14항에 있어서,
상기 테이블 구조 인식단계(S400)는
상기 테이블 이미지 구분단계(S410)에 의해 구분한 상기 글자 영역 이미지를 전달받아, 상기 선 기준 구조 인식단계(S430)에 의해 생성한 테이블 구조 이미지의 각 셀을 기준으로 상기 글자 영역 이미지를 인식하여, 글자 기준 테이블 구조 이미지를 생성하는 글자 기준 구조 인식단계(S440);
를 더 포함하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 방법.
제 17항에 있어서,
상기 글자 기준 구조 인식단계(S440)는
하나의 셀에서 인식한 글자 영역 이미지가 둘 이상이면서 인접한 셀과 글자 영역 이미지의 개수가 동일할 경우, 인식한 글자 영역 이미지 개수만큼 상기 선 기준 구조 인식단계(S430)에 의해 생성한 테이블 구조 이미지의 행 또는 열을 추가하여 상기 글자 기준 테이블 구조 이미지를 생성하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 방법.
제 17항에 있어서,
상기 글자 기준 구조 인식단계(S440)는
글자 간격, 글자의 자음과 모음 사이의 간격, 입력되는 글자 크기 중 적어도 하나 이상을 고려하여, 상기 글자 영역 이미지를 인식하는 것을 특징으로 하는 전자문서 내 테이블 정보 저장 방법.