KR20230013849A - 테이블에 포함된 정보를 인식하는 문자 인식 에러에 강인한 글자 인식 방법 및 시스템 - Google Patents

Abstract

본 발명은 이미지에 대한 분석을 수행하여 테이블을 생성하는 방법 및 시스템에 관한 것이다. 위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 글자 인식 방법은, 테이블(table)을 포함하는 이미지를 수신하는 단계, 상기 테이블을 구성하는 복수의 셀(cell)들에 포함된 텍스트(text)를 인식하는 단계, 기 설정된 기준에 근거하여, 상기 복수의 셀들 중 보정 대상 셀을 특정하는 단계, 상기 복수의 셀들 중 상기 보정 대상 셀과 관련된 적어도 하나의 연관 셀을 특정하는 단계 및 상기 보정 대상 셀 및 상기 연관 셀에 포함된 텍스트들을 이용하여 산출된 상기 보정 대상 셀의 벡터를 이용하여, 상기 보정 대상 셀에 포함된 텍스트에 대한 보정을 수행하는 단계를 포함할 수 있다.

Description

테이블에 포함된 정보를 인식하는 문자 인식 에러에 강인한 글자 인식 방법 및 시스템{CHARACTER RECOGNITION METHOD AND SYSTEM ROBUST TO ERRORS OF CHARACTER RECOGNITION THAT RECOGNIZE INFORMATION INCLUDED IN TABLES}

본 발명은 테이블에 포함된 정보를 인식하는 글자 인식 방법 및 시스템에 관한 것이다.

인공지능의 사전적 의미는, 인간의 학습능력과 추론능력, 지각능력, 자연언어의 이해능력 등을 컴퓨터 프로그램으로 실현한 기술이라 할 수 있다. 이러한 인공지능은 머신러닝에 인간의 뇌를 모방한 신경망 네트워크를 더한 딥러닝으로 인하여 비약적인 발전을 이루었다.

딥러닝(deep learning)이란, 컴퓨터가 인간처럼 판단하고 학습할 수 있도록 하고, 이를 통해 사물이나 데이터를 군집화하거나 분류하는 기술로서, 최근에는 텍스트 데이터 뿐만 아니라 영상 데이터에 대한 분석까지 가능해져, 매우 다양한 산업분야에 적극적으로 활용되고 있다.

이러한, 인공지능의 발달로 사무자동화(office automation) 분야에 있어서도 다양한 자동화가 이루어지고 있다. 특히, 사무자동화 분야에서는 종이(paper)에 인쇄된 콘텐츠를 인공지능을 활용한 영상 데이터 분석 기술에 기반하여 데이터화 하는데 많은 노력을 기울이고 있다. 그 일환으로서, 사무자동화 분야에서는 종이 문서를 이미지화 하여, 이미지에 포함된 콘텐츠를 분석하는 이미지 분석 기술(또는 영상 데이터에 대한 분석 기술)을 통하여, 문서에 포함된 콘텐츠를 데이터화하고 있으며, 이 경우 문서에 포함된 콘텐츠의 특성에 맞게 이미지를 분석하는 기술이 필요하다.

예를 들어, 테이블(table, 표)을 포함하는 문서를 데이터화 하는 경우, 테이블의 형식, 테이블 내에 포함된 텍스트의 내용 및 테이블에 포함된 텍스트의 위치 등과 같이, 테이블을 둘러싼 다양한 요소들에 대한 정확한 분석이 필요하다.

이에, 대한민국 등록특허1907029호(서식 자동화를 위한 테이블 생성 장치 및 방법)에서는, 이미지로부터 테이블을 인식하고, 인식된 테이블을 재현하는 방법에 대하여 개시하고 있으나, 이는 테이블에 포함된 선분(라인(line))을 기준으로 테이블을 재현하는 것이기에, 테이블에 포함된 내용까지 정확하게 분석하는 데에 한계가 있다.

이에, 테이블에 포함된 내용까지 정확하게 생성해낼 수 있는 글자 인식 방법이 필요하다.

본 발명은 테이블에 포함된 내용(contents, 또는 정보)를 데이터화 할 수 있는 문자 인식 에러에 강인한 글자 인식 방법 및 시스템을 제공하기 위한 것이다.

나아가, 본 발명은 테이블에 포함된 내용을 데이터화 하는 경우, 테이블에 포함된 내용을 정확하게 데이터로서 확보하는 것이 가능한 문자 인식 에러에 강인한 글자 인식 방법 및 시스템을 제공하기 위한 것이다.

나아가, 본 발명은 테이블에 포함된 내용 간의 유기적인 관계를 고려하여 테이블에 포함된 내용을 데이터화 할 수 있는 문자 인식 에러에 강인한 글자 인식 방법 및 시스템을 제공하기 위한 것이다.

더 나아가, 본 발명은 데이터 처리량을 최소화하면서 테이블에 포함된 내용을 데이터화 할 수 있는 문자 인식 에러에 강인한 글자 인식 방법 및 시스템을 제공하기 위한 것이다.

본 발명에 따른 문자 인식 에러에 강인한 글자 인식 방법은, 테이블(table)을 포함하는 이미지를 수신하는 단계, 상기 테이블을 구성하는 복수의 셀(cell)들에 포함된 텍스트(text)를 인식하는 단계, 기 설정된 기준에 근거하여, 상기 복수의 셀들 중 보정 대상 셀을 특정하는 단계, 상기 복수의 셀들 중 상기 보정 대상 셀과 관련된 적어도 하나의 연관 셀을 특정하는 단계 및 상기 보정 대상 셀 및 상기 연관 셀에 포함된 텍스트들을 이용하여 산출된 상기 보정 대상 셀의 벡터를 이용하여, 상기 보정 대상 셀에 포함된 텍스트에 대한 보정을 수행하는 단계를 포함할 수 있다.

나아가, 본 발명에 따른 문자 인식 에러에 강인한 글자 인식 시스템은, 저장부, 테이블(table)을 포함하는 이미지를 수신하는 수신부 및 상기 이미지에 포함된 상기 테이블을 구성하는 복수의 셀(cell)들에 포함된 텍스트(text)를 인식하는 제어부를 포함하고, 상기 제어부는, 기 설정된 기준에 근거하여, 상기 복수의 셀들 중 보정 대상 셀을 특정하고, 상기 복수의 셀들 중 상기 보정 대상 셀과 관련된 적어도 하나의 연관 셀을 특정하며, 상기 보정 대상 셀 및 상기 연관 셀에 포함된 텍스트들을 이용하여 산출된 상기 보정 대상 셀의 벡터를 이용하여, 상기 보정 대상 셀에 포함된 텍스트에 대한 보정을 수행할 수 있다.

나아가, 본 발명에 따른 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장 가능한 프로그램은, 테이블(table)을 포함하는 이미지를 수신하는 단계, 상기 테이블을 구성하는 복수의 셀(cell)들에 포함된 텍스트(text)를 인식하는 단계, 기 설정된 기준에 근거하여, 상기 복수의 셀들 중 보정 대상 셀을 특정하는 단계, 상기 복수의 셀들 중 상기 보정 대상 셀과 관련된 적어도 하나의 연관 셀을 특정하는 단계 및 상기 보정 대상 셀 및 상기 연관 셀에 포함된 텍스트들을 이용하여 산출된 상기 보정 대상 셀의 벡터를 이용하여, 상기 보정 대상 셀에 포함된 텍스트에 대한 보정을 수행하는 단계를 수행하도록 하는 명령어들을 포함할 수 있다.

위에서 살펴본 것과 같이, 본 발명에 따른 글자 인식 방법 및 시스템은, 이미지에 포함된 테이블로부터 텍스트를 인식하고, 인식된 텍스트에 대한 검증을 수행함으로써, 이미지에 포함된 테이블의 내용을 보다 정확하게 데이터화 할 수 있다.

보다 구체적으로, 본 발명에 따른 글자 인식 방법 및 시스템은, 이미지에 포함된 테이블로부터, 테이블에 포함된 텍스트가 잘못 인식되는 경우, 이를 보정함으로써, 이미지에 포함된 테이블의 내용을 정확하게 데이터화 하는 것이 가능하다. 이를 위하여, 본 발명에서는 테이블을 구성하는 셀들 간의 배치 관계, 셀들에 포함된 텍스트들의 의미 관계를 고려하여, 보정의 대상이 된 셀에 포함된 텍스트를 보정함으로써, 이미지에 포함된 테이블의 내용을 그대로 데이터화 할 수 있는 정확도 높은 글자 인식 방법 및 시스템을 제공할 수 있다. 결과적으로 본 발명에 따른 글자 인식 방법 및 시스템은, 이미지에 포함된 테이블과 내용을 포함하는 테이블을 생성하는 것이 가능하다.

나아가, 본 발명에 따른 글자 인식 방법 및 시스템은, 텍스트 인식률이 낮은 특정 셀에 대해서만 보정을 수행함으로써, 이미지에 포함된 테이블의 내용을 정확하게 데이터화 하면서 데이터 처리량을 최소화할 수 있다.

도 1은 본 발명에 따른 글자 인식 시스템을 설명하기 위한 개념도이다.
도 2는 테이블의 구성요소를 설명하기 위한 개념도이다.
도 3은 본 발명에 따른 글자 인식 방법을 설명하기 위한 흐름도이다.
도 4, 도 5, 도 6a, 도 6b, 도 6c, 도 7 및 도 8은 글자 인식 시스템을 통하여 테이블에 포함된 정보를 인식하는 방법을 설명하기 위한 개념도들이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

앞서 살펴본 것과 같이, 인공지능의 발달로 다양한 형태로 사무자동화(office automation)가 이루어지고 있으며, 업무의 효율을 위하여, 종이 문서에 포함된 테이블(table, 표)을, 종이 문서에 포함된 테이블 형식 그대로 디지털화(데이터화) 해야 하는 니즈가 점차적으로 높아지고 있다.

예를 들어, 다양한 종류의 영수증(領收證, receipt)과 같은 문서는 테이블을 포함하고 있으며, 보험사, 병원 등에서는 대량의 종이 문서에 포함된 테이블을 디지털화된 데이터로서 처리하여, 전산화할 필요가 있다.

이러한 니즈에 근거하여, 이미지에 포함된 테이블과 동일한 구성을 갖는 테이블을 생성 또는 재현하는 기술에 대한 개발이 활발하게 이루어지고 있다.

한편, 이미지에 포함된 테이블에 포함된 내용(contents, 또는 정보)를 인식하고, 인식된 내용을 데이터화 하는 기술은, 테이블을 둘러싼 다양한 요소들(예를 들어, 텍스트, 텍스트의 위치, 셀의 구성, 셀의 위치, 셀들 간의 연관 관계 등)을 정확하게 인식하는 것이 매우 중요하다.

이를 위해서는, 테이블을 이루는 다양한 구성 요소들을 정확하게 인식하고, 잘못 인식된 요소에 대해서는 보정을 수행함으로써, 이미지에 포함된 테이블을 정확하게 인식하고자 하는 다양한 노력을 기울이고 있다.

이하에서는, 이미지에 포함된 테이블의 내용과 상이한 내용(또는 정보)이 추출된 경우, 이를 보정하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 1은 본 발명에 따른 글자 인식 시스템을 설명하기 위한 개념도이고, 도 2는 테이블의 구성요소를 설명하기 위한 개념도이다. 나아가, 도 3은 본 발명에 따른 글자 인식 방법을 설명하기 위한 흐름도이고, 도 4, 도 5, 도 6a, 도 6b, 도 6c, 도 7 및 도 8은 글자 인식 시스템을 통하여 테이블에 포함된 정보를 인식하는 개념도들이다.

본 발명에 따른 문자 인식 에러에 강인한 글자 인식 시스템(100)은, 이미지(1000)에 포함된 테이블(1100)로부터, 테이블(1100)에 포함된 내용 및 테이블(1100)을 구성하는 구성 성분들을 인식하고, 인식된 내용 및 구성 성분들 간의 관계에 기반하여, 테이블(1100)에 포함된 내용을 정확하게 데이터화 할 수 있다.

여기에서, 테이블(100)에 포함된 내용은, 문자, 숫자, 기호, 연산자 등 의미 있는 모든 부호 체계를 의미할 수 있다. 본 발명에서는 설명의 편의를 위하여, “문자, 숫자, 기호, 연산자 등 의미 있는 모든 부호 체계”를 통틀어 “텍스트”라고 명명하도록 한다.

예를 들어, 도시와 같이, 테이블(1100)에는 “환자성명”, “주민등록번호”, “진료비(약제비)내역” 등과 같은 텍스트가 포함될 수 있다.

나아가, 구성 성분들은 텍스트가 포함된 셀(cell), 셀을 구획하는 라인(line) 또는 선 등의 구성 요소들로 구성될 수 있다. 이러한 구성 요소들은 상호 위치적 및/또는 의미적인 관계성을 가질 수 있다.

여기에서, 위치적 관계성은, 테이블(1100)에 포함된 셀들 간의 상호 위치 관계를 나타내는 것으로서, 각각의 셀에 대해, 주변 또는 이웃에 어느 셀이 위치하고, 어느 셀과 동일 또는 인접한 행, 열에 위치하였는지 등에 대한 위치(또는 배치)관계를 의미할 수 있다.

의미적인 관계성은, 테이블(1100)에 포함된 셀의 적어도 일부가, 다른 일부와 서로 관련된 내용을 포함하는 것을 의미할 수 있다. 이러한 의미적인 관계성은 각각의 셀들에 포함된 내용(텍스트)에 기반한 연결 정보를 의미할 수 있다. 예를 들어, 어느 한 셀에 포함된 내용은 다른 한 셀에 포함된 내용과 i) 동일 또는 유사한 개념이거나, ii) 동일한 범주, 또는 동일한 그룹에 속하거나, iii) 상호 상위개념 또는 하위개념에 해당하는 내용일 수 있으며, 이 경우, 위의 셀들은 연결되어 있다고 표현할 수 있다.

한편, 이미지(1000)에는 하나 또는 그 이상의 테이블이 포함될 수 있으며, 본 발명은 이미지(1000)에 포함된 테이블의 수에 관계없이, 이미지(1000)에 포함된 모든 테이블을 인식하는 것이 가능하다.

본 발명에서, 이미지(1000)는 종이 문서를 스캔한 것에 의하여 획득되는 이미지이거나 사진 촬영에 의하여 획득된 이미지이거나, 기타 다른 다양한 방법으로 획득된 이미지일 수 있다.

한편, 도 1에 도시된 것과 같이, 본 발명에 따른 글자 인식 시스템(100)은 수신부(110), 저장부(120), OCR부(130) 및 제어부(140) 중 적어도 하나를 포함할 수 있다.

수신부(110)는 테이블 (1100)이 포함된 이미지(1000)를 수신하는 수단으로서, 통신부, 스캔부 및 입력부 중 적어도 하나를 포함하여 구성되거나, 기타 이미지(1000)를 수신할 수 있는 수단으로 이루어질 수 있다.

글자 인식 시스템(100)은 수신부(110)를 통해 수신한 이미지(1000)에 포함된 테이블(1100)을 인식하여, 이미지(1000)에 포함된 테이블(1100)에 포함된 내용을 데이터화 할 수 있다. 이러한 인식 결과, 글자 인식 시스템(100)는 테이블(1100)에 포함된 내용과 일치하는 데이터를 확보할 수 있다.

본 발명에서는, 글자 인식 시스템(100)을 통하여, 이미지(1000)에 포함된 테이블(1100)의 내용(또는 정보)를 인식(recognition)하고, 인식된 내용에 에러가 존재하는 경우, 이를 보정(correction)함으로써, 테이블(1100)에 포함된 내용이 정확하게 데이터화 될 수 있도록 하는 방법을 제공할 수 있다.

한편, 본 발명을 통해 이미지(1000)에 포함된 테이블(1100)로부터 인식된 내용은, 이미지(1000)에 포함된 테이블(1100)과 동일 또는 유사한 구조를 갖는 테이블 데이터를 생성하는데 활용될 수 있다.

테이블 데이터는, 이미지(1000)에 포함된 테이블(1100)을 구성하는 셀들의 구조 및 셀들의 관계성(범주 셀과, 데이터 셀 간의 관계 등) 중 적어도 하나에 근거하여 정형화된 또는 구조화된 데이터로 이루어질 수 있다.

테이블 데이터에는, 본 발명에 따른 글자 인식 시스템(100)으로부터 인식된 내용에 해당하는 데이터가 포함될 수 있다.

본 발명에서, 구성 요소들의 위치적 관계는 특히, 테이블에 포함된 셀(cell)들의 배치관계, 행 또는 열 관계에 따른 위치적인 관계를 포함하고, 의미적인 관계는 각각의 셀들에 포함된 텍스트가 나타내는 의미 간에 형성되는 관계를 포함할 수 있다.

다음으로 저장부(120)는, 본 발명에 따른 다양한 정보를 저장하도록 이루어질 수 있다. 저장부(120)의 종류는 매우 다양할 수 있으며, 적어도 일부는, 외부 서버(150, 클라우드 서버(151) 및 데이터베이스(database: DB, 152) 중 적어도 하나)를 의미할 수 있다. 즉, 저장부(120)는 본 발명과 관련된 정보가 저장되는 공간이면 충분하며, 물리적인 공간에 대한 제약은 없는 것으로 이해될 수 있다.

저장부(120)에는 테이블을 구성하는 다양한 구성 요소에 대한 정보가 포함될 수 있다. 저장부(120)에는 i) 테이블(1100)을 포함하는 이미지(1000) 및 이와 관련된 데이터, ii) 이미지(1000)로부터 인식된 테이블(1100)의 셀(cell) 정보, 구성 성분(라인, 코너 등) 및 이와 관련된 데이터, iii) 테이블(1100)에 포함된 콘텐츠(예를 들어, 텍스트, 이미지 등) 데이터, iv) 테이블(1100)에 포함된 콘텐츠와 관련된 데이터셋(dataset) 중 적어도 하나가 저장될 수 있다. 여기에서, 데이터셋은, 테이블(1100)에 포함된 콘텐츠를 검증 또는 보정하는데 활용되는 데이터일 수 있다.

다음으로, OCR(Optical Character Reader, 130)부는 이미지(1000)에 포함된 정보(또는 콘텐츠)를 인식하는 수단으로서, 다양한 콘텐츠 인식 알고리즘 중 적어도 하나를 통하여 이미지(1000)에 포함된 콘텐츠를 인식할 수 있다. OCR부(130)는 인공지능에 기반한 알고리즘(또는 딥러닝 알고리즘)을 이용하여, 콘텐츠를 인식할 수 있다. 여기에서 콘텐츠는 텍스트(문자)를 포함할 수 있다. OCR부는, “OCR API” 라고 명명되는 것 또한 가능하다.

OCR부(130)는, 이미지에 포함된 텍스트 및 텍스트의 위치 정보를 인식할 수 있다. 여기에서, 텍스트의 위치 정보는 수신부(110)를 통해 입력된 이미지(1000) 내에서 텍스트가 어디에 위치하는지 및 테이블(1100) 내에서 텍스트가 어디에 위치하는지에 대한 정보 중 적어도 하나를 포함할 수 있다.

OCR부(130)는, 이미지에 포함된 텍스트에 근거하여, 각각의 셀에 포함된 텍스트를 인식할 수 있다.

테이블(1100)은 복수의 셀들로 구성될 수 있으며, OCR부(130)는 각각의 셀에 포함된 텍스트를 인식할 수 있다.

예를 들어, 도 1에 도시된 것과 같이, 테이블(1100)의 제1 번째 셀(1101)에서 “환자성명”의 텍스트가 인식된 경우, 제1 번째 셀(1101)의 식별정보와 “환자성명”의 텍스트는 상호 매칭될 수 있으며, 이러한 매칭 정보는 저장부(120)에 저장될 수 있다.

본 발명에서는, OCR부(130)에 의해, 각각의 셀에 포함된 텍스트가 구분되어 인식될 수 있다. 이에 따라, 본 발명에서는 어느 셀에 어느 텍스트가 포함되어 있는지, 셀의 식별정보와 이에 대응되는 텍스트가 매칭되어 존재할 수 있다. 이러한 매칭 정보는 저장부(120)에 저장될 수 있다.

이와 같이, 각각의 셀들로부터 인식된 텍스트는, 각각의 셀들의 식별정보와 매칭되어 저장되며, 이러한 셀들의 식별정보에는, 이미지(1000) 및 테이블(1100) 중 적어도 하나에 대한 셀의 위치 정보를 포함할 수 있다.

이러한 매칭 정보는, OCR부(130)에 의해, 이미지(1000)로부터 텍스트가 인식되는 과정에서 생성되거나, 제어부(140)의 제어 하에 생성될 수 있다.

다음으로 제어부(140)는 본 발명과 관련된 글자 인식 시스템(100)의 전반적인 동작을 제어하도록 이루어질 수 있다. 제어부(140)는 인공지능 알고리즘(또는 딥러닝 알고리즘)을 처리 가능한 프로세서(processor, 또는 인공지능 프로세서, 또는 딥러닝 프로세서)를 포함할 수 있다. 제어부(140)는 인공지능 알고리즘에 기반하여, 이미지(1000)로부터 테이블(1100)을 인식하고, 테이블(1100)을 구성하는 적어도 하나의 셀을 인식할 수 있다.

나아가, 제어부(140)는 인공지능 알고리즘에 기반하여, 셀들의 관계 및 셀에 포함된 텍스트의 의미를 분석할 수 있다.

그리고, 제어부(140)는 셀들의 관계 및 셀에 포함된 텍스트의 의미에 근거하여, OCR부(130)로부터 인식된 텍스트의 적어도 일부를 보정할 수 있다.

이때, 제어부(140)는 저장부(120)에 저장된 데이터셋에 근거하여, OCR부(130)로부터 인식된 텍스트를 보정할 수 있다.

한편, 본 발명에서 셀은, 테이블을 구성하는 복수의 라인에 의하여 정의되는 직사각형(rectangular)의 박스로 이해되어질 수 있다.

본 발명에 대한 설명에 앞서, 테이블의 구성 요소에 대하여 먼저 살펴보도록 한다. 본 명세서에서 언급되는 “테이블(table)”은, 표(表)라고도 명명될 수 있으며, 어떤 내용을 일정한 형식 또는 순서에 따라 나타낸 것을 의미할 수 있다. 도 2를 참조하여 테이블의 구성 요소에 대하여 살펴보면, 테이블(200)은 적어도 하나의 셀(210)을 포함하여 구성될 수 있다. 즉, 테이블(200)은 적어도 하나의 셀(cell) 또는 공간(또는 영역)을 포함하고 있으며, 테이블은 이러한 셀(210) 내에 정보를 포함하도록 구성된다.

테이블에 포함된 셀(210)은, 적어도 4개의 선분(line segment)에 의해 정의될 수 있다. 테이블(200) 및 테이블(200) 내에 구비된 셀의 형상은 직사각형(rectangular)의 형상으로 이루어진다.

즉, 테이블에 포함된 셀은 4개의 선분으로 둘러싸인 사각형으로 이루어질 수 있다. 본 발명에서 “선분(line segment)”은 선 또는 라인(line)의 적어도 일부로 이해되어질 수 있다. 각 셀을 구성하는 선분들이 연장되어 선 또는 라인을 이룰 수 있다.

이와 같이, 하나의 사각 형상의 셀을 형성하기 위해서는, 최소 4개의 선분(a, b, c, d)이 필요하며, 이는, 테이블을 구성하는 2개의 수평 라인(horizontal line, 또는 행 방향의 라인, 또는 모서리(edge), 201, 202) 및 2개의 수직 라인(vertical line, 또는 열 방향의 라인, 또는 모서리(edge), 203, 204) 중 적어도 일부에 의해 이루어질 수 있다. 보다 구체적으로, 직사각 형상의 셀은, 2개의 수평 라인(201, 202) 및 2개의 수직 라인(203, 204)의 적어도 일부가 상호 교차하는 것에 의하여 형성될 수 있다.

따라서, 테이블(200)은 최소 4개의 라인을 포함하며, 수평 라인의 수, 수직 라인의 수, 라인 간의 간격, 라인의 배열 위치에 따라, 셀의 개수, 셀의 크기, 셀의 위치 등이 정의될 수 있다.

한편, 테이블(200)을 구성하는 복수의 라인들은 서로 다른 제1 타입 및 제2 타입 중 어느 하나의 타입으로 구분될 수 있으며, 이는 해당 라인이 어느 방향으로 연장되었는지에 따라 특정될 수 있다.

도시와 같이, 수평 방향으로 연장되는 라인(201, 202)은, 제1 타입으로 정의되고, 수직 방향으로 연장되는 라인(203, 204)은 제2 타입으로 정의될 수 있다.

제1 타입의 라인은 가로 라인, 수평 라인, 행 라인, 가로 방향의 라인 등으로 그 의미가 동일 또는 유사한 용어로서 다양하게 명명될 수 있다.

나아가, 제2 타입의 라인은 세로 라인, 수직 라인, 열 라인, 세로 방향의 라인 등으로 그 의미가 동일 또는 유사한 용어로서 다양하게 명명될 수 있다.

한편, 테이블(200)에 포함되는 셀의 개수, 셀의 크기 또는 셀의 위치 등은 가로 라인 및 세로 라인의 수, 배치 관계 등에 근거하여 다양하게 변형될 수 있으며, 셀들 간의 병합에 의해서도 다양하게 변형될 수 있다.

나아가, 본 발명에서 설명되는 테이블을 구성하는 구성 성분들은, 테이블을 구성하는 라인(가로 라인 및 세로 라인) 및 테이블을 구성하는 라인들이 교차(交叉)하면서 형성되는 코너(corner, 또는 꼭지점, 도면 부호 “e, f, g, h” 참조)를 포함할 수 있다.

모든 테이블은 최소 4개의 코너를 가지며, 이는 테이블의 가장 바깥쪽 테두리에 포함되는 코너일 수 있다. 나아가, 테이블에 포함된 코너의 개수는 테이블에 포함된 셀의 개수에 따라 달라진다.

이하에서는, 위에서 살펴본 본 발명에 따른 글자 인식 시스템의 구성에 기반하여, 테이블을 생성하는 방법에 대하여 보다 구체적으로 살펴본다.

도 3를 참조하면, 본 발명에 따른 글자 인식 방법에서는, 먼저 테이블(1100)을 포함하는 이미지(1000, 도 1 참조)를 수신하는 과정이 진행될 수 있다(S310).

앞서, 살펴본 것과 같이, 테이블(1100)이 포함된 이미지(1000)는 다양한 루트를 통하여 수신될 수 있다. 예를 들어, 상기 이미지(1000)는 통신부를 통하여 전송되거나, 스캔부를 통하여 스캔되거나, 입력부를 통하여 입력되는 방식 등을 통하여 수신될 수 있다.

이미지(1000)가 수신되면, 다음으로, 이미지(1000)에 포함된 테이블(1100)로부터 텍스트를 인식하는 과정이 진행될 수 있다.

보다 구체적으로, 본 발명에서는 테이블(1100)을 구성하는 복수의 셀들에 포함된 텍스트를 인식하는 과정이 진행될 수 있다. 이러한 인식은 OCR부(130)에서 수행될 수 있으며, OCR부(130)에 의해, 테이블(1100)에 포함된 정보(또는 내용)이 인식될 수 있다.여기에서, 테이블(1100)에 포함된 정보 또는 내용이 인식된다고 함은, 테이블(1100)에 포함된 텍스트가 인식되는 의미로 이해되어질 수 있다.

OCR부(130)에 의한 인식 결과, 테이블(1100)에 포함된 내용에 해당하는 데이터가 확보될 수 있다. 예를 들어, OCR부(130)는 테이블(1100)에 포함된 텍스트를 인식하여, 테이블(1100)에 포함된 내용에 해당하는 텍스트, 예를 들어, “환자성명”, “주민등록번호”, “진료비(약제비)내역”과 같은 텍스트를 데이터로서 확보할 수 있다. OCR부(130)는, 이미지(1000)에 포함된 각 텍스트(또는 글자) 및 텍스트의 위치를 인식하기 위해 훈련된 텍스트 인식 모델을 통하여, 이미지(1000)로부터 텍스트를 인식할 수 있다. 이러한 텍스트 인식 모델은, 인공지능에 기반한 알고리즘(예를 들어, 딥러닝 알고리즘)을 포함할 수 있다.

도 4의 (a)에 도시된 것과 같이, OCR부(130)는 테이블(1100)로부터 텍스트를 인식할 수 있으며, 인식된 텍스트는 도 4의 (b)에 도시된 것과 같이, 텍스트가 포함된 각각의 셀들의 식별 정보(KEY1, KEY2, KEY3…)와 함께, 매칭되어 저장부(120)에 저장될 수 있다.

이와 같이, 테이블(1100)을 구성하는 셀들에 대해서, 텍스트가 인식되면, 인식된 텍스트에 대한 검증을 수행하는 과정이 진행될 수 있다. 여기에서, “검증”은 각각의 셀들에 포함된 텍스트가 정확하게 인식되었는지를 확인하는 과정을 의미할 수 있다. 예를 들어, 도 4의 (a)에 도시된 것과 같이, 테이블(1100)의 특정 셀(401)에는 “공단 부담액”이라는 텍스트가 포함되어 있으나, 도 4의 (b)에 도시된 것과 같이, OCR부(130)에서 “공딴 부담액”이라는 텍스트가 인식되는 경우가 발생할 수 있다.

이 경우, 원본 자료와 상이한 내용으로 오인식 됨으로 인해, 인식되는 데이터에 대한 신뢰도 및 정확도의 문제가 발생하게 된다.

이에, 제어부(140)는 테이블(1100)로부터 인식된 텍스트에 대한 검증을 수행할 수 있다. 이 경우, 본 발명에서는, 각각의 셀들 간의 상호 위치 관계 및 의미 관계(또는 연결 관계)에 근거하여, 검증의 과정에서 보정이 필요한 셀에 포함된 텍스트를 보정할 수 있다.

이를 위하여, 본 발명에서는, 복수의 셀들 중 보정 대상 셀을 특정하는 과정이 수행될 수 있다(S330). 제어부(140)는 기 설정된 기준에 근거하여, 복수의 셀들 중 적어도 하나의 보정 대상 셀을 특정할 수 있다. 여기에서, 기 설정된 기준은 매우 다양하게 설정될 수 있으며, 이에 따라, 본 발명에서, 보정 대상 셀이 특정되는 과정은 매우 다양할 수 있다.

일 예로서, 제어부(140)는 테이블(1100)을 구성하는 복수의 셀들에 대하여 텍스트가 인식되면, 텍스트의 인식이 이루어진 모든 셀에 대한 검증을 수행할 수 있다.

이 경우, 텍스트의 인식이 이루어진 모든 셀이 보정 대상 셀로서 각각 특정될 수 있다.

이와 다르게, 제어부(140)는 테이블(1100)을 구성하는 복수의 셀들 중 범주 셀에 포함된 텍스트에 대해서 검증을 수행할 수 있다.

이 경우, 제어부(140)는 테이블(1100)을 구성하는 복수의 셀들 중 범주 셀에 포함된 텍스트 각각을 보정 대상 셀로서 특정할 수 있다.

여기에서, 범주 셀은 키(key) 셀이라고도 명명될 수 있으며, 데이터(data) 셀(또는 밸류(value) 셀)과 구분될 수 있다.

범주 셀은, 제목 셀이라고도 명명될 수 있으며, 데이터 셀에 포함된 데이터(텍스트)에 대한 카테고리, 종류, 소속, 특징 등을 정의하는 의미의 텍스트가 포함되는 셀이라고 이해되어질 수 있다.

범주는 동일하거나 유사한 성질 또는 의미를 기준으로 구분되는 것으로서, 카테고리(category)라고도 명명될 수 있다. 동일한 범주에 속한 데이터는, 서로 동일한 의미, 서로 동일한 종류, 또는 서로 동일한 소속에 해당하는 데이터일 수 있다.

범주 셀에는, 범주의 이름 또는 범주의 이름과 관련된 데이터가 포함되며, 데이터 셀은 범주 셀에 포함된 범주의 이름에 속한 데이터가 포함될 수 있다. 여기에서 범주의 이름은 카테고리 명으로도 이해되어질 수 있다.

예를 들어, 도 4의 (a)에 도시된 것과 같이, 테이블(1100)에서 “진료, 조제일자(진료기간)”의 텍스트를 포함하는 특정 셀(412)은 범주 셀일 수 있으며, 특정 셀(412)과 같은 열에 위치하며, 날짜 정보를 각각 포함하는 셀(403)들은, 특정 셀(412)과 관련된 데이터 셀일 수 있다.

다른 예를 들어, 테이블(1100)에서 “환자성명”의 텍스트를 포함하는 특정 셀(411)은 범주 셀일 수 있으며, 특정 셀(411)과 같은 행에 위치하며, 이름 정보 “홍길동”을 포함하는 셀(405)은, 특정 셀(411)과 관련된 데이터 셀일 수 있다.

도 4에 도시된 것과 같이, 테이블(1100)에는 하나 또는 그 이상의 범주 셀들(411, 412, 413, 414, 415, 416)이 포함될 수 있다.

제어부(140)는 테이블(1100)의 구조 및 셀들에 포함된 텍스트의 의미에 근거하여, 테이블(1100)을 구성하는 복수의 셀들의 타입을 제1 타입(범주 셀 타입) 및 제2 타입(데이터 셀 타입) 중 어느 하나로 특정할 수 있다.

그리고, 제어부(140)는 테이블(1100)을 구성하는 복수의 셀들 중 범주 셀에 포함된 텍스트 각각을 보정 대상 셀로서 특정할 수 있다.

또 다른 예로서, 제어부(140)는 테이블(1100)을 구성하는 복수의 셀들 중 범주 셀의 적어도 일부를, 보정 대상 셀로 특정할 수 있다. 이때, 보정 대상 셀을 특정하기 위한 기 설정된 기준은, 상기 복수의 셀들에 포함된 텍스트에 대한 인식률과 관련될 수 있다. 제어부(140)는 범주 셀로부터 추출된 텍스트 중, 텍스트 인식 및 추출 당시, 텍스트 인식률이 낮았던 특정 셀을, 보정 대상 셀로 특정할 수 있다.

도 5에 도시된 것과 같이, OCR부(130)에서 각각의 셀들에 대하여 텍스트를 인식하는 경우, 각각의 텍스트 인식에 대한 신뢰도가 특정될 수 있다.

이러한, 신뢰도는 신뢰도 점수(confidence score) 또는 신뢰 점수라고도 명명될 수 있다.

도 5에 도시된 것과 같이, 이러한 신뢰도 점수는 테이블(1100)을 구성하는 각각의 셀들 및 셀들로부터 인식된 텍스트 중 적어도 하나와 매칭되어 저장부(120)에 저장될 수 있다.

제어부(140)는 도 5에 도시된 것과 같이, 신뢰도가 기 설정된 기준 조건(예를 들어, 기준 점수(기준 확률 등) 미만의 신뢰도로서 텍스트가 인식된 셀)을 만족하는 범주 셀을 보정 대상 셀로 특정할 수 있다. 도 5에 의하면, 신뢰 점수(score)가 1에 가까울수록 인식된 텍스트가 정확하게 인식되었을 확률이 높으며, 0에 가까울수록 인식된 텍스트가 정확하게 인식되었을 확률이 낮음을 의미할 수 있다.

본 발명에서 제어부(140)는, 텍스트가 정확하게 인식되었을 확률이 낮은 셀에 포함된 텍스트에 대한 보정을 수행함으로써, 데이터 처리 연산의 양을 줄이면서, 테이블(1100)에 포함된 정보를 정확하게 추출할 수 있다. 이와 같이, 제어부(140)는 인식된 모든 텍스트를 보정 대상 텍스트로 특정하는 것이 아니라, 신뢰도에 근거하여 텍스트가 정확하게 인식되었을 확률이 낮은 텍스트에 대해서 보정 대상 텍스트로서 특정할 수 있다. 이를 통해, 제어부(140)는 보정 대상 텍스트로서 특정된 텍스트에 대해서만 본 발명에 따른 보정을 수행하므로, 모든 텍스트에 대해서 보정을 수행할 때 보다 데이터 처리의 연산 양이 줄어들 수 있다.

예를 들어, 신뢰 점수가 0.5미만으로 텍스트가 인식된 셀을 보정하도록 기 설정된 기준 조건이 설정된 경우, 제어부(140)는 도 5에서 “KEY7”에 해당하는 셀을 보정 대상 셀로서 특정할 수 있다. 이 경우, “KEY7”셀에 포함된 “①공딴부담액”에 해당하는 텍스트에 대한 보정을 수행할 수 있다.

이와 같이, 다양한 방법 또는 기준에 근거하여 보정 대상 셀이 특정되면, 제어부(140)는 테이블(1100)에 포함된 복수의 셀들 중 보정 대상 셀과 관련된 적어도 하나의 연관 셀 및 이에 포함된 콘텐츠(텍스트)를 이용하여, 보정 대상 셀에 포함된 텍스트에 대한 보정을 수행할 수 있다.

이를 위하여, 본 발명에서는 테이블(1100)에 포함된 복수의 셀들 중 보정 대상 셀과 관련된 연관 셀을 특정하는 과정이 진행될 수 있다(S340).

이하에서는, 설명의 편의를 위하여, 보정 대상 셀을 도 6a에 도시된 “①공단부담액”의 텍스트를 포함한 특정 범주 셀(601)로 가정하여 설명한다. 이하의 설명은, 모든 범주 셀에 대하여 공통적으로 적용될 수 있다.

도 4, 도 6a 및 도 6b에 도시된 것과 같이, 이미지(1000) 상에서, 특정 범주 셀(601)에는, “①공단부담액”에 해당하는 텍스트가 포함되었으나, 도 5에서 살펴본 것과 같이, OCR인식 에러로 인하여, “①공딴부담액” 이라는 텍스트가 인식되어질 수 있다. 이에, 제어부(140)는 잘못 인식된 텍스트가 포함된 특정 범주 셀(601) 및 상기 특정 범주 셀(601)과 적어도 하나의 연관 셀을 이용하여, 잘못 인식된 텍스트(예를 들어, ①공딴부담액)에 대한 보정을 수행할 수 있다.

제어부(140)는 보정 대상 셀(601)을 기준으로, 적어도 하나의 연관 셀을 특정할 수 있다.

제어부(140)는 보정 대상 셀(601)에 포함된 텍스트의 의미 및 상기 보정 대상 셀의 위치 중 적어도 하나에 근거하여, 연관 셀을 특정할 수 있다.

여기에서, 보정 대상 셀(601)에 대한 연관 셀은 범주 셀로 구성될 수 있다. 제어부(140)는 테이블(1100)에 포함된 범주 셀 및 데이터 셀 중 범주 셀에 대해서만, 보정 대상 셀(601)에 대한 연관 셀로서 특정할 수 있다.

그리고, 제어부(140)는 범주 셀 중 보정 대상 셀(601)과 의미적으로 연관된 텍스트가 포함된 범주 셀을 연관 셀로서 특정하거나, 보정 대상 셀(601)과 위치적으로 인접한 범주 셀을 연관 셀로서 특정할 수 있다.

제어부(140)는 보정 대상 셀(601)과 연관된 셀을 특정할 때에, 아래의 경우 중 하나에 근거하여 연관 셀을 특정할 수 있다.

제1 경우(case)로서, 제어부(140)는 보정 대상 셀(601)과 의미적으로 연관된 텍스트가 포함된 범주 셀을 연관 셀로서 특정할 수 있다.

그리고, 제2 경우(case)로서, 제어부(140)는 보정 대상 셀(601)과 위치적으로 연관된 범주 셀을 연관 셀로서 특정할 수 있다.

그리고, 제3 경우(case)로서 제어부(140)는 위의 제1 경우 및 제2 경우를 조합하여, 보정 대상 셀(601)과 의미적으로 연관된 텍스트가 포함된 범주 셀을 연관 셀로서 특정하고, 나아가, 보정 대상 셀(601)과 위치 적으로 연관된 범주 셀을 연관 셀로서 특정할 수 있다. 제3 경우, 제1 경우 및 제2 경우에서 연관 셀로서 특정된 셀들이 모두 보정 대상 셀(601)에 대한 연관 셀로서 특정될 수 있다.

이하에서는, 제1 경우의 대한 구체적인 예로서, 보정 대상 셀(601)에 포함된 텍스트의 의미에 근거하여 연관 셀을 특정하는 방법에 대하여 살펴본다.

먼저, 보정 대상 셀(601)에 포함된 텍스트의 의미에 근거하여 연관 셀을 특정하는 방법에 대하여 살펴보면, 제어부(140)는 보정 대상 셀(601)에 포함된 텍스트와 연관된 의미에 해당하는 텍스트를 포함한 적어도 하나의 범주 셀을 연관 셀로서 특정할 수 있다.

제어부(140)는 인공지능 알고리즘에 근거하여, 보정 대상 셀(601)에 포함된 텍스트의 의미 및 다른 범주 셀에 포함된 텍스트의 의미를 분석하여, 서로 연관된 의미를 갖는 텍스트가 포함된 적어도 하나의 범주 셀을 연관 셀로서 특정할 수 있다.

보정 대상 셀(601)과 서로 연관된 의미를 갖는 텍스트라 함은, 보정 대상 셀(601)에 포함된 텍스트의 상위 개념 또는 하위 개념의 의미를 갖는 텍스트일 수 있다.

제어부(140)는 범주 셀에 대해서 보정 대상 셀(601) 및 연관 셀을 특정하므로, 범주 셀의 특성 상 보정 대상 셀(601)은 연관 셀에 대하여 상위 개념 또는 하위 개념에 해당하는 의미를 갖는 텍스트를 포함할 수 있다. 예를 들어, 보정 대상 셀(601) 및 연관 셀은 서로 동일 또는 관련된 카테고리에(종류)에 해당하는 의미를 갖는 텍스트들로 구성될 수 있다.

예를 들어, 도 6a에 도시된 것과 같이, 제1 범주 셀(611)에 포함된 텍스트(“진료비(약제비)내역”)는, 제2 범주 셀(612, “총액①+②+③”), 제3 범주 셀(613, “급여”), 제4 범주 셀(615, “②환자부담액”), 제5 범주 셀(618, “환자 부담총액②+③”), 제6 범주 셀(601, 보정 대상 셀, “①공단부담액”, OCR 인식 시에는, “①공딴부담액”으로 인식됨), 제7 범주 셀(617, “③환자부담액”), 제8 범주 셀(616, “비급여”)에 포함된 텍스트들에 대한 상위 개념의 의미를 가질 수 있다.

그리고, 제1 범주 셀(611)에 대해 하위 개념에 해당하는 범주 셀은, 다른 범주 셀에 대해서는 상위 개념의 범주 셀에 해당할 수 있다. 예를 들어, 제3 범주셀(613)에 포함된 텍스트 “급여”는 제1 범주 셀(611)에 포함된 텍스트 “진료비(약제비)내역”에 대해서는 하위 개념이나, 제4 범주 셀(615)에 포함된 텍스트 “②환자부담액” 및 제6 범주 셀(601, 보정 대상 셀)에 포함된 텍스트 “①공단부담액”(OCR 인식 시에는, “①공딴부담액”으로 인식됨)에 대해서는 상위 개념일 수 있다.

한편, 제어부(140)는 범주 셀 중 보정 대상 셀(601)과 의미적으로 관련된 텍스트가 포함된 범주 셀을 연관 셀로서 특정할 수 있으며, 보다 구체적으로, 보정 대상 셀(601)에 포함된 텍스트의 상위 개념 또는 하위 개념의 의미를 갖는 텍스트가 포함된 범주 셀을 연관 셀로서 특정할 수 있다.

제1 경우로서, 보정 대상 셀(601)에 대한 연관 셀은, 보정 대상 셀(601)의 상위 개념의 텍스트가 포함된 제1 범주셀(611, “진료비(약제비)내역”) 및 제3 범주셀(613, “급여”)로서 결정될 수 있다.

이하에서는, 제2 경우의 대한 구체적인 예로서, 보정 대상 셀(601)과 위치적으로 연관된 범주 셀을 연관 셀로서 특정하는 방법에 대하여 살펴본다.보다 구체적으로, 제어부(140)는 테이블(1100)의 특성을 고려하여, 보정 대상 셀(601)과 기 설정된 위치 관계(또는 배열 관계)를 갖는 범주 셀을, 보정 대상 셀(601)에 포함된 텍스트의 의미와 연관된 범주 셀, 즉, 연관 셀이라고 판단할 수 있다.

여기에서, 기 설정된 위치 관계는 보정 대상 셀(601)과 이웃(또는 인접)하게 위치하는 것을 의미할 수 있다. 예를 들어, 제2 범주 셀(612, “총액①+②+③”), 제3 범주 셀(613, “급여”), 제4 범주 셀(615, “②환자부담액”) 및 특정 데이터 셀(622)들은 보정 대상 셀(601)과 이웃(또는 인접)하며, 이러한 셀들은 보정 대상 셀(601)과 기 설정된 위치 관계를 갖는다고 할 수 있다.

위와 같이, 기 설정된 위치 관계를 갖는 셀들은, 보정 대상 셀(601)을 기준으로 보정 대상 셀(601)과 열 방향(a) 또는 행 방향(b)으로 나란하게 위치하면서, 보정 대상 셀(601)과 인접한 셀에 해당할 수 있다.

여기에서, 보정 대상 셀(601)의 열 방향(a)을 따라 서로 나란하게 위치한 셀들은 도 6a의 도면 부호 621, 611, 613, 601, 622에 해당하는 셀들이고, 행 방향(b)을 따라 서로 나란하게 위치한 셀들은 도 6a의 도면 부호 641, 642, 612, 601, 615, 617, 618, 643, 644, 645)에 해당하는 셀들로 이해되어질 수 있다.

한편, 제어부(140)는 범주 셀에 대해서만 보정 대상 셀(601)의 연관 셀로서 특정하므로, 위에서 살펴본 기 설정된 위치 관계를 갖는 셀들(제2 범주 셀(612, “총액①+②+③”), 제3 범주 셀(613, “급여”), 제4 범주 셀(615, “②환자부담액”) 및 특정 데이터 셀(622)) 중 특정 데이터 셀(622)은 연관 셀에서 제외시킬 수 있다.

그 결과, 제어부(140)는, 도 6b에 도시된 것과 같이, 기 설정된 위치 관계를 갖는 셀들 중 범주 셀에 해당하는 제2 범주 셀(612, “총액①+②+③”), 제3 범주 셀(613, “급여”), 제4 범주 셀(615, “②환자부담액”)을 연관 셀로서 특정할 수 있다.

제2 경우에 따르면, 보정 대상 셀(601)의 연관 셀은 제2 범주 셀(612, “총액①+②+③”), 제3 범주 셀(613, “급여”), 제4 범주 셀(615, “②환자부담액”)로 특정될 수 있다.

한편, 제어부(140)는 보정 대상 셀(601)과 위치적인 관계성을 갖는 연관 셀을 특정하기 위하여, 보정 대상 셀(601)의 코너(꼭지점)의 중앙값을 보정 대상 셀(601)의 테이블(1100) 또는 이미지(1000) 상에서의 위치로 특정하고, 해당 위치를 기준으로, 기 설정된 거리 이내에 위치한 중앙값을 갖는 범주 셀을(612, 613, 615) 연관 셀(612, 613, 615)로 특정할 수 있다.

여기에서, 기 설정된 거리는 L2 distance 정보에 근거할 수 있으며, L2 distance 정보는, 유클리디안 거리(Euclidean distance) 정보라고도 표현할 수 있다.

이와 같이, 제어부(140)는 테이블(1100)로부터, 좌, 우, 상, 하 방향 마다, 보정 대상 셀(601)의 코너(꼭지점)의 중앙값과 각각 기 설정된 거리 이내 위치한 중앙 값을 갖는 범주 셀이 존재하는지 확인할 수 있다. 그리고, 확인 결과, 기 설정된 거리 이내에 위치한 중앙 값을 갖는 범주 셀이 존재하는 경우, 이를 연관 셀로서 특정할 수 있다.

위에서 살펴본 것과 같이, 제어부(140)는 제1 경우 또는 제2 경우에 따라, 보정 대상 셀(601)과 연관된 연관 셀을 특정할 수 있다.

나아가, 제어부(140)는 제1 경우에 따라 특정된 연관 셀 및 제2 경우에 따라 특정된 연관 셀 모두를, 보정 대상 셀(601)의 연관 셀로서 특정할 수 있다. 이러한 경우는, 위에서 설명한 제3 경우에 해당한다.

위에서 살펴본 것과 같이, 제어부(140)는 제1 경우에 따라, 테이블(1100)에 포함된 범주 셀 중 보정 대상 셀(601)과 의미적으로 관련된 텍스트가 포함된 범주 셀을 연관 셀로서 특정하고, 나아가, 제2 경우에 따라, 보정 대상 셀(601)과 위치적으로 인접한 범주 셀을 연관 셀로서 특정할 수 있다. 그 결과, 보정 대상 셀(601)의 연관 셀은 도 6a 및 도 6b에 도시된 것과 같이, 제1 범주 셀(611, “진료비(약제비)내역”), 제2 범주 셀(612, “총액①+②+③”), 제3 범주 셀(613, “급여”), 제4 범주 셀(615, “②환자부담액”)이 될 수 있다.

이때, 적어도 하나의 범주 셀(예를 들어, 제3 범주 셀(613, “급여”)은 의미적 또는 위치적으로 중복하여 연관 셀로서 특정될 수 있다.

보정 대상 셀(601)의 연관 셀로서 특정된 범주 셀(611, 612, 613, 615)은, “연관 셀”이라고도 명명될 수 있음은 물론이며, 동일한 도면 부호를 사용한다.

이하의 예시에서는, 제3 경우에 대한 예시로서, 의미적 관계 및 위치적 관계를 모두 고려하여 특정된 연관 셀들을 이용하여, 보정 대상 셀(601)에 포함된 텍스트에 대한 보정을 수행하는 방법을 예를 들어, 살펴본다.

위에서 살펴본 것과 같이, 제3 경우에 따라, 보정 대상 셀(601) 및 적어도 하나의 연관 셀이 특정된 경우, 제어부(140)는 도 6c에 도시된 것과 같이, 보정 대상 셀(601) 및 연관 셀(611, 612, 613, 615)에 포함된 텍스트들을 이용하여 보정 대상 셀(601)에 대한 임베딩(embedding)을 수행하여 계산(또는 산출, 도출)된 밀집 벡터(dense vector)를 보정 대상 셀(601)의 보정에 활용할 수 있다. 본 발명에서는, 보정 대상 셀과 연관 셀에 포함된 텍스트들 간의 관계성을 나타내기 위하여, 보정 대상 셀 및 연관 셀에 포함된 텍스트에 대한 임베딩(embedding)을 수행하여, 보정 대상 셀과 연관 셀에 포함된 텍스트들을 벡터로서 나타낼 수 있다.

여기에서, 임베딩(Embedding)은 임베딩의 대상이 되는 정보를 벡터로 표현하는 방법으로서, 본 발명에서 제어부(140)는 임베딩을 통해, 보정 대상 셀(601) 및 연관 셀(611, 612, 613, 615)의 정보를 밀집 벡터(Dense Vector)의 형태로 표현할 수 있다.

보다 구체적으로, 제어부(140)는 보정 대상 셀(601) 및 연관 셀(611, 612, 613, 615) 각각에 포함된 텍스트를 이용하여, 보정 대상 셀(601)을 나타내는 밀집 벡터(Dense Vector)를 계산할 수 있다.

그리고, 제어부(140)는 보정 대상 셀(601) 및 연관 셀(611, 612, 613, 615)를 이용하여 계산되어진 밀집 벡터를 이용하여, 보정 대상 셀(601)의 보정에 이용할 수 있다.

본 발명에서는 임베딩을 수행하는 알고리즘에 대하여 특별한 한정을 두지 않으며, 텍스트들을 밀집 벡터로 표현할 수 있는 알고리즘이면 본 발명에서 활용될 수 있다. 예를 들어, 제어부(140)는 FastText, BERT 등과 같은 알고리즘에 근거하여, 보정 대상 셀(601) 및 연관 셀(611, 612, 613, 615)에 포함된 텍스트들을 바탕으로 보정 대상 셀(601)을 나타내는 밀집 벡터(dense vector)를 계산할 수 있다.

한편, 제어부(140)는 임베딩을 수행하기 위하여, 도 6c에 도시된 것과 같이, 보정 대상 셀(601) 및 연관 셀(611, 612, 613, 615)에 포함된 텍스트들(631, 632, 633, 634, 635)을 나열할 수 있다. 이때, 제어부(140)는 보정 대상 셀(601) 및 연관 셀(611, 612, 613, 615)에 포함된 텍스트들(631, 632, 633, 634, 635)의 나열 순서를 기 설정된 기준에 근거하여 결정할 수 있다.

예를 들어, 제어부(140)는 의미적 연관성이 있는 연관 셀(611, 613)에 포함된 텍스트(632, 633)를 보정 대상 셀(601)에 포함된 텍스트(631)와 더 가깝게 배치하거나, 이와 반대로, 위치적 연관성이 있는 연관 셀(612, 615)에 포함된 텍스트(633, 634, 635)를 보정 대상 셀(601)에 포함된 텍스트(631)와 더 가깝게 배치할 수 있다.

나아가, 제어부(140)는 의미적 연관성 및 위치적 연관성을 모두 갖는 연관 셀(613)에 포함된 텍스트(633)를 보정 대상 셀(601)에 포함된 텍스트(631)와 가장 가깝게 배치하는 것 또한 가능하다.

이와 같이, 제어부(140)는 임베딩(Embedding)을 통해, 보정 대상 셀(601) 및 연관 셀(611, 612, 613, 615)에 포함된 텍스트들을 바탕으로 보정 대상 셀(601)을 벡터(vector)로 나타낼 수 있다. 이와 같이, 보정 대상 셀(601) 및 연관 셀(611, 612, 613, 615)에 포함된 텍스트들을 바탕으로 보정 대상 셀(601)에 대해 임베딩이 완료되면, 다음으로 본 발명에서는, 보정 대상 셀에 대한 보정을 수행하는 과정이 진행될 수 있다(S350).

제어부(140)는 보정 대상 셀(601) 및 연관 셀에 포함된 텍스트들(611, 612, 613, 615)을 이용하여 산출된, 보정 대상 셀의 벡터를 이용하여, 상기 보정 대상 셀(601)에 포함된 텍스트에 대한 보정을 수행할 수 있다. 여기에서, 상기 보정 대상 셀(601)의 벡터는 앞서 살펴본 밀집 벡터에 해당할 수 있다.

보다 구체적으로, 제어부(140)는 기 특정된 데이터셋으로부터, 보정 대상 셀(601)의 벡터(vector)와 가장 유사한 벡터 표현을 가진 단어(예를 들면, 보정 대상 벡터와 가장 가까운 거리에 위치한 특정 벡터에 대응되는 단어)를, 보정 대상 텍스트로서 추출할 수 있다.

제어부(140)는 보정 대상 셀(601) 및 연관 셀(611, 612, 613, 615)을 이용하여 계산된 보정 대상 셀의 벡터와 기 특정된 데이터셋(dataset)에 포함된 벡터들 간의 거리에 근거하여, 기 특정된 데이터셋으로부터 보정 대상 텍스트를 추출할 수 있다. 여기에서, 기 특정된 데이터셋은, 테이블(1100)에 포함된 복수의 셀들, 특히 범주 셀들에 포함 가능한 후보 텍스트들 및 이에 대응되는 벡터를 포함할 수 있다. 이러한 데이터셋은 사전에 구축될 수 있으며, 데이터셋에 포함 가능한 후보 텍스트는, 데이터셋이 구축된 이후에도 추가적으로 데이터셋이 포함되거나, 데이터셋으로부터 제거되는 것이 가능하다.

그리고, 이러한 데이터셋에는, 테이블(1100)을 구성하는 복수의 셀들의 위치 관계 및 각각의 셀들에 포함되는 후보 텍스트들 간의 의미 관계 중 적어도 하나에 근거하여 임베딩이 수행된 결과가 포함될 수 있다. 즉, 데이터셋에는, 후보 텍스트들 각각에 대한 벡터 정보가 포함될 수 있다.

제어부(140)는 데이터셋으로부터, 보정 대상 셀(601)의 벡터와 가장 가깝게 위치한 특정 벡터에 대응되는 텍스트(806, 도 7 참조)를 보정 대상 텍스트로서 추출할 수 있다.

나아가, 제어부(140)는 보정 대상 셀(601)에 포함된 텍스트를, 상기 보정 대상 셀(601)의 벡터와 가장 가깝게 위치한 특정 벡터에 대응되는 텍스트(806, 도 7 참조)로 변경할 수 있다.

이와 같이 제어부(140)는 보정 대상 셀(601) 및 연관 셀(611, 612, 613, 615)에 포함된 텍스트들(801 내지 805)을 이용하여 도출된 보정 대상 셀(601)의 벡터를 이용하여, 데이터셋으로부터, 보정 대상 텍스트(806)를 추출할 수 있다.

그 결과, 보정 대상 셀(601)에 대해 잘못 인식된 텍스트 “①공딴부담액”은 “①공단부담액”으로 보정될 수 있다.

이와 같이, 데이터셋으로부터 보정 대상 텍스트(806)가 추출되면, 제어부(140)는 보정 대상 셀(601)에 포함된 텍스트(801)를, 상기 보정 대상 텍스트(806)로 변경할 수 있다.

한편, 위에서 살펴본 것과 같이, 보정 대상 텍스트(806)가 추출되면, 제어부(140)는 추출된 보정 대상 텍스트(806)를 이미지(1000)에 포함된 테이블(1100)을 데이터화 하는 데에 활용할 수 있다. 제어부(140)는 이미지(1000)에 포함된 테이블(1100)에 대한 데이터화 결과로서 얻어진 데이터 상에, 상기 보정 대상 텍스트(806)를 포함시킬 수 있다.

나아가, 제어부(140)는 테이블(1100)을 데이터화 하는 것 뿐만 아니라, 데이터화 결과로서 얻어진 데이터를 이용하여, 이미지(1000)에 포함된 테이블(1100)과 대응되는 구조를 갖는 테이블을 생성할 수 있다.

예를 들어, 제어부(140)는 도 8의 (a)에 도시된 것과 같이, 스캔된 이미지에 포함된 테이블로(910)부터 추출된 데이터 중 적어도 일부에 해당하는 텍스트(930, “신해진료로이외”)에 오류가 있는 경우, 위에서 살펴본 방법과 같이, 보정을 수행함으로써, 도 8의 (b)에 도시된 것과 같이 보정된 텍스트(940, “선택진료료이외”)가 포함된 데이터를 확보할 수 있다. 그리고, 필요에 따라, 보정된 텍스트가 포함된 테이블(920)을 생성할 수 있으며, 이러한 테이블(920)은 스캔의 대상이 된 테이블(910)과 동일한 내용으로 구성될 수 있다.

위에서 살펴본 것과 같이, 본 발명에 따른 글자 인식 방법 및 시스템은, 이미지에 포함된 테이블로부터 텍스트를 인식하고, 인식된 텍스트에 대한 검증을 수행함으로써, 이미지에 포함된 테이블의 내용을 보다 정확하게 데이터화 할 수 있다.

보다 구체적으로, 본 발명에 따른 글자 인식 방법 및 시스템은, 이미지에 포함된 테이블로부터, 테이블에 포함된 텍스트가 잘못 인식되는 경우, 이를 보정함으로써, 이미지에 포함된 테이블의 내용을 정확하게 데이터화 하는 것이 가능하다. 이를 위하여, 본 발명에서는 테이블을 구성하는 셀들 간의 배치 관계, 셀들에 포함된 텍스트들의 의미 관계를 고려하여, 보정의 대상이 된 셀에 포함된 텍스트를 보정함으로써, 이미지에 포함된 테이블의 내용을 그대로 데이터화 할 수 있는 정확도 높은 글자 인식 방법 및 시스템을 제공할 수 있다. 결과적으로 본 발명에 따른 글자 인식 방법 및 시스템은, 이미지에 포함된 테이블과 내용을 포함하는 테이블을 생성하는 것이 가능하다.

나아가, 본 발명에 따른 글자 인식 방법 및 시스템은, 텍스트 인식률이 낮은 특정 셀에 대해서만 보정을 수행함으로써, 이미지에 포함된 테이블의 내용을 정확하게 데이터화 하면서 데이터 처리량을 최소화할 수 있다.

한편, 위에서 살펴본 본 발명은, 컴퓨터에서 하나 이상의 프로세스에 의하여 실행되며, 이러한 컴퓨터로 판독될 수 있는 매체(또는 기록 매체)에 저장 가능한 프로그램으로서 구현될 수 있다.

나아가, 위에서 살펴본 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드 또는 명령어로서 구현하는 것이 가능하다. 즉, 본 발명은 프로그램의 형태로 제공될 수 있다.

한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.

나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 전자기기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.

나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 전자기기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.

한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (14)

1. 테이블(table)을 포함하는 이미지를 수신하는 단계;
   상기 테이블을 구성하는 복수의 셀(cell)들에 포함된 텍스트(text)를 인식하는 단계;
   기 설정된 기준에 근거하여, 상기 복수의 셀들 중 보정 대상 셀을 특정하는 단계;
   상기 복수의 셀들 중 상기 보정 대상 셀과 관련된 적어도 하나의 연관 셀을 특정하는 단계; 및
   상기 보정 대상 셀 및 상기 연관 셀에 포함된 텍스트들을 이용하여 산출된 상기 보정 대상 셀의 벡터를 이용하여, 상기 보정 대상 셀에 포함된 텍스트에 대한 보정을 수행하는 단계를 포함하는 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
2. 제1항에 있어서,
   상기 연관 셀을 특정하는 단계에서는,
   상기 보정 대상 셀에 포함된 텍스트의 의미 및 상기 보정 대상 셀의 위치 중 적어도 하나에 근거하여, 상기 연관 셀을 특정하는 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
3. 제2항에 있어서,
   상기 복수의 셀들 중 적어도 일부는 범주 셀로 특정되고, 나머지 일부는 상기 범주 셀 중 적어도 하나에 대응되는 데이터를 포함 가능한 데이터 셀로 특정되며,
   상기 연관 셀을 특정하는 단계에서는,
   상기 범주 셀 중 상기 보정 대상 셀에 포함된 텍스트의 의미 및 상기 보정 대상 셀의 위치 중 적어도 하나와 관련된 특정 범주 셀을 상기 연관 셀로서 특정하는 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
4. 제3항에 있어서,
   상기 보정 대상 셀에 포함된 텍스트의 의미와 관련된 특정 범주 셀에는,
   상기 보정 대상 셀에 포함된 텍스트의 상위 개념 또는 하위 개념의 의미를 갖는 텍스트가 포함되는 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
5. 제4항에 있어서,
   상기 보정 대상 셀에 포함된 텍스트의 의미와 관련된 특정 범주 셀은,
   상기 보정 대상 셀을 기준으로, 상기 보정 대상 셀과 열 방향 또는 행 방향으로 나란하게 위치하는 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
6. 제3항에 있어서,
   상기 특정 범주 셀은, 상기 범주 셀 중 상기 테이블 상에서 상기 보정 대상 셀을 기준으로, 상기 보정 대상 셀과 행 방향 또는 열 방향을 따라 이웃하게 위치하는 셀인 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
7. 제1항에 있어서,
   상기 보정을 수행하는 단계에서는,
   상기 보정 대상 셀의 벡터와 기 특정된 데이터셋(dataset)에 포함된 벡터 간의 거리에 근거하여, 상기 보정 대상 셀에 포함된 텍스트에 대한 보정을 수행하는 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
8. 제7항에 있어서,
   상기 보정을 수행하는 단계는,
   상기 보정 대상 셀의 벡터와 기 특정된 데이터셋에 포함된 벡터 간의 거리에 근거하여, 상기 데이터셋으로부터 보정 대상 텍스트를 추출하는 단계 및
   상기 보정 대상 셀에 포함된 텍스트를, 상기 보정 대상 텍스트로 변경하는 단계를 포함하는 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
9. 제8항에 있어서,
   상기 데이터셋은,
   상기 테이블을 구성하는 상기 복수의 셀들에 포함 가능한 후보 텍스트들, 및
   상기 복수의 셀들의 위치 관계 및 상기 후보 텍스트들 간의 의미 관계 중 적어도 하나에 근거하여 임베딩이 수행된 결과에 해당하는, 상기 후보 텍스트들 각각에 대한 벡터 정보가 포함된 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
10. 제9항에 있어서,
    상기 보정을 수행하는 단계에서는,
    상기 데이터셋으로부터, 상기 보정 대상 셀의 벡터와 가장 가까운 벡터를 특정하고,
    상기 가장 가까운 벡터에 대응되는 텍스트를, 상기 보정 대상 텍스트로서 추출하는 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
11. 제10항에 있어서,
    상기 보정 대상 셀에 상기 보정 대상 텍스트가 포함되며, 상기 이미지에 포함된 테이블과 대응되는 구조를 갖는 테이블을 생성하는 단계를 더 포함하는 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
12. 제1항에 있어서,
    상기 보정 대상 셀을 특정하기 위한 상기 기 설정된 기준은, 상기 복수의 셀들에 포함된 텍스트의 인식에 대한 신뢰도와 관련된 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 방법.
13. 저장부;
    테이블(table)을 포함하는 이미지를 수신하는 수신부; 및
    상기 이미지에 포함된 상기 테이블을 구성하는 복수의 셀(cell)들에 포함된 텍스트(text)를 인식하는 제어부를 포함하고,
    상기 제어부는,
    기 설정된 기준에 근거하여, 상기 복수의 셀들 중 보정 대상 셀을 특정하고,
    상기 복수의 셀들 중 상기 보정 대상 셀과 관련된 적어도 하나의 연관 셀을 특정하며,
    상기 보정 대상 셀 및 상기 연관 셀에 포함된 텍스트들을 이용하여 산출된 상기 보정 대상 셀의 벡터를 이용하여, 상기 보정 대상 셀에 포함된 텍스트에 대한 보정을 수행하는 것을 특징으로 하는 문자 인식 에러에 강인한 글자 인식 시스템.
14. 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장 가능한 프로그램으로서,
    상기 프로그램은,
    테이블(table)을 포함하는 이미지를 수신하는 단계;
    상기 테이블을 구성하는 복수의 셀(cell)들에 포함된 텍스트(text)를 인식하는 단계;
    기 설정된 기준에 근거하여, 상기 복수의 셀들 중 보정 대상 셀을 특정하는 단계;
    상기 복수의 셀들 중 상기 보정 대상 셀과 관련된 적어도 하나의 연관 셀을 특정하는 단계; 및
    상기 보정 대상 셀 및 상기 연관 셀에 포함된 텍스트들을 이용하여 산출된 상기 보정 대상 셀의 벡터를 이용하여, 상기 보정 대상 셀에 포함된 텍스트에 대한 보정을 수행하는 단계를 수행하도록 하는 명령어들을 포함하는 특징으로 하는 컴퓨터로 판독될 수 있는 기록매체에 저장 가능한 프로그램.
    

Images