WO2022039330A1 - 가상 셀을 이용한 ocr 기반 문서 분석 시스템 및 방법 - Google Patents

Abstract

가상 셀을 이용한 OCR 기반 문서 분석 시스템 및 방법을 개시한다. 본 발명은 문서 상의 항목에 기재된 문자 및 숫자를 포함한 글자를 인식하고, 인식된 글자의 상대적인 위치를 기반으로 가상 셀을 생성하여 숫자에 대한 상대적인 위치 정보를 매칭시킬 수 있다. [대표도] 도 1

Description

가상 셀을 이용한 OCR 기반 문서 분석 시스템 및 방법

본 발명은 가상 셀을 이용한 OCR 기반 문서 분석 시스템 및 방법에 관한 발명으로서, 더욱 상세하게는 문서 상의 항목에 기재된 문자 및 숫자를 포함한 글자를 인식하고, 인식된 글자의 상대적인 위치를 기반으로 가상 셀을 생성하여 숫자에 대한 상대적인 위치 정보를 매칭시키는 가상 셀을 이용한 OCR 기반 문서 분석 시스템 및 방법에 관한 것이다.

개인이나 기업은 경제 활동 중에 수집하는 영수증을 경비보고, 지출결의 등의 회계 처리 혹은 종합소득세 신고 등의 세무 처리를 위한 사후 증빙 서류로 보관하여 관리한다.

이렇게 보관 및 관리되는 영수증은 종이로 되어 있기 때문에 근본적으로 원본의 훼손 위험이 있으며, 오손, 분실, 부패에 대한 노출을 예방해야 하는 기술적, 경제적 부담이 있고, 영수증 보관량의 증대에 비례하여 영수증 보관 공간을 늘려야 하는 문제점이 있다.

또한, 개인이나 기업의 담당자는 수기 입력 방식으로 종래의 영수증으로부터 상기한 회계 처리 혹은 세무 처리에 필요한 정보를 추출하고 분류하여 장부에 기입하거나 회계관리 프로그램이 설치된 PC에 입력, 저장하기 때문에 정보 추출 작업이 불편한 문제점이 있다.

한편, 문서에 포함된 글자(텍스트) 이미지는 기계 인코딩을 통해 변환할 수 있는 데, 기계 인코딩을 통해 변환된 글자는 전자적으로 편집, 검색 등이 가능하고, 변환된 글자는 파일 등의 형태로 데이터베이스에 저장할 수도 있게 된다.

이러한 기계 인코딩은 주로 광학문자인식(OCR)을 통해 수행될 수 있고, 컴퓨터 등을 이용하여 이미지 기반의 텍스트 문서를 자동으로 감지, 식별 및 인코딩할 수 있다.

한국 등록특허공보 등록번호 제10-1139801호(발명의 명칭: 영수증 판독을 통한 자동 정보 수집 시스템 및 방법)에는 종래의 영수증에 인쇄된 구매 물품, 구매 수량, 사용 금액 등을 OCR을 통해 판독하여 저장함으로써 해당 영수증의 사용자의 구매 정보를 자동으로 수집, 관리하는 구성이 개시되어 있다.

그러나, 종래 기술에 따른 OCR은 저품질의 프린터 또는 팩스 등에서 인쇄되거나, 해상도가 낮은 촬영수단에서 이미지화되거나, 구겨지거나, 또는 기울어진 상태에서 촬영된 이미지의 경우 OCR의 인식 정확도가 떨어지는 문제점이 있다.

또한, 종래 기술에 따른 정보 수집 시스템은 단순히 물품, 수량, 사용 금액 등에 대한 인식만 가능하여 인식된 항목들 간의 연결 관계는 알 수 없는 문제점이 있다.

또한, 종래 기술에 따른 정보 수집 시스템은 바코드가 포함된 영수증, 특히 별도의 스캐너 장치를 통해 디지털 데이터화된 영수증을 인식하도록 구성되어 일반적인 영수증의 인식은 어려운 문제점이 있다.

또한, 종래 기술에 따른 정보 수집 시스템은 문서에서 글자들만 인식하기 때문에 인식된 글자와 글자 사이의 관계를 알 수 없는 문제점이 있다.

또한, 종래 기술에 따른 정보 수집 시스템은 인식된 글자와 숫자 사이의 연결을 정확하게 매칭시키지 못하는 문제점이 있다.

이러한 문제점을 해결하기 위하여, 본 발명은 문서 상의 항목에 기재된 문자 및 숫자를 포함한 글자를 인식하고, 인식된 글자의 상대적인 위치를 기반으로 가상 셀을 생성하여 숫자에 대한 상대적인 위치 정보를 매칭시키는 가상 셀을 이용한 OCR 기반 문서 분석 시스템 및 방법을 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 가상 셀을 이용한 OCR 기반 문서 분석 시스템으로서, 객체 탐지 모델을 이용하여 인식 대상 이미지에서 임의의 형식(form), 글자 및 숫자 중 적어도 하나의 객체 위치를 탐지하되, 상기 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하여 글자 및 숫자 객체의 픽셀 위치 값을 생성하며, OCR 모델을 이용하여 상기 사각형상의 픽셀 안에서 인식되는 글자 및 숫자 정보를 출력하고, 상기 생성된 글자 객체의 픽셀 위치 값을 기반으로 이미지의 좌측 영역에 글자 객체가 배치되는 좌측 헤더 영역과, 이미지의 상측 영역에 글자 객체가 배치되는 상측 헤더 영역으로 구분하고, 상기 좌측 헤더 영역과 상측 헤더 영역을 기준으로 가상 셀 객체를 생성하여 배치하고, 상기 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 행/열(row/column) 정보를 기반으로 연결하여 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보가 디스플레이되도록 하는 문서 분석 장치를 포함한다.

또한, 상기 실시 예에 따른 객체 탐지 모델은 PSENet(Progressive Scale Expansion Network) 기반의 딥러닝 모델을 이용하여 문서 이미지를 포함한 학습 데이터로부터 형식, 글자 및 숫자 객체의 위치 탐지와, 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하고, 상기 표시된 사각형상의 픽셀 위치 값 생성을 학습하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 객체 탐지 모델은 원본 이미지, 문서의 임의의 부분이 접혀진 이미지, 문서의 위치가 임의의 각도로 기울어진 이미지, 임의의 조도를 갖는 밝기가 조절된 이미지, 문서에 표시된 내용이 선명하지 않고 끊어진 연결선을 갖는 이미지, 문서의 임의의 부분이 굴곡진 이미지, 숫자와 연결선이 겹쳐진 이미지를 기반으로 학습 데이터를 학습하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 문서 분석 장치는 인식 대상 이미지를 수신하는 입력부; 상기 수신된 인식 대상 이미지에서 객체 탐지 모델을 이용하여 임의의 형식(form), 글자 및 숫자 객체 중 적어도 하나의 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레에 사각형상을 표시하며, 표시된 글자 및 숫자 객체의 픽셀 위치 값을 생성하는 객체 탐지 모델링부; OCR 모델을 이용하여 상기 사각형상의 픽셀 내에서 인식되는 글자 및 숫자 정보를 출력하는 OCR 모델링부; 상기 생성된 글자 객체의 픽셀 위치 값을 기반으로 이미지의 좌측 영역에 글자 객체가 배치되는 좌측 헤더 영역과, 이미지의 상측 영역에 글자 객체가 배치되는 상측 헤더 영역으로 구분하고, 상기 좌측 헤더 영역과 상측 헤더 영역을 기준으로 M×N 크기의 가상 셀 객체를 생성하여 배치하며, 상기 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 행/열 정보를 기반으로 연결하여 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보가 디스플레이되도록 하는 가상 셀 폼 구성 모델링부; 및 상기 생성된 사각형상의 픽셀 위치 값, 인식된 글자, 숫자 정보 및 매칭 결과와, 특정 기관에서 사용하는 문서 데이터의 폼을 저장하는 데이터베이스;를 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 가상 셀 폼 구성 모델링부는 글자 객체의 좌측 헤더 영역과 상측 헤더 영역을 구분하되, 상기 구분된 좌측 헤더 영역과 상측 헤더 영역에 포함된 글자 객체 사이의 간격 및 크기를 산출하고, 상기 구분된 좌측 헤더 영역과 상측 헤더 영역을 기준으로 가상 셀 객체를 배치하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 가상 셀 폼 구성 모델링부는 좌측 상단에 배치된 가상 셀 객체와 숫자 객체를 매칭하되, 상기 매칭된 숫자 객체와 가상 셀 객체 사이의 기울기를 산출하고, 상기 산출된 기울기는 우측 하단에 배치된 가상 셀 객체와 숫자 객체의 매칭까지 반영되도록 하는 것을 특징으로 한다.

또한, 본 발명의 일 실시 예는 가상 셀을 이용한 OCR 기반 문서 분석 방법으로서, a) 문서 분석 장치가 인식 대상 이미지를 수신하는 단계; b) 상기 문서 분석 장치가 수신된 인식 대상 이미지에서 객체 탐지 모델을 이용하여 임의의 형식, 글자 및 숫자 객체 중 적어도 하나의 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레에 사각형상을 표시하여 글자 및 숫자 객체의 픽셀 위치 값을 생성하는 단계; c) 상기 문서 분석 장치가 OCR 모델을 이용하여 탐지된 사각형상 픽셀 안에서 인식되는 글자 및 숫자 정보를 출력하는 단계; 및 d) 상기 문서 분석 장치가 상기 생성된 글자 객체의 픽셀 위치 값을 기반으로 이미지의 좌측 영역에 글자 객체가 배치되는 좌측 헤더 영역과, 이미지의 상측 영역에 글자 객체가 배치되는 상측 헤더 영역으로 구분하고, 상기 좌측 헤더 영역과 상측 헤더 영역을 기준으로 가상 셀 객체를 생성하여 배치하며, 상기 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 행/열 정보를 기반으로 연결하여 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보가 디스플레이되도록 최종 결과를 출력하는 단계;를 포함한다.

또한, 상기 실시 예에 따른 상기 d) 단계의 글자 객체의 좌측 및 상측 픽셀 위치를 기준으로 배치하는 단계는 d-1) 문서 분석 장치가 글자 객체의 좌측 헤더 영역과 상측 헤더 영역을 구분하는 단계; d-2) 상기 구분된 좌측 헤더 영역과 상측 헤더 영역에 포함된 글자 객체 사이의 간격 및 크기를 산출하는 단계; 및 d-3) 상기 구분된 좌측 헤더 영역과 상측 헤더 영역을 기준으로 가상 셀 객체를 배치하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 d) 단계의 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 행/열 정보를 기반으로 연결하는 단계는 d-4) 상기 문서 분석 장치가 좌측 상단에 배치된 가상 셀 객체와 숫자 객체를 매칭하여 숫자 객체와 가상 셀 객체 사이의 기울기를 산출하는 단계; 및 d-5) 상기 문서 분석 장치가 행/열 정보에 따라 순차적으로 이동하며 상기 산출된 기울기를 우측 하단에 배치된 가상 셀 객체와 숫자 객체의 매칭까지 반영하여 연결하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 문서 상의 항목에 기재된 문자 및 숫자를 포함한 글자를 인식하고, 인식된 글자의 상대적인 위치를 기반으로 가상 셀을 생성하여 숫자에 대한 상대적인 위치 정보를 매칭시킬 수 있는 장점이 있다.

또한, 본 발명은 인식된 항목들 간의 연결 및 상대적인 위치 관계를 기반으로 글자가 배치된 패턴을 분석하여 특정 문서 또는 영수증 등을 사용하는 병원, 보험사 등의 기관에서 사용한 폼 패턴과 비교함으로써, 신속하고 정확한 매칭이 가능한 장점이 있다.

또한, 본 발명은 병원, 보험사 등의 기관에서 사용한 폼 패턴과 비교하여 사용함으로써, OCR은 숫자만의 인식으로 단순화 시킬 수 있는 장점이 있다.

또한, 본 발명은 표준화된 이미지가 아니어도 다양한 학습 데이터를 이용한 딥러닝 학습을 통해 인식의 정확도를 향상시킬 수 있는 장점이 있다.

또한, 본 발명은 병원, 약국 등에서 사용하는 다양한 포맷의 영수증에 대하여 정확한 정보의 인식이 가능한 장점이 있다.

또한, 본 발명은 특정 양식(폼)이 없는 서류의 디지털화가 가능한 장점이 있다.

도 1은 본 발명의 일 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템의 구성을 나타낸 블록도.

도 2는 도 1의 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템의 글자 위치 탐지를 설명하기 위한 예시도.

도 3은 도 2에 따른 글자 위치 탐지 결과를 나타낸 예시도.

도 4는 도 1의 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템의 OCR 인식 결과를 나타낸 예시도.

도 5는 도 1의 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템의 글자 위치 탐지 모델의 결과와 OCR 모델의 결과를 나타낸 예시도.

도 6은 도 1의 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템의 가상 셀 연결 과정을 설명하기 위한 예시도.

도 7은 도 1의 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템의 가상 셀 연결 과정을 설명하기 위한 다른 예시도.

도 8은 도 1의 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템의 위치 좌료를 기반으로 가상 셀을 연결 과정을 설명하기 위한 예시도.

도 9는 도 1의 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템의 가상 셀을 이용한 최종 연결 상태를 나타낸 예시도.

도 10은 도 1의 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템을 이용하여 밀린 문자 연결 상태를 나타낸 예시도.

도 11은 도 1의 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템을 이용하여 휘어진 문자 연결 상태를 나타낸 예시도.

도 12는 본 발명의 일 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 과정을 나타낸 흐름도.

도 13은 도 12의 실시 예에 따른 가상 셀 기반 항목 매칭 과정을 나타낸 흐름도.

이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.

본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.

또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.

본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.

또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.

또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템 및 방법의 바람직한 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템의 구성을 나타낸 블록도이고, 도 2 내지 도 9는 본 발명의 일 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템의 동작 과정을 설명하기 위한 예시도이다.

도 1 내지 도 9를 참조하여 설명하면, 본 발명의 일 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 시스템은 객체 탐지 모델을 이용하여 인식 대상 이미지에서 임의의 형식(form), 글자 및 숫자 중 적어도 하나의 객체 위치를 탐지하되, 상기 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하여 글자 및 숫자 객체의 픽셀 위치 값을 생성하며, OCR 모델을 이용하여 상기 사각형상의 픽셀 안에서 인식되는 글자 및 숫자 정보를 출력하고, 상기 생성된 글자 객체의 픽셀 위치 값을 기반으로 이미지의 좌측 영역에 글자 객체가 배치되는 좌측 헤더 영역(500)과, 이미지의 상측 영역에 글자 객체가 배치되는 상측 헤더 영역(510)으로 구분하되, 상기 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 기준으로 가상 셀 객체를 생성하여 배치하고, 상기 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 행/열 정보를 기반으로 연결하여 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보가 디스플레이되도록 하는 문서 분석 장치(100)로 이루어질 수 있다.

또한, 문서 분석 장치(100)는 외부로부터 전송되는 인식 대상 이미지를 수신하는 입력부(110)를 포함하여 구성될 수 있다.

입력부(110)는 네트워크를 통해 접속된 외부 단말로부터 전송되는 이미지 또는 스캐너 등을 통해 스캐닝된 이미지 등을 수신하는 데이터 통신 수단으로 구성될 수 있다.

또한, 문서 분석 장치(100)는 입력부(110)를 통해 수신된 인식 대상 이미지에서 객체 탐지 모델을 이용하여 이미지에 포함된 임의의 형식(form), 글자 및 숫자 객체의 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하여 사각형상의 픽셀 위치 정보를 생성하는 객체 탐지 모델링부(120)를 포함하여 구성될 수 있다.

즉, 객체 탐지 모델링부(120)는 형식, 글자 및 숫자 객체에 대한 상대적인 위치의 인식을 수행하고, 형식, 글자 및 숫자 객체의 위치에 따른 배열을 확인할 수 있도록 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하며, 표시된 사각형상의 픽셀 위치 값(좌표 정보)을 생성한다.

여기서, 객체 탐지 모델은 PSENet(Progressive Scale Expansion Network) 기반의 딥러닝 모델을 이용하여 문서 이미지를 포함한 학습 데이터로부터 형식, 글자 및 숫자 객체와, 그 위치를 탐지하고, 탐지율의 향상을 위해 학습을 수행할 수 있다.

또한, 객체 탐지 모델은 원본 이미지, 문서의 임의의 부분이 접혀진 이미지, 문서의 위치가 임의의 각도로 기울어진 이미지, 임의의 조도를 갖는 밝기가 조절된 이미지, 문서에 표시된 내용이 선명하지 않고 끊어진 연결선을 갖는 이미지, 문서의 임의의 부분이 굴곡진 이미지, 숫자와 연결선이 겹쳐진 이미지를 기반으로 하는 학습 데이터를 이용하여 학습할 수 있다.

이와 같이, 다양한 환경, 예를 들어, 조명, 촬영각도, 촬영시 흔들림, 촬영구도, 사진 해상도 등 다양한 여건에서 촬영될 수 있는 이미지를 감안하여 원본 이미지와 비교하여 다양한 변화를 준 이미지들을 사전에 학습함으로써, 실제 환경에서 수신되는 이미지들에 대한 탐지율 또는 인식율을 향상시킬 수 있다.

한편, 본 발명에서는 설명의 편의를 위해, 인식 대상 이미지를 병원 영수증과 관련된 이미지를 실시 예로 설명하지만 이에 한정되는 것은 아니고, 약국 영수증, 세금계산서, 견적서, 청구서, 거래 명세서, 각종 계산서 및 영수증 등을 포함할 수 있다.

또한, 객체 탐지 모델은 자동 증강(Auto Augmentation)을 통해 다양한 변화를 준 이미지들을 기반으로 탐지를 수행함에 있어서 최적의 규칙을 찾을 수도 있다.

또한, 객체 탐지 모델은 탐지된 형식, 글자 및 숫자의 객체에 대하여 사각형상의 픽셀을 설정하고, 설정된 픽셀의 위치 값을 생성할 수 있다.

즉, 입력된 문서 이미지(200)에서 임의의 탐지 영역(210)으로부터 탐지된 예를 들면, 글자 객체(211)에 대하여 외부면에 사각형상의 박스(212)로 구성된 픽셀 위치 값을 생성하고, 인식된 객체(213)에 대한 정보를 글자 탐지 결과(220)에 표시함으로써, 사각형상 기반의 패턴 인식이 가능하도록 한다.

본 실시 예에서는 설명의 편의를 위해 글자 객체로 설명하지만, 이에 한정되는 것은 아니고, 숫자, 영수증의 폼을 구성하는 형식(form)을 객체로 포함할 수 있음은 당업자에게 있어서 자명할 것이다.

또한, 사각형상의 박스(212)는 바람직하게는 직사각형(rectangular)으로 구성될 수 있다.

또한, 형식의 둘레를 따라 표시된 사각형상의 구성(또는 배열) 패턴에 근거하여 미리 저장된 기관(병원)의 영수증 구성과 비교를 통해 어떤 기관의 영수증인지 구분할 수도 있다.

여기서, 형식은 문서 테이블을 구성하는 폼에서 하나의 셀(Cell)로서, 직사각형으로 이루어질 수 있다.

또한, 문서 분석 장치(100)는 객체 탐지 모델링부(120)에서 탐지된 형식, 글자 및 숫자 객체에 대해 OCR 모델을 이용하여 글자 및 숫자를 인식하는 OCR 모델링부(130)를 포함하여 구성될 수 있다.

여기서, OCR 모델링부(130)는 이미지 기반의 텍스트 문서를 자동으로 감지하여 인식하는 구성으로서, 공지의 OCR 모델을 사용하여 구성될 수 있다.

또한, OCR 모델링부(130)는 OCR 인식 결과(300)에 대하여 인식된 예측 정보(310)와, 예측 정보(310)에 대한 신뢰 점수(320)를 산출하여 함께 제공할 수 있다.

여기서, 예측 정보(310)는 인식된 객체에 포함될 글자 및 숫자를 나타낸 것이고, 신뢰 점수(320)는 OCR을 통해 인식하는 과정에서 내용이 선명하지 않거나, 연결된 부분이 끊어진 경우 등을 반영하여 전체부분에서 인식된 부분의 비율을 산출한 인식률일 수 있다.

또한, 문서 분석 장치(100)는 생성된 글자 객체의 픽셀 위치 값을 기반으로 이미지의 좌측 영역에 글자 객체가 배치되는 좌측 헤더 영역(500)과, 이미지의 상측 영역에 글자 객체가 배치되는 상측 헤더 영역(510)으로 구분하되, 상기 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 기준으로 M×N 크기의 가상 셀 객체를 생성하여 배치하며, 상기 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 행/열 정보를 기반으로 연결하여 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보가 디스플레이되도록 하는 가상 셀 폼 구성 모델링부(140)를 포함하여 구성될 수 있다.

즉, 가상 셀 폼 구성 모델링부(140)는 객체 탐지 모델링부(120)의 탐지 결과와 OCR 모델링부(130)의 예측 정보를 기반으로 하여 인식한 예측 정보들이 어떤 항목인지 매칭되도록 한다.

또한, 가상 셀 폼 구성 모델링부(140)는 객체 탐지 모델링부(120)의 탐지 결과(220)와, OCR 모델링부(130)의 예측 정보(310)를 매칭하기 위해, 인접한 모든 글자 및 숫자 객체들의 사각형상 픽셀들을 연결한다.

또한, 일반적인 영수증 등의 회계 관련 문서는 글자로 이루어진 항목이 주로 문서의 좌측과 상측에 배치된다.

즉, 문서 이미지(400) 상의 좌측에는 복수의 좌측 객체(410)가 탐지되고, 문서 이미지(400) 상의 상측에는 복수의 상측 객체(420)가 탐지되며, 개별 좌측 객체(410)와 상측 객체(420)와 연동하여 숫자 객체(430)가 탐지된다.

숫자 객체(430)는 해당 숫자 객체(430)에 대응하는 좌측 객체(410)와 상측 객체(420)에 의해 해당 숫자 객체(430)가 가지는 속성(attribute)이 정의된다.

그러나 숫자 객체(430)를 인접한 객체들과 연결할 때 입력된 문서 이미지에 포함된 숫자 객체들이 수평방향이 아닌 기울어진 상태로 배치된 경우, 좌측 방향에 배치된 글자 객체와 연결하는 과정에서 수평방향이 아닌 기울어진 방향의 연장선에 배치된 다른 글자 객체와 연결될 수 있다.

본 발명의 일 실시 예에 따른 가상 셀 폼 구성 모델링부(140)는 가상 셀 객체를 생성하여 글자 객체 및 숫자 객체가 연결되도록 한다.

이를 위해 가상 셀 폼 구성 모델링부(140)는 객체 탐지 모델링부(120)를 통해 추출된 글자 객체의 위치 좌표를 기반으로 문서 이미지(400) 상에서 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 분리하여 구분한다.

또한, 가상 셀 폼 구성 모델링부(140)는 구분된 좌측 헤더 영역(500)에 포함된 글자 객체 즉, 도면 상에서 좌측 헤더 영역(500)의 수직방향 하부방향으로 배치된 복수의 좌측 헤더 객체(501)와, 상측 헤더 영역(510)에 포함된 글자 객체 즉, 도면 상에서 상측 헤더 영역(510)의 수평방향 우측방향으로 배치된 상측 헤더 객체(511, 512) 별로 사각형상 픽셀의 위치 좌표 값을 추출한다.

또한, 가상 셀 폼 구성 모델링부(140)는 글자 객체의 좌측 헤더 영역(500)과 상측 헤더 영역(510)에 포함된 글자 객체 사이의 간격 및 크기 즉, 좌측 헤더 객체(501), 상측 헤더 객체(511), 상측 헤더 객체 1(512) 사이의 간격 및 크기를 산출하고, 구분된 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 기준으로 복수의 가상 셀 그룹(530, 530a)이 행/열 정보에 따라 배치된다.

즉, 가상 셀 그룹(530, 530a)에 포함된 복수의 가상 셀 객체(531, 532)가 좌측 헤더 영역(500)과 상측 헤더 영역(510)의 행/열 정보에 따라 배치된다.

여기서, 배치되는 가상 셀 객체(531, 532)의 갯수는 좌측 헤더 영역(500)과 상측 헤더 영역(510)에서 탐지된 좌측 헤더 객체(501)와 상측 헤더 객체(511)의 갯수인 M×N 개 만큼 형성된다.

또한, 가상 셀 폼 구성 모델링부(140)는 숫자 객체 영역(520)과 가상 셀 그룹(530, 530a)을 매칭시키는데, 좌측 상단에 배치된 가상 셀 객체(531)와 숫자 객체(521)가 우선 매칭되도록 한다.

이때, 좌측 헤더 및 상측 헤더의 정보와 가장 밀접하게 연관된 정보는 좌측 상단이므로, 가장 정확도가 높은 좌측 상단의 가상 셀 객체(531)와 숫자 객체(521)를 우선 매칭 시킨다.

또한, 가상 셀 폼 구성 모델링부(140)는 좌측 상단에 배치된 가상 셀 객체(531)와 숫자 객체(521)를 매칭하면, 매칭된 숫자 객체(521)와 가상 셀 객체(531) 사이의 기울기를 산출한다.

즉, 가상 셀 폼 구성 모델링부(140)는 문서 이미지에 포함된 숫자 객체(521)들이 수평방향이 아닌 기울어진 상태로 배치된 경우 잘못 매칭되는 것을 방지하기 위해 문서 이미지 상에 설정된 기준 좌표계에서, 좌표계 내의 해당 벡터의 기울기를 산출하고, 산출된 기울기에 기반하여 이미지의 전체적인 기울기를 산출한다.

또한, 가상 셀 폼 구성 모델링부(140)는 이미지의 전체적인 기울기가 반영되도록 좌측 상단에서 매칭된 숫자 객체(521)와 가상 셀 객체(531) 사이의 기울기 정보를 우측 하단에 배치된 가상 셀 객체와 숫자 객체 n(523)의 매칭까지 반영되도록 한다.

또한, 가상 셀 폼 구성 모델링부(140)는 가상 셀 객체를 좌측, 상단, 하단의 객체와 기울기 라인(540) 및 상측 헤더 라인(541)을 통해 연결하는데, 좌측 헤더 객체(501), 상측 헤더 객체(511), 상측 헤더 객체 1(512) 등에서 산출한 객체 사이의 간격 및 크기에 기반하여 IoU(Intersection over Union)가 미리 설정된 기준 값 이상이면, 연결되도록 한다.

또한, 가상 셀 폼 구성 모델링부(140)는 가상 셀 객체를 이용한 연결이 완료되면, 가상 셀 객체를 제거하여 최종 연결 이미지(600)를 생성하여 출력한다.

이때, 가상 셀 폼 구성 모델링부(140)는 최종 연결 이미지(600)를 데이터베이스(150)에 저장된 특정 기관 문서의 박스 배열 정보와 비교하여 매칭되는지 확인할 수 있다.

여기서, 특정 기관은 병원, 약국, 회사 등, 영수증 및 회계 관련 문서를 임의의 폼으로 발행하는 모든 곳을 포함할 수 있다.

또한, 가상 셀 폼 구성 모델링부(140)는 도 10과 같이, 숫자 객체(730)가 밀린 문자 이미지(700)가 입력되어도, 좌측 헤더 객체(710)와, 상측 헤더 객체(720)를 기반으로 가상 셀 객체를 생성한 다음 예를 들면, 하단으로 밀린 숫자 객체(730)를 가상 셀 객체와 매칭시켜 기울기에 기반한 연결을 통해 글자 객체와 숫자 객체의 정확한 연결이 이루어질 수 있도록 한다.

또한, 가상 셀 폼 구성 모델링부(140)는 도 11과 같이, 도면 상 한쪽으로 휘어진(또는 기울어진) 문자 이미지(800)가 입력되어도, 좌측 헤더 객체(810)와, 상측 헤더 객체(820)를 기반으로 가상 셀 객체를 생성한 다음 숫자 객체(830)를 가상 셀 객체와 매칭시켜 기울기에 기반한 연결을 통해 글자 객체와 숫자 객체의 정확한 연결이 이루어질 수 있도록 한다.

또한, 문서 분석 장치(100)는 가상 셀 폼 구성 모델링부(140)에서 출력되는 재구성 이미지, 특정 기관에서 사용하는 문서 데이터의 폼(또는 형식), 생성된 사각형상의 픽셀 위치 값, 인식된 글자, 숫자 정보 및 매칭 결과 등을 저장하는 데이터 베이스(150)를 포함하여 구성될 수 있다.

다음은 본 발명의 일 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 방법을 설명한다.

도 12는 본 발명의 일 실시 예에 따른 가상 셀을 이용한 OCR 기반 문서 분석 과정을 나타낸 흐름도이고, 도 13은 도 12의 실시 예에 따른 가상 셀 기반 항목 매칭 과정을 나타낸 흐름도이다.

도 1, 도 12 및 도13을 참조하면, 문서 분석 장치(100)는 네트워크를 통해 연결된 외부 단말 또는 팩스 등을 통해 인식 대상 영수증의 이미지를 수신(S100)한다.

문서 분석 장치(100)는 수신된 인식 대상 영수증의 이미지에서 객체 탐지 모델을 이용하여 임의의 형식, 글자 및 숫자 객체와 그 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하여 사각형상의 픽셀 위치 정보를 생성하는 글자 탐지 단계를 수행(S200)한다.

또한, S200 단계에서, 객체 탐지 모델은 PSENet(Progressive Scale Expansion Network) 기반의 딥러닝 모델을 이용하여 문서 이미지를 포함한 학습 데이터로부터 형식, 글자 및 숫자 객체와, 그 위치를 탐지하고, 탐지율의 향상을 위해 학습을 수행할 수 있다.

또한, 객체 탐지 모델은 원본 이미지, 문서의 임의의 부분이 접혀진 이미지, 문서의 위치가 임의의 각도로 기울어진 이미지, 임의의 조도를 갖는 밝기가 조절된 이미지, 문서에 표시된 내용이 선명하지 않고 끊어진 연결선을 갖는 이미지, 문서의 임의의 부분이 굴곡진 이미지, 숫자와 연결선이 겹쳐진 이미지를 기반으로 학습 데이터를 학습할 수 있다.

계속해서, 문서 분석 장치(100)는 탐지된 형식, 글자 및 숫자 객체에 대한 사각형상 픽셀 안에서, OCR 모델을 이용하여 글자 및 숫자 정보를 인식하는 OCR 인식 단계(S300)를 수행한다.

S300 단계를 수행한 다음, 문서 분석 장치(100)는 생성된 글자 객체의 픽셀 위치 값을 기반으로 이미지의 좌측 영역에 글자 객체가 배치되는 좌측 헤더 영역(500)과, 이미지의 상측 영역에 글자 객체가 배치되는 상측 헤더 영역(510)으로 구분하고, 상기 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 기준으로 가상 셀 객체를 생성하여 배치하고, 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 행/열 정보를 기반으로 연결(S400)한다.

S400 단계를 더욱 상세하게 설명하면, 문서 분석 장치(100)는 글자 객체의 좌측 및 상측 픽셀 위치를 기준으로 가상 셀 객체를 배치하되, 글자 객체의 좌측 헤더 영역(500, 도 7 참조)과 상측 헤더 영역(510, 도7 참조)을 구분(S410)한다.

또한, 문서 분석 장치(100)는 구분된 좌측 헤더 영역(500)과 상측 헤더 영역(510)에 포함된 글자 객체 사이의 간격 및 크기를 산출(S420)한다.

계속해서, 문서 분석 장치(100)는 구분된 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 기준으로 탐지된 좌측 헤더 객체(501)와 상측 헤더 객체(511)의 갯수인 M×N 개 만큼 가상 셀 객체를 배치(S430)한다.

S430 단계의 가상 셀 객체 배치가 완료되면, 문서 분석 장치(100)는 좌측 상단에 배치된 가상 셀 객체와 숫자 객체를 매칭하여 숫자 객체와 가상 셀 객체 사이의 기울기를 산출(S440)한다.

즉, S440 단계에서 문서 분석 장치(100)는 문서 이미지에 포함된 숫자 객체들이 수평방향이 아닌 기울어진 상태로 배치된 경우 잘못 매칭되는 것을 방지하기 위해 문서 이미지 상에 설정된 기준 좌표계에서, 좌표계 내의 해당 벡터의 기울기를 산출하고, 산출된 기울기에 기반하여 이미지의 전체적인 기울기를 산출한다.

계속해서, 문서 분석 장치(100)가 행/열 정보에 따라 순차적으로 이동하며 상기 산출된 기울기를 우측 하단에 배치된 가상 셀 객체와 숫자 객체의 매칭까지 반영하여 연결(S450)한다.

즉, 문서 분석 장치(100)는 이미지의 전체적인 기울기가 반영되도록 좌측 상단에서 매칭된 숫자 객체와 가상 셀 객체 사이의 기울기 정보를 우측 하단에 배치된 가상 셀 객체와 숫자 객체 n의 매칭까지 반영되도록 하고, 반영 결과에 따라 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 좌측 헤더 객체(501)와 상측 헤더 객체(511)의 행/열 정보를 기반으로 연결한다.

S450 단계의 연결이 완료되면, 문서 분석 장치(100)는 OCR 모델을 통해 인식된 글자 및 숫자 정보가 디스플레이되도록 최종 연결 이미지(600)를 생성하여 출력(S500)한다.

따라서, 문서 상의 항목에 기재된 문자 및 숫자를 포함한 글자를 인식하고, 인식된 글자의 상대적인 위치를 기반으로 가상 셀을 생성하여 숫자에 대한 상대적인 위치 정보를 매칭시킬 수 있다.

또한, 인식된 항목들 간의 연결 및 상대적인 위치 관계를 기반으로 글자가 배치된 패턴을 분석하여 특정 문서 또는 영수증 등을 사용하는 병원, 보험사 등의 기관에서 사용한 폼 패턴과 비교함으로써, 신속하고 정확한 매칭이 가능하다.

또한, 병원, 보험사 등의 기관에서 사용한 폼 패턴과 비교하여 사용함으로써, OCR은 숫자만의 인식으로 단순화 시킬 수 있고, 표준화된 이미지가 아니어도 다양한 학습 데이터를 이용한 딥러닝 학습을 통해 인식의 정확도를 향상시킬 수 있다.

또한, 병원, 약국 등에서 사용하는 다양한 포맷의 영수증에 대하여 정확한 정보의 인식이 가능하고, 특정 양식(폼)이 없는 서류의 디지털화가 가능하다.

상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.

또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.

또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.

[부호의 설명]

100 : 문서 분석 장치 110 : 입력부

120 : 객체 탐지 모델링부 130 : OCR 모델링부

140 : 가상 셀 폼 구성 모델링부 150 : 데이터베이스

200 : 문서 이미지 210 : 탐지 영역

211 : 글자 객체 212 : 사각형상 박스

220 : 글자 탐지 결과 213 : 인식된 객체

300 : OCR 인식 결과 310 : 예측 정보

320 : 신뢰 점수 400 : 문서 이미지

410 : 좌측 객체 420 : 상측 객체

430 : 숫자 객체 500 : 좌측 헤더 영역

501 : 좌측 헤더 객체 510 : 상측 헤더 영역

511 : 상측 헤더 객체 512 : 상측 헤더 객체 1

520 : 숫자 객체 영역 521 : 숫자 객체

522 : 숫자 객체 1 523 : 숫자 객체 n

530 : 가상 셀 그룹 530a : 가상 셀 그룹 1

531 : 가상 셀 객체 532 : 가상 셀 객체 1

540 : 기울기 라인 541 : 상측 헤더 라인

600 : 최종 연결 이미지 700 : 밀린 문자 이미지

710 : 좌측 헤더 객체 720 : 상측 헤더 객체

730 : 숫자 객체 800 : 휘어진 문자 이미지

810 : 좌측 헤더 객체 820 : 상측 헤더 객체

Claims (9)

1. 객체 탐지 모델을 이용하여 인식 대상 이미지에서 임의의 형식(form), 글자 및 숫자 중 적어도 하나의 객체 위치를 탐지하되, 상기 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하여 글자 및 숫자 객체의 픽셀 위치 값을 생성하며, OCR 모델을 이용하여 상기 사각형상의 픽셀 안에서 인식되는 글자 및 숫자 정보를 출력하고, 상기 생성된 글자 객체의 픽셀 위치 값을 기반으로 이미지의 좌측 영역에 글자 객체가 배치되는 좌측 헤더 영역(500)과, 이미지의 상측 영역에 글자 객체가 배치되는 상측 헤더 영역(510)으로 구분하되, 상기 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 기준으로 가상 셀 객체를 생성하여 배치하고, 상기 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 행/열(row/column) 정보를 기반으로 연결하여 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보가 디스플레이되도록 하는 문서 분석 장치(100)를 포함하는 가상 셀을 이용한 OCR 기반 문서 분석 시스템.
2. 제 1 항에 있어서,

   상기 객체 탐지 모델은 PSENet(Progressive Scale Expansion Network) 기반의 딥러닝 모델을 이용하여 문서 이미지를 포함한 학습 데이터로부터 형식, 글자 및 숫자 객체의 위치 탐지와, 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하고, 상기 표시된 사각형상의 픽셀 위치 값 생성을 학습하는 것을 특징으로 하는 가상 셀을 이용한 OCR 기반 문서 분석 시스템.
3. 제 2 항에 있어서,

   상기 객체 탐지 모델은 원본 이미지, 문서의 임의의 부분이 접혀진 이미지, 문서의 위치가 임의의 각도로 기울어진 이미지, 임의의 조도를 갖는 밝기가 조절된 이미지, 문서에 표시된 내용이 선명하지 않고 끊어진 연결선을 갖는 이미지, 문서의 임의의 부분이 굴곡진 이미지, 숫자와 연결선이 겹쳐진 이미지를 기반으로 학습 데이터를 학습하는 것을 특징으로 하는 가상 셀을 이용한 OCR 기반 문서 분석 시스템.
4. 제 1 항에 있어서,

   상기 문서 분석 장치(100)는 인식 대상 이미지를 수신하는 입력부(110);

   상기 수신된 인식 대상 이미지에서 객체 탐지 모델을 이용하여 임의의 형식(form), 글자 및 숫자 객체 중 적어도 하나의 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레에 사각형상을 표시하며, 표시된 글자 및 숫자 객체의 픽셀 위치 값을 생성하는 객체 탐지 모델링부(120);

   OCR 모델을 이용하여 상기 사각형상의 픽셀 내에서 인식되는 글자 및 숫자 정보를 출력하는 OCR 모델링부(130);

   상기 생성된 글자 객체의 픽셀 위치 값을 기반으로 이미지의 좌측 영역에 글자 객체가 배치되는 좌측 헤더 영역(500)과, 이미지의 상측 영역에 글자 객체가 배치되는 상측 헤더 영역(510)으로 구분하고, 상기 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 기준으로 M×N 크기의 가상 셀 객체를 생성하여 배치하며, 상기 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 행/열 정보를 기반으로 연결하여 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보가 디스플레이되도록 하는 가상 셀 폼 구성 모델링부(140); 및

   상기 생성된 사각형상의 픽셀 위치 값, 인식된 글자, 숫자 정보 및 매칭 결과와, 특정 기관에서 사용하는 문서 데이터의 폼을 저장하는 데이터베이스(150);를 포함하는 것을 특징으로 하는 가상 셀을 이용한 OCR 기반 문서 분석 시스템.
5. 제 4 항에 있어서,

   상기 가상 셀 폼 구성 모델링부(140)는 글자 객체의 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 구분하되,

   상기 구분된 좌측 헤더 영역(500)과 상측 헤더 영역(510)에 포함된 글자 객체 사이의 간격 및 크기를 산출하고, 상기 구분된 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 기준으로 가상 셀 객체를 배치하는 것을 특징으로 하는 가상 셀을 이용한 OCR 기반 문서 분석 시스템.
6. 제 4 항에 있어서,

   상기 가상 셀 폼 구성 모델링부(140)는 좌측 상단에 배치된 가상 셀 객체와 숫자 객체를 매칭하되,

   상기 매칭된 숫자 객체와 가상 셀 객체 사이의 기울기를 산출하고, 상기 산출된 기울기는 우측 하단에 배치된 가상 셀 객체와 숫자 객체의 매칭까지 반영되도록 하는 것을 특징으로 하는 가상 셀을 이용한 OCR 기반 문서 분석 시스템.
7. a) 문서 분석 장치(100)가 인식 대상 이미지를 수신하는 단계;

   b) 상기 문서 분석 장치(100)가 수신된 인식 대상 이미지에서 객체 탐지 모델을 이용하여 임의의 형식, 글자 및 숫자 객체 중 적어도 하나의 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레에 사각형상을 표시하여 글자 및 숫자 객체의 픽셀 위치 값을 생성하는 단계;

   c) 상기 문서 분석 장치(100)가 OCR 모델을 이용하여 탐지된 사각형상 픽셀 안에서 인식되는 글자 및 숫자 정보를 출력하는 단계; 및

   d) 상기 문서 분석 장치(100)가 상기 생성된 글자 객체의 픽셀 위치 값을 기반으로 이미지의 좌측 영역에 글자 객체가 배치되는 좌측 헤더 영역(500)과, 이미지의 상측 영역에 글자 객체가 배치되는 상측 헤더 영역(510)으로 구분하고, 상기 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 기준으로 가상 셀 객체를 생성하여 배치하고, 상기 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 행/열 정보를 기반으로 연결하여 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보가 디스플레이되도록 최종 결과를 출력하는 단계;를 포함하는 가상 셀을 이용한 OCR 기반 문서 분석 방법.
8. 제 7 항에 있어서,

   상기 d) 단계의 글자 객체의 좌측 및 상측 픽셀 위치를 기준으로 배치하는 단계는 d-1) 문서 분석 장치(100)가 글자 객체의 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 구분하는 단계;

   d-2) 상기 구분된 좌측 헤더 영역(500)과 상측 헤더 영역(510)에 포함된 글자 객체 사이의 간격 및 크기를 산출하는 단계; 및

   d-3) 상기 구분된 좌측 헤더 영역(500)과 상측 헤더 영역(510)을 기준으로 가상 셀 객체를 배치하는 단계를 포함하는 것을 특징으로 하는 가상 셀을 이용한 OCR 기반 문서 분석 방법.
9. 제 7 항에 있어서,

   상기 d) 단계의 배치된 가상 셀 객체와 숫자 객체를 매칭시켜 행/열 정보를 기반으로 연결하는 단계는 d-4) 상기 문서 분석 장치(100)가 좌측 상단에 배치된 가상 셀 객체와 숫자 객체를 매칭하여 숫자 객체와 가상 셀 객체 사이의 기울기를 산출하는 단계; 및

   d-5) 상기 문서 분석 장치(100)가 행/열 정보에 따라 순차적으로 이동하며 상기 산출된 기울기를 우측 하단에 배치된 가상 셀 객체와 숫자 객체의 매칭까지 반영하여 연결하는 단계를 포함하는 것을 특징으로 하는 가상 셀을 이용한 OCR 기반 문서 분석 방법.

Images