KR102149050B1

KR102149050B1 - 인공지능을 이용한 ocr 기반 문서 분석 시스템 및 방법

Info

Publication number: KR102149050B1
Application number: KR1020200050179A
Authority: KR
Inventors: 정안재; 김상헌; 최주영
Original assignee: 주식회사 애자일소다
Priority date: 2020-04-24
Filing date: 2020-04-24
Publication date: 2020-08-28

Abstract

인공지능을 이용한 OCR 기반 문서 분석 시스템 및 방법을 개시한다. 본 발명은 문서 상의 항목에 기재된 문자 및 숫자를 포함한 글자를 인식하고, 인식된 글자에 대한 상대적인 위치 정보에 기반하여 데이터 테이블을 작성함으로써, 인식된 숫자를 해당 항목에 매칭시킬 수 있다.

Description

인공지능을 이용한 OCR 기반 문서 분석 시스템 및 방법{SYSTEM AND METHOD FOR ANALYZING DOCUMENT USING ARTIFICIAL INTELLIGENCE BASED ON OCR}

본 발명은 인공지능을 이용한 OCR 기반 문서 분석 시스템 및 방법에 관한 발명으로서, 더욱 상세하게는 문서 상의 항목에 기재된 문자 및 숫자를 포함한 글자를 인식하고, 인식된 글자에 대한 상대적인 위치 정보에 기반하여 항목들 간의 연결관계를 분석하며, 인식된 숫자를 해당 항목에 매칭시키는 인공지능을 이용한 OCR 기반 문서 분석 시스템 및 방법에 관한 것이다.

개인이나 기업은 경제 활동 중에 수집하는 영수증을 경비보고, 지출결의 등의 회계 처리 혹은 종합소득세 신고 등의 세무 처리를 위한 사후 증빙 서류로 보관하여 관리한다.

이렇게 보관 및 관리되는 영수증은 종이로 되어 있기 때문에 근본적으로 원본의 훼손 위험이 있으며, 오손, 분실, 부패에 대한 노출을 예방해야 하는 기술적, 경제적 부담이 있고, 영수증 보관량의 증대에 비례하여 영수증 보관 공간을 늘려야 하는 문제점이 있다.

또한, 개인이나 기업의 담당자는 수기 입력 방식으로 종래의 영수증으로부터 상기한 회계 처리 혹은 세무 처리에 필요한 정보를 추출하고 분류하여 장부에 기입하거나 회계관리 프로그램이 설치된 PC에 입력, 저장하기 때문에 정보 추출 작업이 불편한 문제점이 있다.

한편, 문서에 포함된 글자(텍스트) 이미지는 기계 인코딩을 통해 변환할 수 있는 데, 기계 인코딩을 통해 변환된 글자는 전자적으로 편집, 검색 등이 가능하고, 변환된 글자는 파일 등의 형태로 데이터베이스에 저장할 수도 있게 된다.

이러한 기계 인코딩은 주로 광학문자인식(OCR)을 통해 수행될 수 있고, 컴퓨터 등을 이용하여 이미지 기반의 텍스트 문서를 자동으로 감지, 식별 및 인코딩할 수 있다.

한국 등록특허공보 등록번호 제10-1139801호(발명의 명칭: 영수증 판독을 통한 자동 정보 수집 시스템 및 방법)에는 종래의 영수증에 인쇄된 구매 물품, 구매 수량, 사용 금액 등을 OCR을 통해 판독하여 저장함으로써 해당 영수증의 사용자의 구매 정보를 자동으로 수집, 관리하는 구성이 개시되어 있다.

그러나, 종래 기술에 따른 OCR은 저품질의 프린터 또는 팩스 등에서 인쇄되거나, 해상도가 낮은 촬영수단에서 이미지화되거나, 구겨지거나, 또는 기울어진 상태에서 촬영된 이미지의 경우 OCR의 인식 정확도가 떨어지는 문제점이 있다.

또한, 종래 기술에 따른 정보 수집 시스템은 단순히 물품, 수량, 사용 금액등에 대한 인식만 가능하여 인식된 항목들 간의 연결 관계는 알 수 없는 문제점이 있다.

또한, 종래 기술에 따른 정보 수집 시스템은 바코드가 포함된 영수증, 특히 별도의 스캐너 장치를 통해 디지털 데이터화된 영수증을 인식하도록 구성되어 일반적인 영수증의 인식은 어려운 문제점이 있다.

또한, 종래 기술에 따른 정보 수집 시스템은 문서에서 글자들만 인식하기 때문에 인식된 글자와 글자 사이의 관계를 알 수 없는 문제점이 있다.

또한, 종래 기술에 따른 정보 수집 시스템은 OCR을 통해 인식되더라도, 인식된 글자를 알맞은 DB의 필드에 저장할 수 없는 문제점이 있다.

한국 등록특허공보 등록번호 제10-1139801호(발명의 명칭: 영수증 판독을 통한 자동 정보 수집 시스템 및 방법)

이러한 문제점을 해결하기 위하여, 본 발명은 문서 상의 항목에 기재된 문자 및 숫자를 포함한 글자를 인식하고, 인식된 글자에 대한 상대적인 위치 정보에 기반하여 항목들 간의 연결관계를 분석하며, 인식된 숫자를 해당 항목에 매칭시키는 인공지능을 이용한 OCR 기반 문서 분석 시스템 및 방법을 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 인공지능을 이용한 OCR 기반 문서 분석 시스템으로서, 객체 탐지 모델을 이용하여 인식 대상 이미지에서 임의의 형식(form), 글자 및 숫자 중 적어도 하나의 객체의 위치를 탐지하되, 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하여 사각형상의 픽셀 위치 값을 생성하며, OCR 모델을 이용하여 상기 사각형상의 픽셀 안에서 인식되는 글자 및 숫자 정보를 출력하고, 상기 생성된 사각형상의 픽셀 위치 값을 기반으로 인접한 모든 사각형상의 픽셀들을 연결하며, 상기 연결된 사각형상의 픽셀 위치에 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보를 매칭시켜 디스플레이 하는 문서 분석 장치로 이루어진 것을 특징으로 한다.

또한, 상기 실시 예에 따른 객체 탐지 모델은 PSENet(Progressive Scale Expansion Network) 기반의 딥러닝 모델을 이용하여 문서 이미지를 포함한 학습 데이터로부터 형식, 글자 및 숫자 객체의 위치 탐지와, 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하고, 상기 표시된 사각형상의 픽셀 위치 값 생성을 학습하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 객체 탐지 모델은 원본 이미지, 문서의 임의의 부분이 접혀진 이미지, 문서의 위치가 임의의 각도로 기울어진 이미지, 임의의 조도를 갖는 밝기가 조절된 이미지, 문서에 표시된 내용이 선명하지 않고 끊어진 연결선을 갖는 이미지, 문서의 임의의 부분이 굴곡진 이미지, 숫자와 연결선이 겹쳐진 이미지를 기반으로 학습 데이터를 학습하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 문서 분석 장치는 인식 대상 이미지를 수신하는 입력부; 상기 수신된 인식 대상 이미지에서 객체 탐지 모델을 이용하여 형식, 글자 및 숫자 객체 중 적어도 하나의 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레에 사각형상을 표시하며, 표시된 사각형상의 픽셀 위치 값을 생성하는 객체 탐지 모델링부; OCR 모델을 이용하여 상기 사각형상의 픽셀 내에서 인식되는 글자 및 숫자 정보를 출력하는 OCR 모델링부; 상기 생성된 사각형상의 픽셀 위치 값과, 상기 인식된 글자 및 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하되, 글자 정보가 검색되면 이동중에 검색된 모든 사각형상의 픽셀들을 연결하고, 상기 연결된 사각형상의 픽셀 위치에 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보를 매칭시켜 디스플레이되도록 하는 폼 구성 모델링부; 및 상기 생성된 사각형상의 픽셀 위치 값, 인식된 글자 및 숫자 정보 및 매칭 결과와, 특정 기관에서 사용하는 문서 데이터의 폼을 저장하는 데이터베이스;를 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 폼 구성 모델링부는 상기 생성된 사각형상의 픽셀 위치 값과, 상기 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하되, 이동중에 검색되는 모든 사각형상의 픽셀들을 연결하고, 상기 연결된 사각형상의 배열 정보를 분석하여 미리 저장된 특정 기관 문서의 배열 정보와 비교하며, 상기 비교 결과, 특정 기관 문서의 배열 정보가 매칭되면, 상기 특정 기관 문서의 사각형상 픽셀 위치에 인식된 숫자 정보를 매칭시켜 디스플레이되도록 하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 폼 구성 모델링부는 상기 생성된 사각형상의 픽셀 중심점에 마커를 표시하고, 상기 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하되, 이동중에 검색되는 모든 사각형상의 픽셀들을 연결하고, 연결된 사각형상의 위치 정보를 분석하여 미리 저장된 특정 기관 문서의 배열 정보와 비교하며, 상기 비교 결과, 특정 기관 문서의 배열 정보가 매칭되면, 상기 특정 기관 문서의 사각형상 픽셀 위치에 인식된 숫자 정보를 매칭시켜 디스플레이되도록 하는 것을 특징으로 한다.

또한, 본 발명의 일 실시 예는 인공지능을 이용한 OCR 기반 문서 분석 방법으로서, a) 문서 분석 장치가 인식 대상 이미지를 수신하는 단계; b) 상기 문서 분석 장치가 수신된 인식 대상 이미지에서 객체 탐지 모델을 이용하여 임의의 형식, 글자 및 숫자 객체 중 적어도 하나의 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레에 사각형상을 표시하여 사각형상의 픽셀 위치 값을 생성하는 단계; c) 상기 문서 분석 장치가 OCR 모델을 이용하여 탐지된 사각형상 픽셀 안에서 인식되는 글자 및 숫자 정보를 출력하는 단계; 및 d) 상기 문서 분석 장치가 상기 생성된 사각형상의 픽셀 위치 값과, 상기 인식된 글자 및 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하되, 글자 정보가 검색되면 이동중에 검색된 모든 사각형상의 픽셀들을 연결하고, 상기 연결된 사각형상의 픽셀 위치에 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보를 매칭시켜 디스플레이되도록 하는 단계;를 포함한다.

또한, 상기 실시 예에 따른 b) 단계의 객체 탐지 모델은 PSENet(Progressive Scale Expansion Network) 기반의 딥러닝 모델을 이용하여 문서 이미지를 포함한 학습 데이터로부터 사각형상, 글자 및 숫자 객체의 위치 탐지와, 탐지된 사각형상, 글자 및 숫자 객체의 둘레를 따라 사각형상의 박스와 상기 사각형상의 픽셀 위치 값 생성을 학습하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 b) 단계의 객체 탐지 모델은 원본 이미지, 문서의 임의의 부분이 접혀진 이미지, 문서의 위치가 임의의 각도로 기울어진 이미지, 임의의 조도를 갖는 밝기가 조절된 이미지, 문서에 표시된 내용이 선명하지 않고 끊어진 연결선을 갖는 이미지, 문서의 임의의 부분이 굴곡진 이미지, 숫자와 연결선이 겹쳐진 이미지를 기반으로 학습 데이터를 학습하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 d) 단계는 d-1) 생성된 사각형상의 픽셀 위치 값과, 상기 인식된 글자 및 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 글자 정보가 검색될 때까지 좌측 방향과 상측 방향으로 이동하는 단계; d-2) 상기 글자 정보가 검색되면 이동중에 검색된 모든 사각형상의 픽셀들을 연결하는 단계; 및 d-3) 상기 사각형상의 픽셀 위치에는 인식된 글자와 숫자 정보를 매칭시켜 디스플레이하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 d) 단계는 d'-1) 상기 생성된 사각형상의 픽셀 위치 값과, 상기 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하는 단계; d'-2) 상기 이동중에 검색되는 모든 사각형상의 픽셀들을 연결하는 단계; 및 d'-3) 상기 연결된 사각형상의 배열 정보를 분석하여 미리 저장된 특정 기관 문서의 배열 정보와 비교하며, 상기 비교 결과, 특정 기관 문서의 배열 정보가 매칭되면, 상기 특정 기관 문서의 사각형상 픽셀 위치에 인식된 숫자 정보를 매칭시켜 디스플레이하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 실시 예에 따른 d) 단계는 d"-1) 상기 생성된 사각형상의 픽셀의 중심점에 마커를 표시하는 단계; d"-2) 상기 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하고, 이동중에 검색되는 모든 사각형상의 픽셀들을 연결하는 단계; d"-3) 연결된 사각형상의 마커 위치 정보를 분석하여 미리 저장된 특정 기관 문서의 배열 정보와 비교하는 단계; 및 d"-4) 상기 비교 결과, 특정 기관 문서의 배열 정보가 매칭되면, 상기 특정 기관 문서의 사각형상 픽셀 위치에 인식된 숫자 정보를 매칭시켜 디스플레이하는 단계;를 포함하는 것을 특징으로 한다.

본 발명은 문서 상의 항목에 기재된 문자 및 숫자를 포함한 글자를 인식하고, 인식된 글자에 대한 상대적인 위치 정보에 기반하여 항목들 간의 연결관계를 분석함으로써, 인식된 숫자를 해당 항목에 매칭시킬 수 있는 장점이 있다.

또한, 본 발명은 인식된 항목들 간의 연결 및 상대적인 위치 관계를 기반으로 글자가 배치된 패턴을 분석하여 특정 문서 또는 영수증 등을 사용하는 병원, 보험사 등의 기관에서 사용한 폼 패턴과 비교함으로써, 신속하고 정확한 매칭이 가능한 장점이 있다.

또한, 본 발명은 병원, 보험사 등의 기관에서 사용한 폼 패턴과 비교하여 사용함으로써, OCR은 숫자만의 인식으로 단순화 시킬 수 있는 장점이 있다.

또한, 본 발명은 표준화된 이미지가 아니어도 다양한 학습 데이터를 이용한 딥러닝 학습을 통해 인식의 정확도를 향상시킬 수 있는 장점이 있다.

또한, 본 발명은 병원, 약국 등에서 사용하는 다양한 포맷의 영수증에 대하여 정확한 정보의 인식이 가능한 장점이 있다.

도 1은 본 발명의 일 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 시스템의 구성을 나타낸 블록도.
도 2는 도 1의 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 시스템의 글자 위치 탐지를 설명하기 위한 예시도.
도 3은 도 2에 따른 글자 위치 탐지 결과를 나타낸 예시도.
도 4는 도 1의 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 시스템의 OCR 인식 결과를 나타낸 예시도.
도 5는 도 1의 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 시스템의 글자 위치 탐지 모델의 결과와 OCR 모델의 결과를 나타낸 예시도.
도 6은 도 1의 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 시스템의 연결 과정을 설명하기 위한 예시도.
도 7은 도 1의 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 시스템의 사각형상 연결을 나타낸 예시도.
도 8 내지 도 13은 도 1의 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 시스템의 자동 증강 모델링을 위한 학습 데이터를 나타낸 예시도.
도 14는 본 발명의 일 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 과정을 나타낸 흐름도.
도 15는 도 14의 실시 예에 따른 항목 매칭 과정을 나타낸 흐름도.
도 16은 도 14의 실시 예에 따른 항목 매칭 과정을 나타낸 다른 흐름도.
도 17은 도 14의 실시 예에 따른 항목 매칭 과정을 나타낸 또 다른 흐름도.

이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.

본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.

또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.

본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.

또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.

또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 시스템 및 방법의 바람직한 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 시스템의 구성을 나타낸 블록도이고, 도 2 내지 도 8은 본 발명의 일 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 시스템의 동작과정을 설명하기 위한 예시도이다.

도 1 내지 도 8을 참조하여 설명하면, 본 발명의 일 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 시스템은 객체 탐지 모델을 이용하여 인식 대상 이미지에서 임의의 형식(form), 글자 및 숫자 중 적어도 하나의 객체의 위치를 탐지하되, 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하여 사각형상의 픽셀 위치 값을 생성하며, OCR 모델을 이용하여 상기 사각형상의 픽셀 안에서 인식되는 글자 및 숫자 정보를 출력하고, 상기 생성된 사각형상의 픽셀 위치 값을 기반으로 인접한 모든 사각형상의 픽셀들을 연결하며, 상기 연결된 사각형상의 픽셀 위치에 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보를 매칭시켜 디스플레이 하는 문서 분석 장치(100)로 이루어질 수 있다.

또한, 문서 분석 장치(100)는 외부로부터 전송되는 인식 대상 이미지를 수신하는 입력부(110)를 포함하여 구성될 수 있다.

입력부(110)는 네트워크를 통해 접속된 외부 단말로부터 전송되는 이미지 또는 스캐너 등을 통해 스캐닝된 이미지 등을 수신하는 데이터 통신 수단으로 구성될 수 있다.

또한, 문서 분석 장치(100)는 입력부(110)를 통해 수신된 인식 대상 이미지에서 객체 탐지 모델을 이용하여 이미지에 포함된 임의의 형식(form), 글자 및 숫자 객체의 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하여 사각형상의 픽셀 위치 정보를 생성하는 객체 탐지 모델링부(120)를 포함하여 구성될 수 있다.

즉, 객체 탐지 모델링부(120)는 형식, 글자 및 숫자 객체에 대한 상대적인 위치의 인식을 수행하고, 형식, 글자 및 숫자 객체의 위치에 따른 배열을 확인할 수 있도록 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하며, 표시된 사각형상의 픽셀 위치 값(좌표 정보)을 생성한다.

여기서, 객체 탐지 모델은 PSENet(Progressive Scale Expansion Network) 기반의 딥러닝 모델을 이용하여 문서 이미지를 포함한 학습 데이터로부터 형식, 글자 및 숫자 객체와, 그 위치를 탐지하고, 탐지율의 향상을 위해 학습을 수행할 수 있다.

또한, 객체 탐지 모델은 영수증의 원본 이미지를 기반으로 도 8과 같이, 문서의 임의의 부분이 접혀진 이미지, 도 9와 같이 문서의 위치가 임의의 각도로 기울어진 이미지, 도 10과 같이 임의의 조도를 갖는 밝기가 조절된 이미지, 도 11과 같이 문서에 표시된 내용이 선명하지 않고 끊어진 연결선을 갖는 이미지, 도 12와 같이 문서의 임의의 부분이 굴곡진 이미지, 도 13과 같이 숫자와 연결선이 겹쳐진 이미지 등을 기반으로 하는 학습 데이터를 이용하여 학습할 수 있다.

이와 같이, 다양한 환경, 예를 들어, 조명, 촬영각도, 촬영시 흔들림, 촬영구도, 사진 해상도 등 다양한 여건에서 촬영될 수 있는 이미지를 감안하여 원본 이미지와 비교하여 다양한 변화를 준 이미지들을 사전에 학습함으로써, 실제 환경에서 수신되는 이미지들에 대한 탐지율 또는 인식율을 향상시킬 수 있다.

한편, 본 발명에서는 설명의 편의를 위해, 인식 대상 이미지를 병원 영수증과 관련된 이미지를 실시 예로 설명하지만 이에 한정되는 것은 아니고, 약국 영수증, 세금계산서, 견적서, 청구서, 거래 명세서, 각종 계산서 및 영수증 등을 포함할 수 있다.

또한, 객체 탐지 모델은 자동 증강(Auto Augmentation)을 통해 다양한 변화를 준 이미지들을 기반으로 탐지를 수행함에 있어서 최적의 규칙을 찾을 수도 있다.

또한, 객체 탐지 모델은 탐지된 형식, 글자 및 숫자의 객체에 대하여 사각형상의 픽셀을 설정하고, 설정된 픽셀의 위치 값을 생성할 수 있다.

즉, 입력된 문서 이미지(200)에서 임의의 탐지 영역(210)으로부터 탐지된 예를 들면, 글자 객체(211)에 대하여 외부면에 사각형상의 박스(212)로 구성된 픽셀 위치 값을 생성하고, 인식된 객체(213)에 대한 정보를 글자 탐지 결과(220)에 표시함으로써, 사각형상 기반의 패턴 인식이 가능하도록 한다.

본 실시 예에서는 설명의 편의를 위해 글자 객체로 설명하지만, 이에 한정되는 것은 아니고, 숫자, 영수증의 폼을 구성하는 형식(form)을 객체로 포함할 수 있음은 당업자에게 있어서 자명할 것이다.

또한, 사각형상의 박스(212)는 바람직하게는 직사각형(rectangular)으로 구성될 수 있다.

또한, 형식의 둘레를 따라 표시된 사각형상의 구성(또는 배열) 패턴에 근거하여 후술되는 폼 구성 모델링부(140)가 미리 저장된 기관(병원)의 영수증 구성과 비교하여 어떤 기관의 영수증인지 구분할 수도 있다.

여기서, 형식은 문서 테이블을 구성하는 폼에서 하나의 셀(Cell)로서, 직사각형으로 이루어질 수 있다.

또한, 문서 분석 장치(100)는 객체 탐지 모델링부(120)에서 탐지된 형식, 글자 및 숫자 객체에 대해 OCR 모델을 이용하여 글자 및 숫자를 인식하는 OCR 모델링부(130)를 포함하여 구성될 수 있다.

여기서, OCR 모델링부(130)는 이미지 기반의 텍스트 문서를 자동으로 감지하여 인식하는 구성으로서, 공지의 OCR 모델을 사용하여 구성될 수 있다.

또한, OCR 모델링부(130)는 OCR 인식 결과(300)에 대하여 인식된 예측 정보(310)와, 예측 정보(310)에 대한 신뢰 점수(320)를 산출하여 함께 제공할 수 있다.

여기서, 예측 정보(310)는 인식된 객체에 포함될 글자 및 숫자를 나타낸 것이고, 신뢰 점수(320)는 OCR을 통해 인식하는 과정에서 내용이 선명하지 않거나, 연결된 부분이 끊어진 경우 등을 반영하여 전체부분에서 인식된 부분의 비율을 산출한 인식률일 수 있다.

또한, 문서 분석 장치(100)는 탐지된 형식, 글자 및 숫자 객체의 위치를 기반으로 인접한 형식, 모든 글자 및 숫자 객체들의 사각형상 픽셀들을 연결하고, 상기 연결된 사각형상의 픽셀 위치에 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보를 매칭시켜 디스플레이되도록 하는 폼 구성 모델링부(140)를 포함하여 구성될 수 있다.

즉, 폼 구성 모델링부(140)는 객체 탐지 모델링부(120)의 탐지 결과(220)와, OCR 모델링부(130)의 예측 정보(310)를 기반으로 하여 인식한 예측 정보들이 어떤 항목(attribute)인지 매칭되도록 한다.

또한, 폼 구성 모델링부(140)는 객체 탐지 모델링부(120)의 탐지 결과(220)와, OCR 모델링부(130)의 예측 정보(310)를 매칭하기 위해, 인접한 모든 글자 및 숫자 객체들의 사각형상 픽셀들을 연결한다.

또한, 일반적인 영수증 등의 회계 관련 문서는 글자로 이루어진 항목이 주로 상측과 좌측에 배치되므로, 형식의 둘레를 따라 표시한 사각형상의 픽셀들에 대한 연결을 위해, 시작 위치를 임의의 숫자 정보를 갖는 사각형상의 픽셀로 하고, 사각형상의 픽셀 위치를 시작위치로 하여 좌측 방향과 상측 방향으로 이동하며 모든 사각형상의 픽셀(위치)들을 검색한다.

또한, 폼 구성 모델링부(140)는 시작 위치로부터 가장 가까운 좌측의 사각형상 픽셀과 상측의 사각형상 픽셀을 우선 연결하고, 이후, 인접한 모든 객체들을 연결하는 것이 바람직하다.

또한, 폼 구성 모델링부(140)는 상술된 이동 및 검색 과정을 반복하여 모든 사각형상 픽셀들의 검색을 진행하고, 좌측과 상측에 텍스트, 예를 들면, 글자 정보(항목)가 포함된 사각형상 픽셀이 나올때까지 이동, 검색을 수행한다.

또한, 폼 구성 모델링부(140)는 글자 정보가 포함된 사각형상 픽셀이 나오면, 검색된 모든 사각형상 픽셀을 연결한다.

즉, 도 6을 참조하면, 문서 이미지(400)에서 기준 객체 박스(410)의 좌측과 상측으로 이동 및 검색을 수행하여 다음 객체의 사각형상 박스와 연결을 수행하고, 좌측에 위치한 좌측 객체 박스(420)가 글자이거나 또는 숫자이면 좌측 연결선(440)을 통해 연결한다.

또한, 상측으로 이동, 검색 및 연결을 통해 상측 객체 사각형상 박스와 연결을 수행하고, 상측에 위치한 상측 객체 박스(430)가 글자 정보(항목) 또는 숫자이면, 상측 연결선(441)을 통해 연결한다.

계속해서, 폼 구성 모델링부(140)는 인접한 사각형상 픽셀들의 연결 후, 숫자 정보로부터 시작하여 좌측과 상측의 글자 정보(항목)를 찾으면, 상기 사각형상의 픽셀 위치에는 인식된 글자와 숫자 정보를 매칭시켜 디스플레이되도록 한다.

이때, 폼 구성 모델링부(140)는 데이터베이스(150)에 저장된 특정 기관 문서의 박스 배열 정보와 비교하여 매칭되는지 확인할 수 있다.

여기서, 특정 기관은 병원, 약국, 회사 등, 영수증 및 회계 관련 문서를 임의의 폼으로 발행하는 모든 곳을 포함할 수 있다.

도 7은 사각형상 픽셀의 연결상태를 나타낸 도면으로서, 문서에 포함된 사각형상을 객체로 인식하여 연결한 것을 나타낸다.

즉, 폼 구성 모델링부(140)는 객체 탐지 모델을 통해 탐지된 형식과 상기 탐지된 형식의 상대적 위치를 기반으로 생성한 사각형상의 픽셀 위치 값과, OCR 모델을 통해 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하고, 이동을 통해 검색되는 모든 사각형상의 픽셀들을 연결한다.

또한, 폼 구성 모델링부(140)는 연결된 사각형상의 배열 정보를 분석하여 데이터베이스(150)에 저장된 특정 기관 문서의 배열 정보와 비교한다.

비교 결과, 분석된 배열 정보가 특정 기관 문서의 배열 정보와 매칭되면, 폼 구성 모델링부(140)는 특정 기관 문서의 사각형상 픽셀 위치에 OCR 모델에서 인식된 숫자 정보를 매칭시켜 디스플레이되도록 한다.

또한, 폼 구성 모델링부(140)는 객체 탐지 모델을 통해 탐지된 형식과 상기 탐지된 형식의 상대적 위치를 기반으로 생성한 사각형상의 픽셀 중심점에 마커(520)를 표시하고, OCR 모델을 통해 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하고, 이동을 통해 검색되는 모든 사각형상의 픽셀들을 연결한다.

또한, 폼 구성 모델링부(140)는 연결된 사각형상의 픽셀 중심점에 마커(520)를 표시하고, 각 마커(520)의 위치 정보를 분석하여 데이터베이스(150)에 저장된 특정 기관 문서의 배열 정보와 비교한다.

비교 결과, 특정 기관 문서의 배열 정보가 매칭되면, 폼 구성 모델링부(140)는 특정 기관 문서의 사각형상 픽셀 위치에 OCR 모델에서 인식된 숫자 정보를 매칭시켜 디스플레이되도록 한다.

또한, 문서 분석 장치(100)는 폼 구성 모델링부(140)에서 출력되는 재구성 이미지, 특정 기관에서 사용하는 문서 데이터의 폼(또는 형식) 등을 저장하는 데이터 베이스(150)를 포함하여 구성될 수 있다.

다음은 본 발명의 일 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 방법을 설명한다.

도 14는 본 발명의 일 실시 예에 따른 인공지능을 이용한 OCR 기반 문서 분석 과정을 나타낸 흐름도이고, 도 15는 도 14의 실시 예에 따른 항목 매칭 과정을 나타낸 흐름도이다.

도 1, 도 14 및 도 15를 참조하면, 문서 분석 장치(100)는 네트워크를 통해 연결된 외부 단말 또는 팩스 등을 통해 인식 대상 영수증의 이미지를 수신(S100)한다.

문서 분석 장치(100)는 수신된 인식 대상 영수증의 이미지에서 객체 탐지 모델을 이용하여 임의의 형식, 글자 및 숫자 객체와 그 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하여 사각형상의 픽셀 위치 정보를 생성하는 글자 탐지 단계를 수행(S200)한다.

또한, S200 단계에서, 객체 탐지 모델은 PSENet(Progressive Scale Expansion Network) 기반의 딥러닝 모델을 이용하여 문서 이미지를 포함한 학습 데이터로부터 형식, 글자 및 숫자 객체와, 그 위치를 탐지하고, 탐지율의 향상을 위해 학습을 수행할 수 있다.

또한, 객체 탐지 모델은 원본 이미지, 문서의 임의의 부분이 접혀진 이미지, 문서의 위치가 임의의 각도로 기울어진 이미지, 임의의 조도를 갖는 밝기가 조절된 이미지, 문서에 표시된 내용이 선명하지 않고 끊어진 연결선을 갖는 이미지, 문서의 임의의 부분이 굴곡진 이미지, 숫자와 연결선이 겹쳐진 이미지를 기반으로 학습 데이터를 학습할 수 있다.

계속해서, 문서 분석 장치(100)는 탐지된 형식, 글자 및 숫자 객체에 대한 사각형상 픽셀 안에서, OCR 모델을 이용하여 글자 및 숫자 정보를 인식하는 OCR 인식 단계(S300)를 수행한다.

S300 단계를 수행한 다음, 문서 분석 장치(100)는 탐지된 형식, 글자 및 숫자 객체의 사각형상 픽셀 위치를 기반으로 인접한 모든 사각형상 픽셀들을 연결하고, 연결된 사각형상 픽셀들의 글자 및 숫자 정보를 매칭하는 단계(S400)를 수행한다.

S400 단계를 더욱 상세하게 설명하면, 문서 분석 장치(100)는 생성된 사각형상의 픽셀 위치 값과, 상기 인식된 글자 및 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 글자 정보가 검색될 때까지 좌측 방향과 상측 방향으로 이동(S410)한다.

이때, 시작 위치로부터 가장 가까운 좌측의 사각형상 픽셀과 상측의 사각형상 픽셀을 우선 연결하고, 이후, 인접한 모든 사각형상 픽셀들을 좌측방향 또는 우측방향으로 이동하며, 글자 정보(항목)가 나올때 까지 숫자 객체들을 검색한다.

계속해서, 글자 정보가 검색되면 이동중에 검색된 모든 사각형상의 픽셀들을 연결(S411)한다.

또한, 문서 분석 장치(100)는 연결된 사각형상의 픽셀 위치에 OCR 모델을 통해 인식된 글자와 숫자 정보를 매칭시켜 디스플레이(S412)되도록 하고, 데이터베이스(150)에 저장한다.

한편, S400 단계에서, 문서 분석 장치(100)는 연결된 사각형상에 대한 배열 정보를 분석할 수도 있다.

즉, 생성된 사각형상의 픽셀 위치 값과, 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하고, 이동중에 검색되는 모든 사각형상의 픽셀들을 연결(S420)한다.

S420 단계를 통해 연결된 사각형상의 배열 정보를 분석하여 미리 저장된 특정 기관 문서의 배열 정보와 비교(S421)한다.

S421 단계에서의 비교를 통해, 특정 기관 문서의 배열 정보와 매칭되는지 판단(S422)하고, 분석된 사각형상의 배열 정보가 매칭되면, 특정 기관 문서의 사각형상 픽셀 위치에 인식된 숫자 정보를 매칭시켜 디스플레이(S423)되도록 한다.

한편, S422의 판단 결과, 매칭되는 문서의 배열 정보가 없으면, S410 단계를 수행할 수 있다.

또한, S400 단계에서, 문서 분석 장치(100)는 연결된 사각형상 픽셀의 배열 정보를 마커를 통해 분석할 수도 있다.

즉, 문서 분석 장치(100)는 생성된 사각형상의 픽셀의 중심점에 마커(520)를 표시(S430)한다.

또한, 문서 분석 장치(100)는 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하고, 이동중에 검색되는 모든 사각형상의 픽셀들을 연결(S431)한다.

또한, 문서 분석 장치(100)는 마커(520)를 이용한 위치 정보를 기반으로 사각형상 픽셀의 구조 정보를 분석(S432)한다.

S430 단계의 분석을 통해 사각형상 픽셀의 배열(또는 구조)이 데이터베이스(150)에 저장된 특정 기관 문서의 배열 정보와 매칭되는 문서가 있는지 판단(S433)한다.

S433 단계의 판단 결과, 마커의 배열 정보와 특정 기관 문서의 마커 배열 정보가 매칭되면, 특정 기관 문서의 항목을 검색(S434)하고, 검색된 항목의 위치에 OCR 모델에서 인식된 숫자 정보를 매칭시켜 디스플레이(S435)되도록 한다.

한편, S433의 판단 결과, 매칭되는 문서의 배열 정보가 없으면, S410 단계를 수행할 수 있다.

따라서, 문서 상의 항목에 기재된 사각형상, 문자 및 숫자를 포함한 글자를 인식하고, 인식된 사각형상, 글자에 대한 상대적인 위치 정보에 기반하여 항목들 간의 연결관계를 분석함으로써, 인식된 숫자를 해당 항목에 매칭시킬 수 있다.

또한,인식된 항목들 간의 연결 및 상대적인 위치 관계를 기반으로 글자가 배치된 패턴을 분석하여 특정 문서 또는 영수증 등을 사용하는 병원, 보험사 등의 기관에서 사용한 폼 패턴과 비교함으로써, 신속하고 정확한 매칭이 가능하다.

또한, 병원, 보험사 등의 기관에서 사용한 폼 패턴과 비교하여 사용함으로써, OCR은 숫자만의 인식으로 단순화 시킬 수 있다.

상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.

또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.

또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.

100 : 문서 분석 장치 110 : 입력부
120 : 객체 탐지 모델링부 130 : OCR 모델링부
140 : 폼 구성 모델링부 150 : 데이터베이스
200 : 문서 이미지 210 : 탐지 영역
211 : 글자 객체 212 : 사각형상 박스
220 : 글자 탐지 결과 213 : 인식된 객체
300 : OCR 인식 결과 310 : 예측 정보
320 : 신뢰 점수 400 : 문서 이미지
410 : 기준 객체 박스 410a : 우측 객체 박스
420 : 좌측 객체 박스 430 : 상측 객체 박스
440 : 좌측 연결선 441 : 상측 연결선
500 : 의료 문서 이미지 510 : 항목 박스
520 : 마커

Claims

인식 대상 이미지를 수신하는 입력부(110);
상기 수신된 인식 대상 이미지에서 객체 탐지 모델을 이용하여 임의의 형식(form), 글자 및 숫자 객체 중 적어도 하나의 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레에 사각형상을 표시하며, 표시된 사각형상의 픽셀 위치 값을 생성하는 객체 탐지 모델링부(120);
OCR 모델을 이용하여 상기 사각형상의 픽셀 내에서 인식되는 글자 및 숫자 정보를 출력하는 OCR 모델링부(130);
상기 생성된 사각형상의 픽셀 위치 값과, 상기 인식된 글자 및 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하되, 글자 정보가 검색되면 이동중에 검색된 모든 사각형상의 픽셀들을 연결하고, 상기 연결된 사각형상의 픽셀 위치에 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보를 매칭시켜 디스플레이되도록 하는 폼 구성 모델링부(140); 및
상기 생성된 사각형상의 픽셀 위치 값, 인식된 글자, 숫자 정보 및 매칭 결과와, 특정 기관에서 사용하는 문서 데이터의 폼을 저장하는 데이터베이스(150);를 포함하는 것을 특징으로 하는 인공지능을 이용한 OCR 기반 문서 분석 시스템.
제 1 항에 있어서,
상기 객체 탐지 모델은 PSENet(Progressive Scale Expansion Network) 기반의 딥러닝 모델을 이용하여 문서 이미지를 포함한 학습 데이터로부터 형식, 글자 및 숫자 객체의 위치 탐지와, 탐지된 형식, 글자 및 숫자 객체의 둘레를 따라 사각형상을 표시하고, 상기 표시된 사각형상의 픽셀 위치 값 생성을 학습하는 것을 특징으로 하는 인공지능을 이용한 OCR 기반 문서 분석 시스템.
제 2 항에 있어서,
상기 객체 탐지 모델은 원본 이미지, 문서의 임의의 부분이 접혀진 이미지, 문서의 위치가 임의의 각도로 기울어진 이미지, 임의의 조도를 갖는 밝기가 조절된 이미지, 문서에 표시된 내용이 선명하지 않고 끊어진 연결선을 갖는 이미지, 문서의 임의의 부분이 굴곡진 이미지, 숫자와 연결선이 겹쳐진 이미지를 기반으로 학습 데이터를 학습하는 것을 특징으로 하는 인공지능을 이용한 OCR 기반 문서 분석 시스템.
삭제
제 1 항에 있어서,
상기 폼 구성 모델링부(140)는 상기 생성된 사각형상의 픽셀 위치 값과, 상기 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하되, 이동중에 검색되는 모든 사각형상의 픽셀들을 연결하고, 상기 연결된 사각형상의 배열 정보를 분석하여 미리 저장된 특정 기관 문서의 배열 정보와 비교하며, 상기 비교 결과, 특정 기관 문서의 배열 정보가 매칭되면, 상기 특정 기관 문서의 사각형상 픽셀 위치에 인식된 숫자 정보를 매칭시켜 디스플레이되도록 하는 것을 특징으로 하는 인공지능을 이용한 OCR 기반 문서 분석 시스템.
제 1 항에 있어서,
상기 폼 구성 모델링부(140)는 생성된 사각형상의 픽셀 중심점에 마커(520)를 표시하고, 상기 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하되, 이동중에 검색되는 모든 사각형상의 픽셀들을 연결하고, 연결된 사각형상의 마커(520) 위치 정보를 분석하여 미리 저장된 특정 기관 문서의 배열 정보와 비교하며, 상기 비교 결과, 특정 기관 문서의 배열 정보가 매칭되면, 상기 특정 기관 문서의 사각형상 픽셀 위치에 인식된 숫자 정보를 매칭시켜 디스플레이되도록 하는 것을 특징으로 하는 인공지능을 이용한 OCR 기반 문서 분석 시스템.
a) 문서 분석 장치(100)가 인식 대상 이미지를 수신하는 단계;
b) 상기 문서 분석 장치(100)가 수신된 인식 대상 이미지에서 객체 탐지 모델을 이용하여 임의의 형식, 글자 및 숫자 객체 중 적어도 하나의 위치를 탐지하고, 탐지된 형식, 글자 및 숫자 객체의 둘레에 사각형상을 표시하여 사각형상의 픽셀 위치 값을 생성하는 단계;
c) 상기 문서 분석 장치(100)가 OCR 모델을 이용하여 탐지된 사각형상 픽셀 안에서 인식되는 글자 및 숫자 정보를 출력하는 단계; 및
d) 상기 문서 분석 장치(100)가 상기 생성된 사각형상의 픽셀 위치 값과, 상기 인식된 글자 및 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하되, 글자 정보가 검색되면 이동중에 검색된 모든 사각형상의 픽셀들을 연결하고, 상기 연결된 사각형상의 픽셀 위치에 상기 OCR 모델을 통해 인식된 글자 및 숫자 정보를 매칭시켜 디스플레이되도록 하는 단계;를 포함하는 인공지능을 이용한 OCR 기반 문서 분석 방법.
제 7 항에 있어서,
상기 b) 단계의 객체 탐지 모델은 PSENet(Progressive Scale Expansion Network) 기반의 딥러닝 모델을 이용하여 문서 이미지를 포함한 학습 데이터로부터 형상, 글자 및 숫자 객체의 위치 탐지와, 탐지된 형상, 글자 및 숫자 객체의 둘레를 따라 사각형상의 박스와 상기 사각형상의 픽셀 위치 값 생성을 학습하는 것을 특징으로 하는 인공지능을 이용한 OCR 기반 문서 분석 방법.
제 7 항에 있어서,
상기 b) 단계의 객체 탐지 모델은 원본 이미지, 문서의 임의의 부분이 접혀진 이미지, 문서의 위치가 임의의 각도로 기울어진 이미지, 임의의 조도를 갖는 밝기가 조절된 이미지, 문서에 표시된 내용이 선명하지 않고 끊어진 연결선을 갖는 이미지, 문서의 임의의 부분이 굴곡진 이미지, 숫자와 연결선이 겹쳐진 이미지를 기반으로 학습 데이터를 학습하는 것을 특징으로 하는 인공지능을 이용한 OCR 기반 문서 분석 방법.
제 7 항에 있어서,
상기 d) 단계는 d-1) 생성된 사각형상의 픽셀 위치 값과, 상기 인식된 글자 및 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 글자 정보가 검색될 때까지 좌측 방향과 상측 방향으로 이동하는 단계;
d-2) 상기 글자 정보가 검색되면 이동중에 검색된 모든 사각형상의 픽셀들을 연결하는 단계; 및
d-3) 상기 사각형상의 픽셀 위치에는 인식된 글자와 숫자 정보를 매칭시켜 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 인공지능을 이용한 OCR 기반 문서 분석 방법.
제 7 항에 있어서,
상기 d) 단계는 d'-1) 상기 생성된 사각형상의 픽셀 위치 값과, 상기 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하는 단계;
d'-2) 상기 이동중에 검색되는 모든 사각형상의 픽셀들을 연결하는 단계; 및
d'-3) 상기 연결된 사각형상의 배열 정보를 분석하여 미리 저장된 특정 기관 문서의 배열 정보와 비교하며, 상기 비교 결과, 특정 기관 문서의 배열 정보가 매칭되면, 상기 특정 기관 문서의 사각형상 픽셀 위치에 인식된 숫자 정보를 매칭시켜 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 인공지능을 이용한 OCR 기반 문서 분석 방법.
제 7 항에 있어서,
상기 d) 단계는 d"-1) 생성된 사각형상의 픽셀의 중심점에 마커(520)를 표시하는 단계;
d"-2) 상기 인식된 숫자 정보를 기반으로 숫자 정보를 갖는 임의의 사각형상의 픽셀 위치를 시작 위치로 하여 좌측 방향과 상측 방향으로 이동하고, 이동중에 검색되는 모든 사각형상의 픽셀들을 연결하는 단계;
d"-3) 연결된 사각형상의 마커(520) 위치 정보를 분석하여 미리 저장된 특정 기관 문서의 배열 정보와 비교하는 단계; 및
d"-4) 상기 비교 결과, 특정 기관 문서의 배열 정보가 매칭되면, 상기 특정 기관 문서의 사각형상 픽셀 위치에 인식된 숫자 정보를 매칭시켜 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 인공지능을 이용한 OCR 기반 문서 분석 방법.