KR102201930B1 - 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법 - Google Patents

문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법 Download PDF

Info

Publication number
KR102201930B1
KR102201930B1 KR1020190141724A KR20190141724A KR102201930B1 KR 102201930 B1 KR102201930 B1 KR 102201930B1 KR 1020190141724 A KR1020190141724 A KR 1020190141724A KR 20190141724 A KR20190141724 A KR 20190141724A KR 102201930 B1 KR102201930 B1 KR 102201930B1
Authority
KR
South Korea
Prior art keywords
information
area
extracted
machine
image
Prior art date
Application number
KR1020190141724A
Other languages
English (en)
Inventor
신현준
Original Assignee
신현준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 신현준 filed Critical 신현준
Priority to KR1020190141724A priority Critical patent/KR102201930B1/ko
Application granted granted Critical
Publication of KR102201930B1 publication Critical patent/KR102201930B1/ko

Links

Images

Classifications

    • G06K9/00442—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G06K2209/01—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

본 발명은 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 다양한 형식으로 수집되는 문서 정보를 포함한 이미지 파일을 동일한 형식으로 변환하여 문자 정보를 추출하고 검증한 후, 추출한 정보를 사용이 편리하도록 자동으로 문서화하여 제공할 수 있다.

Description

문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법 {DEVICE AND METHOD FOR GENERATING DOCUMENT AUTOMATICALLY INFORMATION RECORDED IN THE IMAGE FILE}
본 발명은 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법에 관한 것으로, 보다 상세하게는 여권사본, 신분증 사본, 명함 등과 같이 문서 정보를 포함한 이미지 파일에서 필요한 정보를 추출하여 전자 문서로 자동 생성하는 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법에 관한 것이다.
인터넷 및 컴퓨터 기술의 발달로 사무 환경이 종이 문서 기반에서 전자 문서 기반으로 전환됨에 따라 대부분의 업무처리는 디지털화 되었다. 등록, 신청 및 예약 등을 할 때 필요한 제출 서류 들도 종이문서로 하기 보다는 전자 사본 또는 이미지 파일로 제출하는 경우가 많다. 일반적으로 신분을 증명하기 위한 서류들은 발급처에 따라 동일한 형식으로 가지게 되고 사용자는 휴대폰으로 사진형식으로 찍거나, 스캔 또는 팩스 등을 이용해 사본을 제출하는 경우가 많다.
특히, 여권은 외국을 여행하는 국민에게 정부가 발급하는 증명서류로서, 여행자의 국적, 신분 등을 증명하고, 해외 여행을 허가하며, 외국 관헌의 보호를 부탁하는 역할을 한다 이러한 여권은 얼마 전 까지만 해도 종이로 된 문서 타입의 여권이었으나, 근래 들어 이러한 문서 타입의 여권 대신 전자 여권이 발급되고 있다. 이러한 여권에는 유용한 개인 정보가 포함되어 있는데, 이를 획득하여 활용하도록 하는 다양한 기술이 요구되고 있다.
전자적인 여권을 포함한 일반적인 여권에는 여권 소지자에 대한 각종 정보가 기재된 기계 판독 영역(MRZ: machine readable zone)이 구비된다. 기계 판독 영역은 일반적으로 두 줄이 사용되고, 각 줄에는 44개의 문자가 기재된다. 기계 판독 영역에는 여권 소지자에 대한 각종 정보, 예를 들어, 여권 소지자의 이름, 성, 국적, 여권번호 등에 대한 정보가 기재된다. 이게 여행사들은 이런 고객으로부터 복사, 스캔 또는 촬영된 여권 사본을 제공받아 호텔 예약, 항공권 예약 등에 이용하게 된다. 고객들은 다양한 형태의 파일로 여행사에 여권 사본을 전달하게 되고, 여행사는 여권 사본으로부터 필요한 정보를 추출하는데 수작업을 통해 진행하고 있다. 하지만 여권은 정형된 정보이므로 그 서식 형식만 잘 인식한다면 단순하고 반복적인 여권 정보 추출 업무를 효율적으로 진행할 수 있다. 이에 단순하고 반복적인 정형화된 정보 추출의 정확도를 높여 대량의 작업을 쉽게 할 수 있는 자동화하는 기술이 필요하다.
본 발명의 배경기술은 대한민국 공개특허 제2011-0041045호에 개시되어 있다.
본 발명은 다양한 형태의 사본 파일에서 문자를 추출하고, 자동으로 문서를 생성하는 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법을 제공한다.
본 발명은 클라우드 서비스를 활용하여 웹, 어플리케이션으로 사용가능한 문자 추출 및 자동 문서화 API를 이용하는 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법을 제공한다.
본 발명의 일 측면에 따르면, 문서 정보를 포함한 이미지 파일의 자동 문서화 장치를 제공한다.
본 발명의 일 실시예에 따른 문서 정보를 포함한 이미지 파일의 자동 문서화 장치는 입력된 파일을 동일한 형식으로 변환하는 전처리부, 변환된 파일에서 정보가 있는 영역을 자동으로 인식하고 검출하는 검출부, 검출된 영역에서 문자 인식 정보를 추출하는 인식부 및 문자 인식 정보를 문서로 생성하는 변환부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 문서 정보를 포함한 이미지 파일의 자동 문서화 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체를 제공한다.
본 발명의 일 실시 예에 따른 문서 정보를 포함한 이미지 파일의 자동 문서화 방법 및 이를 실행하는 컴퓨터 프로그램이 저장된 기록매체는 입력된 파일을 미리 지정된 파일의 형식으로 변환하는 단계, 변환된 파일에서 학습된 객체 검출 모델로 개인 정보 영역과 기계 판독 영역의 위치를 검출하는 단계, 개인 정보 영역과 기계 판독 영역으로 파일을 크롭하여 개인 정보 영역 이미지와 기계 판독 영역 이미지로 저장하는 단계, 개인 정보 영역 이미지와 기계 판독 영역 이미지를 광학 문자 인식(OCR)으로 통해 항목별로 문자를 추출하는 단계, 추출한 정보를 항목별로 매칭하고 통합하여 저장하는 단계 및 저장한 정보를 문서화하여 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법은 문서 정보를 포함한 이미지 파일에서 필요한 정보가 있는 위치를 딥 러닝학습으로 인식하고 정보를 추출하므로 인식 정확도를 높일 수 있다.
본 발명의 일 실시 예에 따르면, 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법은 문서 정보를 포함한 이미지 파일에서 다양한 방법으로 문자를 인식하여 교차 검증하므로 신뢰성을 높일 수 있다.
본 발명의 일 실시 예에 따르면, 다양한 형태의 파일에서 정보를 추출하고 정형화하여 관리하고, 문서화하여 제공하므로 정보 이용의 효율성을 높일 수 있다.
본 발명의 일 실시 예에 따르면, 정보 인식 API를 웹 또는 어플리케이션에서 사용 가능하도록 클라우드 서비스에 적용하여 제공할 수 있다.
도 1내지 도 4는 본 발명의 일 실시 예에 따른 문서 정보를 포함한 이미지 파일의 자동 문서화 장치를 설명하기 위한 도면들.
도 5는 본 발명의 일 실시 예에 따른 문서 정보를 포함한 이미지 파일의 자동 문서화 방법을 설명하기 위한 도면.
도 6은 문서 정보를 포함한 이미지 파일의 자동 문서화 장치의 클라우드 아키텍처를 나타낸 도면.
도 7은 본 발명의 일 실시 예에 따른 문서 정보를 포함한 이미지 파일의 자동 문서화 장치의 사용 예시화면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1내지 도 4는 본 발명의 일 실시 예에 따른 문서 정보를 포함한 이미지 파일의 자동 문서화 장치를 설명하기 위한 도면들이다.
도 1을 참조하면, 자동 문서화 장치(10)는 사진, 팩스 또는 이메일로 받은 다양한 형태의 이미지 파일 내의 문자를 인식하여 자동으로 문서화 한다. 예를 들면 사진 캡쳐, 복사, 팩스 등의 이미지 사본의 형태로 변환된 여권, 신분증, 명함 등과 같이 동일한 서식에 담겨있는 정보를 자동으로 문서화할 수 있다. 본 발명은 이해를 돕기 위해 여권 서식을 예로 이용해 설명하도록 한다. 하지만 동일한 서식을 가지는 신분증, 명함, 문서 등의 디지털 이미지 파일 혹은 스캔 파일로 변환된 다양한 서식의 사본에서 문자 정보를 추출하여 자동 문서화할 수 있다. 또한 문서 정보를 포함한 이미지 파일의 자동 문서화 장치(10)는 동일한 서식을 가지는 다량의 이미지 파일을 처리할 수 있다.
자동 문서화 장치(10)는 다양한 형태의 여권사본의 파일 형식을 동일한 형식의 파일로 변환한다. 자동 문서화 장치(10)는 동일한 파일 형식으로 변환하는 전처리 작업 후 딥 러닝의 객체 검출 모델을 활용해 개인 정보 영역(Personal Information Zone)과 기계 판독 영역(Machine Readable Zone)을 추출하여 주요 정보 영역을 검출한다. 문서 정보를 포함한 이미지 파일의 자동 문서화 장치(10)는 검출한 영역에서 광학 문자 인식(OCR: Optical Character Recognition)으로 문자를 추출한다. 문서 정보를 포함한 이미지 파일의 자동 문서화 장치(10)는 추출한 문자를 검증하여 신뢰도를 산출하고 추출된 문자를 이용해 자동으로 문서를 생성할 수 있다.
자동 문서화 장치(10)는 학습한 개인 정보 영역과 기계 판독 영역의 정보를 광학 문자 인식(OCR) 방법으로 디지털 문자로 변환하여 문서로 저장하여 이용할 수 있다.
도 2를 참조하면, 자동 문서화 장치(10)는 전처리부(100), 검출부(200),인식부(300), 변환부(400) 및 저장부(500)를 포함한다.
전처리부(100)는 입력된 파일이 이미지 파일인지 확인하고, 동일한 형식의 이미지 파일로 변환한다. 자세히 설명하면, 전처리부(100)는 다양한 형식의 여권 사본을 동일한 이미지 파일 형식으로 변환한다. 예를 들면 전처리부(100)는 다양한 형식의 이미지 파일을 jpg 형식으로 변환한다. 전처리부(100)는 하나의 파일에 복수개의 이미지 정보가 있는 경우 이미지의 수만큼 파일을 새로 생성하고, 하나의 파일에는 하나의 이미지만을 저장한다. 예를 들면 전처리부(100)는 PDF나 Tiff 파일에 10개의 이미지가 저장되어 있으면 하나씩 분리하여 10개의 jpg 파일로 생성한다. 전처리부(100)는 분리된 다량의 jpg 파일을 한번에 처리할 수 있다.
도 3을 참조하면, 전처리부(100)는 다양한 각도로 존재하는 이미지 내의 정보 영역을 인식하여 이미지를 보정한다. 전처리부(100)는 Homography 방법을 이용하여 기울어지거나 회전된 주요 정보 영역을 최대 매칭률 값의 앵글로 이미지를 조정한다. 예를 들면, 전처리부(100)는 이미지에서 주요 정보 영역을 인식하여 각 꼭지각을 90도로 맞추어 이미지를 보정할 수 있다.
도 4를 참조하면, 검출부(200)는 주요 정보 영역을 검출한다. 여기서, 주요 정보 영역은 개인 정보 영역(Personal Information Zone) 및 기계 판독 영역(Machine Readable Zone)을 포함한다. 검출부(200)는 동일한 형식으로 변환된 파일에서 주요 정보 영역을 자동으로 인식하고 검출한다. 검출부(200)는 개인 정보 영역과 기계 판독 영역을 딥 러닝으로 학습하여 필요한 정보가 있는 영역을 자동으로 인식할 수 있다. 예를 들면, 검출부(200)는 객체 검출(Object Detection) 모델로 여권 사본에서 개인 정보 영역과 기계 판독 영역을 검출한다. 검출부(200)는 개인 정보 영역과 기계 판독 영역의 좌표를 산출하고, 개인 정보 영역 이미지와 기계 판독 영역 이미지를 추출하고 저장한다.
다시 도 2를 참조하면, 인식부(300)는 검출된 영역에서 문자 인식 정보를 추출한다. 예를 들면, 인식부(300)는 검출부(200)가 추출한 개인 정보 영역과 기계 판독 영역의 이미지에서 광학 문자 인식(OCR)을 이용해 이미지에서 문자를 추출한다. 인식부(300)는 개인 정보 영역에서 여권 종류, 발행국 , 여권번호, 성(surname), 이름(given name), 생년월일, 주민등록번호(뒷자리), 성별, 발급일, 기간 만료일, 한글이름 중 하나 이상을 추출한다. 기계 판독 영역에서는 추출된 데이터의 유효성 검사를 거쳐 여권 종류, 발행국, 성, 이름, 여권번호, 국적, 생년월일, 성별, 기간만료일, 주민등록번호(뒷자리) 중 하나 이상을 추출한다.
인식부(300)는 개인 정보 영역에서 추출한 정보와 유효성 검사가 완료된 기계 판독 영역 데이터를 저장한다. 인식부(300)는 개인 정보 영역에서 추출한 정보와 유효성 검사가 완료된 기계 판독 영역 데이터를 비교하여 신뢰도를 산출한다. 인식부(300)는 개인 정보 영역에서 추출한 정보와 기계 판독 영역에서 추출한 정보가 동일하면 인식의 신뢰도는 높다고 판단한다. 인식부(300)는 개인 정보 영역에서 추출한 정보와 기계 판독 영역에서 추출한 정보 중 하나만 OCR 인식이 된 경우, 패턴 매칭, 통계적 기법(단어 임베딩), 사전적 매칭 및 순환 신경망(RNN 알고리즘을 이용해 추출된 문자를 검증하고 신뢰도는 중간 단계로 판단한다. 인식부(300)는 개인 정보 영역과 기계 판독 영역 모두 OCR 인식이 되지 않는 경우 신뢰도는 낮음 단계로 판단한다.
인식부(300)는 패턴 매칭을 이용해 문자를 검증한다. 패턴 매칭은 성(surname)은 2글자 이상 존재하고, 이름(given name)은 4글자 이상 존재하고, 한글이름은 한글로만 구성되어 있으며, 여권번호는 M으로 시작하여 8글자로 구성되고, 생일과 여권만료일은 31이하의 숫자2 자리로 시작하여, 영문자 3글자+숫자 4글자로 총 9글자로 구성된다. 주민등록번호 는 1,2,3,4 중 한 글자+6글자로 총7글자로 구성된 것을 이용하여 진행한다.
인식부(300)는 텍스트간 유사도를 계산하는 단어 임베딩과 같은 통계적 기법을 이용하여 문자를 인식할 수 있다. 예를 들면 인식부(300)는 한글이름-영문이름, 생일-주민등록번호 등과 같이 동일한 정보가 다른 형태로 관리되는 것을 이용하여 문자를 인식하거나 예측할 수 있다.
인식부(300)는 사전적 매칭을 통해 문자를 유추할 수도 있다. 예를 들면, 생일이나 여권 만료일애 해당하는 정보에서 영문이 MOR로 인식되었다면 월을 표기한 영문 표기법 중 가장 유사한 MAR로 유추하고 치환할 수 있다.
인식부(300)는 문장과 같은 연속적 데이터(Sequence data) 분석에 유용한 순환신경망(RNN: Recurrent Neural Networks) 알고리즘을 이용하여 자주 반복되는 단어를 학습시켜 다음 문자를 예측하는 방법으로 문자를 인식하거나 검증할 수 있다.
변환부(400)는 개인 정보 영역과 기계 판단 영역에서 추출된 데이터를 통합하여 저장하고, 부가 정보를 산출하여 저장한다. 예를 들면, 변환부(400)는 추출된 데이터에서 산출되는 여권 만료일을 확인하여 유용한 여권인지 아닌지 판단하고, 생일 정보로 나이를 계산하여 비행기 표값이 기준이 되는 아기, 아동, 성인 여부를 판별할 수 있는 부가 정보를 산출할 수 있다. 변환부(400)는 저장된 여권 정보를 문서 형식으로 생성한다. 예를 들어, 변환부(400)는 추출한 여권정보를 CSV 형식으로 변환하여 파일의 형태로 제공할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 문서 정보를 포함한 이미지 파일의 자동 문서화 방법을 설명하기 위한 도면이다. 이하 설명하는 각 단계는 문서 정보를 포함한 이미지 파일의 자동 문서화 장치를 구성하는 각 기능부를 통해 수행되는 과정이나 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 자동을 문서화 장치(10)로 통칭하도록 한다.
도 5를 참조하면, 먼저 사용자가 업로드한 파일이 이미지 파일인지 검증한 다음 이미지 파일이 아니라면 이미지 파일 형태로 업로드할 것을 요청하는 메시지를 사용자에게 통보하고 이미지 재업로드를 요청한다. 이미지 파일이라면 자동 문서화 장치(10)가 시작된다.
단계 S510에서 자동 문서화 장치(10)는 업로드된 이미지의 개수와 형식을 파악한다.
단계 S520에서 자동 문서화 장치(10)는 업로드된 이미지 파일을 미리 지정된 파일 형식으로 변환하고, 실제 여권 이미지와 매칭하여 최대 매칭률 값의 앵글로 조정한다.
단계 S530에서 자동 문서화 장치(10)는 학습된 객체 검출(Object Detection) 모델로 개인 정보 영역과 기계 판독 영역의 위치를 검출한다.
단계 S540에서 자동 문서화 장치(10)는 개인 정보 영역과 기계 판독 영역의 좌표를 산출하여 좌표 기준으로 이미지를 크롭(crop)하고 저장한다. 이때 저장되는 이미지는 개인 정보 영역 이미지와 기계 판독 영역 이미지로 구분된다.
단계 S550에서 자동 문서화 장치(10)는 개인 정보 영역 이미지와 기계 판독 영역 이미지를 광학 문자 인식(OCR)으로 통해 항목별로 추출한다. 자동 문서화 장치(10)는 개인 정보 영역에서 여권 종류, 발행국 , 여권번호, 성(surname), 이름(given name), 생년월일, 주민등록번호(뒷자리), 성별, 발급일, 기간 만료일, 한글이름 중 하나 이상의 항목을 추출한다. 자동 문서화 장치(10)는 기계 판독 영역에서 추출된 데이터의 유효성 검사를 거쳐 여권 종류, 발행국, 성, 이름, 여권번호, 국적, 생년월일, 성별, 기간만료일, 주민등록번호(뒷자리) 중 하나 이상의 항목을 추출한다.
단계 S560에서는 자동 문서화 장치(10)는 개인 정보 영역 이미지에서 추출한 정보와 유효성 검사가 완료된 기계 판독 영역 이미지에서 산출한 정보를 비교하여 신뢰도를 산출한다. 자동 문서화 장치(10)는 개인 정보 영역에서 추출한 정보와 기계 판독 영역에서 추출한 정보가 동일하면 인식의 신뢰도는 높다고 판단한다. 자동 문서화 장치(10)는 개인 정보 영역에서 추출한 정보와 기계 판독 영역에서 추출한 정보 중 하나만 OCR 인식이 된 경우, 패턴 매칭, 통계적 기법(단어 임베딩), 사전적 매칭 및 순환 신경망(RNN 알고리즘)을 이용해 데이터를 추출 및 검증하고, 신뢰도는 중간 단계로 판단한다. 자동 문서화 장치(10)는 개인 정보 영역과 기계 판독 영역 모두 OCR 인식이 제대로 되지 않는 경우 신뢰도는 낮음 단계로 판단한다. 예를 들면 자동 문서화 장치(10)는 패턴 매칭, 통계적 기법(단어 임베딩), 사전적 매칭 및 순환 신경망(RNN 알고리즘)을 이용해 추출된 문자를 순차적으로 검증하여 신뢰도를 높일 수 있다.
단계 S560에서 자동 문서화 장치(10)는 패턴 매칭 기법으로 각 항목의 조건을 지정하고 추출된 정보가 해당 조건 이하면 거짓(N)으로 판단한다. 표1은 패턴 매칭에 각 항목의 예시 조건이다.
항목 조건
Surname 2글자 이상
Given name 4글자 이상
한글이름 한글로만 존재
여권번호 M으로 시작하여, 8글자
생일 31이하의 숫자 2글자/영문 3문자+숫자4글자=총9글자
주민등록번호 (1, 2, 3, 4) 중 1글자+숫자 6글자 = 총 7글자
단계 S560에서 자동 문서화 장치(10)는 패턴 매칭 기법으로 [표 1]의 조건에 맞지 않는 것이 하나 이상인 경우 거짓(N)으로 판단하고, 모든 항목의 조건이 매칭되면 참(Y)로 판단한다.
단계 S560에서 자동 문서화 장치(10)는 통계적 기법으로 인식된 정보를 추출하고 검증한다. 자동 문서화 장치(10)는 단어 임베딩을 이용한 통계적 기법으로 한글이름과 영문이름, 생일과 주민등록번호와 같이 서로 유추할 수 있는 항목을 이용한다. 예를 들면 자동 문서화 장치(10)는 surname을 'KIM'으로 인식했을 때, 'KIM'으로 인식된 surname 정보를 이용해 한글이름의 첫 글자를 '김'으로 예측하여, 한글이름과 영문이름을 매칭할 수도 있다. 자동 문서화 장치(10)는 통계적 기법을 통해서 인식된 값과 OCR을 통해 인식된 값이 서로 매칭되지 못하면 다음 사전적 매칭을 시도한다. 자동 문서화 장치(10)는 추가로 문장과 같은 연속적 데이터(Sequence data) 분석에 유용한 순환신경망(RNN: Recurrent Neural Networks) 알고리즘을 이용하여 자주 반복되는 단어를 학습시켜 다음 문자를 예측하는 방법으로 문자를 인식하거나 검증할 수 있다.
단계 S570에서 자동 문서화 장치(10)는 개인 정보 영역에서 추출한 정보와 기계 판단 영역에서 추출한 정보를 저장한다.
단계 S580에서 자동 문서화 장치(10)는 추출된 정보를 각 항목과 매칭하고 통합하여 저장한다. 자동 문서화 장치(10)는 예를 들면, 신뢰도가 높은 경우 기계 판단 영역에서 인식된 정보를 우선으로 하고, 기계 판단 영역에서 인식된 정보가 없는 경우 개인 정보 영역에서 인식된 값을 이용하여 통합한다.
단계 S590에서 자동 문서화 장치(10)는 통합된 결과 정보로 여권 정보가 포함된 문서를 생성한다. 자동 문서화 장치(10)는 예를 들면 CVS형식으로 각 항목과 매칭된 여권 정보를 저장한 문서를 생성할 수 있다.
도 6은 문서 정보를 포함한 이미지 파일의 자동 문서화 장치의 클라우드 아키텍처를 나타낸 도면이다.
도 6을 참조하면, 자동 문서화 장치(10)는 클라우드 서비스를 이용할 수 있다. 데이터 저장소 및 웹, 어플리케이션에서 사용 가능한 이미지 파일의 자동 문서화 관련 API를 클라우드 서비스로 제공할 수 있다. 예를 들면 관련 API는 객체 검출 API, 광학 문자 인식 API 등일 수 있다.
도 7은 본 발명의 일 실시 예에 따른 문서 정보를 포함한 이미지 파일의 자동 문서화 장치의 사용 예시화면이다.
도 7을 참조하면, 자동 문서화 장치(10)는 문자 추출을 이용한 여권 정보 자동 문서화, 챗봇을 이용한 항공권 예약, 호텔 자동 루밍, 여권, 항공권, 호텔 정보를 기반으로 입국카드 자동 생성 등을 포함하여 클라우드 서비스를 이용한 통합 여행사 자동화 솔루션 제공할 수 있다.
상술한 문서 정보를 포함한 이미지 파일의 자동 문서화 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 자동 문서화 장치
100: 전처리부
200: 검출부
300: 인식부
400: 변환부

Claims (12)

  1. 문서 정보를 포함한 이미지 파일의 자동 문서화 장치에 있어서,
    입력된 파일을 동일한 형식으로 변환하는 전처리부;
    상기 변환된 파일에서 정보가 있는 영역을 자동으로 인식하고 검출하는 검출부;
    상기 검출된 영역에서 문자 인식 정보를 추출하는 인식부; 및
    상기 문자 인식 정보를 문서로 생성하는 변환부를 포함하되,
    상기 전처리부는
    상기 변환된 파일이 기울어지거나 회전된 경우 최대 매칭률 값의 앵글로 정보가 있는 영역을 보정하여 주요 정보 영역을 검출하고,
    상기 검출부는
    딥 러닝의 객체 검출 모델로 상기 주요 정보 영역을 개인 정보 영역과 기계 판독 영역으로 분류하고 각 영역의 이미지를 추출하여 크롭하고 저장하고,
    상기 인식부는
    광학 문자 인식을 이용해 상기 개인 정보 영역과 기계 판독 영역의 이미지에서 문자 정보를 추출하고,
    상기 개인 정보 영역에서 추출한 문자 정보와 기계 판독 영역에서 추출한 문자 정보를 교차 검증하여 신뢰도를 산출하고,
    상기 개인 정보 영역에서 추출한 문자 정보와 기계 판독 영역에서 추출한 문자 정보가 동일하면 상기 신뢰도가 높음 단계로 판단하고,
    상기 개인 정보 영역에서 추출한 문자 정보와 기계 판독 영역에서 추출한 문자 정보 중 하나만 광학 문자 인식이 되면, 상기 신뢰도는 중간 단계로 판단하고,
    상기 개인 정보 영역에서 추출한 문자 정보와 기계 판독 영역에서 추출한 문자 정보가 모두 광학 문자 인식이 안되면, 상기 신뢰도는 낮음 단계로 판단하고,
    상기 추출된 문자 정보를 패턴 매칭 기법, 단어 임베딩을 이용한 통계적 기법, 사전적 매칭 기법 및 순환 신경망 알고리즘을 이용해 순차적으로 검증하여 신뢰도를 높이고,
    상기 변환부는
    상기 개인 정보 영역에서 추출한 문자 정보와 기계 판단 영역에서 추출한 문자 정보를 통합하여 저장하고, 부가 정보를 산출하고,
    상기 부가 정보는
    기간 만료일 정보로 만료일이 경과하지 않은 유효한 정보인지 판단 및 생년 월일 정보로 나이를 계산하여 비용의 기준이 되는 유아, 아동 및 성인 여부 판단 정보 중 하나 이상을 포함하는 문서 정보를 포함한 이미지 파일의 자동 문서화 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서,
    클라우드 서비스를 이용하는 문서 정보를 포함한 이미지 파일의 자동 문서화 장치.
  7. 제 6항에 있어서,
    상기 클라우드 서비스는 웹 또는 어플리케이션에 사용할 수 있는 학습된 객체 검출API 또는 광학 문자 인식 API를 제공하는 문서 정보를 포함한 이미지 파일의 자동 문서화 장치.
  8. 문서 정보를 포함한 이미지 파일의 자동 문서화 방법에 있어서,
    입력된 파일을 미리 지정된 파일의 형식으로 변환하는 단계;
    상기 변환된 파일에서 학습된 객체 검출 모델로 개인 정보 영역과 기계 판독 영역의 위치를 검출하는 단계;
    상기 개인 정보 영역과 기계 판독 영역으로 파일을 크롭하여 개인 정보 영역 이미지와 기계 판독 영역 이미지로 저장하는 단계;
    상기 개인 정보 영역 이미지와 기계 판독 영역 이미지를 광학 문자 인식을 통해 항목별로 문자를 추출하는 단계;
    상기 추출한 정보를 상기 항목별로 매칭하고 통합하여 저장하는 단계; 및
    상기 저장한 정보를 문서화하여 생성하는 단계를 포함하되,
    상기 개인 정보 영역 이미지와 기계 판독 영역 이미지에서 추출한 정보를 교차 검증하여 신뢰도를 산출하는 단계를 더 포함하고,
    상기 변환된 파일에서 학습된 객체 검출 모델로 개인 정보 영역과 기계 판독 영역의 위치를 검출하는 단계는
    상기 변환된 파일이 기울어지거나 회전된 경우 최대 매칭률 값의 앵글로 정보가 있는 영역을 보정하여 개인 정보 영역과 기계 판독 영역을 주요 정보 영역을 검출하고,
    상기 개인 정보 영역 이미지와 기계 판독 영역 이미지에서 추출한 정보를 교차 검증하여 신뢰도를 산출하는 단계는,
    상기 개인 정보 영역 이미지에서 추출한 정보와 기계 판독 영역 이미지에서 추출한 정보가 동일하면 상기 신뢰도가 높음 단계로 판단하고,
    상기 개인 정보 영역 이미지에서 추출한 정보와 기계 판독 영역 이미지에서 추출한 정보 중 하나만 광학 문자 인식되면, 상기 신뢰도는 중간 단계로 판단하고,
    상기 개인 정보 영역 이미지에서 추출한 정보와 기계 판독 영역 이미지에서 추출한 정보가 모두 광학 문자 인식이 안되면, 상기 신뢰도는 낮음 단계로 판단하고,
    상기 추출된 정보를 패턴 매칭 기법, 단어 임베딩을 이용한 통계적 기법, 사전적 매칭 기법 및 순환 신경망 알고리즘을 이용해 순차적으로 검증하여 신뢰도를 높이고,
    상기 추출한 정보를 상기 항목별로 매칭하고 통합하여 저장하는 단계는
    상기 개인 정보 영역 이미지에서 추출한 정보와 기계 판단 영역 이미지에서 추출한 정보를 통합하여 저장하고, 부가 정보를 산출하고,
    상기 부가 정보는
    기간 만료일 정보로 만료일이 경과하지 않은 유효한 정보인지 판단 및 생년 월일 정보로 나이를 계산하여 비용의 기준이 되는 유아, 아동 및 성인 여부 판단 정보 중 하나 이상을 포함하는 문서 정보를 포함한 이미지 파일의 자동 문서화 방법.
  9. 삭제
  10. 제8항에 있어서,
    클라우드 서비스를 이용하는 문서 정보를 포함한 이미지 파일의 자동 문서화 방법.
  11. 제10항에 있어서,
    상기 클라우드 서비스는 웹 또는 어플리케이션에 사용할 수 있는 학습된 객체 검출API 또는 광학 문자 인식 API를 제공하는 문서 정보를 포함한 이미지 파일의 자동 문서화 방법.
  12. 제8항, 제10항 및 제11항 중 어느 하나의 항에 따른 문서 정보를 포함한 이미지 파일의 자동 문서화 방법 중 어느 하나를 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.

KR1020190141724A 2019-11-07 2019-11-07 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법 KR102201930B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190141724A KR102201930B1 (ko) 2019-11-07 2019-11-07 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190141724A KR102201930B1 (ko) 2019-11-07 2019-11-07 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102201930B1 true KR102201930B1 (ko) 2021-01-12

Family

ID=74129830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190141724A KR102201930B1 (ko) 2019-11-07 2019-11-07 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102201930B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022304A (zh) * 2022-05-27 2022-09-06 来也科技(北京)有限公司 基于rpa和ai实现ia的跨平台文件处理方法、装置和系统
KR102442350B1 (ko) * 2022-02-18 2022-09-13 주식회사 도레미파 인공지능을 기반으로 자동 문서 작성을 수행하기 위한 정보 분석 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060101803A (ko) * 2005-03-21 2006-09-26 휴먼드림 주식회사 동적 열람이 가능한 전자 문서의 제작 및 열람 방법
US20120324534A1 (en) * 2009-11-17 2012-12-20 Holograms Industries Method and system for automatically checking the authenticity of an identity document
KR101848753B1 (ko) * 2017-06-30 2018-04-13 (주)기술과가치 국가연구개발사업 지출영수증용 실시간 업로딩·자동관리장치 및 방법
KR101896357B1 (ko) * 2018-02-08 2018-09-07 주식회사 라디코 객체를 검출하는 방법, 디바이스 및 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060101803A (ko) * 2005-03-21 2006-09-26 휴먼드림 주식회사 동적 열람이 가능한 전자 문서의 제작 및 열람 방법
US20120324534A1 (en) * 2009-11-17 2012-12-20 Holograms Industries Method and system for automatically checking the authenticity of an identity document
KR101848753B1 (ko) * 2017-06-30 2018-04-13 (주)기술과가치 국가연구개발사업 지출영수증용 실시간 업로딩·자동관리장치 및 방법
KR101896357B1 (ko) * 2018-02-08 2018-09-07 주식회사 라디코 객체를 검출하는 방법, 디바이스 및 프로그램

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102442350B1 (ko) * 2022-02-18 2022-09-13 주식회사 도레미파 인공지능을 기반으로 자동 문서 작성을 수행하기 위한 정보 분석 방법 및 장치
CN115022304A (zh) * 2022-05-27 2022-09-06 来也科技(北京)有限公司 基于rpa和ai实现ia的跨平台文件处理方法、装置和系统
CN115022304B (zh) * 2022-05-27 2024-01-26 来也科技(北京)有限公司 基于rpa和ai实现ia的跨平台文件处理方法、装置和系统

Similar Documents

Publication Publication Date Title
AU2017301369B2 (en) Improving optical character recognition (OCR) accuracy by combining results across video frames
US9552516B2 (en) Document information extraction using geometric models
JP6528147B2 (ja) 会計データ入力支援システム、方法およびプログラム
JP5073022B2 (ja) カメラで取得されたドキュメント用の低解像度のｏｃｒ
US9390089B2 (en) Distributed capture system for use with a legacy enterprise content management system
US8326041B2 (en) Machine character recognition verification
JP6268352B2 (ja) 会計データ入力システム、方法、およびプログラム
AU2015203150A1 (en) System and method for data extraction and searching
WO2007080642A1 (ja) 帳票処理プログラムおよび帳票処理装置
WO2011075474A1 (en) Distributed capture system for use with a legacy enterprise content management system
KR102201930B1 (ko) 문서 정보를 포함한 이미지 파일의 자동 문서화 장치 및 방법
US8953228B1 (en) Automatic assignment of note attributes using partial image recognition results
CN110785773A (zh) 票据识别系统
US20140268250A1 (en) Systems and methods for receipt-based mobile image capture
US9805258B2 (en) Systems and methods for separating documents
Rusli et al. Indonesian id card extractor using optical character recognition and natural language post-processing
JP2015069256A (ja) 文字識別システム
KR100673198B1 (ko) 이미지 입력 시스템
US10579653B2 (en) Apparatus, method, and computer-readable medium for recognition of a digital document
US8712155B2 (en) Device for identifying types of document files
KR102516560B1 (ko) 수기로 작성된 문서의 관리 시스템
Lund Ensemble Methods for Historical Machine-Printed Document Recognition
US11363162B2 (en) System and method for automated organization of scanned text documents
US11657367B2 (en) Workflow support apparatus, workflow support system, and non-transitory computer readable medium storing program
US10891475B2 (en) Systems and methods for enrollment and identity management using mobile imaging

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant