KR102509943B1

KR102509943B1 - 문서 작성 보조 장치

Info

Publication number: KR102509943B1
Application number: KR1020210094834A
Authority: KR
Inventors: 강상훈; 이경용
Original assignee: 강상훈
Priority date: 2021-07-20
Filing date: 2021-07-20
Publication date: 2023-03-14
Also published as: KR20230013846A

Abstract

본 발명은 문서 작성 보조 장치에 관한 것으로서, 신청자의 개인정보에 관한 복수의 제1 항목들을 제1 레이아웃 구조로 배열한 표를 가지는 제1 서식문서 파일과, 상기 제1 서식문서 파일에 기초하여 작성된 제1 신청서 파일을 각각 입력받은 후 이를 각각 이미지 파일로 변환한 제1 서식이미지 및 제1 신청이미지를 생성하여 저장하는 제1 파일 스캔부와, 기설정된 에지 검출 알고리즘 및 OCR 기법에 기초하여 상기 제1 서식이미지와 상기 제1 신청이미지 중 어느 하나에 포함된 표영역에 대응되는 복수 개의 셀영역을 검출하고, 상기 검출된 셀영역의 크기 정보 및 이에 포함된 텍스트 문자열을 추출하는 셀정보 추출부와, 상기 제1 서식이미지와 상기 제1 신청이미지 각각의 동일한 픽셀위치에 대응되는 상기 셀영역에 대한 텍스트 추출 여부를 상호 비교한 결과에 따라 각각의 상기 셀영역을 항목영역과 필드영역 중 어느 하나로 구분하고, 각각의 상기 항목영역의 일측에 대한 테두리선을 공유하도록 인접 배치되는 어느 하나의 상기 필드영역을 해당 항목에 대한 입력 필드영역으로 검출하는 셀영역 구분부와, 복수의 상기 항목영역으로부터 추출된 항목 텍스트값과 각각의 상기 항목영역에 대응되는 상기 입력 필드영역으로부터 추출된 필드 텍스트값을 구분하여 항목별로 매칭 저장하는 항목 필드 매칭부를 포함하는 것을 특징으로 한다.
이에 따라, 사용자가 항목별로 기입하여 최초로 작성한 신청서에 포함되는 개인정보 항목 및 항목값들을 매칭 저장하여 추후 다른 신청서 작성 시 동일 또는 유사 항목에 대한 항목값이 자동으로 입력되도록 함에 따라 최초 입력된 데이터를 다양한 신청서 양식에 연계하여 사용할 수 있는 효과가 있다.

Description

문서 작성 보조 장치{WRITING SUPPORT APPARATUS FOR ELECTRONIC DOCUMENT}

본 발명은 사용자의 개인정보 항목에 대하여 기저장된 입력데이터에 기초하여 항목별로 대응되는 영역 위치에 해당 항목값이 자동 입력되도록 하는 문서 작성 보조 장치에 관한 것이다.

일반적으로 컴퓨터 사용이 보편화됨에 따라 학교, 기업, 집 등의 다양한 장소에서 컴퓨터에 의해 실행되는 여러 문서 작성 프로그램을 이용하여 대부분의 문서들이 작성되고 있다.

특히, 이러한 문서 중에서도 신청서의 경우, 사용 목적에 따라 특정 행위(교육, 봉사 등)에 대한 활동을 신청하거나 또는 특정 단체(동호회, 노조 등)에 대한 가입을 신청하거나 특정 상품(통신상품, 은행상품, 보험 등)에 대한 가입 또는 구매를 요청하는 서류들로 구분되긴 하나, 신청자의 개인정보 항목에 대한 정보를 필수적으로 요구하고 있다는 점에선 공통점이 있다.

그러나, 현재로선 신청서 종류에 따라 규격화된 양식폼이 없는 데다 같은 종류의 신청서라 하더라도 작성자의 편의에 따라 임의로 만든 양식을 이용하는 경우가 대부분이기 때문에, 매번 신청서 작성 시마다 신청자의 개인정보 항목에 대한 입력을 반복해서 작성해야만 하는 불편함이 있었다.

KR

10-2007-0067020

A

KR

10-0710568

B1

본 발명의 목적은 상기 문제점을 해결하기 위한 것으로서, 사용자의 개인정보 항목에 대하여 기저장된 입력데이터에 기초하여 항목별로 대응되는 영역 위치에 해당 항목값이 자동 입력되도록 하는 문서 작성 보조 장치를 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 문서 작성 보조 장치는, 신청자의 개인정보에 관한 복수의 제1 항목들을 제1 레이아웃 구조로 배열한 표를 가지는 제1 서식문서 파일과, 상기 제1 서식문서 파일에 기초하여 작성된 제1 신청서 파일을 각각 입력받은 후 이를 각각 이미지 파일로 변환한 제1 서식이미지 및 제1 신청이미지를 생성하여 저장하는 제1 파일 스캔부와, 기설정된 에지 검출 알고리즘 및 OCR 기법에 기초하여 상기 제1 서식이미지와 상기 제1 신청이미지 중 어느 하나에 포함된 표영역에 대응되는 복수 개의 셀영역을 검출하고, 상기 검출된 셀영역의 크기 정보 및 이에 포함된 텍스트 문자열을 추출하는 셀정보 추출부와, 상기 제1 서식이미지와 상기 제1 신청이미지 각각의 동일한 픽셀위치에 대응되는 상기 셀영역에 대한 텍스트 추출 여부를 상호 비교한 결과에 따라 각각의 상기 셀영역을 항목영역과 필드영역 중 어느 하나로 구분하고, 각각의 상기 항목영역의 일측에 대한 테두리선을 공유하도록 인접 배치되는 어느 하나의 상기 필드영역을 해당 항목에 대한 입력 필드영역으로 검출하는 셀영역 구분부와, 복수의 상기 항목영역으로부터 추출된 항목 텍스트값과 각각의 상기 항목영역에 대응되는 상기 입력 필드영역으로부터 추출된 필드 텍스트값을 구분하여 항목별로 매칭 저장하는 항목 필드 매칭부를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 셀영역 구분부는, 상기 제1 서식이미지 및 상기 제1 신청이미지에 대하여 동일한 제1 픽셀위치에 각각 대응하는 두 개의 셀영역 모두 텍스트 문자열이 추출되면 해당 셀영역을 상기 항목영역으로 구분 설정하고, 상기 제1 서식이미지 및 상기 제1 신청이미지에 대하여 동일한 제2 픽셀위치에 각각 대응하는 두 개의 셀영역 중 어느 하나에서만 텍스트 문자열이 추출되면 해당 셀영역을 상기 필드영역으로 구분 설정하는 것을 특징으로 한다.

또한, 신청자의 개인정보에 관한 복수의 제2 항목들을 상기 제1 레이아웃 구조와 상이한 제2 레이아웃 구조로 배열한 표를 가지는 제2 서식문서 파일을 입력받은 후 이를 이미지 파일로 변환한 제2 서식이미지를 생성하여 저장하는 제2 파일 스캔부와, 상기 에지 검출 알고리즘 및 OCR 기법에 기초하여 상기 제2 서식이미지에 포함된 상기 표영역에 대응되는 복수 개의 셀영역을 검출하고, 상기 검출된 셀영역의 크기 정보 및 이에 포함된 텍스트 문자열을 추출하는 제2 셀정보 추출부와, 상기 제2 서식이미지에 기초한 상기 복수의 셀영역 각각으로부터 추출된 텍스트 문자열을 기저장된 복수의 상기 항목 텍스트값과 비교하는 항목 비교부와, 상기 복수의 셀영역 중 어느 하나로부터 추출된 텍스트 문자열이 기저장된 제1 항목 텍스트값과 일치하는 경우, 해당 셀영역의 일측 테두리선을 공유하도록 인접 배치되되 텍스트 문자열이 추출되지 않는 셀영역을 상기 제1 항목 텍스트값에 대응되는 항목에 대한 인접 필드영역으로 인식하는 인접 필드 인식부와, 상기 제1 항목 텍스트값에 대응되는 항목에 매칭 저장된 제1 필드 텍스트값을 로딩한 후 상기 인접 필드영역 상에 상기 제1 필드 텍스트값이 자동 입력된 상태로 표시되도록 하는 필드 자동 입력부를 더 포함하는 것을 특징으로 한다.

또한, 상기 인접 필드영역 상에 상기 제1 필드 텍스트값이 자동 입력된 상태로 표시되는 경우, 사용자로부터 상기 제1 필드 텍스트값의 삭제 여부에 대한 선택 입력을 수신하기 위한 삭제 아이콘을 상기 인접 필드영역 주변에 표시하는 삭제 아이콘 표시부와, 상기 삭제 아이콘을 선택하는 입력 수신 시 상기 제1 필드 텍스트값을 삭제하여 상기 인접 필드영역이 공백 상태로 표시되도록 하는 삭제 선택부를 더 포함하는 것을 특징으로 한다.

바람직하게는, 인공지능 기반 검색 알고리즘에 기초하여 기저장된 복수의 상기 항목 텍스트값 각각을 키워드로 하는 유의어 검색을 수행하는 유의어 검색부를 더 포함하며, 상기 항목 필드 매칭부는, 상기 유의어 검색을 통해 적어도 하나의 유의어 텍스트값이 획득되는 경우, 상기 획득된 유의어 텍스트값을 해당 키워드에 대응되는 항목에 상기 항목 텍스트값으로 추가하여 매칭 저장하는 것을 특징으로 한다.

본 발명에 따르면, 사용자가 항목별로 기입하여 최초로 작성한 신청서에 포함되는 개인정보 항목 및 항목값들을 매칭 저장하여 추후 다른 신청서 작성 시 동일 또는 유사 항목에 대한 항목값이 자동으로 입력되도록 함에 따라 최초 입력된 데이터를 다양한 신청서 양식에 연계하여 사용할 수 있는 효과가 있다.

또한, 본 발명에 따르면, 문서 양식과 관계없이 서식 문서상의 항목별 표에 포함된 입력 정보들을 항목별로 자동 추출 및 매칭하여 저장함에 따라 별도의 규격폼이 없는 서류의 디지털화가 가능하여 대량의 서류들을 짧은 시간 내에도 용이하게 인식 가능한 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 문서 작성 보조 장치의 구성을 나타내는 블록도이고,
도 2는 도 1의 셀 영역 구분부에 의해 제1 서식이미지와 제2 신청이미지를 상호 비교하여 항목 영역과 필드 영역을 구분하는 방법을 설명하기 위한 도면이고,
도 3은 도 1의 인접 필드 인식부에 의해 제2 서식이미지에서 기저장된 항목에 대한 인접 필드영역을 인식하여 해당 항목에 매칭 저장된 필드 텍스트값을 자동 입력된 상태로 표시하는 방법을 설명하기 위한 도면이고,
도 4는 도 1의 삭제 아이콘 표시부에 의해 인접 필드영역 주변에 표시되는 삭제 아이콘과 이에 대한 선택 입력 수신 시 도 1의 삭제 선택부에 의해 상기 인접 필드영역을 공백 상태로 변경하는 일례를 나타낸 도면이고,
도 5는 본 발명의 일 실시예에 따른 문서 작성 보조 장치에 의해 제1 서식문서 파일의 항목별로 항목 텍스트값과 필드 텍스트값을 매칭 저장하는 과정을 나타낸 순서도이고,
도 6은 본 발명의 일 실시예에 따른 문서 작성 보조 장치에 의해 기저장된 항목별 매칭데이터값을 이용하여 제2 서식문서 파일의 인접 필드영역에 필드 텍스트값을 자동으로 표시하는 과정을 나타낸 순서도이다.

이상과 같은 본 발명에 대한 해결하려는 과제, 과제의 해결수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 전술한 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 문서 작성 보조 장치에 대해 설명하도록 한다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 문서 작성 보조 장치는 크게 제1 파일 스캔부(110), 셀정보 추출부(120), 셀영역 구분부(130), 항목 필드 매칭부(140), 제2 파일 스캔부(210), 제2 셀정보 추출부(220), 항목 비교부(230), 인접 필드 인식부(240) 및 필드 자동 입력부(250)를 포함하여 구성된다.

제1 파일 스캔부(110)는 사용자가 항목별로 기입하여 작성하는 신청서에 대한 기준 데이터로 이용할 제1 서식문서 파일을 스캔하기 위한 것으로서, 항목값의 기입 전후 상태에 각각 대응하여 저장된 상기 제1 서식문서 파일을 입력받아 각각 이미지로 생성한다.

제1 파일 스캔부(110)는 신청자의 개인정보에 관한 복수의 제1 항목들을 제1 레이아웃 구조로 배열한 표를 가지는 제1 서식문서 파일과, 상기 제1 서식문서 파일에 기초하여 작성된 제1 신청서 파일을 각각 입력받은 후 이를 각각 이미지 파일로 변환한 제1 서식이미지 및 제1 신청이미지를 생성하여 저장할 수 있다(S110).

이때, 상기 제1 서식문서 파일과 상기 제1 신청서 파일은 각 페이지 단위마다 동일한 사이즈의 이미지 파일로 변환함에 따라, 상기 제1 서식이미지 및 상기 제1 신청이미지 각각이 가지는 상기 표의 테두리선에 대한 픽셀 위치가 상호 일치하도록 할 수 있다.

셀정보 추출부(120)는 제1 파일 스캔부(110)에 의해 스캔된 상기 제1 서식문서 파일에 포함된 항목별 표를 구성하는 복수의 셀 각각에 대한 셀정보를 추출한다.

셀정보 추출부(120)는 기설정된 에지 검출 알고리즘 및 OCR 기법에 기초하여 상기 제1 서식이미지와 상기 제1 신청이미지 중 어느 하나에 포함된 표영역에 대응되는 복수 개의 셀영역을 검출하고, 상기 검출된 셀영역의 크기 정보 및 이에 포함된 텍스트 문자열을 추출할 수 있다(S120).

구체적으로, 셀정보 추출부(120)는 상기 에지 검출 알고리즘에 기초하여 상기 표영역에 대응하는 테두리선을 검출한 후 상기 테두리선에 의해 상하좌우로 둘러싸인 영역을 상기 셀영역으로 검출하고, 상기 검출된 셀영역의 크기 정보를 추출할 수 있다.

또한, 셀정보 추출부(120)는 딥러닝 기반의 파이썬(Python) 코드를 이용해 용이하게 구현 가능한 인공신경망 구조의 OCR(Optical Character Recognition) 학습 모델을 통해 상기 셀영역의 텍스트 문자열을 추출할 수 있다.

이때, 이와 같은 에지 검출 알고리즘 및 OCR 기법은 당업자에게는 자명한 사항에 해당하므로 별도의 설명은 생략하기로 한다.

여기서, 셀정보 추출부(120)는 상기 제1 신청이미지에 대응되는 상기 복수의 셀영역 각각에 포함된 상기 텍스트 문자열을 추출할 때마다 상기 텍스트 문자열의 폰트 크기 정보를 함께 추출할 수 있으며, 추출된 폰트 크기 정보는 후술할 영역 크기비 계산부(260)로 전송될 수 있다.

셀영역 구분부(130)는 제1 파일 스캔부(110)에 의해 스캔된 상기 제1 서식문서 파일에 포함된 항목별 표에 기초하여 항목 영역과 필드 영역을 구분하여 인식하기 위한 것이다.

셀영역 구분부(130)는 상기 제1 서식이미지와 상기 제1 신청이미지 각각의 동일한 픽셀위치에 대응되는 상기 셀영역에 대한 텍스트 추출 여부를 상호 비교한 결과에 따라(S131~S132) 각각의 상기 셀영역을 항목영역과 필드영역 중 어느 하나로 구분한다(S133~S134).

셀영역 구분부(130)는 상기 제1 서식이미지 및 상기 제1 신청이미지에 대하여 동일한 제1 픽셀위치에 각각 대응하는 두 개의 셀영역 모두 텍스트 문자열이 추출되면 해당 셀영역을 상기 항목영역으로 구분 설정할 수 있다.

셀영역 구분부(130)는 상기 제1 서식이미지 및 상기 제1 신청이미지에 대하여 동일한 제2 픽셀위치에 각각 대응하는 두 개의 셀영역 중 어느 하나에서만 텍스트 문자열이 추출되면 해당 셀영역을 상기 필드영역으로 구분 설정할 수 있다.

예컨대, 도 2를 참조하면, 제1 서식문서 파일이 복수의 항목(이름, 성별, 생년월일, 나이, 주소, 연락처, e-mail, 직장명, 부서명, 입사일, 직책명)에 대한 표를 포함하는 '조합 가입 신청서'에 해당하는 경우, 제1 서식이미지(좌측 신청서) 및 제2 신청이미지(우측 신청서)에 대하여 두 이미지 상의 동일한 제1 픽셀위치에 대응하는 셀영역에서 모두 텍스트 문자열('이름')이 추출되면 해당 셀영역을 제1 항목영역(I₁)으로 구분 설정하고, 상기 두 이미지 상의 동일한 제2 픽셀위치에 대응하는 셀영역에서 모두 텍스트 문자열('주소')이 추출되면 해당 셀영역을 제2 항목영역(I₂)으로 구분 설정하고, 상기 두 이미지 상의 동일한 제3 픽셀위치에 대응하는 셀영역에서 모두 텍스트 문자열('e-mail')이 추출되면 해당 셀영역을 제3 항목영역(I₃)으로 구분 설정하게 된다.

또한, 상기 두 이미지 상의 동일한 제4 픽셀위치에 대응하는 셀영역 중 제2 신청이미지(우측 신청서)에서만 텍스트 문자열('홍길동')이 추출되면 해당 셀영역을 필드영역으로 구분 설정하고, 상기 두 이미지 상의 동일한 제5 픽셀위치에 대응하는 셀영역 중 상기 제2 신청이미지에서만 텍스트 문자열('부산광역시 동래구 중앙대로 1000')이 추출되면 해당 셀영역을 필드영역으로 구분 설정하고, 상기 두 이미지 상의 동일한 제6 픽셀위치에 대응하는 셀영역 중 상기 제2 신청이미지에서만 텍스트 문자열('hkd@xxx.com')이 추출되면 해당 셀영역을 필드영역으로 구분 설정하게 된다.

여기서, 셀영역 구분부(130)는 각각의 상기 항목영역의 일측에 대한 테두리선을 공유하도록 인접 배치되는 어느 하나의 상기 필드영역을 해당 항목에 대한 입력 필드영역으로 검출할 수 있다(S135~S136).

이때, 상기 셀영역의 픽셀위치에 대한 픽셀 좌표를 획득할 수 있으며, 상기 픽셀 좌표에 기초한 셀영역간 거리가 기설정된 임계거리 미만인 경우에 인접 배치된 것으로 판단할 수 있다.

예컨대, 도 2를 참조하면, 제1 항목영역(I₁)에 대한 우측 테두리선을 해당 셀영역의 좌측 테두리선으로 공유하는 필드영역이 제1 항목('이름' 항목)에 대한 제1 입력 필드영역(F₁)으로 검출되고, 제2 항목영역(I₂)에 대한 우측 테두리선을 해당 셀영역의 좌측 테두리선으로 공유하는 필드영역이 제2 항목('주소' 항목)에 대한 제2 입력 필드영역(F₂)으로 검출되고, 제2 항목영역(I₃)에 대한 우측 테두리선을 해당 셀영역의 좌측 테두리선으로 공유하는 필드영역이 제3 항목('e-mail' 항목)에 대한 제3 입력 필드영역(F₃)으로 검출되게 된다.

항목 필드 매칭부(140)는 셀정보 추출부(120)에 의해 복수의 상기 항목영역으로부터 추출된 항목 텍스트값과 각각의 상기 항목영역에 대응되는 상기 입력 필드영역으로부터 추출된 필드 텍스트값을 구분하여 항목별로 매칭 저장한다(S140).

아래의 표 1은 상기 제1 서식문서 파일에 포함되는 항목별 표를 구성하는 복수의 셀 중에서 상기 항목 영역으로 설정된 셀영역의 항목 텍스트값 및 셀 좌표값과 상기 입력 필드영역으로 설정된 셀영역의 필드 텍스트값 및 셀 좌표값을 각각 정리하여 표로 나타낸 것이다.

	항목 관련			필드 관련
	셀 좌표값	항목 텍스트값		셀 좌표값	필드 텍스트값
1	(1,1)	이름	성명	(1,2)	홍길동
2	(2,1)	생년월일		(2,2)	1992.1.1	.
3	(3,1)	주소		(3,2)	부산광역시 동래구 중앙대로 1000
4	(6,1)	연락처	전화	(6,2)	010-1000-2000	-
5	(6,3)	e-mail	이메일	(6,4)	hkd@xxx.com	@

여기서, 항목 필드 매칭부(140)는 각 항목별로 매칭 저장된 상기 필드 텍스트값에 적어도 하나의 특수문자가 포함되면 상기 특수문자에 대한 텍스트값을 추출하여 해당 항목에 구분하여 매칭 저장할 수 있다.

예컨대, 상기 표 1을 참조하면, 항목 텍스트값 "e-mail"에 대응하는 제5 항목 영역과 필드 텍스트값 "hkd@xxx.com"에 대응하는 제5 입력 필드영역이 동일한 항목(5)에 매칭 저장된 상태일 때, 항목 필드 매칭부(140)는 상기 필드 텍스트값에 포함되는 특수문자 "@"에 대한 텍스트값을 추출하여 해당 항목(5)에 구분하여 매칭 저장하게 된다.

제2 파일 스캔부(210)는 상기 제1 서식문서 파일과 적어도 하나 이상의 항목별 항목값이 동일한 제2 서식문서 파일을 스캔하기 위한 것으로서, 해당 항목값이 미기입된 상태의 상기 제2 서식문서 파일을 입력받아 이미지로 생성한다.

제2 파일 스캔부(210)는 신청자의 개인정보에 관한 복수의 제2 항목들을 상기 제1 레이아웃 구조와 상이한 제2 레이아웃 구조로 배열한 표를 가지는 제2 서식문서 파일을 입력받은 후 이를 이미지 파일로 변환한 제2 서식이미지를 생성하여 저장할 수 있다(S210).

제2 셀정보 추출부(220)는 제2 파일 스캔부(210)에 의해 스캔된 상기 제2 서식문서 파일에 포함된 항목별 표를 구성하는 복수의 셀 각각에 대한 셀정보를 추출한다.

제2 셀정보 추출부(220)는 기설정된 에지 검출 알고리즘 및 OCR 기법에 기초하여 상기 제2 서식이미지에 포함된 상기 표영역에 대응되는 복수 개의 셀영역을 검출하고, 상기 검출된 셀영역의 크기 정보 및 이에 포함된 텍스트 문자열을 추출할 수 있다(S220).

이때, 제2 셀정보 추출부(220)는 전술한 셀정보 추출부(120)와 추출대상만 "제1 서식이미지"와 "제1 신청이미지" 중 어느 하나와 "제2 서식이미지"로 상이할 뿐 동일한 기능을 가지는 구성에 해당하기 때문에, 상기 에지 검출 알고리즘 및 OCR 기법에 기초한 추출 원리에 대한 설명은 전술한 셀정보 추출부(120)에 대한 설명과 중복되므로 여기서는 생략하도록 한다.

항목 비교부(230)는 상기 제2 서식이미지에 기초한 상기 복수의 셀영역 각각으로부터 추출된 텍스트 문자열을 항목 필드 매칭부(140)에 기저장된 복수의 상기 항목 텍스트값과 비교한다(S230).

인접 필드 인식부(240)는 항목 비교부(230)에 의한 비교 결과에 기초하여 상기 제1 서식문서 파일과 동일한 항목에 대한 항목 영역 및 이에 대응하는 인접 필드 영역을 인식한다.

인접 필드 인식부(240)는 상기 복수의 셀영역 중 어느 하나로부터 추출된 텍스트 문자열이 기저장된 제1 항목 텍스트값과 일치하는 경우(S242), 해당 셀영역의 일측 테두리선을 공유하도록 인접 배치되되 텍스트 문자열이 추출되지 않는 셀영역을 상기 제1 항목 텍스트값에 대응되는 항목에 대한 인접 필드영역으로 인식할 수 있다(S244).

예컨대, 도 3을 참조하여 설명하면, 상기 표 1에 기재된 바와 같이 제1 항목 내지 제5 항목 각각에 대한 항목 텍스트값이 기저장된 상태일 때, '회원 가입 신청서'에 해당하는 제2 서식이미지(좌측 이미지)에 대한 복수의 셀영역 중 어느 하나의 셀영역에서 기저장된 제3 항목 텍스트값('주소') 동일한 텍스트 문자열(31)이 추출되는 경우, 인접 필드 인식부(240)는 해당 셀영역의 일측 테두리선(L₂)을 공유하도록 인접 배치되며 텍스트 문자열이 추출되지 않는 셀영역(A2)을 제3 항목(3)에 대한 인접 필드영역으로 인식하게 된다.

여기서, 인접 필드 인식부(240)는, 제1 셀영역으로부터 추출된 텍스트 문자열이 기저장된 제2 항목 텍스트값과 일치하고 상기 제1 셀영역의 일측 테두리선을 공유하도록 인접 배치되는 제2 셀영역에 소정의 텍스트 문자열이 포함되는 경우, 상기 제2 셀영역으로부터 추출된 텍스트 문자열에 상기 제2 항목 텍스트값과 동일 항목에 매칭 저장된 특수문자 텍스트값이 포함되는지 확인하여 포함되면 상기 제2 셀영역을 해당 항목에 대한 상기 인접 필드영역으로 인식할 수 있다.

예컨대, 항목 필드 매칭부(140)에 의해 상기 표 1에 기초한 제5 항목(5)에 대하여 특수문자 "@"이 매칭 저장된 상태일 때, 제1 셀영역으로부터 추출된 텍스트 문자열('이메일')이 기저장된 제5 항목 텍스트값('이메일')과 일치하고 상기 제1 셀영역의 일측 테두리선(L₃)을 공유하도록 인접 배치되는 제2 셀영역에 텍스트 문자열 "@"이 포함되는 경우, 상기 제2 셀영역에 포함된 텍스트 문자열('@')이 제5 항목(5)에 대응하여 매칭 저장된 필드 텍스트값(특수문자관련)과 일치함에 따라 인접 필드 인식부(240)는 상기 제2 셀영역을 제5 항목(5)에 대한 인접 필드영역으로 인식하게 된다.

이는 사용자가 신청서 작성 시 항목별로 입력하는 정보에 공통으로 포함하는 텍스트값, 예컨대, 메일 주소 정보에 공통으로 포함하는 "@", 주민등록번호나 전화번호 등에 공통으로 포함하는 "-" 등의 특수문자들이 신청서 양식상의 입력 영역에 미리 포함된 경우를 고려하기 위한 것이다.

여기서, 인접 필드 인식부(240)는, 제3 셀영역으로부터 추출된 텍스트 문자열이 기저장된 제3 항목 텍스트값과 일치하고 상기 제3 셀영역의 일측 테두리선을 공유하도록 인접 배치되는 제4 셀영역에 소정의 텍스트 문자열이 포함되는 경우, 상기 제4 셀영역에 대하여 상기 제4 셀영역으로부터 추출된 텍스트 문자열에 대응하는 텍스트 영역이 차지하는 비율과 기설정된 기준비율을 비교하여 상기 기준비율보다 작으면, 상기 제4 셀영역을 해당 항목에 대한 상기 인접 필드영역으로 인식할 수 있다.

이는 사용자가 신청서의 특정 항목에 대한 입력 시 필요한 정보에 대한 상세 안내를 위해 추가로 기재되는 보조 구문, 예컨대, 항목 텍스트값 '이름'의 경우엔 '(한글)' 이나 '(영문)' 등의 텍스트들이 신청서 양식상의 입력 영역에 미리 포함될 때에도 본 발명에 적용할 수 있도록 하기 위한 것이며, 일반적으로 이러한 보조 구문은 사용자가 입력한 텍스트값이 차지할 영역에 비해 상대적으로 매우 작은 비율을 차지함을 고려하여 상기 인접 필드영역 판단 시 비교 기준으로서 상기 기준비율을 사용하였다.

필드 자동 입력부(250)는 상기 제1 항목 텍스트값에 대응되는 항목에 매칭 저장된 제1 필드 텍스트값을 로딩한 후(S252) 상기 인접 필드영역 상에 상기 제1 필드 텍스트값이 자동 입력된 상태로 표시되도록 한다(S254).

예컨대, 도 3 및 표 1을 참조하여 설명하면, 인접 필드 인식부(240)가 '회원 가입 신청서'에 해당하는 제2 서식이미지(좌측 이미지)에 기초하여 제3 항목(3)에 대한 인접 필드영역으로 셀영역(A2)을 인식한 경우, 필드 자동 입력부(250)는 상기 인식된 인접 필드영역(A2) 상에 제3 항목(3)에 대응하여 매칭 저장된 필드 텍스트값인 "부산광역시 동래구 중앙대로 1000"을 자동 입력된 상태로 표시하게 된다.

한편, 본 발명에 따른 문서 작성 보조 장치는 삭제 아이콘 표시부(310) 및 삭제 선택부(330)를 더 포함할 수도 있다.

삭제 아이콘 표시부(310)는 상기 인접 필드영역 상에 상기 제1 필드 텍스트값이 자동 입력된 상태로 표시되는 경우, 사용자로부터 상기 제1 필드 텍스트값의 삭제 여부에 대한 선택 입력을 수신하기 위한 삭제 아이콘을 상기 인접 필드영역 주변에 표시한다.

이때, 상기 삭제 아이콘은 일반적으로 컴퓨터 작업 시 입력한 내용을 삭제하는 기능을 나타내는 엑스자(X) 표시 또는 휴지통 등을 형상화한 클립아트나 그림을 포함할 수 있다.

삭제 선택부(330)는 상기 삭제 아이콘을 선택하는 입력 수신 시 상기 제1 필드 텍스트값을 삭제하여 상기 인접 필드영역이 공백 상태로 표시되도록 한다.

예컨대, 도 3에 도시된 바와 같이 기저장된 제3 항목 텍스트값('주소')에 대응되는 항목(3)에 대한 인접 필드영역(A2) 상에 해당 항목에 매칭 저장된 필드 텍스트값('부산광역시 동래구 중앙대로 1000')이 자동 입력된 상태에서, 인접 필드영역(A2) 주변에는 삭제 아이콘 표시부(310)에 의해 삭제 아이콘(40)이 함께 표시되는 경우, 만일 사용자로부터 해당 삭제 아이콘(40)을 선택하는 입력이 수신되면, 삭제 선택부(330)는 상기 입력이 수신되는 시점에 인접 필드영역(A2)이 공백 상태가 되도록 인접 필드영역(A2)에 포함되는 텍스트 문자열을 모두 삭제하게 된다.

한편, 본 발명에 따른 문서 작성 보조 장치는 전술한 구성들과 더불어 유의어 검색부(400) 또는 영역 크기비 계산부(260)를 추가로 더 포함할 수도 있다.

유의어 검색부(400)는 인공지능 기반 검색 알고리즘에 기초하여 기저장된 복수의 상기 항목 텍스트값 각각을 키워드로 하는 유의어 검색을 수행한다.

여기서, 상기 인공지능 기반 검색 알고리즘은 딥러닝 기반의 파이썬(Python) 코드로 작성된 유의어 DB 데이터를 바탕으로 TF-IDF(Term Frequency - Inverse Document Frequency) 모델에 의한 키워드 추출 및 검색을 수행하는 것일 수 있다.

이 경우, 항목 필드 매칭부(140)는 상기 유의어 검색을 통해 적어도 하나의 유의어 텍스트값이 획득되는 경우, 상기 획득된 유의어 텍스트값을 해당 키워드에 대응되는 항목에 상기 항목 텍스트값으로 추가하여 매칭 저장할 수 있다.

예컨대, 상기 표 1을 참조하면, 제1 항목(1)에 대한 항목 텍스트값('이름')에 대한 유의어 검색 결과 하나의 유의어 텍스트값('성명')이 획득되는 경우, 항목 필드 매칭부(140)는 획득된 유의어 텍스트값('성명')을 해당 항목(1)에 대한 항목 텍스트값으로 추가하여 매칭 저장하게 된다.

영역 크기비 계산부(260)는 각 항목별로 매칭되는 상기 입력 필드영역에서 추출된 상기 텍스트 문자열의 폰트 크기 정보에 기초하여 이에 대응하는 텍스트 영역의 크기를 산출한 후 해당 입력 필드영역에 대한 상기 텍스트 영역의 크기 비를 계산한다.

이 경우, 필드 자동 입력부(250)는 상기 인접 필드영역 상에 상기 제1 필드 텍스트값을 자동 입력된 상태로 표시할 때, 상기 인접 필드영역과 동일 항목에 매칭된 상기 입력 필드영역에 대하여 계산된 상기 크기 비에 비례하여 상기 인접 필드영역에서 상기 제1 필드 텍스트값에 대응하는 텍스트 영역이 차지하는 비율이 조정되도록 상기 제1 필드 텍스트값의 폰트 크기를 변경하여 표시할 수 있다.

이에 따라, 전술한 본 발명에 의하면, 사용자가 항목별로 기입하여 최초로 작성한 신청서에 포함되는 개인정보 항목 및 항목값들을 매칭 저장하여 추후 다른 신청서 작성 시 동일 또는 유사 항목에 대한 항목값이 자동으로 입력되도록 함에 따라 최초 입력된 데이터를 다양한 신청서 양식에 연계하여 사용할 수 있다.

또한, 본 발명에 의하면, 문서 양식과 관계없이 서식 문서상의 항목별 표에 포함된 입력 정보들을 항목별로 자동 추출 및 매칭하여 저장함에 따라 별도의 규격폼이 없는 서류의 디지털화가 가능하여 대량의 서류들을 짧은 시간 내에도 용이하게 인식 가능한 이점이 있다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.

특히, 전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 강점을 다소 폭넓게 상술하였으므로, 상술한 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 형상의 설계나 수정의 기본으로써 즉시 사용될 수 있음이 해당 기술 분야의 숙련된 사람들에 의해 인식되어야 한다.

또한, 상기에서 기술된 실시예는 본 발명에 따른 하나의 실시예일 뿐이며, 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 수정 및 변경된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 이러한 다양한 수정 및 변경 또한 본 발명의 기술적 사상의 범위에 속하는 것으로 전술한 본 발명의 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

110: 제1 파일 스캔부 120: 셀정보 추출부
130: 셀영역 구분부 140: 항목 필드 매칭부
210: 제2 파일 스캔부 220: 제2 셀정보 추출부
230: 항목 비교부 240: 인접 필드 인식부
250: 필드 자동 입력부 260: 영역 크기비 계산부
310: 삭제 아이콘 표시부 320: 사용자 입력부
330: 삭제 선택부 400: 유의어 검색부

Claims

신청자의 개인정보에 관한 복수의 제1 항목들을 제1 레이아웃 구조로 배열한 표를 가지는 제1 서식문서 파일과, 상기 제1 서식문서 파일에 기초하여 작성된 제1 신청서 파일을 각각 입력받은 후 이를 각각 이미지 파일로 변환한 제1 서식이미지 및 제1 신청이미지를 생성하여 저장하는 제1 파일 스캔부;
기설정된 에지 검출 알고리즘 및 OCR 기법에 기초하여 상기 제1 서식이미지와 상기 제1 신청이미지 중 어느 하나에 포함된 표영역에 대응되는 복수 개의 셀영역을 검출하고, 상기 검출된 셀영역의 크기 정보 및 이에 포함된 텍스트 문자열을 추출하는 셀정보 추출부;
상기 제1 서식이미지와 상기 제1 신청이미지 각각의 동일한 픽셀위치에 대응되는 상기 셀영역에 대한 텍스트 추출 여부를 상호 비교한 결과에 따라 각각의 상기 셀영역을 항목영역과 필드영역 중 어느 하나로 구분하고, 각각의 상기 항목영역의 일측에 대한 테두리선을 공유하도록 인접 배치되는 어느 하나의 상기 필드영역을 해당 항목에 대한 입력 필드영역으로 검출하는 셀영역 구분부; 및
복수의 상기 항목영역으로부터 추출된 항목 텍스트값과 각각의 상기 항목영역에 대응되는 상기 입력 필드영역으로부터 추출된 필드 텍스트값을 구분하여 항목별로 매칭 저장하는 항목 필드 매칭부;를 포함하는 것을 특징으로 하는 문서 작성 보조 장치.
제1항에 있어서,
상기 셀영역 구분부는,
상기 제1 서식이미지 및 상기 제1 신청이미지에 대하여 동일한 제1 픽셀위치에 각각 대응하는 두 개의 셀영역 모두 텍스트 문자열이 추출되면 해당 셀영역을 상기 항목영역으로 구분 설정하고,
상기 제1 서식이미지 및 상기 제1 신청이미지에 대하여 동일한 제2 픽셀위치에 각각 대응하는 두 개의 셀영역 중 어느 하나에서만 텍스트 문자열이 추출되면 해당 셀영역을 상기 필드영역으로 구분 설정하는 것을 특징으로 하는 문서 작성 보조 장치.
제2항에 있어서,
신청자의 개인정보에 관한 복수의 제2 항목들을 상기 제1 레이아웃 구조와 상이한 제2 레이아웃 구조로 배열한 표를 가지는 제2 서식문서 파일을 입력받은 후 이를 이미지 파일로 변환한 제2 서식이미지를 생성하여 저장하는 제2 파일 스캔부;
상기 에지 검출 알고리즘 및 OCR 기법에 기초하여 상기 제2 서식이미지에 포함된 상기 표영역에 대응되는 복수 개의 셀영역을 검출하고, 상기 검출된 셀영역의 크기 정보 및 이에 포함된 텍스트 문자열을 추출하는 제2 셀정보 추출부;
상기 제2 서식이미지에 기초한 상기 복수의 셀영역 각각으로부터 추출된 텍스트 문자열을 기저장된 복수의 상기 항목 텍스트값과 비교하는 항목 비교부;
상기 복수의 셀영역 중 어느 하나로부터 추출된 텍스트 문자열이 기저장된 제1 항목 텍스트값과 일치하는 경우, 해당 셀영역의 일측 테두리선을 공유하도록 인접 배치되되 텍스트 문자열이 추출되지 않는 셀영역을 상기 제1 항목 텍스트값에 대응되는 항목에 대한 인접 필드영역으로 인식하는 인접 필드 인식부; 및
상기 제1 항목 텍스트값에 대응되는 항목에 매칭 저장된 제1 필드 텍스트값을 로딩한 후 상기 인접 필드영역 상에 상기 제1 필드 텍스트값이 자동 입력된 상태로 표시되도록 하는 필드 자동 입력부;를 더 포함하는 것을 특징으로 하는 문서 작성 보조 장치.
제3항에 있어서,
상기 인접 필드영역 상에 상기 제1 필드 텍스트값이 자동 입력된 상태로 표시되는 경우, 사용자로부터 상기 제1 필드 텍스트값의 삭제 여부에 대한 선택 입력을 수신하기 위한 삭제 아이콘을 상기 인접 필드영역 주변에 표시하는 삭제 아이콘 표시부; 및
상기 삭제 아이콘을 선택하는 입력 수신 시 상기 제1 필드 텍스트값을 삭제하여 상기 인접 필드영역이 공백 상태로 표시되도록 하는 삭제 선택부;를 더 포함하는 것을 특징으로 하는 문서 작성 보조 장치.
제1항에 있어서,
인공지능 기반 검색 알고리즘에 기초하여 기저장된 복수의 상기 항목 텍스트값 각각을 키워드로 하는 유의어 검색을 수행하는 유의어 검색부;를 더 포함하며,
상기 항목 필드 매칭부는,
상기 유의어 검색을 통해 적어도 하나의 유의어 텍스트값이 획득되는 경우, 상기 획득된 유의어 텍스트값을 해당 키워드에 대응되는 항목에 상기 항목 텍스트값으로 추가하여 매칭 저장하는 것을 특징으로 하는 문서 작성 보조 장치.