KR20230147513A - 이미지에 기반한 문서 템플릿 생성 방법 및 장치 - Google Patents

이미지에 기반한 문서 템플릿 생성 방법 및 장치 Download PDF

Info

Publication number
KR20230147513A
KR20230147513A KR1020220170638A KR20220170638A KR20230147513A KR 20230147513 A KR20230147513 A KR 20230147513A KR 1020220170638 A KR1020220170638 A KR 1020220170638A KR 20220170638 A KR20220170638 A KR 20220170638A KR 20230147513 A KR20230147513 A KR 20230147513A
Authority
KR
South Korea
Prior art keywords
image
information
phrase
area
document
Prior art date
Application number
KR1020220170638A
Other languages
English (en)
Inventor
최양우
Original Assignee
(주)프린파크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)프린파크 filed Critical (주)프린파크
Priority to KR1020220170638A priority Critical patent/KR20230147513A/ko
Publication of KR20230147513A publication Critical patent/KR20230147513A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/186Templates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0621Item configuration or customization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/158Segmentation of character regions using character size, text spacings or pitch estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/245Font recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/416Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예는 이미지에 기반한 문서 템플릿 생성 방법 및 장치에 관한 것으로, 사용자 단말에 의해 촬영된 문서 이미지를 기초로 편집 가능한 문서 템플릿을 생성하여 제공하는 것을 특징으로 한다.

Description

이미지에 기반한 문서 템플릿 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING DOCUMENT TEMPLATE BASED ON IMAGE}
본 출원은 이미지에 기반한 문서 템플릿 생성 방법 및 장치에 관한 것이다.
문서(文書)는 의사소통을 위해 고안된 정보를 물리적으로 묶어 놓은 것을 말한다. 서류(書類) 또는 문건(文件)이라고도 한다. 오늘날에는 종이로 된 것을 주로 문서라고 부르지만, 역사적으로는 돌(비석 또는 암벽), 나무(비석 또는 목간), 풀(죽간, 파피루스), 금속, 베(피륙), 점토 등 여러 곳에 기록하였다.
일상적으로는 문서는 "사람의 생각을 상징적인 기호로 정보를 제공하여 글로 쓴 것"으로 정의할 수도 있지만 현대에 이르러 컴퓨터의 발달에 따라 특정 형식의 디지털 파일을 가리키기도 한다. 디지털 파일의 형식으로 작성된 문서의 경우 글꼴, 서식, 자간 등의 편집이 용이해지는 장점이 있다.
최근에는 디지털 파일의 형식으로 작성된 문서뿐만 아니라, 종이와 같은 물리적인 매체로 작성된 문서의 편집을 용이하게 하기 위한 기술에 대한 수요가 증대되고 있는 시점이다.
한국 공개특허공보 제10-2019-0095651호(2019.08.16.) 한국 공개특허공보 제10-2016-0144136호(2016.12.16.)
본 출원의 일 실시예에 따르면, 일 과제는 종이와 같은 물리적인 매체로 작성된 문서를 촬영하고 촬영된 문서를 편집 가능한 형태의 파일로 변환하여 제공함으로써, 문서 편집의 효율성을 높이는 전자 장치 및 그 동작 방법을 제공하는 것에 있다.
본 출원의 일 실시예에 따르면, 편집 가능한 형태로 변환된 문서를 템플릿으로 제공함으로써, 동일한 서식을 가지나 다른 문구가 기재된 여러 문서를 빠르게 인쇄 의뢰할 수 있다.
본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 서버에 의해 수행되는 촬영된 문서에 대응하는 편집 가능한 문서 템플릿을 제공하는 방법은 사용자 단말로부터 촬영된 문서에 대한 제1 이미지 및 상기 문서의 사이즈 정보를 획득하는 단계, 상기 제1 이미지 내의 제1 문구가 기재된 제1 영역을 특정하는 단계, 상기 제1 영역으로부터 상기 제1 문구의 속성 정보를 추출하는 단계, 상기 제1 이미지 내의 상기 제1 영역의 제1 위치 정보를 추출하는 단계 및 상기 제1 이미지, 상기 사이즈 정보, 상기 제1 위치 정보 및 상기 제1 문구의 속성 정보를 기반으로 편집 가능한 제1 문서 템플릿을 생성하고, 상기 제1 문서 템플릿을 데이터베이스에 저장하는 단계를 포함하고, 상기 제1 문구의 속성 정보는 글꼴 정보, 크기 정보, 자간 정보, 행간 정보 및 장평 정보를 포함할 수 있다.
여기서, 상기 사용자 단말로부터 상기 데이터베이스에 저장된 적어도 하나의 문서 템플릿 중 상기 제1 문서 템플릿이 선택되는 단계, 상기 제1 문서 템플릿에 따른 상기 제1 이미지 및 상기 제1 이미지 내에 상기 제1 문구 대신에 기재될 문구가 입력되는 문구 입력 영역을 포함하는 인터페이스를 상기 사용자 단말에게 제공하는 단계, 상기 사용자 단말로부터 상기 문구 입력 영역을 통해 수정 문구를 획득하는 단계, 상기 제1 문구의 속성 정보를 기반으로 상기 수정 문구의 속성을 변경하여 제2 문구를 생성하는 단계 및 상기 제1 위치 정보를 기반으로 상기 제1 이미지에서 상기 제1 문구를 상기 제2 문구로 대체하여 수정 문서 파일을 생성하는 단계를 더 포함할 수 있다.
여기서, 상기 사용자 단말에게 상기 수정 문서 파일을 제공하는 단계, 상기 사용자 단말로부터 상기 수정 문서 파일에 대한 인쇄 요청 정보 및 배송지 정보를 획득하는 단계 및 상기 인쇄 요청 정보 및 상기 배송지 정보를 기반으로 상기 수정 문서 파일 및 인쇄 주문서에 대한 인쇄 신호를 출력하는 단계를 더 포함할 수 있다.
여기서, 상기 제1 위치 정보를 기반으로 상기 제1 이미지에서 상기 제1 문구를 상기 제2 문구로 대체하여 수정 문서 파일을 생성하는 단계는 상기 사용자 단말을 통해 상기 제1 이미지 내의 상기 제1 영역의 크기가 변경되는 단계 및 상기 크기가 변경된 상기 제1 영역에 상기 제1 문구를 상기 제2 문구로 대체하여 상기 수정 문서 파일을 생성하는 단계를 포함할 수 있다.
여기서, 상기 제1 영역은 사각형 형태의 영역을 나타내고, 상기 제1 위치 정보는 상기 제1 이미지 내에서 상기 제1 영역에 포함된 복수의 픽셀들 중 좌상측 픽셀의 위치에 해당하는 픽셀 단위의 기준 위치 정보, 상기 제1 영역의 가로 픽셀 수 및 상기 제1 영역의 세로 픽셀 수를 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 촬영된 문서에 대응하는 편집 가능한 문서 템플릿을 제공하는 방법을 수행하는 서버로서, 프로세서 및 상기 프로세서에 의해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고, 상기 적어도 하나의 명령은 사용자 단말로부터 촬영된 문서에 대한 제1 이미지 및 상기 문서의 사이즈 정보를 획득하도록 실행되고, 상기 제1 이미지 내의 제1 문구가 기재된 제1 영역을 특정하는 단계, 상기 제1 영역으로부터 상기 제1 문구의 속성 정보를 추출하도록 실행되고, 상기 제1 이미지 내의 상기 제1 영역의 제1 위치 정보를 추출하도록 실행되고, 상기 제1 이미지, 상기 사이즈 정보, 상기 제1 위치 정보 및 상기 제1 문구의 속성 정보를 기반으로 편집 가능한 제1 문서 템플릿을 생성하고, 상기 제1 문서 템플릿을 데이터베이스에 저장하도록 실행되고, 상기 제1 문구의 속성 정보는 글꼴 정보, 크기 정보, 자간 정보, 행간 정보 및 장평 정보를 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 사용자 단말로부터 상기 데이터베이스에 저장된 적어도 하나의 문서 템플릿 중 상기 제1 문서 템플릿이 선택되도록 실행되고, 상기 제1 문서 템플릿에 따른 상기 제1 이미지 및 상기 제1 이미지 내에 상기 제1 문구 대신에 기재될 문구가 입력되는 문구 입력 영역을 포함하는 인터페이스를 상기 사용자 단말에게 제공하도록 실행되고, 상기 사용자 단말로부터 상기 문구 입력 영역을 통해 수정 문구를 획득하도록 실행되고, 상기 제1 문구의 속성 정보를 기반으로 상기 수정 문구의 속성을 변경하여 제2 문구를 생성하도록 실행되고, 상기 제1 위치 정보를 기반으로 상기 제1 이미지에서 상기 제1 문구를 상기 제2 문구로 대체하여 수정 문서 파일을 생성하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 사용자 단말에게 상기 수정 문서 파일을 제공하도록 실행되고, 상기 사용자 단말로부터 상기 수정 문서 파일에 대한 인쇄 요청 정보 및 배송지 정보를 획득하도록 실행되고, 상기 인쇄 요청 정보 및 상기 배송지 정보를 기반으로 상기 수정 문서 파일 및 인쇄 주문서에 대한 인쇄 신호를 출력하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 사용자 단말을 통해 상기 제1 이미지 내의 상기 제1 영역의 크기가 변경되도록 실행되고, 상기 크기가 변경된 상기 제1 영역에 상기 제1 문구를 상기 제2 문구로 대체하여 상기 수정 문서 파일을 생성하도록 실행될 수 있다.
여기서, 상기 제1 영역은 사각형 형태의 영역을 나타내고, 상기 제1 위치 정보는 상기 제1 이미지 내에서 상기 제1 영역에 포함된 복수의 픽셀들 중 좌상측 픽셀의 위치에 해당하는 픽셀 단위의 기준 위치 정보, 상기 제1 영역의 가로 픽셀 수 및 상기 제1 영역의 세로 픽셀 수를 포함할 수 있다.
과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 실시예에 따르면, 전자 장치 및 그 동작 방법은 종이와 같은 물리적인 매체로 작성된 문서를 촬영하고 촬영된 문서를 편집 가능한 형태의 파일로 변환하여 제공함으로써, 문서 편집의 효율성을 높일 수 있다.
본 출원의 일 실시예에 따르면, 한 번 촬영되어 편집 가능하게 변환된 경우, 이에 대한 템플릿을 저장하고 제공함으로써, 동일한 서식을 가지나 다른 문구가 기재된 여러 문서를 빠르게 인쇄 의뢰할 수 있다.
효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 촬영된 문서에 대응하는 편집 가능한 문서 템플릿을 제공하는 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 관리 서버를 나타내는 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 전자 장치의 구성을 나타내는 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 편집 가능한 문서 템플릿 제공 방법을 순서도이다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 편집 가능한 문서 템플릿 제공 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 편집 가능한 문서 템플릿 제공 방법에서 이용되는 인공 신경망을 도시한 개념도이다.
도 9는 본 발명의 일 실시예에 따른 문서 템플릿에서 사용자에 의해 영역의 크기가 변경되는 모습을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 생성된 수정 문서 파일의 출력 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.  
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. 
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 
이와 관련하여, 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 상 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~를 위한 단계"를 의미하지 않는다. 
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.  
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.  
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 
도 1은 본 발명의 일 실시예에 따른 촬영된 문서에 대응하는 편집 가능한 문서 템플릿을 제공하는 시스템을 설명하기 위한 도면이다.
일 실시예에 따른 편집 가능한 문서 템플릿 제공 시스템은 촬영된 다양한 종류의 문서들(예: 명함, 법규 문서, 지시 문서, 일반 문서, 등)을 편집 가능한 문서 파일들로 생성 및 변환하여 사용자에게 제공하는 시스템을 나타낼 수 있다.
또한, 편집 가능한 문서 템플릿 제공 시스템은 다양한 종류의 문서들 외에도 컨텐트들(예: 텍스트 등)을 포함하는 다양한 종류의 정보 매체(예: 명함, 현수막, 사진, 캡쳐된 동영상, 스크린 샷 이미지 등)를 편집 가능한 파일로 생성하여 제공할 수 있으나, 이하에서는 설명의 편의를 위하여 명함을 파일로 생성하는 동작만을 예로 들어 설명한다. 따라서 이하에서 기술되는 사항들은, 편집 가능한 문서 템플릿 제공 시스템이 다양한 종류의 정보 매체(예: 명함, 현수막, 사진, 캡쳐된 동영상, 스크린 샷 이미지 등)를 편집 가능한 파일로 생성하여 제공하는 동작에 준용될 수 있다.
편집 가능한 문서 템플릿 제공 시스템에 의해 생성된 문서 파일들은 편집 가능하도록 인식된 컨텐트들(예: 텍스트 등)을 포함하며, 스마트 문서 편집 시스템은 컨텐트들의 시각적 속성(예: 글꼴, 크기, 자간, 행간, 장평, 색상 등)을 변경하기 위한 편집 기능을 제공할 수 있다.
도 1을 참조하면, 편집 가능한 문서 템플릿 제공 시스템은 관리 서버(110), 및 사용자들이 이용하는 전자 장치(120)를 포함할 수 있다. 다만, 도 1에 도시된 바에 제한되지 않고 편집 가능한 문서 템플릿 제공 시스템은 도시된 장치들보다 더 적은 장치들을 포함하거나, 더 많은 장치들을 포함하도록 구현될 수도 있다.
본 출원의 일 실시예에 따르면, 관리 서버(management server)(110)는 전자 장치(120)에서 촬영된 다양한 종류의 문서(예: 명함, 법규 문서, 지시 문서, 일반 문서, 등)를 획득하고, 획득된 다양한 종류의 문서를 편집 가능한 파일로 변환하여 제공할 수 있다. 관리 서버(110)는 후술하겠으나, 전자 장치(120)가 문서를 촬영하고 편집 가능한 문서 파일을 제공받기 위한 어플리케이션(또는, 프로그램)을 전자 장치(120)로 제공할 수 있다.
본 출원의 일 실시예에 따르면, 전자 장치(120)는 사용자가 이용 가능한 다양한 종류의 전자 장치를 포함할 수 있다. 상기 전자 장치는 개인용 단말들(예: 스마트 폰 등), 고정된 위치에 구비되는 전자 장치들(예: PC 등), 이동 가능한 개인용 노트북을 포함할 수 있다. 예를 들어, 전자 장치(120)는 어플리케이션을 이용하여, 관리 서버(110)에 접속할 수 있다. 전자 장치(120)는 어플리케이션을 이용하여 문서를 촬영하고, 촬영된 문서에 대응하는 문서 파일을 관리 서버(110)로부터 제공받을 수 있다. 상기 전자 장치(120)는 사용자 단말이라 지칭할 수 있고, 관리 서버(110)는 서버라고 지칭할 수 있다.
이하에서는 편집 가능한 문서 템플릿 제공 시스템에 포함된 구성들의 동작을 수행하기 위한 구성들의 일 예에 대해서 설명한다. 한편, 편집 가능한 문서 템플릿 제공 시스템은 구현 목적에 따라서 시스템 타입(system type) 또는 온 디바이스 타입(on-device type)으로 구현될 수 있으므로, 이에 대해서는 후술하겠다.
도 2는 본 발명의 일 실시예에 따른 관리 서버를 나타내는 블록 구성도이다.
도 2를 참조하면, 일 실시예에 따르면 관리 서버(110)는 제1 통신 회로(210), 문서 획득 모듈(221), 및 문서 분석 모듈(223)을 포함하는 제1 제어 회로(220) 및 데이터베이스(230)을 포함할 수 있다. 한편, 도 2에 도시된 바에 제한되지 않고, 관리 서버(110)는 도시된 구성들 보다 더 적은 구성들 또는 더 많은 구성들을 포함할 수 있다.
상기 제1 통신 회로(210)는 외부 장치(예: 전자 장치(120))와 통신할 수 있다. 예를 들면, 제1 통신 회로(210)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 외부 장치(예: 전자 장치(120))와 통신을 설정하여, 설정된 통신을 통해 정보 및/또는 데이터를 교환할 수 있다.
예를 들어, 상기 무선 통신은 LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은 예를 들어 WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 유선 통신은 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 네트워크는 텔레커뮤니케이션 네트워크, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
상기 제1 제어 회로(220)는 관리 서버(110)의 전반적인 동작을 제어할 수 있다. 이를 위해 제1 제어 회로(220)는 각종 정보의 연산 및 처리를 수행하고 관리 서버(110)의 구성 요소들(예: 제1 통신 회로(210))의 동작을 제어할 수 있다. 제1 제어 회로(220)는 하드웨어, 소프트웨어, 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 상기 제1 제어 회로(220)는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태(예: CPU 등)로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적인 상기 제1 제어 회로(220)를 구동시키는 프로그램 형태로 제공될 수 있다. 이하에서 설명되는 관리 서버(110)의 제1 제어 회로(220)에 포함되는 모듈들(예: 문서 획득 모듈(221) 및 문서 분석 모듈(223))은 상기 제1 제어 회로(220)가 모듈과 연관된 동작을 수행하도록 제어할 수 있다. 다시 말해, 상기 모듈들은 상기 모듈과 연관된 동작을 수행하도록 제어하기 위한 프로그램, 컴퓨터 판독 가능한 코드, 프로세스 내지는 인스트럭션(instructions)들로 구현되며, 상기 모듈들이 상기 제1 제어 회로(220)에 의해 실행되는 경우, 상기 제1 제어 회로(220)가 상기 모듈과 연관된 동작을 수행하도록 제어할 수 있다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 전자 장치(100)의 동작은 상기 제1 제어 회로(220)의 제어에 의해 수행되는 것으로 해석될 수 있다.
상기 제1 제어 회로(220)는 문서 획득 모듈(221)을 포함하며, 문서 획득 모듈(221)은 접속(예: 통신 연결)되는 전자 장치(120)로부터 관리 서버(110)에 전송되는 수신되는 촬영된 문서에 대한 정보를 획득할 수 있다. 예를 들어, 사용자가 전자 장치(120)에서 어플리케이션을 실행하여 문서를 촬영하는 경우, 전자 장치(120)로부터 관리 서버(110)는 촬영된 문서에 대한 이미지를 수신할 수 있다.
상기 제1 제어 회로(220)는 문서 분석 모듈(223)을 포함하며, 상기 문서 분석 모듈(223)은 수신된 문서에 대한 이미지를 분석하여, 편집 가능한 형태의 문서 파일(또는, 파일)로 변환할 수 있다. 예를 들어, 문서 분석 모듈(223)은 수신된 문서에 대한 이미지에 포함된 텍스트 등과 같은 컨텐트들을 추출하고, 추출된 컨텐트들을 포함하는 파일을 획득할 수 있다.
상기 데이터베이스(230)는 각종 정보(예: 수신된 문서에 대한 정보, 변환된 문서 파일, 및/또는 후술되는 인공 지능 모델)를 저장할 수 있다. 데이터베이스(230)는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 예를 들어, 관리 서버(110)의 데이터베이스(230)에는 관리 서버(110)를 구동하기 위한 운용 프로그램(OS: Operating System), 웹 사이트를 호스팅하기 위한 데이터나 프로그램 내지는 어플리케이션(예를 들어, 웹 어플리케이션)에 관한 데이터 등이 저장될 수 있다. 상기 데이터베이스(230)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 이러한 데이터베이스는 내장 타입 또는 탈부착 가능한 타입으로 제공될 수 있다.
도 3은 본 발명의 일 실시예에 따른 전자 장치의 구성을 나타내는 블록 구성도이다.
도 3을 참조하면, 일 실시예에 따르면 전자 장치(120)는 제2 통신 회로(310), 제2 제어 회로(320), 입력 장치(330), 디스플레이(340), 및 촬영 장치(350)를 포함할 수 있다. 일 실시예에서 전자 장치(120)는 사용자 단말이라고 나타낼 수도 있다. 한편 도 3에 도시된 바에 제한되지 않고, 전자 장치(120)는 도시된 구성들 보다 더 적은 구성들 또는 더 많은 구성들을 포함할 수 있다.
상기 제2 통신 회로(310)는 외부 장치(예: 관리 서버(110))와 통신할 수 있다. 예를 들면, 제2 통신 회로(310)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 외부 장치(예: 관리 서버(110)))와 통신을 설정하여, 설정된 통신을 통해 정보 및/또는 데이터를 교환할 수 있다. 상기 제2 통신 회로(310)는 전술한 관리 서버(110)의 제1 통신 회로(210)와 같이 구현될 수 있으므로 중복되는 설명은 생략한다.
상기 제2 제어 회로(320)는 전자 장치(120)의 전반적인 동작을 제어할 수 있다. 이를 위해 제2 제어 회로(320)는 각종 정보의 연산 및 처리를 수행하고 전자 장치(120)의 구성 요소들(예: 제2 통신 회로(310))의 동작을 제어할 수 있다. 상기 제2 제어 회로(320)는 전술한 관리 서버(110)의 제1 제어 회로(220)와 같이 구현될 수 있으므로 중복되는 설명은 생략한다.
상기 입력 장치(330)는 사용자로부터 정보를 입력 받을 수 있다(예: 인터페이스 상에서 사용자 입력(예: 핸드 라이팅, 드로잉, 다양한 종류의 터치, 텍스트 타이핑 등)을 수신). 상기 입력 장치(330)는 사용자 입력을 받거나 또는 사용자에게 정보를 출력하는 각종 인터페이스나 연결 포트 등일 수 있다.
상기 입력 장치(330)는 입력 모듈과 출력 모듈로 구분될 수 있는데, 입력 모듈은 사용자로부터 사용자 입력을 수신할 수 있다. 사용자 입력은 키 입력, 터치 입력, 음성 입력을 비롯한 다양한 형태로 이루어질 수 있다. 이러한 사용자 입력을 받을 수 있는 입력 모듈의 예로는 전통적인 형태의 키패드나 키보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서, 음성 신호를 입력받는 마이크, 영상 인식을 통해 제스처 등을 인식하는 카메라, 사용자 접근을 감지하는 조도 센서나 적외선 센서 등으로 구성되는 근접 센서, 가속도 센서나 자이로 센서 등을 통해 사용자 동작을 인식하는 모션 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념일 수 있다. 여기서, 터치 센서는 디스플레이 패널에 부착되는 터치 패널이나 터치 필름을 통해 터치를 감지하는 압전식 또는 정전식 터치 센서, 광학적인 방식에 의해 터치를 감지하는 광학식 터치 센서 등으로 구현될 수 있다. 이 경우, 상기 입력 장치(330)는 후술할 디스플레이(340) 내에 구현되어 사용자의 터치 입력을 수신할 수 있다. 다시 말해, 디스플레이(340)는, 상기 입력 장치(330)로서 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 이외에도 상기 입력 장치(330)는 자체적으로 사용자 입력을 감지하는 장치 대신 사용자 입력을 입력받는 외부의 입력 장치를 연결시키는 입력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다.
상기 디스플레이(340)는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 상기 디스플레이(340)는, 관리 서버(110)로부터 제공되는 인터페이스를 표시할 수 있다.
상기 촬영 장치(350)는 영상 및/또는 이미지를 촬영할 수 있다. 촬영 장치(350)는 CCD(Charge-Coupled Device) 또는 CMOS(Complimentary Metal Oxide Semiconductor)로 구성되는 복수의 이미지 센서들을 포함하며, 촬영 시 수광하여 수광 량을 픽셀 별로 전기적인 정보로 변환하여 촬영을 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 편집 가능한 문서 템플릿 제공 방법을 순서도이고, 도 5 내지 도 7은 본 발명의 일 실시예에 따른 편집 가능한 문서 템플릿 제공 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 사용자 단말은 촬영 장치를 통해 촬영한 이미지를 서버에 전송할 수 있으며, 서버는 획득한 이미지를 기반으로 편집 가능한 문서 템플릿을 생성할 수 있고, 생성한 문서 템플릿을 사용자 단말에게 제공할 수 있다.
보다 구체적으로 설명하면, S410 단계에서 서버는 사용자 단말로부터 촬영된 문서에 대한 제1 이미지 및 촬영된 문서의 사이즈 정보를 획득할 수 있다. 여기서, 사이즈 정보는 미리 설정된 복수의 후보 사이즈들 중 사용자가 사용자 단말을 통해 선택할 수도 있으며, 사용자가 사용자 단말을 통해 가로 사이즈 및 세로 사이즈를 직접 입력할 수도 있다.
S420 단계에서 서버는 획득한 제1 이미지 내의 제1 문구가 기재된 제1 영역을 특정할 수 있다. 도 5를 참조하면, 서버는 제1 이미지 전체에서 문구가 기재된 적어도 하나의 영역(510, 520, 530, 540, 550)을 특정할 수 있다. 즉, 서버는 제1 이미지 내에 문구가 기재된 영역이 복수인 경우, 각 영역을 개별적으로 특정할 수 있다. 예를 들어, 도 5와 같이 영역이 5개인 경우, 제1 영역(510), 제2 영역(520), 제3 영역(530), 제4 영역(540) 및 제5 영역(550)을 모두 특정할 수 있다. 문구가 기재된 영역을 특정하기 위하여 일 실시예는 공지의 OCR(Optical character reader) 기술을 이용할 수 있으나, 별도의 미리 학습된 문자 인식 모델을 이용할 수도 있다. 여기서, 미리 학습된 문자 인식 모델은 다양한 알고리즘을 통해 인공 신경망 모델을 학습시킨 모델을 나타낼 수 있으며, 보다 상세하게는 도 8에서 후술하겠다. 또한, 서버는 특정된 각 영역 별로 S420 단계 내지 S440 단계를 동일하게 수행할 수 있으므로, 이하에서는 설명의 편의를 위해 제1 영역(510)에 대해서만 설명하겠으나, 다른 영역에도 동일한 동작이 수행됨은 자명하다.
다시 도 4를 참조하면, S430 단계에서 서버는 제1 영역으로부터 제1 문구의 속성 정보를 추출할 수 있다. 즉, 서버는 특정한 제1 영역 내에 기재된 제1 문구에 대한 속성 정보를 추출할 수 있다. 여기서, 제1 문구의 속성 정보는 글꼴 정보, 크기 정보, 자간 정보, 행간 정보 및 장평 정보 중 적어도 하나를 포함할 수 있다. 여기서, 글꼴 정보는 서체 정보라고 나타낼 수도 있다.
예를 들어, 글꼴 정보는 미리 저장된 복수의 후보 글꼴들과 비교하여 추출될 수 있다. 또는 서버는 제1 문구와 동일한 적어도 하나의 문자를 미리 저장된 복수의 후보 글꼴들로 생성할 수 있으며, 생성한 적어도 하나의 문자와 제1 문구를 비교하여 제1 문구의 글꼴 정보를 추출할 수 있다. 또는 서버는 제1 문구에 포함된 문자가 일정 개수 이상인 경우, 제1 문구에 포함된 문자를 기반으로 미리 학습된 글꼴 생성 모델을 통해 제1 문구의 글꼴 정보를 생성할 수도 있다. 여기서, 미리 학습된 글꼴 생성 모델은 다양한 알고리즘을 통해 인공 신경망 모델을 학습시킨 모델을 나타낼 수 있으며, 보다 상세하게는 도 8에서 후술하겠다.
예를 들어, 자간 정보 및 장평 정보 중 적어도 하나는 추출된 글꼴 정보에 따라 제1 문구와 동일한 문자를 생성한 후, 생성한 문자와 제1 문구를 비교하여 추출할 수도 있다. 또는 서버는 미리 학습된 글꼴 생성 모델을 통해 새로운 제1 문구에 대한 글꼴 정보가 생성된 경우, 생성된 글꼴 정보에 해당 글꼴에 대응되는 자간 정보 및 장평 정보가 반영되어 있을 수 있는 바, 자간 정보 및 장평 정보가 생략될 수도 있다.
예를 들어, 크기 정보는 사용자 단말로부터 획득된 문서의 사이즈 정보 및 제1 이미지에서 제1 문구가 차지하는 크기 정보를 비교하여 추출될 수 있다. 또는 크기 정보는 제1 이미지의 크기 정보 및 제1 문구의 크기 정보를 기반으로 임시 크기 정보가 결정된 이후, 출력 신호가 수신되는 경우 문서의 사이즈 정보를 기반으로 조정될 수도 있다.
예를 들어, 행간 정보는 특정된 제1 영역(510)에 복수의 줄로 제1 문구가 기재되어 있는 경우, 추출될 수 있다. 예를 들어, 제1 영역(510) 내의 제1 문구의 첫 번째 줄에 기재된 문자와 두 번째 줄에 기재된 문자 간의 제1 이미지 내의 줄 간격 정보 및 문서의 사이즈 정보를 기반으로 추출될 수 있다. 또는 행간 정보는 크기 정보와 마찬가지로 제1 이미지의 크기 정보 및 줄 간격 정보를 기반으로 임시 행간 정보가 결정된 이후, 출력 신호가 수신되는 경우 문서의 사이즈 정보를 기반으로 조정될 수도 있다.
S440 단계에서 서버는 제1 이미지 내의 제1 영역의 제1 위치 정보를 추출할 수 있다. 도 6을 참조하면, 제1 위치 정보는 제1 이미지 내에서 제1 영역의 좌상측 픽셀의 위치 정보를 나타낼 수 있다. 다시 말해, 좌상측 픽셀은 제1 영역에서 가장 좌측에 위치하며 가장 상측에 위치하는 픽셀을 나타낼 수 있고, 좌상측 픽셀의 위치 정보는 제1 이미지의 상측 경계(제1 이미지의 상측 변) 및 상기 좌상측 픽셀 간의 최단 거리(610) 및 제1 이미지의 좌측 경계(제1 이미지의 좌측 변) 및 상기 좌상측 픽셀 간의 최단 거리(620)를 포함할 수 있다. 여기서, 좌상측 픽셀의 위치 정보는 픽셀 단위의 기준 위치 정보라고 나타낼 수도 있다.
제1 위치 정보는 픽셀의 위치 정보뿐만 아니라 제1 영역의 크기 정보도 포함할 수 있다. 여기서, 크기 정보는 제1 이미지 내의 제1 영역이 차지하는 영역의 크기를 나타낼 수 있으며, 문서의 사이즈 정보 및 제1 이미지 내의 제1 영역이 차지하는 크기 정보를 기반으로 추출될 수 있다. 이를 통해, 일 실시예는 제1 영역의 시작 지점을 픽셀의 위치 정보를 기반으로 결정할 수 있고, 시작 지점 및 제1 영역의 크기 정보를 기반으로 제1 이미지 내의 제1 영역을 정확히 나타낼 수 있다. 또는 제1 영역의 크기는 제1 영역의 가로 픽셀 수 및 세로 픽셀 수를 포함할 수도 있다.
다시 도 4를 참조하면, S450 단계에서 서버는 제1 이미지, 사이즈 정보, 제1 위치 정보 및 제1 문구의 속성 정보를 기반으로 편집 가능한 제1 문서 템플릿을 생성할 수 있다. 즉, 서버는 추출한 정보들 및 제1 이미지를 기반으로 문서 템플릿을 생성할 수 있다.
도 7을 참조하면, 제1 문서 템플릿은 및 제1 문구 대신에 기재된 문구가 입력되는 제1 문구 입력 영역(710) 및 템플릿 이미지(720)를 포함하는 인터페이스로 사용자에게 제공될 수 있다. 여기서, 제1 문구 입력 영역(710)에 사용자가 특정 문자(또는 수정 문구)를 입력하는 경우, 템플릿 이미지(720) 내의 제1 문구 입력 영역(710)에 대응되는 제1 영역(510)에 입력한 문자가 제1 문구의 속성 정보에 따라 입력될 수 있다. 또한, 다른 문구 입력 영역 및 다른 영역들도 동일하게 동작되므로, 중복되는 설명은 생략하도록 하겠다.
여기서, 템플릿 이미지(720)는 제1 이미지에서 특정된 영역 내의 문구들이 삭제된 이미지일 수 있다. 예를 들어, 템플릿 이미지(720) 내의 특정된 영역 내에서 문구는 제1 이미지에서 삭제될 수 있고, 제1 이미지에서 삭제된 문구의 인접한 적어도 하나의 픽셀을 이용하여 삭제된 문구에 대응되는 영역이 채워져 템플릿 이미지(720)가 생성될 수 있다. 이러한 동작에 미리 학습된 배경 추정 모델이 이용될 수 있다. 즉, 일 실시예는 미리 학습된 배경 추정 모델을 통해 제1 이미지로부터 제1 문구만이 삭제되고, 제1 문구가 존재하던 영역이 제1 문구의 주변 이미지를 기반으로 채워진 템플릿 이미지(720)를 획득할 수 있다. 여기서, 미리 학습된 배경 추정 모델은 다양한 알고리즘을 통해 인공 신경망 모델을 학습시킨 모델을 나타낼 수 있으며, 보다 상세하게는 도 8에서 후술하겠다.
다시 말해, 일 실시예는 제1 영역에 대한 제1 위치 정보를 기반으로 상기 제1 이미지에서 상기 제1 문구를 상기 제2 문구로 대체하여 수정 문서 파일을 생성할 수 있다. 여기서, 수정 문서 파일은 템플릿 이미지(720)에 제1 영역에 제2 문구가 입력된 파일을 나타낼 수 있다.
다시 도 4를 참조하면, S460 단계에서 서버는 제1 문서 템플릿을 데이터베이스에 저장할 수 있다. 즉, 서버는 생성한 문서 템플릿을 데이터베이스에 저장하고 있을 수 있으며, 사용자 단말을 통해 사용자가 요청하는 경우, 데이터베이스에 저장된 문서 템플릿을 기반으로 상술한 인터페이스를 사용자 단말에게 제공할 수 있다. 예를 들어, 서버는 사용자 단말로부터 사용자의 계정 정보 또는 인증 정보를 획득하는 경우, 계정 정보 또는 인증 정보와 사용자가 이용하였던 적어도 하나의 문서 템플릿을 매칭하여 저장할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 편집 가능한 문서 템플릿 제공 방법에서 이용되는 인공 신경망을 도시한 개념도이다.
도 8를 참조하면, 인공 신경망은 입력 레이어(IL), 복수의 히든 레이어들(HL1, HL2, ..., HLn) 및 출력 레이어(OL)를 포함할 수 있다.
입력 레이어(IL)는 i(i는 자연수)개의 입력 노드들(x1, x2, ..., xi)을 포함할 수 있다. 그리고, 길이가 i인 벡터 입력 데이터가 입력 노드에 입력될 수 있다.
복수의 히든 레이어들(HL1, HL2, ..., HLn)은 n(n은 자연수)개의 히든 레이어들을 포함하며, 히든 노드들(h11, h12, h13, ..., h1m, h21, h22, h23, ..., h2m, hn1, hn2, hn3, ..., hnm)을 포함할 수 있다. 예를 들어, 히든 레이어(HL1)는 m(m은 자연수)개의 히든 노드들(h11, h12, h13, ..., h1m)을 포함할 수 있고, 히든 레이어(HL2)는 m개의 히든 노드들(h21, h22, h23, ..., h2m)을 포함할 수 있으며, 히든 레이어(HLn)는 m개의 히든 노드들(hn1, hn2, hn3, ..., hnm)을 포함할 수 있다.
출력 레이어(OL)는 분류할 클래스에 대응하는 j(j는 자연수)개의 출력 노드들(y1, y2, ..., yj)을 포함할 수 있고, 입력 데이터에 대하여 각 클래스 별로 결과(예를 들어, 점수 또는 class score)를 출력할 수 있다. 출력 레이어(OL)는 전연결(fully connected) 레이어라고 부를 수 있다.
도 8에 도시된 인공 신경망은 두 개의 노드들 사이에 직선으로 도시된 노드들 간의 연결(branch)과, 연결되는 노드들 간의 가중치(weight) 값들을 포함할 수 있다. 여기서, 하나의 레이어 내의 노드들은 서로 연결이 되지 않을 수 있고, 서로 다른 레이어들에 포함되는 노드들은 완전하게 혹은 부분적으로 연결될 수 있다.
도 8의 각 노드(예를 들어, h11)는 이전 노드(예를 들어, x1)의 출력을 입력 받아 연산할 수 있고, 연산 결과를 이후 노드(예를 들어, h21)에게 전달할 수 있다. 여기서, 노드들 각각은 입력된 값을 특정 함수(예를 들어, 비선형 함수)에 적용하여 출력할 값을 연산할 수 있다.
일반적으로 인공 신경망의 구조는 미리 결정되어 있으며, 노드들 간의 연결에 따른 가중치들은 이미 어떤 클래스에 속할지 정답이 알려진 데이터를 이용하여 적절한 값을 산정할 수 있다. 이미 정답이 알려진 데이터들을 '학습 데이터'라고 지칭하고, 가중치를 결정하는 과정을 '학습'이라고 지칭할 수 있다. 또한, 독립적으로 학습이 가능한 구조와 가중치의 묶음을 '모델'이라고 지칭할 수 있다.
도 4 내지 도 7와 함께 설명한 미리 학습된 문자 인식 모델, 미리 학습된 글꼴 생성 모델 및 미리 학습된 배경 추정 모델 중 적어도 하나는 도 8에 도시된 인공 신경망을 이용할 수 있다. 또는 예를 들어, 각 모델에 대하여 심층 신경망(Deep, Neural Network, DNN), 합성곱 신경망(convolutional neural networks, CNN) 또는 순환신경망(recurrent neural networks, RNN) 등의 주지의 다양한 알고리즘 또는 신경망 중 최적의 효율이 도출되는 알고리즘 또는 신경망이 이용될 수도 있다.
예를 들어, 문자 인식 모델은 학습용 문자 및 학습용 문자가 포함된 학습용 이미지를 학습 데이터 셋으로 구성하여 이미지가 입력되는 경우, 이미지에 포함된 문자 또는 문자의 영역이 출력되도록 학습이 수행될 수 있다. 또는 예를 들어, 글꼴 생성 모델은 학습용 복수의 문자들 및 학습용 복수의 문자들에 대응되는 학습용 글꼴 정보를 학습 데이터 셋으로 구성하여 복수의 문자가 입력되는 경우, 복수의 문자에 대응되는 글꼴 정보가 출력되도록 학습이 수행될 수 있다. 여기서, 글꼴 정보는 모든 문자에 대한 형태 정보를 나타낼 수 있다. 또는 예를 들어, 배경 추정 모델은 학습용 전체 이미지 및 학습용 전체 이미지에서 일부 영역을 삭제한 학습용 삭제 이미지를 학습 데이터 셋으로 구성하여 일부 영역이 삭제된 삭제 이미지가 입력되는 경우, 삭제된 일부 영역이 추정되어 삭제된 일부 영역이 채워진 전체 이미지가 출력되도록 학습이 수행될 수 있다.
도 9는 본 발명의 일 실시예에 따른 문서 템플릿에서 사용자에 의해 영역의 크기가 변경되는 모습을 나타낸 도면이다.
도 9를 참조하면, 사용자는 문구 입력 영역을 통해 수정 문구를 입력할 수 있으며, 수정 문구는 제1 문구의 속성 정보를 기반으로 제2 문구로 변환되어 템플릿 이미지 내에 제1 문구의 영역에 입력될 수 있다.
예를 들어, 제1 문구의 제1 영역은 크기 정보가 추출되어 미리 설정되어 있는 바, 제1 문구의 글자 수보다 제2 문구의 글자 수가 많을 경우, 제2 문구는 크기가 조절되어 제1 영역 내에 모두 입력될 수 있다. 이 때 제2 문구는 제1 영역 내에 제2 문구의 글자가 모두 들어갈 수 있는 후보 크기 중 가장 큰 크기로 조절될 수 있다.
다만, 미리 템플릿 이미지 내의 문구가 입력된 제1 영역은 사용자에 의해 크기가 조절될 수도 있다. 이 경우, 조절된 제1 영역의 크기에 따라 제2 문구의 크기가 조절될 수 있다. 즉, 제2 문구는 제1 문구의 속성 정보에 따른 크기 정보에 따른 크기를 기준 크기로 입력될 수 있으며, 제1 영역 내에 제2 문구의 글자가 모두 들어갈 수 없는 경우, 상술한 바와 같이 크기가 조절될 수 있고, 제1 영역의 크기가 커지는 경우, 제2 문구는 제1 영역의 크기에 따라 함께 크기가 조절되나, 최대 크기가 상기 기준 크기로 설정될 수 있다.
다시 말해, 일 실시예는 사용자가 사용자 단말을 통해 제1 이미지 또는 템플릿 이미지 내의 제1 영역의 크기를 변경하는 경우, 크기가 변경된 제1 영역에 제1 문구를 상기 제2 문구로 대체하여 수정 문서 파일을 생성할 수 있다.
도 10은 본 발명의 일 실시예에 따른 생성된 수정 문서 파일의 출력 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 일 실시예는 사용자에 의해 문서 템플릿에 기반한 수정 문서 파일 또는 기존의 제1 이미지를 사용자의 위치 및 출력 업체의 위치 등을 고려하여 효율적으로 문서를 출력할 수도 있다.
예를 들어, 일 실시예에 따른 관리 서버(이하, 서버(110))는 문서 템플릿에 기반한 수정 문서 파일이 생성된 경우, 생성된 수정 문서 파일을 사용자 단말(120)에게 제공할 수 있으며, 사용자는 사용자 단말(120)을 통해 수정 문서 파일을 확인한 후, 곧바로 수정 문서 파일에 대한 인쇄를 요청할 수 있다. 이 때, 서버(110)는 사용자 단말(120)로부터 수정 문서 파일에 대한 인쇄 요청 정보 및 배송지 정보를 획득할 수 있다. 여기서, 인쇄 요청 정보는 인쇄 부수를 포함할 수 있고, 인쇄지에 관한 정보를 더 포함할 수도 있다.
이후, 일 실시예에 따른 서버(110)는 인쇄 요청 정보 및 배송지 정보를 기반으로 수정 문서 파일 및 인쇄 주문서에 대한 인쇄 신호를 출력할 수 있다. 여기서, 인쇄 주문서는 인쇄 요청일, 인쇄 부수, 인쇄지 정보 및 배송지 정보 중 적어도 하나를 포함할 수 있다.
인쇄 신호는 관리 서버(110)에 연결된 프린터 서버(130)로 송신될 수 있으며, 프린터 서버(130)는 수신한 인쇄 신호를 기반으로 인쇄물을 출력할 수 있다. 즉, 프린터 서버(130)는 연결된 프린터 장치를 통해 인쇄 신호를 기반으로 수정 문서 및 인쇄 주문서를 출력할 수 있다.
또는 예를 들어, 관리 서버(110)는 복수의 프린터 서버(130)와 연결되어 있을 수 있다. 이 경우, 관리 서버(110)는 복수의 프린터 서버(130)의 위치 정보를 저장하고 있을 수 있으며, 배송지 정보 및 복수의 프린터 서버(130)의 위치 정보를 비교하여 배송지 정보로부터 일정 거리 내에 위치하는 프린터 서버(130)를 결정하고, 결정한 프린터 서버(130)로 인쇄 신호를 송신할 수 있다.
또는 예를 들어, 관리 서버(110)는 사용자 단말(120)로부터 방문 수령 및 배송 중 하나를 나타내는 전달 방법 정보를 획득할 수 있다. 예를 들어, 관리 서버(110)는 전달 방법 정보가 방문 수령을 나타내는 경우, 복수의 프린터 서버(130) 중 배송지 정보로부터 가장 가까운 상위 N개의 프린터 서버(130)에 관한 정보 및 상기 상위 N개의 프린터 서버(130)의 위치 정보를 사용자 단말(120)에게 제공할 수 있다. 여기서, N은 미리 설정된 자연수 중 하나일 수 있다. 이후, 사용자 단말(120)에 의해 상위 N개의 프린터 서버(130) 중 특정 프린터 서버(130)가 선택되는 경우, 특정 프린터 서버(130)로 인쇄 신호를 송신할 수 있다.
또한, 관리 서버(110)는 복수의 프린터 서버(130)로부터 인쇄 신호에 따른 인쇄 작업을 수행할 경우 인쇄 완료 예상 시간 정보를 획득할 수 있으며, 이를 기반으로 상기 복수의 프린터 서버(130) 중 인쇄 완료 예상 시간이 임계 시간 이상인 프린터 서버(130)를 제외한 후, 배송지 정보로부터 가장 가까운 상위 N개의 프린터 서버(130)의 위치 정보를 사용자 단말(120)에게 제공할 수도 있다. 이 경우, 관리 서버(110)는 사용자 단말(120)에 의해 상위 N개의 프린터 서버(130)에 관한 정보 및 상기 상위 N개의 프린터 서버(130)의 위치 정보를 사용자 단말(120)에게 제공할 수 있으며, 사용자 단말(120)에 의해 상위 N개의 프린터 서버(130) 중 특정 프린터 서버(130)가 선택되는 경우, 특정 프린터 서버(130)로 인쇄 신호를 송신하며, 사용자 단말(120)에게 특정 프린터 서버(130)의 위치 정보 및 인쇄 완료 예상 시간 정보를 제공할 수 있다.
또는 예를 들어, 관리 서버(110)는 전달 방법 정보가 배송을 나타내는 경우, 복수의 프린터 서버(130) 중 배송지 정보로의 배송 비용 정보 및 배송 완료 예상 시점 정보 중 적어도 하나를 기반으로 상위 N개의 프린터 서버(130)에 관한 정보, 상기 상위 N개의 프린터 서버(130)의 배송 비용 정보 및 상기 상위 N개의 프린터 서버(130)의 배송 완료 예상 시점 정보 중 적어도 하나를 사용자 단말(120)에게 제공할 수 있다. 이후, 사용자 단말에 의해 상위 N개의 프린터 서버(130) 중 특정 프린터 서버(130)가 선택되는 경우, 특정 프린터 서버(130)로 인쇄 신호를 송신할 수 있다.
본 명세서의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

  1. 서버에 의해 수행되는 이미지에 기반한 문서 템플릿 생성 방법으로서,
    사용자 단말로부터 촬영된 문서에 대한 제1 이미지 및 상기 문서의 사이즈 정보를 획득하는 단계;
    상기 제1 이미지 내의 제1 문구가 기재된 제1 영역을 특정하는 단계;
    상기 제1 영역으로부터 상기 제1 문구의 속성 정보를 추출하는 단계;
    상기 제1 이미지 내의 상기 제1 영역의 제1 위치 정보를 추출하는 단계; 및
    상기 제1 이미지, 상기 사이즈 정보, 상기 제1 위치 정보 및 상기 제1 문구의 속성 정보를 기반으로 편집 가능한 제1 문서 템플릿을 생성하고, 상기 제1 문서 템플릿을 데이터베이스에 저장하는 단계를 포함하고,
    상기 제1 문구의 속성 정보는 글꼴 정보, 크기 정보, 자간 정보, 행간 정보 및 장평 정보를 포함하고,
    상기 사용자 단말로부터 상기 데이터베이스에 저장된 적어도 하나의 문서 템플릿 중 상기 제1 문서 템플릿이 선택되는 단계: 및
    상기 제1 문서 템플릿에 대응되는 템플릿 이미지 및 상기 템플릿 이미지 내에 상기 제1 문구 대신에 기재될 문구가 입력되는 문구 입력 영역을 포함하는 인터페이스를 상기 사용자 단말에게 제공하는 단계를 더 포함하고,
    상기 템플릿 이미지는 상기 제1 이미지에서 상기 제1 문구가 삭제된 이미지를 나타내고, 상기 템플릿 이미지 내의 상기 삭제된 제1 문구에 대응되는 영역은 상기 삭제된 문구에 인접한 적어도 하나의 픽셀을 기반으로 채워지고,
    상기 제1 영역은 사각형 형태의 영역을 나타내고,
    상기 제1 위치 정보는 상기 제1 이미지 내에서 상기 제1 영역에 포함된 복수의 픽셀들 중 미리 설정된 특정 픽셀의 위치에 해당하는 픽셀 단위의 기준 위치 정보를 포함하고, 상기 기준 위치 정보는 상기 제1 이미지의 상측 경계 및 상기 특정 픽셀 간의 픽셀 단위의 최단 거리 및 상기 제1 이미지의 좌측 경계 및 상기 특정 픽셀 간의 픽셀 단위의 최단 거리를 포함하는, 이미지에 기반한 문서 템플릿 생성 방법.
KR1020220170638A 2022-04-14 2022-12-08 이미지에 기반한 문서 템플릿 생성 방법 및 장치 KR20230147513A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220170638A KR20230147513A (ko) 2022-04-14 2022-12-08 이미지에 기반한 문서 템플릿 생성 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220046228A KR102477177B1 (ko) 2022-04-14 2022-04-14 촬영된 문서에 대응하는 편집 가능한 문서 템플릿을 제공하기 위한 전자 장치 및 그 동작 방법
KR1020220170638A KR20230147513A (ko) 2022-04-14 2022-12-08 이미지에 기반한 문서 템플릿 생성 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220046228A Division KR102477177B1 (ko) 2022-04-14 2022-04-14 촬영된 문서에 대응하는 편집 가능한 문서 템플릿을 제공하기 위한 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20230147513A true KR20230147513A (ko) 2023-10-23

Family

ID=84438638

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220046228A KR102477177B1 (ko) 2022-04-14 2022-04-14 촬영된 문서에 대응하는 편집 가능한 문서 템플릿을 제공하기 위한 전자 장치 및 그 동작 방법
KR1020220170638A KR20230147513A (ko) 2022-04-14 2022-12-08 이미지에 기반한 문서 템플릿 생성 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020220046228A KR102477177B1 (ko) 2022-04-14 2022-04-14 촬영된 문서에 대응하는 편집 가능한 문서 템플릿을 제공하기 위한 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (2) KR102477177B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160144136A (ko) 2015-06-08 2016-12-16 (주)봄티비커뮤니케이션 스마트카탈로그 생성 방법 및 프로그램
KR20190095651A (ko) 2018-02-07 2019-08-16 삼성에스디에스 주식회사 문자 학습 트레이닝 데이터 생성 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150039367A (ko) * 2013-10-02 2015-04-10 주식회사 유라이프소프트 차량번호 인식 시스템
KR20200020305A (ko) * 2018-08-17 2020-02-26 에스케이플래닛 주식회사 문자 인식을 위한 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160144136A (ko) 2015-06-08 2016-12-16 (주)봄티비커뮤니케이션 스마트카탈로그 생성 방법 및 프로그램
KR20190095651A (ko) 2018-02-07 2019-08-16 삼성에스디에스 주식회사 문자 학습 트레이닝 데이터 생성 장치 및 그 방법

Also Published As

Publication number Publication date
KR102477177B1 (ko) 2022-12-14

Similar Documents

Publication Publication Date Title
CN107844463B (zh) 基于视觉相似性的字体替换
JP6507472B2 (ja) 処理方法、処理システム及びコンピュータプログラム
US11468694B1 (en) Systems and methods for document image processing using neural networks
CN1859541B (zh) 图像处理设备及其控制方法
US20170220858A1 (en) Optical recognition of tables
KR20210130790A (ko) 문서들에서 키-값 쌍들의 식별
US20150193387A1 (en) Cloud-based font service system
JP2020173808A (ja) ページ記述言語ジョブの解析によるニューラルネットワーク用光学式文字認識トレーニングデータの生成
WO2023202197A1 (zh) 文本识别方法及相关装置
US10839146B2 (en) Information processing system, information processing apparatus, control method, and storage medium
CN107133615A (zh) 信息处理设备和信息处理方法
KR20240012245A (ko) 자연어처리 기반의 인공지능 모델을 이용한 faq를 자동생성하기 위한 방법 및 이를 위한 장치
KR102477177B1 (ko) 촬영된 문서에 대응하는 편집 가능한 문서 템플릿을 제공하기 위한 전자 장치 및 그 동작 방법
US9792263B2 (en) Human input to relate separate scanned objects
CN113807326B (zh) 制式表格文字识别方法和装置
KR101951706B1 (ko) 이미지 형태의 컨텐츠의 가독성 향상을 위한 장치 및 방법
US20210073458A1 (en) Comic data display system, method, and program
KR101773064B1 (ko) 이미지 형태의 컨텐츠의 가독성 향상을 위한 장치 및 방법
US20200394733A1 (en) Systems and methods for mobile device-based legal self help
TWM491194U (zh) 資料校對平台伺服器
CN114398858A (zh) 一种文档显示的方法、相关装置、设备以及存储介质
CN114550185B (zh) 一种文档生成的方法、相关装置、设备以及存储介质
CN104850316A (zh) 电子图书字体调整方法及装置
JP2006277399A (ja) 認識処理システム
US10929076B2 (en) Automatic scaling for legibility