KR20230009742A - 필기 텍스트를 포함하는 문서에서의 텍스트 레이어 및 이미지 레이어의 편집 - Google Patents

필기 텍스트를 포함하는 문서에서의 텍스트 레이어 및 이미지 레이어의 편집 Download PDF

Info

Publication number
KR20230009742A
KR20230009742A KR1020210090519A KR20210090519A KR20230009742A KR 20230009742 A KR20230009742 A KR 20230009742A KR 1020210090519 A KR1020210090519 A KR 1020210090519A KR 20210090519 A KR20210090519 A KR 20210090519A KR 20230009742 A KR20230009742 A KR 20230009742A
Authority
KR
South Korea
Prior art keywords
text
image
layer
handwritten
character
Prior art date
Application number
KR1020210090519A
Other languages
English (en)
Inventor
김유나
이해기
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority to KR1020210090519A priority Critical patent/KR20230009742A/ko
Priority to PCT/US2021/065274 priority patent/WO2023282931A1/en
Priority to US18/577,848 priority patent/US20240330572A1/en
Publication of KR20230009742A publication Critical patent/KR20230009742A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/109—Font handling; Temporal or kinetic typography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 개시는, 프로세서; 및 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고, 프로세서는, 명령어들을 실행함으로써, 텍스트를 포함하는 텍스트 레이어 및 텍스트에 대응하는 필기 이미지를 포함하는 이미지 레이어를 획득하고, 사용자의 편집 요청에 연관된 텍스트를 결정하고, 텍스트 레이어에서, 결정된 텍스트를 구성하는 적어도 하나의 문자를 리트리브(retrieve)하고, 이미지 레이어에서, 리트리브된 적어도 하나의 문자에 맵핑된 적어도 하나의 문자 이미지를 리트리브하고, 리트리브된 적어도 하나의 문자 이미지를 포함하는 제1 필기 이미지를 이미지 레이어에 반영하도록 구성된, 전자 장치를 제공한다.

Description

필기 텍스트를 포함하는 문서에서의 텍스트 레이어 및 이미지 레이어의 편집{EDIT OF TEXT LAYER AND IMAGE LAYER IN DOCUMENT INCLUDING HANDWRITTEN TEXT}
화상 형성 장치는 스캔 문서에 대한 저장 포맷, 파일명, 및 스캔 문서를 전송할 목적지에 대한 설정 정보를 입력 받을 수 있다. 화상 형성 장치에서 소정 문서에 대한 스캔 작업 명령이 수신되면, 화상 형성 장치는 설정 정보에 기초하여, 소정 문서에 대한 스캔 작업을 수행할 수 있다. 예를 들면, 화상 형성 장치는 저장 포맷 및 파일명에 따라 스캔 문서에 대한 파일을 생성하고, 생성된 파일을 설정된 목적지로 전송할 수 있다.
스캔 문서 파일이 필기 텍스트를 포함할 경우, 광학 문자 인식(optical character recognition; OCR), 지능형 문자 인식(intelligent character recognition; ICR) 등을 통해 해당 필기 텍스트가 컴퓨터 가독 텍스트(computer readable text)로 변환될 수 있다. 사용자는 변환된 텍스트를 포함하는 문서 파일에서 특정 단어를 검색할 수 있다. 사용자는, 변환된 텍스트를 포함하는 문서 파일을 열어, 해당 텍스트를 편집할 수 있다. 또는, 사용자는 변환된 텍스트가 저장되지 않은 문서 파일, 즉, 문서 파일에 대해 OCR, ICR 등이 수행된 후, 인식 결과가 저장되지 않은 파일에서 텍스트를 편집한 후 해당 파일을 저장할 수 있다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 문서 데이터를 편집하는 방법을 나타내는 일 예의 흐름도이다.
도 2는 이미지에서 텍스트를 인식하는 방법을 나타내는 일 예의 흐름도이다.
도 3은 이미지에서 텍스트를 인식하는 유저 인터페이스(user interface; UI)의 일 예를 도시한다.
도 4는 문서 데이터의 일 예를 도시한다.
도 5a는 문서 데이터를 편집하는 방법을 나타내는 일 예의 흐름도이다.
도 5b는 문서 데이터를 편집하는 방법을 나타내는 다른 일 예의 흐름도이다.
도 6은 문서 데이터에서 내용을 삭제하는 일 예를 도시한다.
도 7은 문서 데이터에서 내용을 삽입하기 위해 텍스트를 리트리브하는 일 예를 도시한다.
도 8은 문서 데이터에서 내용을 삽입하는 일 예를 도시한다.
도 9는 문서 데이터에서 내용을 삽입하는 다른 일 예를 도시한다.
도 10은 문서 데이터에서 내용을 치환하기 위해 텍스트를 리트리브하는 일 예를 도시한다.
도 11은 문서 데이터에서 내용을 치환하는 일 예를 도시한다.
도 12는 내용이 편집된 문서 데이터의 일 예를 도시한다.
도 13은 문서 데이터를 편집하는 방법을 나타내는 일 예의 흐름도이다.
도 14는 문서 데이터에서 내용을 삽입하기 위해 폰트를 검색하는 일 예를 도시한다.
도 15는 전자 장치의 구성을 도시한 일 예의 블록도이다.
도 16은 컴퓨터 판독 가능 저장매체에 저장된 명령어들을 설명하기 위한 일 예의 도면이다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있고, 제1 구성요소 및 제2 구성요소에서 서수가 생략될 수 있다.
"전자 장치"는 사용자의 명령을 수신하고, 사용자의 명령에 따라 처리된 정보를 표시하는 장치일 수 있다. 예를 들면, 전자 장치는, 화상 형성 장치, 컴퓨터, PC(Personal Computer), 태블릿 PC, PDA(Personal Digital Assistant), 랩톱, 스마트폰, 휴대폰 등과 같은 장치일 수 있다. 전자 장치에는 전자 장치 또는 외부 장치의 동작과 관련된 프로그램이 설치될 수 있다. 예를 들어, 전자 장치에는 후술하는 예들의 동작과 관련된 프로그램이 설치될 수 있다.
"화상 형성 장치"는 프린터(printer), 스캐너(scanner), 팩스기(fax machine), 복합기(multi-function printer, MFP) 또는 디스플레이 장치 등과 같이 화상 형성 작업을 수행할 수 있는 모든 종류의 장치일 수 있다. 또한, 화상 형성 장치는 2D 화상 형성 장치, 또는 3D 화상 형성 장치일 수 있다. "화상 형성 장치에서 수행되는 화상 형성 작업"은 인쇄, 복사, 스캔, 팩스, 저장, 전송, 코팅 등과 관련된 작업일 수 있고, 상기 작업 중 둘 이상을 조합한 작업일 수 있다.
"문서 데이터"는 텍스트 레이어 및 이미지 레이어에 연관되는 데이터일 수 있다. 예를 들어, 문서 데이터는 텍스트 레이어 및 이미지 레이어를 포함할 수 있다. 텍스트 레이어 및 이미지 레이어를 포함하는 문서 데이터는 서쳐블(searchable) 문서 데이터로 지칭될 수 있다. 문서 데이터는 3개 이상의 레이어를 포함할 수도 있다. 예를 들어, 문서 데이터는 텍스트 레이어, 이미지 레이어, 테이블 레이어 등을 포함할 수도 있다. 문서 데이터는 이동가능 문서 형식 (portable document format; PDF)을 가질 수 있으나, 이에 제한되지 않는다. 문서 데이터는 필기 텍스트를 포함하는 문서를 가리킬 수 있다.
문서 데이터는 이미지 레이어만을 포함할 수 있고, 이미지 레이어만을 포함하는 문서 데이터는 이미지-온니(image-only) 문서 데이터로 지칭될 수 있다. 이미지-온니 문서 데이터는 이동가능 문서 형식을 가질 수 있으나, 이에 제한되지 않는다. 예를 들어, 이미지-온니 문서 데이터는 이미지 데이터일 수 있고, 이미지 데이터는 JPG, TIFF, BMP, PNG 등과 같은 확장자를 갖는 이미지 파일일 수 있다. 이미지 데이터는 복수의 이미지 페이지들로 구성될 수 있다. 텍스트 인식을 통해 이미지-온니 문서 데이터 또는 이미지 데이터의 이미지로부터 텍스트가 인식될 수 있고, 인식된 텍스트가 텍스트 레이어에 저장될 수 있다.
문서 데이터의 "이미지 레이어"는 문서 데이터의 이미지에 관한 정보가 저장되는 레이어일 수 있다. 예를 들어, 스캔되거나 촬영된 문서 데이터의 텍스트가 OCR, ICR 등을 이용하여 인식되기 전에는, 해당 문서 데이터는 이미지 레이어만을 포함하고 있을 수 있다.
문서 데이터의 "텍스트 레이어"는 문서 데이터의 텍스트에 관한 정보가 저장되는 레이어일 수 있다. 예를 들어, 스캔되거나 촬영된 문서 데이터의 텍스트가 OCR, ICR 등을 이용하여 인식되면, 해당 문서 데이터는 이미지 레이어 및 텍스트 레이어를 포함하고 있을 수 있다. 필기 텍스트를 포함하는 문서에서, 해당 필기 텍스트는 OCR, ICR 등을 이용하여 인식되어, 그에 대응하는 컴퓨터 가독 텍스트가 생성될 수 있다.
문서 데이터에 연관되는 이미지 레이어 및 텍스트 레이어는, 문서 데이터에 포함되는 형식으로 저장될 수 있으나, 이에 제한되지 않는다. 예를 들어, 이미지를 스캔하여 생성된 스캔 이미지, 및 스캔 이미지로부터 인식된 텍스트가 메모리에 저장된 형태로 문서 데이터에 연관될 수 있다. 메모리에 저장된 스캔 이미지 및 텍스트는, 이동가능 문서 형식으로서 저장될 수 있다.
문서 데이터의 이미지 레이어 또는 문서 데이터의 텍스트 레이어는, 메모리에 저장되어 있고, 메모리에 저장되어 있던 이미지 레이어 및 텍스트 레이어가, 사용자에 의해 또는 미리 결정된 조건에 의해, 문서 데이터에 포함되는 형식으로 저장될 수 있다.
문서 데이터의 이미지 레이어 또는 문서 데이터의 텍스트 레이어와 같은 표현은, 해당 이미지 레이어 또는 텍스트 레이어가 문서 데이터에 포함된다는 의미로 제한되지 않으며, 문서 데이터에 포함되는 형식으로 저장될 수 있는 이미지 레이어 또는 텍스트 레이어를 가리킬 수 있다. 예를 들어, 문서 데이터의 이미지 레이어는, 이미지를 스캔하여 메모리에 저장된 스캔 이미지를 가리킬 수 있다. 예를 들어, 문서 데이터의 텍스트 레이어는, 스캔 이미지로부터 인식되어 메모리에 저장된 텍스트를 가리킬 수 있다. 메모리에 저장된 스캔 이미지 및 그에 대응하는 텍스트는, 문서 데이터에 포함되는 형식으로 저장될 수 있다.
문서 데이터의 텍스트 레이어와 이미지 레이어는 서로 맵핑될 수 있다. 예를 들어, 사용자의 자필로 작성된 문서 데이터에 대해 OCR, ICR 등이 수행될 경우, 사용자의 자필 텍스트 이미지는, OCR, ICR등을 통해 인식된 텍스트와 맵핑될 수 있다. 문서 데이터는 이미지 레이어와 텍스트 레이어 간 맵핑에 관한 정보를 저장할 수 있다. 이러한 맵핑에 관한 정보는 이미지 레이어 및 텍스트 레이어에 각각 저장되거나, 어느 한 레이어에만 저장될 수도 있고, 문서 데이터의 레이어 외의 다른 영역에 저장될 수도 있다.
문서 데이터의 이미지 레이어는 필기 이미지를 포함할 수 있고, 이러한 필기 이미지는 OCR, ICR 등을 통해 컴퓨터 가독 가능한 텍스트로 변환될 수 있다.
문서 데이터의 텍스트 레이어는 텍스트를 포함할 수 있고, 이러한 텍스트는 컴퓨터 가독 가능하도록 OCR, ICR 등을 통해 변환된 텍스트일 수 있다.
도 1은 문서 데이터를 편집하는 방법을 나타내는 일 예의 흐름도이다.
블록 110에서, 전자 장치는 텍스트 레이어 및 이미지 레이어를 획득할 수 있다. 획득된 텍스트 레이어 및 이미지 레이어는 문서 데이터에 연관될 수 있다. 예를 들어, 이미지 레이어 및 텍스트 레이어가 문서 데이터에 포함될 수 있다. 텍스트 레이어를 포함하고 있지 않거나, 텍스트 레이어에 연관되어 있지 않은 문서 데이터에 대해 OCR, ICR 등이 수행되어 그로부터 텍스트가 인식될 수 있고, 이로써, 문서 데이터는, 인식된 텍스트를 포함하는 텍스트 레이어에 연관될 수 있다.
블록 120에서, 전자 장치는 사용자의 편집 요청을 수신할 수 있다. 편집 요청은 텍스트 레이어에 대한 편집 요청일 수 있으나, 이에 제한되지 않는다. 편집 요청을 수신하는 것은 도 2 및 도 3을 참조하여 후술할 것이다.
블록 130에서, 전자 장치는 이미지 레이어에서 편집 요청에 연관된 동작을 수행할 수 있다. 다르게 설명되어 있지 않은 이상, 텍스트 레이어에 대해 수행되는 동작은 제1 동작으로 지칭되고, 이미지 레이어에 대해 수행되는 동작은 제2 동작으로 지칭된다. 이미지 레이어 및 텍스트 레이어에 대해서는 도 4를 참조하여 후술할 것이다. 이미지 레이어에서 수행되는, 편집 요청에 연관된 동작에 대해서는 도 5a, 5b, 6, 7, 8, 9, 10, 11, 12, 13, 및 14를 참조하여 후술할 것이다.
도 2는 이미지에서 텍스트를 인식하는 방법을 나타내는 일 예의 흐름도이다. 설명의 편의를 위해 도 3을 더 참조한다.
도 3은 이미지에서 텍스트를 인식하는 유저 인터페이스(user interface; UI)의 일 예를 도시한다.
블록 210에서 전자 장치는 이미지를 획득할 수 있다. 예를 들어, 전자 장치는, 화상 형성 장치에 연결되거나 화상 형성 장치에 탑재되거나, 화상 형성 장치 그 자체일 수 있다. 이미지는 이미지-온니 문서 데이터일 수 있다. 도 3을 참조하면, 전자 장치는 화상 형성 장치를 통해 스캔되거나 촬영된 이미지(310)를 획득할 수 있고, 스캔되거나 촬영된 이미지(310), 즉, "스캔 이미지"(310)는 전자 장치의 UI(300)를 통해 사용자에게 제공될 수 있다. 사용자는 UI(300)를 통해 표시되는 스캔 이미지(310)를 통해, 스캔이 제대로 되었는지 알 수 있다. 도 3에 도시된 바와 같이, 스캔 이미지(310)는 필기 이미지들을 포함하는 이미지 레이어에 연관될 수 있다. 스캔 이미지(310)는, 후술하는 텍스트 인식을 통해, 텍스트를 포함하는 텍스트 레이어에 연관될 수 있다.
블록 220에서 전자 장치는 스캔 이미지(310)로부터 텍스트를 인식할 수 있다. 전술된 바와 같이, 전자 장치는 OCR, ICR등 기술을 통해 스캔 이미지(310)에 포함된 텍스트를 인식할 수 있다.
블록 230에서 전자 장치는 인식 결과를 디스플레이할 수 있다. 도 3을 참조하면, 스캔 이미지(310)의 텍스트가 인식되면, 텍스트 인식 결과(320)가 전자 장치의 UI(300)를 통해 디스플레이될 수 있다.
도 3을 참조하면, 사용자는 편집 버튼(330)을 선택하여, 텍스트 레이어의 텍스트를 편집할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 사용자는 "fir"를 "1"로 치환하거나, "children"을 "adults"로 치환하거나, "before"를 삽입하거나, "it is"를 삭제할 수 있다. 텍스트 인식 결과(320) 상에서는, 사용자의 편집 요청에 연관된 편집 위치를 나타내는 삽입바(insertion bar)가 디스플레이될 수 있다. 삽입바는 텍스트 삽입 위치를 나타낼 수 있다. 예를 들어, 왼쪽에서 오른쪽으로 가로로 쓰여지는 좌횡서 텍스트에서, 텍스트가 삽입되면서 삽입바가 오른쪽으로 이동할 수 있다. 텍스트가 삽입됨에 따라, 삽입바는 오른쪽으로 이동할 수 있다. 삽입바는 텍스트 삭제 위치를 나타낼 수 있다. 예를 들어, 좌횡서 텍스트에서, 삽입바가 왼쪽으로 이동하면서 텍스트가 삭제될 수 있으나, 이에 제한되지 않는다. 예를 들어, 텍스트에서 드래그 등의 방법을 통해 선택된 텍스트가 삭제될 수 있다.
텍스트 편집 위치에 대응하는 필기 이미지는, 텍스트 편집 위치의 다음에 위치하는 필기 이미지를 가리킬 수 있다. 예를 들어, 텍스트 삽입 위치에 대응하는 필기 이미지는, 텍스트 삽입 위치의 다음에 오는(come after) 필기 이미지를 포함할 수 있다. 텍스트 삽입 위치와, 그에 대응하는 필기 이미지는 동일한 줄 내에 위치할 수 있다. 예를 들어, 텍스트 삭제 위치에 대응하는 필기 이미지는, 텍스트 삭제 위치의 다음에 오는 (come before) 필기 이미지를 포함할 수 있다.
한편, 도 3에서는, 사용자의 편집 요청이 텍스트 레이어에 대해 수신되는 것으로 도시되었으나, 이에 제한되지 않는다. 예를 들어, 삽입바가 스캔 이미지 상에서 디스플레이되고, 사용자의 텍스트 편집 요청이 이미지 레이어, 즉, 스캔 이미지(310)에 대해 수신되도록 구현될 수도 있다. 텍스트를 삭제, 삽입, 및 치환하는 방법의 예시들은 도 5a, 5b, 6, 7, 8, 9, 10, 11, 12, 13, 및 14를 참조하여 후술될 것이다.
도 3에서는 텍스트 인식 결과(320)에서 사용자의 편집 이력이 표시되고 있으나, 편집 후 최종 버전만 디스플레이될 수도 있다. 사용자가 저장 버튼(340)을 선택함으로써, 편집된 이미지 레이어 및 텍스트 레이어가 문서 데이터에 포함되는 형식으로 저장될 수 있다. 문서 데이터는 전자 장치의 메모리에 저장될 수 있으나, 이에 제한되지 않는다. 예를 들어, 문서 데이터는 전자 장치 외부의 서버나 클라우드 서버에 저장될 수 있다.
도 4는 문서 데이터의 일 예를 도시한다. 도 4에서, 이미지 레이어(410) 및 텍스트 레이어(420)가 문서 데이터(400)에 포함되는 것으로 도시되어 있지만, 이에 제한되지 않으며, 이미지 레이어(410) 및 텍스트 레이어(420)는, 문서 데이터에 포함되는 형식으로 저장되어 있지 않은 채 메모리에만 저장되어 있는 정보를 가리킬 수 있다.
도 4를 참조하면, 문서 데이터(400)는 이미지 레이어(410) 및 텍스트 레이어(420)를 포함할 수 있다. 문서 데이터(400)는 그래픽 오브젝트(430)를 더 포함할 수 있다.
이미지 레이어(410)는 사용자에 의해 필기된 필기 이미지를 포함할 수 있다. 이미지 레이어(410)에 포함된 필기 이미지로부터, OCR, ICR 등을 통해 텍스트가 인식될 수 있고, 인식된 텍스트는 텍스트 레이어(420)에 저장될 수 있다. 이미지 레이어(410) 및 텍스트 레이어(420)는 서로 맵핑될 수 있다. 즉, 필기 이미지와, 해당 필기 이미지로부터 변환된 텍스트는 서로 맵핑될 수 있다. 필기 이미지와 텍스트 간 맵핑 정보가 문서 데이터(400)에 저장될 수 있다. 맵핑 정보는 이미지 레이어(410) 및 텍스트 레이어(420) 각각에 저장되거나, 어느 한 레이어에만 저장될 수도 있다.
도 3에 도시된 바와 같이 사용자가 텍스트를 편집할 경우, 즉, 텍스트 레이어(420)에 변화가 발생할 경우, 이러한 변화는 이미지 레이어(410)에도 반영될 수 있고, 이는 도 5a 및 5b를 참조하여 설명한다.
도 5a는 문서 데이터를 편집하는 방법을 나타내는 일 예의 흐름도이다.
블록 510a에서, 전자 장치는 사용자의 편집 요청에 연관된 텍스트를 결정할 수 있다. 예를 들어, 전자 장치는 문서 데이터에 대한 편집 요청에 연관된 텍스트를 결정할 수 있다. 문서 데이터에 대한 편집 요청은, 문서 데이터 내용의 삭제, 삽입, 및 치환 요청을 포함할 수 있다.
예를 들어, 문서 데이터에서 삭제 요청에 연관된 텍스트는, 문서 데이터에서 사용자가 삭제하려는 내용에 대응할 수 있다. 예를 들어, 문서 데이터에서 삽입 요청에 연관된 텍스트는, 문서 데이터에 사용자가 삽입하려는 내용에 대응할 수 있다. 예를 들어, 문서 데이터에서 치환 요청에 연관된 텍스트는, 문서 데이터에서 삭제될 내용 및 삽입될 내용에 대응할 수 있다.
편집 요청에 연관된 텍스트는 텍스트 레이어에 포함되어 있을 수 있으나, 이에 제한되지 않는다. 예를 들어, 삭제 요청에 연관된 텍스트는 텍스트 레이어에 포함된 기존 텍스트일 수 있다. 예를 들어, 삽입 요청에 연관된 텍스트는 텍스트 레이어에 포함되어 있지 않은 텍스트일 수 있다. 삽입 요청에 연관된 텍스트는, 텍스트 레이어에 포함된 문자들로 구성될 수도 있다. 예를 들어, 치환 요청에 연관된 텍스트 중 삭제될 텍스트는 텍스트 레이어에 포함된 기존 텍스트일 수 있다. 치환 요청에 연관된 텍스트 중 삽입될 텍스트는 텍스트 레이어에 포함되어 있지 않은 텍스트일 수 있다. 치환 요청에 연관된 텍스트 중 삽입될 텍스트는 텍스트 레이어에 포함된 문자들로 구성될 수도 있다. 치환 요청에 연관된 텍스트 중 삭제될 텍스트 및 삽입될 텍스트는 각각, 타겟 텍스트 및 치환 텍스트로 지칭될 수 있다.
블록 520a에서, 전자 장치는, 결정된 텍스트에 연관된 제1 및 제2 필기 이미지를 식별할 수 있다. 제1 필기 이미지는, 편집 요청에 연관된 텍스트에 맵핑되는 필기 이미지일 수 있다. 예를 들어, 제1 필기 이미지는 삭제 요청에 연관된 텍스트에 맵핑된 필기 이미지일 수 있다. 삽입 요청에 연관된 텍스트가 텍스트 레이어에 포함되어 있을 경우, 제1 필기 이미지는 삽입 요청에 연관된 텍스트에 맵핑된 필기 이미지일 수 있다. 삽입 요청에 연관된 텍스트를 구성하는 문자들이 텍스트 레이어에 포함되어 있을 경우, 제1 필기 이미지는, 해당 문자들에 맵핑된 필기 이미지일 수 있다. 문자에 맵핑된 필기 이미지는 문자 이미지(character image)로 지칭될 수 있다. 예를 들어, 제1 필기 이미지는 치환 요청에 연관된 텍스트에 맵핑된 필기 이미지일 수 있다. 예를 들어, 제1 필기 이미지는 타겟 텍스트에 맵핑된 필기 이미지, 치환 텍스트에 맵핑된 필기 이미지, 치환 텍스트를 구성하는 문자들에 맵핑된 문자 이미지들일 수 있다.
블록 530a에서, 전자 장치는, 결정된 텍스트에 대해 제1 동작을 수행할 수 있다. 예를 들어, 전자 장치는, 편집 요청에 연관된 텍스트에 대해, 해당 편집 요청에 연관된 동작을 수행할 수 있다. 예를 들어, 전자 장치는 삭제 요청에 연관된 텍스트를 삭제하거나, 삽입 요청에 연관된 텍스트를 삽입하거나, 치환 요청에 연관된 텍스트들을 서로 치환할 수 있다.
블록 540a에서, 전자 장치는 제1 필기 이미지에 대한 제2 동작 및 제2 필기 이미지의 쉬프트를 수행할 수 있다.
제1 필기 이미지에 대한 제2 동작은, 블록 530a의 제1 동작에 대응할 수 있다. 예를 들어, 블록 530a에서 결정된 텍스트가 텍스트 레이어로부터 삭제될 경우, 제1 필기 이미지를 삭제하거나, 가리거나, 숨기는 제2 동작이 수행될 수 있고, 이는 도 6을 참조하여 후술할 것이다. 예를 들어, 블록 530a에서 결정된 텍스트가 텍스트 레이어에 삽입될 경우, 제1 필기 이미지를 이미지 레이어에 반영하는 제2 동작이 수행될 수 있고, 이는 도 7 내지 도 9를 참조하여 후술할 것이다. 예를 들어, 블록 530a에서 결정된 텍스트가 텍스트 레이어에서 삭제되어 다른 텍스트로 치환될 경우, 제1 필기 이미지를 치환하는 제2 동작이 수행될 수 있고, 이는 도 10 내지 도 11을 참조하여 후술할 것이다. 이미지 레이어에 필기 이미지를 반영하는 것은, 텍스트 레이어에서 결정된 텍스트에 대해 수행되는 제1 동작에 기초하여, 이미지 레이어에서 해당 필기 이미지에 대해 제2 동작을 수행하는 것에 대응할 수 있다. 이미지 레이어에 필기 이미지를 반영하는 것은, 이미지 레이어에서 해당 필기 이미지에 연관된 제1 필기 이미지에 대해 제2 동작을 수행하고, 해당 필기 이미지에 연관된 제2 필기 이미지를 쉬프트하는 것에 대응할 수 있다. 이미지 레이어에 필기 이미지를 반영하는 것은, 해당 이미지 레이어에서 해당 필기 이미지를 나타내거나, 생성하거나, 붙여넣거나(paste), 추가(add)하는 것을 포함할 수 있으나, 이에 제한되지 않으며, 텍스트 레이어에서의 제1 동작에 따라, 해당 필기 이미지는 다양한 방식으로 이미지 레이어에 반영될 수 있다
제2 필기 이미지는, 이미지 레이어에서 쉬프트되는 필기 이미지일 수 있다. 제2 필기 이미지는 제1 필기 이미지에 인접할 수 있다. 예를 들어, 삭제 요청에 관련된 제1 필기 이미지의 오른쪽에 위치하는 필기 이미지가 제2 필기 이미지일 수 있다. 삭제 요청이 수신될 때 제2 필기 이미지를 쉬프트하는 것은 도 6을 참조하여 후술할 것이다. 이미지 레이어에서 제1 필기 이미지가 반영될 위치의 오른쪽, 즉, 텍스트 삽입 위치의 오른쪽에 위치하는 필기 이미지가 제2 필기 이미지일 수 있다. 삽입 요청이 수신될 때 제2 필기 이미지를 쉬프트하는 것은 도 7 내지 도 9를 참조하여 후술할 것이다. 제2 필기 이미지의 쉬프트가 수행되지 않을 수도 있으며, 이에 대해서는 도 10 내지 도 11을 참조하여 후술할 것이다.
도 5b는 문서 데이터를 편집하는 방법을 나타내는 일 예의 흐름도이다. 도 5b에 도시되는 방법은, 텍스트를 삽입하는 동작, 예를 들어, 도 13의 블록 1330, 1332, 1334, 및 1336에 대응하거나, 텍스트를 치환하는 동작, 예를 들어, 도 13의 블록 1340, 1342, 1344, 및 1346에 대응할 수 있다.
블록 510b에서, 전자 장치는 사용자의 편집 요청에 연관된 텍스트를 결정할 수 있다. 예를 들어, 전자 장치는 문서 데이터에 대한 사용자의 편집 요청에 연관된 텍스트를 결정할 수 있다. 문서 데이터에 대한 편집 요청은, 문서 데이터 내용의 삽입, 및 치환 요청을 포함할 수 있다.
예를 들어, 문서 데이터에서 삽입 요청에 연관된 텍스트는, 문서 데이터에 사용자가 삽입하려는 내용에 대응할 수 있다. 예를 들어, 문서 데이터에서 치환 요청에 연관된 텍스트는, 문서 데이터에서 삭제될 내용 및 삽입될 내용에 대응할 수 있다.
삽입 요청에 연관된 텍스트는 텍스트 레이어에 포함되어 있지 않은 텍스트일 수 있다. 삽입 요청에 연관된 텍스트는, 텍스트 레이어에 포함된 문자들로 구성될 수도 있다. 치환 요청에 연관된 텍스트 중 삽입될 텍스트는 텍스트 레이어에 포함되어 있지 않은 텍스트일 수 있다. 치환 요청에 연관된 텍스트 중 삽입될 텍스트는 텍스트 레이어에 포함된 문자들로 구성될 수도 있다. 치환 요청에 연관된 텍스트 중 삭제될 텍스트는 텍스트 레이어에 포함된 기존 텍스트일 수 있다. 치환 요청에 연관된 텍스트 중 삭제될 텍스트 및 삽입될 텍스트는 각각, 타겟 텍스트 및 치환 텍스트로 지칭될 수 있다.
블록 520b에서, 전자 장치는, 편집 요청에 연관된 텍스트를 구성하는 문자를 리트리브할 수 있다. 예를 들어, 전자 장치는, 텍스트 삽입 요청에 연관된 텍스트를 구성하는 문자를 리트리브할 수 있다. 예를 들어, 전자 장치는, 텍스트 치환 요청에 연관된 치환 텍스트를 구성하는 문자를 리트리브할 수 있다. 텍스트 레이어에서 문자가 리트리브될 수 있으나, 이에 제한되지 않는다. 예를 들어, 전자 장치는 폰트 라이브러리와의 DB 매칭을 수행하여, 편집 요청에 연관된 텍스트를 구성하는 문자를 리트리브할 수 있고, 이에 대해서는 도 14를 참조하여 후술할 것이다.
블록 522b에서, 전자 장치는, 리트리브된 문자에 대응하는 문자 이미지를 리트리브할 수 있다. 텍스트 레이어에서 리트리브된 문자에 맵핑된 문자 이미지가 이미지 레이어에서 리트리브될 수 있으나, 이에 제한되지 않는다. 예를 들어, 전자 장치는 폰트 라이브러리와의 DB 매칭을 수행하여, 편집 요청에 연관된 텍스트를 구성하는 문자를 리트리브하여, 리트리브된 문자에 대응하는 문자 이미지를 폰트 라이브러리로부터 리트리브할 수 있고, 이에 대해서는 도 14를 참조하여 후술할 것이다.
블록 540b에서, 리트리브된 문자 이미지를 포함하는 필기 이미지를 이미지 레이어에 반영할 수 있다. 예를 들어, 전자 장치는, 텍스트 삽입 요청에 연관된 텍스트를 구성하는 문자를 리트리브하고, 리트리브된 문자에 대응하는 문자 이미지를 리트리브하여, 리트리브된 문자 이미지를 포함하는 필기 이미지를 이미지 레이어에 반영할 수 있다. 이에 대해서는 도 7 내지 도 11을 참조하여 후술할 것이다.
한편, 전자 장치는 편집 요청에 연관된 텍스트에 대해, 해당 편집 요청에 연관된 동작을 수행할 수 있다. 예를 들어, 전자 장치는 삽입 요청에 연관된 텍스트를 텍스트 레이어에 삽입하거나, 치환 요청에 연관된 텍스트들을 텍스트 레이어에서 서로 치환할 수 있다.
도 6은 문서 데이터에서 내용을 삭제하는 일 예를 도시한다.
도 6을 참조하면, 텍스트 레이어에서 "it is"가 삭제될 경우, 즉, 편집 요청에 연관된 텍스트로서 "it is"가 결정될 경우, 결정된 "it is"에 연관된 필기 이미지(611) 및 제2 필기 이미지(612a)가 이미지 레이어에서 식별될 수 있다. 삭제될 텍스트는, 타겟 텍스트 또는 삭제 타겟 텍스트로 지칭될 수 있고, 제1 필기 이미지(611)는, 삭제 타겟 텍스트에 맵핑된 필기 이미지를 가리킬 수 있다.
제2 필기 이미지(612a)는 제1 필기 이미지(611)를 뒤따르는(following) 필기 이미지를 가리킬 수 있고, 쉬프트될 수 있다. 제1 필기 이미지(611)와 제2 필기 이미지(612a)는 문서 데이터에서 동일한 줄에 위치하는 필기 이미지일 수 있다. 제2 필기 이미지(612a)는, 편집 요청에 연관된 텍스트로서 결정된 "it is"를 뒤따르는 텍스트에 대응할 수 있다. 도 6은 왼쪽에서 오른쪽으로 가로로 쓰여진 좌횡서 텍스트를 예시하고 있으나, 본 개시에서 설명되는 동작들은 오른쪽에서 왼쪽으로 가로로 쓰여진 우횡서 텍스트, 위에서 아래로 세로로 쓰여지고 오른쪽에서 왼쪽으로 행갈이되는 우종서 텍스트, 위에서 아래로 세로로 쓰여지고 왼쪽에서 오른쪽으로 행갈이되는 좌종서 텍스트에서도 적용될 수 있다.
도 6을 다시 참조하면, 삭제 타겟 텍스트 "it is"에 맵핑된 제1 필기 이미지(611)가 식별되고, 식별된 제1 필기 이미지(611)는 이미지 레이어에서 삭제될 수 있다. 제1 필기 이미지(611)는 이미지 레이어에서 가려질 수 있다. 제1 필기 이미지(611)는 이미지 레이어에서 다른 오브젝트(613)에 의해 가려질 수 있다. 예를 들어, 제1 필기 이미지(611)는 이미지 레이어에서 화이트-아웃(white-out)될 수 있다. 예를 들어, 제1 필기 이미지(611) 위에 백색 오브젝트(613)가 오버레이되어, 제1 필기 이미지(611)가 이미지 레이어에서 가려질 수 있다. 도 6은 백색 오브젝트(613)를 예시하고 있으나, 이에 제한되지 않는다. 예를 들어, 문서 데이터의 배경과 동일한 색상 및 질감의 오브젝트가 제1 필기 이미지(611)를 가리는 데 사용될 수 있다.
제1 필기 이미지(611)가 다른 오브젝트(613)에 의해 가려진 후, 제2 필기 이미지(612b)가 쉬프트될 수 있다. 제2 필기 이미지(612b) 는 제1 필기 이미지(611)의 기준 위치까지 쉬프트될 수 있다. 제1 필기 이미지(611)의 기준 위치는, 이미지 레이어에서 제1 필기 이미지(611)가 시작하는 위치일 수 있으나, 이에 제한되지 않는다. 예를 들어, 제1 필기 이미지(611)의 기준 위치는, 이미지 레이어에서 제1 필기 이미지(611)의 왼쪽일 수 있고, 제2 필기 이미지(612b)는 제1 필기 이미지(611) 또는 오브젝트(613)의 왼쪽까지 쉬프트될 수 있다.
쉬프트된 제2 필기 이미지(612c)는 오브젝트(613) 위에 오버레이될 수 있다.
도 6에서는 제2 필기 이미지(612a, 612b, 612c)가 "that"만을 포함하고 있으나, 만약 동일한 줄에서 "that" 다음의 텍스트가 더 존재한다면, 제2 필기 이미지는 이들을 모두 포함할 수 있다. 즉, 제2 필기 이미지(612a, 612b, 612c)는, 문서 데이터에서 제1 필기 이미지(611)와 동일한 줄에 위치하면서 제1 필기 이미지를 뒤따르는 모든 필기 이미지를 포함할 수 있다. 예를 들어, 제2 필기 이미지(612a, 612b, 612c)는, 문서 데이터에서 제1 필기 이미지(611)와 동일한 줄에 위치하면서 제1 필기 이미지 오른쪽에 위치하는 모든 필기 이미지를 포함할 수 있다.
도 7은 문서 데이터에서 내용을 삽입하기 위해 텍스트를 리트리브하는 일 예를 도시한다.
도 7을 참조하면, 편집 요청이 텍스트 삽입 요청이고, 텍스트 삽입 요청에 연관된 텍스트가 "before"일 경우, 텍스트 레이어(720)에서 "before"에 해당하는 텍스트가 리트리브될 수 있다. 텍스트 레이어(720)에서 "before"에 해당하는 텍스트가 리트리브되지 않을 경우, 전자 장치는 텍스트 레이어(720)에서 "befor", "befo", "bef", "be", "b"에 해당하는 텍스트들의 리트리브를 순서대로 시도할 수 있다. 따라서, "before"에 해당하는 텍스트가 텍스트 레이어(720)에 이미 포함되어 있을 경우, 전자 장치는 해당 텍스트에 연관된 문자 이미지, 또는 해당 문자 이미지를 포함하는 필기 이미지를 이미지 레이어(710)로부터 신속하게 리트리브할 수 있다. 텍스트 삽입 요청에 연관된 텍스트가 복수의 단어로 구성될 경우, 각 단어를 기준으로 텍스트 및 문자 이미지의 리트리브가 수행될 수 있다.
도 7에서는 전자 장치가 "be"에 해당하는 텍스트를 리트리브하는 것에 성공한 것을 도시한다. 이후, 전자 장치는 "fore", "for", "fo", "f"에 해당하는 텍스트들의 리트리브를 순서대로 시도할 수 있다. 도 7에서는, "be", "for", "e"가 순서대로 리트리브되는 것을 도시하고 있지만, 리트리브 순서는 이에 제한되지 않는다. 예를 들어, 편집 요청에 연관된 텍스트를 구성하는 문자들이, 텍스트 레이어(720)에서 병렬적으로 리트리브될 수도 있다.
전술된 텍스트 및 문자 이미지의 리트리브는, 문서 데이터에서 편집 요청에 연관된 편집 위치에 기초하여 미리 결정된 범위 내에서 진행될 수 있다. 예를 들어, 전술된 텍스트 및 문자 이미지의 리트리브는, 편집 위치와 동일한 페이지에서 진행되도록 구현될 수 있다. 이로써, 리트리브의 속도가 향상될 수 있다.
편집 요청에 연관된 텍스트에 기초하여 리트리브된 문자 이미지들은, 해당 텍스트의 문자 순서에 따라 연결 또는 조합되어, 제1 필기 이미지(711)를 구성할 수 있다. 이미지 레이어(710)에 포함된 문자들로부터 제1 필기 이미지(711)가 구성될 수 있으나, 이에 제한되지 않는다. 예를 들어, 제1 필기 이미지(711)의 적어도 일부 문자는 폰트 라이브러리로부터 리트리브될 수도 있다.
텍스트 삽입 요청에 연관된 텍스트가 텍스트 삽입 위치에 삽입되고, 리트리브된 제1 필기 이미지(711)는, 텍스트 삽입 위치에 맵핑된, 이미지 레이어(711)의 영역에 반영될 수 있다.
도 8은 문서 데이터에서 내용을 삽입하는 일 예를 도시한다.
도 8을 참조하면, 이미지 레이어에서, 텍스트 삽입 위치에 대응하는 위치를 뒤따르는 영역 또는 필기 이미지가 제2 필기 이미지(812a)로 식별될 수 있다. 텍스트 삽입 위치 다음에 오는 제2 필기 이미지(812a)는, 이미지 레이어에 반영될 제1 필기 이미지(811)를 위해 쉬프트될 수 있다. 제2 필기 이미지(812a)는, 이미지 레이어에 반영될 제1 필기 이미지(811)가 차지하는 영역(813)만큼 쉬프트될 수 있다. 제2 필기 이미지(812a)는, 이미지 레이어에 반영될 제1 필기 이미지(811)의 길이만큼 다음 영역으로, 예를 들어, 오른쪽으로 쉬프트될 수 있다.
텍스트 삽입 동작이 수행된 후, 제1 필기 이미지(811) 및 쉬프트된 제2 필기 이미지(812b)는 문서 데이터에서 동일한 줄에 위치하고, 쉬프트된 제2 필기 데이터(812b)가 제1 필기 이미지(811)를 뒤따를 수 있다.
도 8은, 이미지 레이어에서 제2 필기 이미지(812a)가 쉬프트된 후 제1 필기 이미지(811)가 이미지 레이어에 반영되는 것으로 도시되어 있으나, 이에 제한되지 않는다. 예를 들어, 제1 필기 이미지(811)의 반영과 제2 필기 이미지(812a)의 쉬프트는 동시에 수행되거나, 제1 필기 이미지(811)가 이미지 레이어에 반영된 후 제2 필기 이미지(812a)가 쉬프트될 수 있다. 예를 들어, 이미지 레이어에서 제2 필기 이미지(812a)가 쉬프트되고 제1 필기 이미지(811)가 이미지 레이어에 반영된 후, 이미지 레이어에서 쉬프트된 제2 필기 이미지(812b)가, 이미지 레이어에 반영된 제1 필기 이미지(811)에 기초하여 오른쪽으로 더 쉬프트되거나, 왼쪽으로 더 쉬프트될 수도 있다.
도 9는 문서 데이터에서 내용을 삽입하는 다른 일 예를 도시한다.
도 9을 참조하면, 이미지 레이어에서, 텍스트 삽입 위치에 대응하는 위치를 뒤따르는 영역 또는 필기 이미지가 제2 필기 이미지(912a)로 식별될 수 있다. 텍스트 삽입 위치 다음에 오는 제2 필기 이미지(912a)는, 이미지 레이어에 반영될 제1 필기 이미지(911)를 위해 쉬프트될 수 있다. 제2 필기 이미지(912a)는, 이미지 레이어에 반영될 제1 필기 이미지(911)가 차지하는 영역(913b)만큼 쉬프트될 수 있다. 제2 필기 이미지(912a)는, 이미지 레이어에 반영될 제1 필기 이미지(911)의 길이만큼 다음 영역으로, 예를 들어, 오른쪽으로 쉬프트될 수 있다. 제1 필기 이미지(911)가 이미지 레이어에 반영되기 전, 오브젝트(913a), 예를 들어, 백색 오브젝트(913a)가 오버레이될 수 있다. 백색 오브젝트(913a)는, 제2 필기 이미지(912a)가 차지하던 영역 상에 오버레이될 수 있다. 이후, 제2 필기 이미지(912b) 및 제1 필기 이미지(911)가 오브젝트(913) 상에 오버레이될 수 있다.
도 9는, 오브젝트(913a)가 오버레이된 후 제2 필기 이미지(912a)가 쉬프트되는 것으로 도시되어 있으나, 이에 제한되지 않는다. 예를 들어, 제2 필기 이미지(912a)가 쉬프트된 후, 오브젝트(913a)가 언더레이될 수 있다.
도 10은 문서 데이터에서 내용을 치환하기 위해 텍스트를 리트리브하는 일 예를 도시한다.
도 10을 참조하면, 편집 요청이 텍스트 치환 요청이고, 텍스트 치환 요청에 연관된 텍스트, 즉, 타겟 텍스트 및 치환 텍스트가 각각 "children" 및 "adults"일 경우, 텍스트 레이어(1020)에서 치환 텍스트 "adults" 에 해당하는 텍스트가 리트리브될 수 있다. 도 10에 도시된 바와 같이, 텍스트 레이어(1020)에서 "adults"를 구성하는 각각의 문자가 리트리브될 수 있다. 텍스트 레이어(1020)에서 "adults"를 구성하는 각각의 문자는 동시적으로 리트리브될 수 있다. 리트리브는 텍스트 레이어(1020)의 선두에서부터 후미로 진행될 수 있으나, 이에 제한되지 않는다. 리트리브는 텍스트 레이어(1020)의 후미로부터 선두로 진행될 수 있고, 랜덤하게 진행될 수도 있다.
편집 요청에 연관된 텍스트에 기초하여 리트리브된 문자 이미지들은, 해당 텍스트의 문자 순서에 따라 연결 또는 조합되어, 제1 필기 이미지(1011)를 구성할 수 있다. 이미지 레이어(1010)에 포함된 문자들로부터 제1 필기 이미지(1011)가 구성될 수 있으나, 이에 제한되지 않는다. 예를 들어, 제1 필기 이미지(1011)의 적어도 일부 문자는 폰트 라이브러리로부터 리트리브될 수도 있다.
텍스트 삽입 요청에 연관된 텍스트가 텍스트 레이어(1020)에서 텍스트 삽입 위치에 삽입되고, 리트리브된 제1 필기 이미지(1011)는, 텍스트 삽입 위치에 맵핑된, 이미지 레이어(1011)의 영역에 반영될 수 있다.
도 11은 문서 데이터에서 내용을 치환하는 일 예를 도시한다.
문서 데이터에 대한 텍스트 치환 요청의 처리는, 전술된 텍스트 삽입 요청과 텍스트 삭제 요청의 처리를 결합함으로써, 구현될 수 있다. 즉, 치환 요청에 연관된 텍스트는 타겟 텍스트 및 치환 텍스트를 포함하고, 타겟 텍스트 및 그에 맵핑된 필기 이미지에 대한 동작은, 전술된 삭제 요청에 대한 동작과 실직적으로 동일하고, 치환 텍스트 및 그에 맵핑된 필기 이미지에 대한 동작은, 전술된 삽입 요청에 대한 동작과 실직적으로 동일할 수 있으나, 이에 제한되지 않는다. 예를 들어, 타겟 텍스트에 연관된 타겟 필기 이미지(111a) 상에, 이미지 레이어에 반영된 치환 필기 이미지(111b)가 위치될 수 있다. 도 11을 참조하면, 타겟 텍스트에 연관된 타겟 필기 이미지(1111a) 위에 오브젝트(1113)가 오버레이되고, 오브젝트(1113) 위에, 치환 텍스트에 연관된 치환 필기 이미지(111b)가 오버레이될 수 있고, 제2 필기 이미지(1112)는 쉬프트되지 않을 수 있다. 예를 들어, 타겟 필기 이미지(111a) 및 치환 필기 이미지(111b) 또는 그에 맵핑된 타겟 텍스트 및 치환 텍스트의 문자수 차이가 미리 결정된 범위 내일 경우, 제2 필기 이미지(1112)가 쉬프트되지 않도록 구현될 수 있다. 예를 들어, 타겟 필기 이미지(111a) 및 치환 필기 이미지(111b) 또는 그에 맵핑된 타겟 텍스트 및 치환 텍스트의 문자수 차이가 미리 결정된 범위를 벗어날 경우, 제2 필기 이미지(1112)가 해당 문자수 차이에 비례하여 쉬프트되도록 구현될 수 있다.
도 12는 내용이 편집된 문서 데이터의 일 예를 도시한다.
도 12를 참조하면, 사용자는 문서 데이터(1200)의 이미지 레이어(1210) 및 텍스트 레이어(1220)를 실질적으로 동시에 수정할 수 있다. 문서 편집 편의상, 사용자가 텍스트 레이어(1220)만 변경하더라도, 변경된 텍스트에 대응하여 이미지 레이어(1210)의 필기 이미지도 변경될 수 있다. 따라서, 스캔된 문서의 내용이 변경되더라도, 가독성을 유지하면서, 문서 데이터에서 텍스트 편집, 검색 등이 효과적으로 수행될 수 있다.
도 12는, 이미지 레이어(1210) 및 텍스트 레이어(1220)이, 편집 후 최종 버전만 도시되어 있으나, 이에 제한되지 않는다. 예를 들어, 이미지 레이어(1210) 및 텍스트 레이어(1220)에서 사용자의 편집 이력이 표시될 수 있다. 예를 들어, 삭제될 텍스트에 대응하는 제1 필기 이미지 상에 백색 오브젝트 대신 취소선(strikethrough) 오브젝트가 오버레이되도록 구현될 수 있고, 취소선 오브젝트가 오버레이될 경우, 제2 필기 이미지의 쉬프트는 생략될 수 있다. 예를 들어, 이미지 레이어에 반영되는 제1 필기 이미지 아래에 밑줄 오브젝트가 표시될 수 있다.
도 13은 문서 데이터를 편집하는 방법을 나타내는 일 예의 흐름도이다.
블록 1310에서 전자 장치는 사용자의 편집 요청을 수신할 수 있다.
블록 1312에서, 편집 요청의 종류가 식별될 수 있다. 편집 요청이 텍스트 삭제 요청일 경우, 블록 1320에서 삭제 요청된 필기 이미지가 화이트-아웃될 수 있다.
편집 요청이 텍스트 삽입 또는 치환 요청일 경우, 블록 1330, 및 블록 1340에서 전술된 텍스트의 리트리브가 수행될 수 있다. 만약 텍스트 레이어가, 리트리브하려는 텍스트 또는 이를 구성하는 문자를 모두 포함하고 있을 경우, 블록 1336 및 블록 1346에서 전자 장치는 각각 해당 문자로부터 필기 이미지를 구성하여 텍스트의 삽입 및 치환을 수행할 수 있다. 텍스트를 삽입하는 방법은 도 7 내지 도 9를 참조하여 전술된 바, 중복 설명은 생략할 것이다. 텍스트를 치환하는 방법은 도 10 내지 도11을 참조하여 전술된 바, 중복 설명은 생략할 것이다.
나아가, 블록 1350에서, 편집된 텍스트 및 필기 이미지가 문서 데이터에 저장될 수 있다.
한편, 블록 1332 및 블록 1342에서, 전자 장치가 삽입/치환 요청된 텍스트의 적어도 일부를 문서 데이터로부터 리트리브하는 것에 실패할 경우, 블록 1334 및 1346에서, 전자 장치는 폰트 라이브러리와의 DB 매칭을 수행하여, 적어도 일부의 텍스트를 리트리브할 수 있고, 이에 대해서는 도 14를 참조하여 설명한다.
도 14는 문서 데이터에서 내용을 삽입하기 위해 폰트를 검색하는 일 예를 도시한다.
도 14를 참조하면, 사용자가 문서 데이터에서 "first"를 "1st"로 치환하고자 할 때, 타겟 텍스트와 치환 텍스트에서 치환하지 않아도 무방한 "st"는 텍스트 데이터 및 이미지 데이터에서 계속 유지될 수 있다.
타겟 텍스트 "fir"에 대응하는 타겟 필기 이미지(1411a)가, 치환 필기 이미지(1411b)로 치환되기 위해, 치환 텍스트 "1"의 리트리브가 텍스트 레이어에서 시도될 수 있다. 텍스트 레이어에서 치환 텍스트 "1"이 리트리브되지 않을 경우, 전자 장치는 폰트 라이브러리(DB)를 이용할 수 있다. 폰트 라이브러리(DB)는 다양한 폰트들에 대한 폰트 데이터를 저장한다. 전자 장치 또는 폰트 라이브러리(DB)는, 입력 필기 이미지에 대해 폰트 분류(font classification)를 수행하여, 폰트 라이브러리로부터 입력 필기 이미지와 유사한 폰트(Font 3)를 식별할 수 있다. 예를 들어, 전자 장치는 필기 이미지, 예를 들어, 치환 텍스트 "1"가 포함된 줄에 위치하는 필기 이미지를 분석하여, 해당 필기 이미지의 폰트 특성, 예를 들어, 스트로크의 굴곡, 경사도, 모양, 위치 등을 분석하여, 폰트 라이브러리(DB)에서, 해당 필기 이미지와 유사한 폰트(Font 3)를 식별할 수 있다.
전자 장치는, 식별된 유사한 폰트(Font 3)에서, 치환 텍스트 "1"에 대응하는 이미지(1411b)를 리트리브하여, 오브젝트(1413) 상에 오버레이할 수 있다. 이로써, 삽입 또는 치환 요청에 연관된 텍스트가 텍스트 레이어에 존재하지 않을 경우에도, 폰트 라이브러리를 통해 유효한 필기 이미지가 리트리브될 수 있다.
도 15는 전자 장치의 구성을 도시한 일 예의 블록도이다.
도 15의 전자 장치(10)를 참고하면, 전자 장치(10)는, 통신 장치(1510), 사용자 인터페이스 장치(1520), 메모리(1530) 및 프로세서(1540)를 포함할 수 있다. 그러나, 도시된 구성 요소가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(10)가 구현될 수 있고, 그보다 적은 구성 요소에 의해 전자 장치(10)가 구현될 수 있다.
통신 장치(1510)는 외부 장치와 통신을 수행할 수 있다. 구체적으로, 통신 유닛(1010)은 유선 또는 무선으로 네트워크와 연결되어 외부 장치와 통신을 수행할 수 있다. 여기서, 외부 장치는 전자 장치, 서버 등일 수 있다.
통신 장치(1510)는 다양한 유무선 통신 방법 중 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들면, 통신 모듈은 칩셋(chipset)의 형태일 수도 있고, 또는 통신에 필요한 정보를 포함하는 스티커/바코드(e.g. NFC tag를 포함하는 스티커)등일 수도 있다. 또한, 통신 모듈은 근거리 통신 모듈, 유선 통신 모듈일 수 있다.
예를 들면, 통신 장치(1510)는 무선 랜(Wireless LAN), Wi-Fi(Wireless Fidelity), WFD(Wi-Fi Direct), 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wired Lan, NFC(Near Field Communication), 지그비(Zigbee) 적외선(IrDA, infrared Data Association), 3G, 4G, 및 5G 중 적어도 하나를 지원할 수 있다.
사용자 인터페이스 장치(1520)는 사용자로부터 전자 장치(10)의 동작을 제어하기 위한 입력 등을 수신하기 위한 입력부와 전자 장치(10)의 동작에 따른 결과 또는 전자 장치(10)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들면, 사용자 인터페이스 장치(1520)는 사용자 입력을 수신하는 조작 패널, 화면을 표시하는 디스플레이 패널 등을 포함할 수 있다.
구체적으로, 입력부는, 예를 들어, 키보드, 물리 버튼, 터치스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는, 예를 들어, 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 제한되지 않고 사용자 인터페이스 장치(1520)는 다양한 입출력을 지원하는 장치를 포함할 수 있다.
메모리(1530)는 소프트웨어 또는 프로그램을 저장할 수 있다. 예를 들면, 메모리(1530)는, 전자 장치(10)에서 핸드라이팅 텍스트를 포함하는 문서를 스캔한 이미지로부터 판독된 핸드라이팅 텍스트 정보에 기초하여 작성자를 식별하고, 식별된 작성자 또는 핸드라이팅 텍스트의 설정 정보에 기초하여 문서에 대한 파일을 생성하는 전자 장치(10)의 동작 방법에 대한 명령어들을 저장할 수 있다.
메모리(1530)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서(1540)는 전자 장치(10)의 전체적인 동작을 제어하며, CPU 등과 같은 적어도 하나의 프로세서를 포함할 수 있다. 프로세서(1540)는 각 기능에 특화된 프로세서를 적어도 하나 포함하거나, 하나로 통합된 형태의 프로세서일 수 있다.
프로세서(1540)는 메모리(1530)에 저장된 프로그램을 실행하거나, 메모리(1530)에 저장된 데이터 또는 파일을 읽어오거나, 새로운 데이터 또는 파일을 메모리(1530)에 저장할 수 있다. 프로세서(1540)는 메모리(1530)에 저장된 명령어들을 실행함으로써, 프린트 엔진 마진을 보정하기 위한 동작을 수행할 수 있다.
프로세서(1540)는 메모리(1530)에 저장된 명령어들 또는 프로그램을 실행함으로써, 본 개시에서 설명된 다양한 동작들을 수행할 수 있고, 이에 대한 중복 설명은 생략한다.
도 16은 컴퓨터 판독 가능 저장매체에 저장된 명령어들을 설명하기 위한 일 예의 도면이다.
도 16에 도시된 바와 같이, 컴퓨터 판독 가능 저장매체(1600)는, 전자 장치(10)에서 텍스트 레이어 및 이미지 레이어를 획득하는 명령어들(1610), 편집 요청에 연관된 텍스트를 결정하는 명령어들(1620), 결정된 텍스트에 연관된 필기 이미지를 식별하는 명령어들(1630), 결정된 텍스트에 대해 편집 요청에 대응하는 동작을 수행하는 명령어들(1640), 식별된 필기 이미지에 대해 편집 요청에 대응하는 동작을 수행하는 명령어들(1650)을 저장할 수 있으나, 이에 제한되지 않는다. 컴퓨터 판독 가능 저장매체(1600)는 도 16에 도시된 명령어들보다 더 많거나 더 적은 명령어들을 저장할 수 있다.
결정된 텍스트에 연관된 필기 이미지를 식별하는 명령어들(1630)은, 결정된 텍스트를 구성하는 적어도 하나의 문자를 텍스트 레이어에서 리트리브하는 명령어들, 리트리브된 적어도 하나의 문자에 맵핑된 적어도 하나의 문자 이미지를 이미지 레이어에서 리트리브하는 명령어들을 포함할 수 있다. 결정된 텍스트에 연관되는 것으로 식별되는 필기 이미지는, 이미지 레이어에서 리트리브된 적어도 하나의 문자 이미지를 포함할 수 있다.
결정된 텍스트에 연관된 필기 이미지를 식별하는 명령어들(1630)은, 폰트 데이터베이스에서, 이미지 레이어의 필기 이미지에 대응하는 폰트 데이터를 결정하는 명령어들, 결정된 텍스트를 구성하는 적어도 하나의 문자를 폰트 데이터에서 리트리브하는 명령어들을 포함할 수 있다. 결정된 텍스트에 연관되는 것으로 식별되는 필기 이미지는, 폰트 데이터에서 리트리브된 적어도 하나의 문자 이미지를 포함할 수 있다.
각 명령어의 또 다른 기능들은 상술한 바와 실질적으로 동일하므로, 중복 설명은 생략한다.
한편, 상술한 전자 장치(10)의 동작 방법은 컴퓨터 또는 프로세서에 의하여 실행 가능한 명령어 또는 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터 판독 가능 저장매체를 이용하여 이와 같은 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 read-only memory (ROM), random-access memory (RAM), flash memory, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs, DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, 마그네틱 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있고, 프로세서나 컴퓨터가 명령어를 실행할 수 있도록 프로세서나 컴퓨터에 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 제공할 수 있는 어떠한 장치라도 될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 본 개시의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고,
    상기 프로세서는, 상기 명령어들을 실행함으로써,
    필기 텍스트를 포함하는 문서에 대하여 텍스트를 포함하는 텍스트 레이어 및 상기 텍스트에 대응하는 필기 이미지를 포함하는 이미지 레이어를 획득하고,
    사용자의 편집 요청에 연관된 텍스트를 결정하고,
    상기 텍스트 레이어에서, 상기 결정된 텍스트를 구성하는 적어도 하나의 문자를 리트리브(retrieve)하고,
    상기 이미지 레이어에서, 상기 리트리브된 적어도 하나의 문자에 맵핑된 적어도 하나의 문자 이미지를 리트리브하고,
    상기 리트리브된 적어도 하나의 문자 이미지를 포함하는 제1 필기 이미지를 상기 이미지 레이어에 반영(apply)하도록 구성된, 전자 장치.
  2. 제1 항에 있어서,
    상기 편집 요청이 텍스트 삽입 요청을 포함하고,
    상기 프로세서는, 상기 명령어들을 실행함으로써,
    상기 텍스트 레이어에서 상기 텍스트 삽입 요청에 연관된 텍스트 삽입 위치에 상기 결정된 텍스트를 삽입하고,
    상기 텍스트 삽입 위치에 맵핑된, 상기 이미지 레이어의 영역에 상기 제1 필기 이미지를 반영하도록 더 구성되는, 전자 장치.
  3. 제2 항에 있어서,
    상기 텍스트 삽입 위치 및 상기 리트리브된 적어도 하나의 문자 이미지는 미리 결정된 범위 내에 위치하는, 전자 장치.
  4. 제2 항에 있어서,
    상기 텍스트 삽입 위치 및 상기 리트리브된 적어도 하나의 문자 이미지는 동일한 페이지에 위치하는, 전자 장치.
  5. 제1 항에 있어서,
    상기 결정된 텍스트를 구성하는 상기 적어도 하나의 문자는 제1 문자 및 제2 문자를 포함하고,
    상기 적어도 하나의 문자 이미지는, 상기 제1 문자 및 상기 제2 문자에 각각 대응하는 제1 문자 이미지 및 제2 문자 이미지를 포함하고,
    상기 제1 필기 이미지는, 상기 제1 문자 이미지 및 상기 제2 문자 이미지를 연결하여, 완성되는, 전자 장치.
  6. 제1 항에 있어서,
    상기 결정된 텍스트를 구성하는 상기 적어도 하나의 문자가, 상기 텍스트 레이어에 포함되는, 전자 장치.
  7. 제1 항에 있어서,상기 결정된 텍스트를 구성하는 상기 적어도 하나의 문자가, 상기 텍스트 레이어에 포함되어 있지 않을 경우, 상기 프로세서는, 상기 명령어들을 실행함으로써,
    폰트 데이터베이스에서, 상기 필기 이미지에 대응하는 폰트 데이터를 결정하고,
    상기 폰트 데이터에서, 상기 결정된 텍스트를 구성하는 상기 적어도 하나의 문자에 대응하는 적어도 하나의 문자 이미지를 리트리브하도록 더 구성되고,
    상기 제1 필기 이미지는, 상기 폰트 데이터에서 리트리브된 적어도 하나의 문자 이미지를 포함하는, 전자 장치.
  8. 제1 항에 있어서,
    상기 프로세서는, 상기 명령어들을 실행함으로써,
    상기 이미지 레이어에서, 상기 텍스트 편집 요청에 연관된 텍스트 편집 위치에 대응하는 제2 필기 이미지를, 쉬프트하도록 더 구성되는, 전자 장치.
  9. 제8 항에 있어서,
    상기 텍스트 편집 요청은 텍스트 삽입 요청을 포함하고,
    상기 텍스트 편집 위치는 상기 텍스트 삽입 요청에 연관된 텍스트 삽입 위치를 포함하고,
    상기 이미지 레이어에서 상기 제2 필기 이미지는, 상기 텍스트 삽입 위치와 동일한 줄에 위치하고,
    상기 이미지 레이어에서 쉬프트된 상기 제2 필기 이미지는, 상기 이미지 레이어에 반영된 제1 필기 이미지를 뒤따르는(following), 전자 장치.
  10. 제1 항에 있어서,
    상기 편집 요청이 텍스트 삽입 요청을 포함하고,
    상기 프로세서는, 상기 명령어들을 실행함으로써,
    상기 이미지 레이어에서, 상기 텍스트 삽입 요청에 연관된 텍스트 삽입 위치에 대응하는 제2 필기 이미지 상에, 오브젝트를 오버레이하고,
    상기 이미지 레이어에서, 상기 제2 필기 이미지를 쉬프트하도록 더 구성되고,
    상기 이미지 레이어에 반영된 제1 필기 이미지 및 상기 이미지 레이어에서 쉬프트된 상기 제2 필기 이미지는 상기 오브젝트 상에 위치하는, 전자 장치.
  11. 제1 항에 있어서,
    상기 텍스트 편집 요청이, 타겟 텍스트를 삭제하기 위한 텍스트 삭제 요청을 포함하고,
    상기 텍스트 편집 요청에 연관된 텍스트는 삭제 타겟 텍스트를 포함하고,
    상기 프로세서는, 상기 명령어들을 실행함으로써,
    상기 이미지 레이어에서, 상기 삭제 타겟 텍스트에 맵핑된 타겟 필기 이미지 상에 오브젝트를 오버레이하고,
    상기 이미지 레이어에서, 상기 타겟 필기 이미지를 뒤따르는 제2 필기 이미지를 쉬프트하도록 더 구성되고,
    상기 쉬프트된 상기 제2 필기 이미지는 상기 오브젝트 상에 위치하는, 전자 장치.
  12. 제1 항에 있어서,
    상기 편집 요청이, 타겟 텍스트를 치환 텍스트로 치환하기 위한 텍스트 치환 요청을 포함하고,
    상기 편집 요청에 연관된 상기 텍스트는 상기 치환 텍스트를 포함하고,
    상기 적어도 하나의 문자는 상기 치환 텍스트를 구성하고,
    상기 프로세서는, 상기 명령어들을 실행함으로써,
    상기 텍스트 레이어에서, 상기 타겟 텍스트를 상기 치환 텍스트로 치환하고,
    상기 이미지 레이어에, 상기 타겟 텍스트에 맵핑된 타겟 필기 이미지 상에 상기 제1 필기 이미지를 반영하는 것을 포함하는, 전자 장치.
  13. 제12 항에 있어서,
    상기 프로세서는, 상기 명령어들을 실행함으로써,상기 이미지 레이어에서 상기 타겟 필기 이미지 상에 오브젝트를 오버레이하도록 더 구성되고,
    상기 이미지 레이어에서 반영된 제1 필기 이미지는 상기 오브젝트 상에 위치하는 전자 장치.
  14. 실행될 경우 프로세서로 하여금:
    필기 텍스트를 포함하는 문서에 대하여 텍스트를 포함하는 텍스트 레이어 및 상기 텍스트에 대응하는 필기 이미지를 포함하는 이미지 레이어를 획득하고,
    사용자의 편집 요청에 연관된 텍스트를 결정하고,
    상기 텍스트 레이어에서, 상기 결정된 텍스트를 구성하는 적어도 하나의 문자를 리트리브(retrieve)하고,
    상기 이미지 레이어에서, 상기 리트리브된 적어도 하나의 문자에 맵핑된 적어도 하나의 문자 이미지를 리트리브하고,
    상기 리트리브된 적어도 하나의 문자 이미지를 포함하는 제1 필기 이미지를 상기 이미지 레이어에 반영하게 하는, 명령어들이 저장된 컴퓨터 판독 가능 저장 매체.
  15. 필기 텍스트를 포함하는 문서에 대하여 텍스트를 포함하는 텍스트 레이어 및 상기 텍스트에 대응하는 필기 이미지를 포함하는 이미지 레이어를 획득하는 단계;
    사용자의 편집 요청에 연관된 텍스트를 결정하는 단계;
    상기 텍스트 레이어에서, 상기 결정된 텍스트를 구성하는 적어도 하나의 문자를 리트리브(retrieve)하는 단계;
    상기 이미지 레이어에서, 상기 리트리브된 적어도 하나의 문자에 맵핑된 적어도 하나의 문자 이미지를 리트리브하는 단계; 및
    상기 리트리브된 적어도 하나의 문자 이미지를 포함하는 제1 필기 이미지를 상기 이미지 레이어에 반영하는 단계를 포함하는, 방법.
KR1020210090519A 2021-07-09 2021-07-09 필기 텍스트를 포함하는 문서에서의 텍스트 레이어 및 이미지 레이어의 편집 KR20230009742A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210090519A KR20230009742A (ko) 2021-07-09 2021-07-09 필기 텍스트를 포함하는 문서에서의 텍스트 레이어 및 이미지 레이어의 편집
PCT/US2021/065274 WO2023282931A1 (en) 2021-07-09 2021-12-28 Edit of text layer and image layer in document including handwritten text
US18/577,848 US20240330572A1 (en) 2021-07-09 2021-12-28 Edit of text layer and image layer in document including handwritten text

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210090519A KR20230009742A (ko) 2021-07-09 2021-07-09 필기 텍스트를 포함하는 문서에서의 텍스트 레이어 및 이미지 레이어의 편집

Publications (1)

Publication Number Publication Date
KR20230009742A true KR20230009742A (ko) 2023-01-17

Family

ID=84801947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210090519A KR20230009742A (ko) 2021-07-09 2021-07-09 필기 텍스트를 포함하는 문서에서의 텍스트 레이어 및 이미지 레이어의 편집

Country Status (3)

Country Link
US (1) US20240330572A1 (ko)
KR (1) KR20230009742A (ko)
WO (1) WO2023282931A1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092346A (ja) * 2004-09-24 2006-04-06 Fuji Xerox Co Ltd 文字認識装置、文字認識方法および文字認識プログラム
US8116569B2 (en) * 2007-12-21 2012-02-14 Microsoft Corporation Inline handwriting recognition and correction
US9495620B2 (en) * 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
RU2640322C2 (ru) * 2014-01-30 2017-12-27 Общество с ограниченной ответственностью "Аби Девелопмент" Способы и системы эффективного автоматического распознавания символов
IN2015CH01303A (ko) * 2015-03-16 2015-04-10 Wipro Ltd
US10643067B2 (en) * 2015-10-19 2020-05-05 Myscript System and method of handwriting recognition in diagrams

Also Published As

Publication number Publication date
US20240330572A1 (en) 2024-10-03
WO2023282931A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
JP5111268B2 (ja) 画像処理装置、画像処理方法、そのプログラムおよび記憶媒体
US9514103B2 (en) Effective system and method for visual document comparison using localized two-dimensional visual fingerprints
JP4533273B2 (ja) 画像処理装置及び画像処理方法、プログラム
JP4785655B2 (ja) 文書処理装置及び文書処理方法
US20120030234A1 (en) Method and system for generating a search query
KR20240020719A (ko) 정보 처리 장치, 저장 매체, 및 저장 방법
KR20130022329A (ko) 이미지를 전자문서에 삽입하는 방법 및 이를 수행하는 장치
US8760671B2 (en) Image forming apparatus
US20090327246A1 (en) Information processing apparatus, information processing method and medium storing program thereof
JP4921335B2 (ja) ドキュメント処理装置及び検索方法
JP6262708B2 (ja) 深い検索性を有するオブジェクト化及びハードコピーからオリジナルの電子ファイルを検出するドキュメント検出方法
US20220068276A1 (en) Information processor, print system, and control method
US9864750B2 (en) Objectification with deep searchability
US9798724B2 (en) Document discovery strategy to find original electronic file from hardcopy version
US11146705B2 (en) Character recognition device, method of generating document file, and storage medium
JP4811133B2 (ja) 画像形成装置及び画像処理装置
JP2009266009A (ja) 文書処理装置、文書サマリ作成方法および文書サマリ作成プログラム
KR20230009742A (ko) 필기 텍스트를 포함하는 문서에서의 텍스트 레이어 및 이미지 레이어의 편집
JP2001256256A (ja) 電子文書検索装置および電子文書検索方法
JP2010073165A (ja) 情報処理装置、その制御方法、及びコンピュータプログラム
JP2007334437A (ja) 画像処理装置及び方法、並びにプログラム及び記憶媒体
US20220179597A1 (en) Modify and output printout including data in predefined format
US20230343322A1 (en) Provision of voice information by using printout on which attribute information of document is recorded
US20230325126A1 (en) Information processing apparatus and method and non-transitory computer readable medium
US11481447B2 (en) Information processing device and non-transitory computer readable medium