KR20160097394A

KR20160097394A - Method for scanning document, and image forming apparatus for performing the same

Info

Publication number: KR20160097394A
Application number: KR1020140163719A
Authority: KR
Inventors: 강경훈; 강형종; 김정훈; 이호근
Original assignee: 삼성전자주식회사
Priority date: 2014-08-11
Filing date: 2014-11-21
Publication date: 2016-08-18

Abstract

A method for scanning a document according to the embodiment of the present invention includes a step of obtaining an original image by scanning a document; a step of detecting at least one pair of marks on the original image; a step of extracting the image of a region where the at least one pair of the detected marks from the original image; and a step of generating a new document file by using the extracted image. So, the convenience of a user can be improved.

Description

TECHNICAL FIELD [0001] The present invention relates to a scanning method of a document, and an image forming apparatus for performing the same. [0002]

본 발명은 문서를 스캔하는 방법 및 이를 수행하기 위한 화상형성장치에 관한 것이다.The present invention relates to a method of scanning a document and an image forming apparatus for performing the same.

문서의 스캔은 일반적으로 페이지 단위로 수행된다. 즉, 문서의 스캔을 수행하면 한 페이지 전체에 대한 이미지를 획득하게 된다. 따라서, 만약 사용자가 문서의 한 페이지 중에서 일부 영역들만을 추출하여 개별적으로 저장하거나, 추출된 영역들만으로 구성된 새로운 문서를 생성하고자 한다면 편집 프로그램을 이용해야 한다. 다시 말해, 사용자는 스캔을 수행하여 획득한 원본 이미지를 편집 프로그램에서 열고, 원하는 영역들만을 지정하여 추출한 후 별도의 파일로 저장하거나, 추출된 영역들의 이미지들을 원하는 레이아웃으로 배치하여 새로운 문서 파일로 저장할 수 있다.Scanning of documents is generally performed on a page-by-page basis. That is, when a document is scanned, an image of an entire page is obtained. Therefore, if the user extracts only a part of a page of a document and stores it separately, or if he or she wants to create a new document composed of only extracted areas, an editing program should be used. In other words, the user opens the original image obtained by performing the scan in the editing program, designates only the desired areas and extracts them, stores them as a separate file, arranges the images of the extracted areas in a desired layout, and stores them as a new document file .

이와 같이, 문서의 일부 영역만을 추출하여 편집하기 위해서는 별도의 편집 프로그램을 이용해야만 하는 불편함이 존재한다.As described above, there is an inconvenience that a separate editing program must be used to extract and edit only a part of the document.

문서를 스캔하는 방법 및 이를 수행하기 위한 화상형성장치를 제공하고자 한다.A method for scanning a document, and an image forming apparatus for performing the method.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 문서의 스캔 방법은, 문서를 스캔하여 원본 이미지를 획득하는 단계; 상기 원본 이미지상에서 적어도 한 쌍의 마크(mark)를 검출(detecting)하는 단계; 상기 원본 이미지로부터 상기 검출된 적어도 한 쌍의 마크에 의해 정의되는 영역의 이미지를 추출(extracting)하는 단계; 및 상기 추출된 이미지를 이용하여 새로운 문서 파일을 생성하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a method of scanning a document, the method comprising: scanning a document to obtain an original image; Detecting at least a pair of marks on the original image; Extracting an image of an area defined by the detected at least one pair of marks from the original image; And generating a new document file using the extracted image.

이때, 상기 적어도 한 쌍의 마크를 검출하는 단계는, 상기 원본 이미지상에서 미리 설정된 색상의 오브젝트들을 검출하는 단계; 및 상기 검출된 오브젝트들간의 거리, 색상 차이 및 상기 검출된 오브젝트들이 미리 설정된 형태와 일치하는 정도에 기초하여, 상기 검출된 오브젝트들 중에서 마크 쌍(pair)을 매칭시키는 단계를 포함할 수 있다.The detecting of the at least one pair of marks may include detecting objects of a predetermined color on the original image, And matching a pair of the detected objects based on a distance between the detected objects, a color difference, and a degree of matching the detected objects with a predetermined type.

또한, 상기 적어도 한 쌍의 마크를 검출하는 단계는, 상기 원본 이미지의 기울기를 측정하는 단계; 상기 측정된 기울기에 따라서 상기 원본 이미지를 회전시키는 단계; 및 상기 회전된 원본 이미지상에서 적어도 한 쌍의 마크를 검출하는 단계를 포함할 수 있다.The detecting of the at least one pair of marks may include: measuring a slope of the original image; Rotating the original image according to the measured slope; And detecting at least a pair of marks on the rotated original image.

또한, 상기 적어도 한 쌍의 마크를 검출하는 단계는, 상기 원본 이미지의 상하 정렬 상태를 판단하는 단계; 상기 판단 결과 상기 원본 이미지의 상하가 반전(reversal)된 상태라면, 상기 원본 이미지를 상하 회전시키는 단계; 및 상기 회전된 원본 이미지상에서 적어도 한 쌍의 마크를 검출하는 단계를 포함할 수 있다.The detecting of the at least one pair of marks may include: determining a vertical alignment state of the original image; Rotating the original image up and down if the original image is reversed up and down; And detecting at least a pair of marks on the rotated original image.

또한, 상기 이미지를 추출하는 단계는, 상기 영역을 정의하는 마크의 형태에 따라서 추출되는 이미지의 카테고리를 자동으로 분류할 수 있다.The step of extracting the image may automatically classify the category of the extracted image according to the shape of the mark defining the area.

또한, 상기 새로운 문서 파일을 생성하는 단계는, 미리 설정된 레이아웃을 확인하는 단계; 및 상기 확인된 레이아웃에 따라 상기 추출된 이미지를 배치하여 새로운 문서 파일을 생성하는 단계를 포함할 수 있다.The generating of the new document file may include: confirming a preset layout; And arranging the extracted image according to the identified layout to generate a new document file.

또한, 상기 새로운 문서 파일을 생성하는 단계는, 상기 추출된 이미지를 개별적으로 저장할 수 있다.In addition, the step of generating the new document file may separately store the extracted images.

또한, 상기 새로운 문서 파일을 생성하는 단계는, 상기 추출된 이미지에 OCR을 수행하여 텍스트를 추출하는 단계; 및 상기 추출된 텍스트를 포함하는 새로운 문서 파일을 저장하는 단계를 포함할 수 있다.The generating of the new document file may include extracting text by performing an OCR on the extracted image; And storing a new document file including the extracted text.

한편, 상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 화상형성장치는, 화면을 표시하고 사용자로부터 입력을 수신하기 위한 오퍼레이션 패널; 상기 오퍼레이션 패널을 통해 스캔 명령을 수신하면 문서를 스캔하여 원본 이미지를 획득하는 스캔부; 상기 스캔부로부터 원본 이미지를 수신하고, 수신한 원본 이미지로부터 새로운 문서 파일을 생성하는 제어부; 및 상기 새로운 문서 파일의 생성에 필요한 데이터가 저장되는 저장부를 포함하며, 상기 제어부는 상기 원본 이미지상에서 적어도 한 쌍의 마크를 검출하고, 검출된 마크 쌍에 의해 정의되는 영역의 이미지를 추출하고, 추출된 이미지를 이용하여 새로운 문서 파일을 생성할 수 있다.According to another aspect of the present invention, there is provided an image forming apparatus including: an operation panel for displaying a screen and receiving an input from a user; A scan unit that scans a document and acquires an original image when a scan command is received through the operation panel; A controller receiving the original image from the scan unit and generating a new document file from the received original image; And a storage unit in which data necessary for generating the new document file is stored. The control unit detects at least one pair of marks on the original image, extracts an image of a region defined by the detected mark pair, A new document file can be generated using the image.

이때, 상기 제어부는 상기 원본 이미지상에서 미리 설정된 색상의 오브젝트들을 검출하고, 상기 검출된 오브젝트들간의 거리, 색상 차이 및 상기 검출된 오브젝트들이 미리 설정된 형태와 일치하는 정도에 기초하여, 상기 검출된 오브젝트들 중에서 마크 쌍을 매칭시킬 수 있다.At this time, the control unit detects objects of a predetermined color on the original image, and based on the distance between the detected objects, the color difference, and the degree to which the detected objects coincide with the predetermined form, The pair of marks can be matched.

또한, 상기 제어부는 상기 원본 이미지의 기울기를 측정하고, 상기 측정된 기울기에 따라서 상기 원본 이미지를 회전시키고, 상기 회전된 원본 이미지상에서 적어도 한 쌍의 마크를 검출할 수 있다.The control unit may measure the slope of the original image, rotate the original image according to the measured slope, and detect at least one pair of marks on the rotated original image.

또한, 상기 제어부는 상기 원본 이미지의 상하 정렬 상태를 판단하고, 상기 판단 결과 상기 원본 이미지의 상하가 반전된 상태라면 상기 원본 이미지를 상하 회전시키고, 상기 회전된 원본 이미지상에서 적어도 한 쌍의 마크를 검출할 수 있다.The control unit may determine whether the original image is vertically aligned, rotate the original image up and down if the original image is inverted, and detect at least one pair of marks on the rotated original image can do.

또한, 상기 제어부는 상기 영역을 정의하는 마크의 형태에 따라서 추출되는 이미지의 카테고리를 자동으로 분류할 수 있다.In addition, the control unit may automatically classify the extracted image category according to the shape of the mark defining the area.

또한, 상기 제어부는 미리 설정된 레이아웃을 확인하고, 상기 확인된 레이아웃에 따라 상기 추출된 이미지를 배치하여 새로운 문서 파일을 생성할 수 있다.In addition, the control unit may confirm a preset layout, and may generate a new document file by arranging the extracted image according to the checked layout.

또한, 상기 제어부는 상기 추출된 이미지를 개별적으로 저장할 수 있다.In addition, the control unit may separately store the extracted images.

또한, 상기 제어부는 상기 추출된 이미지에 OCR을 수행하여 텍스트를 추출하고, 상기 추출된 텍스트를 포함하는 새로운 문서 파일을 생성할 수 있다.In addition, the controller may perform an OCR on the extracted image to extract text, and may generate a new document file including the extracted text.

본 발명의 실시예에 따르면, 사용자가 문서에 마크를 표시하여 추출을 원하는 영역을 지정하고 스캔을 수행하면, 스캔 수행 단계에서 마크에 의해 정의되는 영역을 자동으로 추출하고, 미리 정해진 레이아웃에 따라 추출된 영역을 배치하여 새로운 문서를 생성하거나, 추출된 영역을 개별적으로 저장할 수 있다. 따라서, 문서의 스캔 및 편집에 있어서 사용자의 편의성이 향상되는 효과를 기대할 수 있다.According to the embodiment of the present invention, when a user specifies a region to be extracted by displaying a mark on a document and performs a scan, an area defined by the mark is automatically extracted in the scan execution step, A new document can be created by arranging the extracted regions, or the extracted regions can be individually stored. Therefore, the user's convenience in scanning and editing the document can be expected to be improved.

도 1은 본 발명의 실시예에 따른 문서의 스캔 방법의 기본 동작 특성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 화상형성장치의 구성을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 화상형성장치의 구체적인 하드웨어 구성 및 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션의 소프트웨어 구성을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션의 시작시 나타나는 UI 화면을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션에서 스캔 수행 중 표시되는 UI 화면을 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 문서의 스캔 방법에 있어서, 문서의 스캔을 수행하여 획득한 원본 이미지를 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 문서의 스캔 방법에 있어서, 문서가 기울어진 상태로 스캔을 수행하여 획득한 원본 이미지를 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 문서의 스캔 방법에 있어서, 원본 이미지의 정렬을 위한 디스큐(deskew)의 수행 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 문서의 스캔 방법에 있어서, 원본 이미지의 정렬을 위한 자동 회전(auto rotation)의 수행 방법을 설명하기 위한 도면이다.
도 10 및 도 11은 본 발명의 실시예에 따른 문서의 스캔 방법에 있어서, 원본 이미지에서 마크를 검출하는 방법을 설명하기 위한 도면들이다.
도 12는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션에서 추출된 영역의 미리보기를 표시하는 UI 화면을 도시한 도면이다.
도 13은 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션에서 크롭핑된 이미지의 미리보기를 표시하는 UI 화면을 도시한 도면이다.
도 14는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션에서 크롭핑된 이미지를 재구성하여 생성된 문서의 미리보기를 표시하는 UI 화면을 도시한 도면이다.
도 15는 본 발명의 실시예에 따른 문서의 스캔 방법에 있어서, 마크의 형태에 따라서 추출되는 영역의 카테고리를 분류하는 예를 설명하기 위한 도면이다.
도 16a 및 도 16b는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션에서 크롭핑된 이미지들을 배치하기 위한 레이아웃을 설정하기 위한 UI 화면들을 도시한 도면들이다.
도 17 내지 도 19는 본 발명의 실시예에 따른 문서의 스캔 방법을 설명하기 위한 순서도들이다.1 is a diagram for explaining basic operational characteristics of a document scanning method according to an embodiment of the present invention.
2 is a diagram showing the configuration of an image forming apparatus for performing a document scanning method according to an embodiment of the present invention.
3 is a diagram showing a specific hardware configuration of an image forming apparatus according to an embodiment of the present invention and a software configuration of an application for performing a document scanning method according to an embodiment of the present invention.
4 is a diagram illustrating a UI screen displayed at the start of an application for performing a document scanning method according to an embodiment of the present invention.
5 is a diagram illustrating a UI screen displayed during a scan in an application for performing a document scanning method according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an original image obtained by scanning a document in a document scanning method according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 7 is a diagram illustrating a document image scanning method according to an exemplary embodiment of the present invention, which is an original image obtained by scanning a document in a skewed state.
8 is a diagram for explaining a method of performing a deskew for aligning an original image in a document scanning method according to an embodiment of the present invention.
9 is a diagram for explaining a method of performing auto rotation for aligning an original image in a document scanning method according to an embodiment of the present invention.
10 and 11 are diagrams for explaining a method of detecting a mark in an original image in a document scanning method according to an embodiment of the present invention.
12 is a diagram showing a UI screen displaying a preview of an area extracted from an application for performing a document scanning method according to an embodiment of the present invention.
13 is a diagram showing a UI screen for displaying a preview of an image cropped in an application for performing a document scanning method according to an embodiment of the present invention.
14 is a diagram showing a UI screen for displaying a preview of a document generated by reconstructing an image cropped in an application for performing a document scanning method according to an embodiment of the present invention.
15 is a diagram for explaining an example of classifying a category of an area to be extracted according to a mark type in a document scanning method according to an embodiment of the present invention.
16A and 16B are views showing UI screens for setting a layout for arranging cropped images in an application for implementing a document scanning method according to an embodiment of the present invention.
17 to 19 are flowcharts for explaining a document scanning method according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In order to more clearly describe the features of the embodiments, a detailed description will be omitted with respect to the matters widely known to those skilled in the art to which the following embodiments belong.

도 1은 본 발명의 실시예에 따른 문서의 스캔 방법의 기본 동작 특성을 설명하기 위한 도면이다. 본 발명의 실시예에 따른 문서의 스캔 방법은 화상형성장치(100)를 이용하여 수행되며, 이때 화상형성장치(100)는 스캐너 또는 복합기와 같이 스캔 기능을 구비한 장치일 수 있다.1 is a diagram for explaining basic operational characteristics of a document scanning method according to an embodiment of the present invention. A method of scanning a document according to an embodiment of the present invention is performed using the image forming apparatus 100, and the image forming apparatus 100 may be a device having a scan function such as a scanner or a multifunction peripheral.

본 발명의 실시예에 따른 문서의 스캔 방법에 따르면, 화상형성장치(100)는 문서의 스캔을 수행하여 원본 이미지를 획득하고, 획득한 원본 이미지로부터 마크(mark)에 의해 정의된 영역의 이미지를 자동으로 추출하고, 추출된 이미지를 이용하여 새로운 문서 파일을 생성한다.According to the document scanning method according to the embodiment of the present invention, the image forming apparatus 100 scans a document to acquire an original image, and acquires an image of an area defined by a mark from the acquired original image Automatically extracts the extracted image, and generates a new document file using the extracted image.

구체적으로, 화상형성장치(100)는 추출된 이미지를 미리 설정된 레이아웃에 따라 배치하여 새로운 문서 파일을 생성하거나, 추출된 이미지를 개별적으로 저장하거나, 또는 추출된 이미지에 OCR(Optical Character Reader)을 수행하여 텍스트를 추출하고, 추출된 텍스트를 포함하는 새로운 문서 파일을 생성할 수 있다.Specifically, the image forming apparatus 100 arranges the extracted images according to a predetermined layout to generate new document files, individually stores the extracted images, or performs OCR (Optical Character Reader) on the extracted images Extract a text, and generate a new document file containing the extracted text.

도 1을 참조하면, 문서(10)에는 제1 영역(area) 내지 제6 영역(A1 내지 A6)이 존재한다. 6개의 영역들은 문서(10)를 임의로 구분한 것으로, 문서(10)의 페이지 구성에 따라서 다양한 방식으로 영역이 구분될 수 있다. 예를 들어, 문서(10)가 문제집(workbook)이라면, 영역들은 각각 하나의 문제를 포함할 수 있다. 또한, 도 1에서 제1 영역 내지 제6 영역(A1 내지 A6)은 설명의 편의를 위해 일정 크기, 일정 간격으로 구분된 것으로, 실제 마크에 의해 정의될 수 있는 영역이 이에 한정되지는 않는다.Referring to FIG. 1, the document 10 includes first to sixth areas A1 to A6. The six regions are arbitrarily divided into the documents 10, and regions can be divided in various ways according to the page structure of the document 10. [ For example, if the document 10 is a workbook, the areas may each contain a single problem. In FIG. 1, the first to sixth areas A1 to A6 are separated by a predetermined size and a constant interval for convenience of explanation, and the area defined by the actual mark is not limited thereto.

한편, 문서(10)에는 4개의 마크들(11a, 11b, 12a, 12b)이 표시되어 있다. 이 중 한 쌍의 마크들(11a, 11b)은 제1 영역(A1)를 정의하고, 나머지 한 쌍의 마크들(12a, 12b)은 제3 영역(A3)을 정의한다. 이때, 영역의 정의하는 마크의 형태는 도 1에 도시된 형태에 한정되지 않고 다양하게 설정될 수 있다.On the other hand, in the document 10, four marks 11a, 11b, 12a and 12b are displayed. A pair of marks 11a and 11b define a first area A1 and a pair of marks 12a and 12b define a third area A3. At this time, the shape of the mark defined by the area is not limited to the shape shown in FIG. 1, and can be variously set.

사용자가 도 1에 도시된 바와 같이 문서(10)에 마크들(11a, 11b, 12a, 12b)을 표시하여 추출을 원하는 영역(A1 및 A3)을 지정하고 스캔을 수행하면, 화상형성장치(100)는 마크들에 의해 정의된 영역들(A1 및 A3)의 이미지를 자동으로 추출하고, 추출된 이미지들을 재구성할 수 있다.When the user designates the areas A1 and A3 which are desired to be extracted by displaying the marks 11a, 11b, 12a and 12b on the document 10 as shown in Fig. 1 and performs scanning, the image forming apparatus 100 ) Can automatically extract the images of the areas A1 and A3 defined by the marks, and reconstruct the extracted images.

도 2는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 화상형성장치의 구성을 도시한 도면이다.2 is a diagram showing the configuration of an image forming apparatus for performing a document scanning method according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시예에 따른 화상형성장치(100)는 사용자 인터페이스부(110), 스캔부(120), 저장부(130), 제어부(140), 인쇄부(150), 통신부(160) 및 팩스부(170)를 포함할 수 있다. 이들 구성 중 인쇄부(150), 통신부(160) 및 팩스부(170)는 필수적인 구성은 아니며, 필요에 따라 선택적으로 포함될 수 있다.2, an image forming apparatus 100 according to an embodiment of the present invention includes a user interface unit 110, a scan unit 120, a storage unit 130, a control unit 140, a printing unit 150, A communication unit 160, and a facsimile unit 170. Among these configurations, the printing unit 150, the communication unit 160, and the facsimile unit 170 are not essential components and can be optionally included as needed.

사용자 인터페이스부(110)는 사용자에게 화면을 표시하여 정보를 전달하고 사용자 입력을 수신하기 위한 구성이다. 예를 들어, 사용자 인터페이스부(100)는 화면을 표시하고 터치 입력을 수신하기 위한 터치 스크린 및 버튼 입력을 수신하기 위한 하드 버튼들을 포함하는 오퍼레이션 패널(operation panel)일 수 있다.The user interface unit 110 is a configuration for displaying a screen to a user, transmitting information, and receiving user input. For example, the user interface unit 100 may be an operation panel including a touch screen for displaying a screen and receiving a touch input, and hard buttons for receiving a button input.

또한, 사용자 인터페이스부(110)에는 화상형성장치(100)의 동작 상태를 나타내는 화면 또는 화상형성장치(100)에 설치된 어플리케이션의 실행 화면 등이 표시될 수 있다. 특히, 사용자 인터페이스부(110)에는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션의 UI 화면들이 표시될 수 있다.In the user interface unit 110, a screen showing the operation state of the image forming apparatus 100 or an execution screen of an application installed in the image forming apparatus 100 may be displayed. In particular, UI screens of an application for performing a document scanning method according to an embodiment of the present invention may be displayed on the UI unit 110. [

스캔부(120)는 문서를 스캔하여 스캔 이미지를 획득하고, 획득한 스캔 이미지를 제어부(140)로 전달하여 이미지 처리가 수행될 수 있도록 한다.The scan unit 120 scans a document to acquire a scan image, and transmits the acquired scan image to the control unit 140 so that image processing can be performed.

저장부(130)는 RAM(Random Access Memory), HDD(Hard Disk Drive), SD(Secure Digital) 카드 등과 같이 정보의 저장이 가능한 기록 매체를 모두 포함하며, 다양한 정보가 저장될 수 있다. 특히, 저장부(130)에는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션이 저장되며, 또한 OCR(Optical Character Reader)을 수행하기 위한 텍스트 데이터 베이스가 저장될 수도 있다.The storage unit 130 may include a storage medium such as a random access memory (RAM), a hard disk drive (HDD), and a secure digital (SD) card. In particular, the storage unit 130 may store an application for performing a document scanning method according to an embodiment of the present invention, and may also store a text database for performing an OCR (Optical Character Reader).

제어부(140)는 화상형성장치(100)에 포함된 구성들의 동작을 제어하며, 특히 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션의 실행을 제어한다. 구체적으로, 제어부(140)는 스캔부(120)로부터 수신한 스캔 이미지에서 마크를 검출하고, 검출된 마크에 의해 정의되는 영역의 이미지를 추출하고, 추출된 이미지를 이용하여 새로운 문서 파일을 생성한다.The control unit 140 controls the operation of the components included in the image forming apparatus 100, and particularly controls the execution of an application for executing a document scanning method according to an embodiment of the present invention. Specifically, the control unit 140 detects a mark in a scan image received from the scan unit 120, extracts an image of a region defined by the detected mark, and generates a new document file using the extracted image .

인쇄부(150) 및 팩스부(170)는 각각 인쇄 및 팩스를 수행하기 위한 구성이며, 통신부(160)는 통신망 또는 외부의 다른 디바이스와 유무선 통신을 수행하기 위한 구성이다.The printing unit 150 and the fax unit 170 are configured to perform printing and faxing, respectively, and the communication unit 160 is configured to perform wired / wireless communication with a communication network or another external device.

화상형성장치(100)에 포함된 각 구성의 구체적인 동작은 아래에서 다른 도면들을 참조하여 더 자세히 설명하도록 한다.The specific operation of each configuration included in the image forming apparatus 100 will be described in detail below with reference to the other drawings.

도 3은 본 발명의 실시예에 따른 화상형성장치의 구체적인 하드웨어 구성 및 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션의 소프트웨어 구성을 도시한 도면이다.3 is a diagram showing a specific hardware configuration of an image forming apparatus according to an embodiment of the present invention and a software configuration of an application for performing a document scanning method according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시예에 따른 화상형성장치(100)는 UI(User Interface) 보드 및 메인 보드를 포함할 수 있다. UI 보드는 CPU, RAM, 스크린, SD 카드 및 IO(Input/Output) 단자를 포함할 수 있으며, 메인 보드는 CPU, RAM, HDD 및 IO 단자를 포함할 수 있다.Referring to FIG. 3, an image forming apparatus 100 according to an embodiment of the present invention may include a UI (User Interface) board and a main board. The UI board may include a CPU, a RAM, a screen, an SD card, and an input / output (IO) terminal. The main board may include a CPU, a RAM, a HDD, and an IO terminal.

한편, 도 3에는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션의 소프트웨어 구성(300)이 도시되었다. 이하에서는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션의 명칭을 워크북 컴포저(workbook composer, WBC)라고 한다.3, a software configuration 300 of an application for performing a document scanning method according to an embodiment of the present invention is shown. Hereinafter, the name of an application for performing a document scanning method according to an embodiment of the present invention is referred to as a workbook composer (WBC).

워크북 컴포저의 소프트웨어 구성(300)은 WBC UI 모듈(310), 이미지 획득 모듈(320), 스마트 크롭 모듈(330), 이미지 크롭 모듈(340), 이미지 구성 모듈(350) 및 OCR 모듈(360)을 포함할 수 있다.The software configuration 300 of the workbook composer includes a WBC UI module 310, an image acquisition module 320, a smart crop module 330, an image crop module 340, an image configuration module 350 and an OCR module 360. [ . &Lt; / RTI >

워크북 컴포저의 소프트웨어 구성(300)에 포함된 모듈들은 화상형성장치(100)의 UI 보드에 포함된 구성들을 이용하여 구동된다. 구체적으로, WBC UI 모듈(310)은 UI 보드의 스크린을 통해서 워크북 컴포저 어플리케이션의 실행 화면을 표시하고, 사용자로부터 입력을 수신한다. 이미지 획득 모듈(320)은 UI 보드의 IO 단자를 통해 메인 보드에 스캔을 요청하고, 메일 보드로부터 스캔 이미지를 수신한다. 스마트 크롭 모듈(330), 이미지 크롭 모듈(340), 이미지 구성 모듈(350) 및 OCR 모듈(360)은 UI 보드의 CPU, RAM 및 SD 카드를 이용하여 이미지 획득 모듈(320)이 수신한 스캔 이미지에 이미지 처리를 수행한다.The modules included in the software configuration 300 of the workbook composer are driven using the configurations included in the UI board of the image forming apparatus 100. [ Specifically, the WBC UI module 310 displays an execution screen of the workbook composer application on the screen of the UI board, and receives input from the user. The image acquisition module 320 requests the main board to scan through the IO terminal of the UI board and receives the scan image from the mail board. The smart crop module 330, the image crop module 340, the image configuration module 350 and the OCR module 360 use the CPU, RAM, and SD card of the UI board to scan the scan image As shown in FIG.

본 발명의 실시예에 따른 문서의 스캔 방법의 실시 과정에서 워크북 컴포저의 소프트웨어 구성(300)의 구체적인 동작을 설명하면 다음과 같다.A specific operation of the software configuration 300 of the workbook composer in the process of the document scanning method according to the embodiment of the present invention will be described below.

사용자로부터 문서의 스캔 명령이 입력되면, WBC UI 모듈(310)은 이미지 획득 모듈에 스캔 이미지를 요청한다. 이에 이미지 획득 모듈(320)은 메인 보드에 화상형성장치(100)의 케이퍼빌리티를 문의하고, 케이퍼빌리티 확인 결과 스캔이 가능하면 스캔을 요청하여 스캔 이미지를 획득한다. 이미지 획득 모듈(320)은 획득한 스캔 이미지를 WBC UI 모듈(310)에 전송하고, WBC UI 모듈(310)은 수신한 스캔 이미지를 스마트 크롭 모듈(330)에 전송한다.When a scan command of a document is input from the user, the WBC UI module 310 requests a scan image to the image acquisition module. The image acquisition module 320 inquires of the main board about the capabil- ity of the image forming apparatus 100. If the capabil- ity checking result is available, the image acquisition module 320 requests the scan to acquire the scan image. The image acquisition module 320 transmits the acquired scan image to the WBC UI module 310, and the WBC UI module 310 transmits the received scan image to the smart crop module 330.

스마트 크롭 모듈(330)은 수신한 스캔 이미지에 디스큐(deskew), 자동 회전(auto rotation), 마크 검출, 영역 추출 및 마크 제거와 같은 이미지 처리를 수행하고, 처리된 이미지를 추출된 영역에 대한 정보와 함께 WBC UI 모듈(310)로 전송한다. 이때, 추출된 영역에 대한 정보란, 추출된 영역을 특정할 수 있는 정보로서, 예를 들어 추출된 영역에 포함되는 픽셀의 좌표값일 수 있다. 스마트 크롭 모듈(330)에서 수행되는 이미지 처리들에 대해서는 아래에서 도면을 참조하여 상세하게 설명하기로 한다.The smart crop module 330 performs image processing such as deskew, auto rotation, mark detection, region extraction, and mark removal on the received scan image, and outputs the processed image to the extracted region And transmits it to the WBC UI module 310 together with the information. At this time, the information about the extracted region is information that can specify the extracted region, for example, it may be a coordinate value of a pixel included in the extracted region. The image processing performed in the smart crop module 330 will be described in detail below with reference to the drawings.

한편, 스마트 크롭 모듈(330)에서 수행되는 이미지 처리들 중 디스큐, 자동 회전 및 마크 제거 등은 사용자 설정에 따라 선택적으로 수행될 수도 있다. 즉, 사용자가 문서의 스캔을 수행하기 전에 WBC UI 모듈(310)을 통해, 디스큐, 자동 회전 및 마크 제거 중 적어도 하나를 수행하지 않도록 설정하면, 스마트 크롭 모듈(330)은 해당 이미지 처리를 제외한 나머지 이미지 처리만을 수행한다.Meanwhile, among the image processes performed in the smart crop module 330, the deskew, automatic rotation, and mark removal may be selectively performed according to user settings. That is, if the user does not perform at least one of the deskew, automatic rotation, and mark removal through the WBC UI module 310 before performing the scan of the document, the smart crop module 330 determines Only the remaining image processing is performed.

WBC UI 모듈(310)은 수신한 처리된 이미지 및 추출된 영역에 대한 정보를 이미지 크롭 모듈(340)에 전송한다. 이미지 크롭 모듈(340)은 수신한 추출된 영역에 대한 정보를 이용하여 처리된 이미지로부터 추출된 영역의 이미지를 크롭핑(cropping)하고, 크롭핑된 이미지를 WBC UI 모듈(310)로 전송한다.The WBC UI module 310 transmits the received processed image and information on the extracted region to the image crop module 340. The image cropping module 340 crops an image of the region extracted from the processed image using the information on the extracted extracted region, and transmits the cropped image to the WBC UI module 310.

WBC UI 모듈(310)은 수신한 크롭핑된 이미지를 이용하여 새로운 문서 파일을 생성하기 위해, 크롭핑된 이미지를 사용자의 명령에 따라 이미지 구성 모듈(350) 또는 OCR 모듈(360)로 전송한다.The WBC UI module 310 transmits the cropped image to the image configuration module 350 or the OCR module 360 according to the user's command in order to generate a new document file using the received cropped image.

사용자가 크롭핑된 이미지를 미리 설정된 레이아웃에 따라 배치하여 새로운 문서 파일을 생성하도록 요청하면, WBC UI 모듈(310)은 크롭핑된 이미지를 이미지 구성 모듈(350)로 전송한다. 이미지 구성 모듈(350)은 크롭핑된 이미지를 미리 설정된 레이아웃에 따라 배치하여 새로운 문서 파일을 생성하고, 생성된 문서 파일을 WBC UI 모듈(310)로 전송한다.When the user requests to create a new document file by arranging the cropped image according to the preset layout, the WBC UI module 310 transmits the cropped image to the image configuration module 350. [ The image configuration module 350 generates a new document file by arranging the cropped images according to a predetermined layout, and transmits the generated document file to the WBC UI module 310. [

사용자가 크롭핑된 이미지에 대한 OCR 수행을 요청하면, WBC UI 모듈(310)은 크롭핑된 이미지를 OCR 모듈(360)로 전송하고, OCR 모듈(360)은 크롭핑된 이미지로부터 텍스트를 추출하여 새로운 문서 파일을 생성하고, 생성된 문서 파일을 WBC UI 모듈(310)로 전송한다.When the user requests to perform an OCR on the cropped image, the WBC UI module 310 sends the cropped image to the OCR module 360, and the OCR module 360 extracts the text from the cropped image Generates a new document file, and transmits the generated document file to the WBC UI module 310.

또는, 사용자가 크롭핑된 이미지를 개별적으로 저장하도록 요청하면, WBC UI 모듈(310)은 수신한 크롭핑된 이미지 각각을 개별적인 문서 파일로 저장한다.Alternatively, if the user requests to individually store the cropped images, the WBC UI module 310 stores each of the received cropped images as a separate document file.

한편, 도 3을 도 2와 비교하면, 도 3의 UI 보드 및 메인 보드에 포함된 CPU들은 도 2의 제어부(140)에 대응되며, RAM, SD 카드 및 HDD는 도 2의 저장부(130)에 대응된다. 따라서, 워크북 컴포저의 소프트웨어 구성(300)은 도 2의 제어부(140)에 의해서 실행된다.3, the CPUs included in the UI board and the main board of FIG. 3 correspond to the controller 140 of FIG. 2, and the RAM, the SD card, and the HDD correspond to the storage unit 130 of FIG. . Thus, the software configuration 300 of the workbook composer is executed by the control unit 140 of FIG.

이하에서는 도 4 내지 도 16을 참조하여 본 발명의 실시예에 따른 문서의 스캔 방법의 실시 과정을 상세하게 설명한다. 필요한 경우 도 2 및 도 3에 도시된 구성들을 참조하여 설명한다.Hereinafter, a detailed description will be given of a method of scanning a document according to an embodiment of the present invention with reference to FIGS. 4 to 16. FIG. And if necessary, will be described with reference to the configurations shown in Figs. 2 and 3. Fig.

도 4는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션, 즉 워크북 컴포저의 시작시 나타나는 UI 화면을 도시한 도면이다. 도시된 UI 화면은 사용자 인터페이스부(110)의 스크린에 표시된다.4 is a diagram illustrating a UI screen displayed when an application for performing a document scanning method according to an embodiment of the present invention, i.e., a workbook composer, is started. The illustrated UI screen is displayed on the screen of the user interface unit 110.

UI 화면(400)의 410 영역에는 워크북 컴포저의 이용 방법을 안내하는 예시 화면이 표시되었다. 사용자는 410 영역에 표시된 예시 화면을 보고 마크를 표시하여 영역을 정의하는 방법을 확인하고, 스캔 수행시 얻게 되는 결과물을 미리 예측할 수 있다.In the area 410 of the UI screen 400, an example screen for guiding how to use the workbook composer is displayed. The user can view the example screen displayed in the area 410 and display a mark to confirm the method of defining the area and predict the result obtained in the scan execution in advance.

사용자가 영역을 정의하는 마크를 표시한 문서를 스캔부(120)에 올려놓고 시작 버튼(420)을 터치하면, 스캔부(120)는 문서의 스캔을 시작한다. 이때, 앞서 설명한 바와 같이 WBC UI 모듈(310)은 이미지 획득 모듈(320)에 스캔 이미지를 요청하고, 이미지 획득 모듈(320)은 스캔부(120)로부터 스캔 이미지를 획득하여 WBC UI 모듈(310)로 전송한다.When the user places a document displaying a mark defining a region on the scan unit 120 and touches the start button 420, the scan unit 120 starts scanning the document. The WBC UI module 310 requests a scan image to the image acquisition module 320 and the image acquisition module 320 acquires a scan image from the scan unit 120 and transmits the scanned image to the WBC UI module 310. [ Lt; / RTI >

문서의 스캔이 수행되는 동안 사용자 인터페이스부(110)에는 도 5에 도시된 UI 화면(500)이 표시된다. UI 화면(500)에는 현재 스캔이 수행 중이라는 팝업(510)이 표시된다.The UI screen 500 shown in FIG. 5 is displayed on the UI unit 110 while the document is scanned. The UI screen 500 displays a pop-up 510 indicating that the current scan is being performed.

한편, 문서의 스캔을 수행함에 있어서, 스캔 해상도, 다큐먼트 소스, 사이즈 등의 스캔 옵션은 사용자가 사용자 인터페이스부(110)를 통해 미리 설정할 수도 있으며, 또는 스캔부(120)의 케이퍼빌리티에 따라서 최적의 결과물을 얻을 수 있도록 제어부(140)가 자동으로 설정할 수도 있다.In performing the scan of the document, the scan options such as the scan resolution, the document source, and the size may be preset by the user through the user interface unit 110, or may be optimized according to the capabil- ity of the scan unit 120. [ The control unit 140 may automatically set the output of the control unit 140 so that the output of the control unit 140 may be obtained.

도 6은 본 발명의 실시예에 따른 문서의 스캔 방법에 있어서, 문서의 스캔을 수행하여 획득한 원본 이미지를 도시한 도면이다.FIG. 6 is a diagram illustrating an original image obtained by scanning a document in a document scanning method according to an exemplary embodiment of the present invention. Referring to FIG.

도 6을 참조하면, 스캔을 수행하여 획득한 원본 이미지(600)는 제1 영역 내지 제6 영역(A1 내지 A6)을 포함하며, 제1 영역(A1) 및 제3 영역(A3)을 정의하는 두 쌍의 마크들(610a, 610b, 620a, 620b)이 표시되어 있다. 이렇게 획득된 원본 이미지(600)는 제어부(140)로 전달되어 이미지 처리가 수행된다.Referring to FIG. 6, the original image 600 obtained by performing the scan includes first to sixth areas A1 to A6, and defines a first area A1 and a third area A3 Two pairs of marks 610a, 610b, 620a and 620b are shown. The original image 600 thus obtained is transferred to the control unit 140 and image processing is performed.

한편, 문서가 기울어진 상태로 스캔 되거나 또는 문서의 상하가 반전(reversal)되어 스캔 되는 경우, 스캔을 통해 획득된 원본 이미지는 올바르게 정렬되지 않아 이미지 처리를 수행하기에 적합하지 않을 수도 있다. 따라서, 이런 경우에는 이미지 처리를 수행하기에 적합한 형태로 전처리를 수행한 후 이미지 처리를 수행한다. 이하에서는 도 7 내지 도 9를 참조하여 원본 이미지가 올바르게 정렬되지 않은 경우, 이미지 처리를 수행하기 적합한 형태로 전처리를 하는 과정에 대해서 설명한다.On the other hand, if the document is scanned in a skewed state or the document is scanned reversely up and down, the original image obtained through the scan may not be properly aligned and thus may not be suitable for image processing. Therefore, in this case, the image processing is performed after preprocessing in a form suitable for performing image processing. Hereinafter, with reference to FIGS. 7 to 9, a process of preprocessing in a form suitable for image processing when the original image is not correctly aligned will be described.

도 7에는 문서가 기울어진 상태로 스캔을 수행한 경우 획득된 원본 이미지를 도시하였다.FIG. 7 shows the original image obtained when the document is scanned in a tilted state.

도 7을 참조하면, 원본 이미지(700)는 다소 기울어진 상태로 스캔 되었다. 도 7에 도시된 원본 이미지(700) 역시 제1 영역 내지 제6 영역(A1 내지 A6)을 포함하며, 제1 영역(A1) 및 제3 영역(A3)을 정의하는 두 쌍의 마크들(710a, 710b, 720a, 720b)이 표시되어 있다.Referring to FIG. 7, the original image 700 has been scanned in a slightly inclined state. The original image 700 shown in Fig. 7 also includes first to sixth areas A1 to A6 and includes two pairs of marks 710a (first area A1) and a third area A3 , 710b, 720a, and 720b are displayed.

스마트 크롭 모듈(330)은 기울어진 원본 이미지(700)의 기울기 및 상하 정렬 상태를 측정하고, 측정 결과에 따라서 디스큐 및 자동 회전을 수행하여 이후의 이미지 처리, 즉 마크의 검출 및 영역 추출에 적합한 형태로 만들 수 있다.The smart crop module 330 measures the tilt and vertical alignment of the tilted original image 700 and performs deskew and automatic rotation in accordance with the measurement results to perform subsequent image processing, .

도 8은 본 발명의 실시예에 따른 문서의 스캔 방법에 있어서, 원본 이미지의 정렬을 위한 디스큐(deskew)의 수행 방법을 설명하기 위한 도면이다.8 is a diagram for explaining a method of performing a deskew for aligning an original image in a document scanning method according to an embodiment of the present invention.

도 8에는 도 7에 도시된 원본 이미지(700) 중에서 제3 영역(A3)의 상세 이미지(800)를 도시하였다. 도 8을 참조하면, 스마트 크롭 모듈(330)은 상세 이미지(800)에 포함된 텍스트들 각각을 오브젝트로 판단하고, 서로 이웃한 오브젝트들을 서로 연결하여 그룹들(810, 820, 830, 840, 850)을 형성한다.FIG. 8 shows a detailed image 800 of the third area A3 among the original images 700 shown in FIG. 8, the smart crop module 330 determines each of the texts included in the detailed image 800 as an object, and connects neighboring objects to each other to form groups 810, 820, 830, 840, 850 ).

이어서, 스마트 크롭 모듈(330)은 각 그룹에 포함된 오브젝트들의 기울기를 측정하고, 그 평균을 구한다. 즉, 스마트 크롭 모듈(330)은 제1 그룹 내지 제 5 그룹(810 내지 850)의 기울기를 각각 측정하고, 측정된 기울기의 평균값을 산출한다. 스마트 크롭 모듈(330)은 산출된 기울기의 평균값에 따라서 도 7의 원본 이미지(700)를 일정 각도만큼 회전시킨다.Next, the smart crop module 330 measures the slope of the objects included in each group and obtains the average thereof. That is, the smart crop module 330 measures the slopes of the first to fifth groups 810 to 850, respectively, and calculates an average value of the measured slopes. The smart crop module 330 rotates the original image 700 of FIG. 7 by a certain angle according to the average value of the calculated slopes.

도 9는 본 발명의 실시예에 따른 문서의 스캔 방법에 있어서, 원본 이미지의 정렬을 위한 자동 회전(auto rotation)의 수행 방법을 설명하기 위한 도면이다.9 is a diagram for explaining a method of performing auto rotation for aligning an original image in a document scanning method according to an embodiment of the present invention.

도 9에는 도 7에 도시된 원본 이미지(700) 중에서 제3 영역(A3)의 상세 이미지(900)를 도시하였다. 도 9를 참조하면, 스마트 크롭 모듈(330)은 상세 이미지(900)에 포함된 텍스트의 각 라인과 좌우의 기준선들(911, 912) 사이의 거리를 측정하고, 측정된 거리에 기초하여 문서의 상하 정렬 상태를 판단한다.FIG. 9 shows a detailed image 900 of the third area A3 among the original images 700 shown in FIG. 9, the smart crop module 330 measures the distance between each line of text included in the detail image 900 and the left and right baselines 911, 912, And determines the vertical alignment state.

구체적으로, 스마트 크롭 모듈(330)은 좌측 영역(921)에서 측정된 거리들간의 편차와 우측 영역(922)에서 측정된 거리들간의 편차를 비교한다. 도 9를 참조하면, 좌측 영역(921)에서 측정된 거리들은 대부분 비슷하고 그 차이가 크지 않은 반면에, 우측 영역(922)에서 측정된 거리들은 상대적으로 편차가 큰 편임을 알 수 있다. 일반적으로, 문서의 우측편에 비해 좌측편의 정렬이 일정하므로, 도 9와 같은 경우 문서의 상하 정렬이 올바른 상태로 판단한다.Specifically, the smart crop module 330 compares the deviations between the distances measured in the left region 921 and the distances measured in the right region 922. Referring to FIG. 9, it can be seen that the distances measured in the left region 921 are mostly similar and the difference is not large, while the distances measured in the right region 922 are relatively large. Generally, since the alignment of the left side of the document is constant compared to that of the right side of the document, the vertical alignment of the document is determined to be correct in the case of FIG.

하지만, 만약 반대로 어떤 문서의 좌측 영역에서 측정된 거리들의 편차가 우측 영역에서 측정된 거리들의 편차보다 크다면, 문서의 상하가 반전된 상태로 판단한다. 그리고 이 경우 스마크 크롭 모듈(330)은 문서의 상하 정렬을 올바르게 하기 위해 문서의 상하를 회전시킨다.However, if the deviation of the distances measured in the left region of a document is larger than the deviation of the distances measured in the right region, on the contrary, it is judged that the top and bottom of the document are inverted. In this case, the mark crop module 330 rotates the document up and down to correctly align the document.

도 10 및 도 11은 본 발명의 실시예에 따른 문서의 스캔 방법에 있어서, 원본 이미지에서 마크를 검출하는 방법을 설명하기 위한 도면들이다.10 and 11 are diagrams for explaining a method of detecting a mark in an original image in a document scanning method according to an embodiment of the present invention.

스마트 크롭 모듈(330)은 원본 이미지의 각 픽셀을 검사하여, 미리 설정된 색상 및 형태와 일치하는 마크를 검출한다. 도 10에는 이미지 픽셀들로 표현된 좌상단 마크(1010)와 우하단 마크(1020)가 각각 도시되어 있다. 미리 설정된 색상 및 형태와 일치하는 마크를 검출하면, 검출된 마크의 좌표값을 획득한다.The smart crop module 330 examines each pixel of the original image and detects a mark that matches the preset color and shape. 10, upper left mark 1010 and lower right mark 1020 represented by image pixels are respectively shown. When a mark matching the preset color and shape is detected, the coordinate value of the detected mark is obtained.

검출된 마크의 좌표값을 검출하는 방법은 다양하게 구현될 수 있다. 예를 들어, 스마트 크롭 모듈(330)은 좌상단 마크(1010)의 경우 마크의 좌상단 지점(1011)의 좌표값을 획득하고 “시작” 마크로 표시하고, 우하단 마크(1020)의 경우 마크의 우하단 지점(1021)의 좌표값을 획득하고 “종료” 마크로 표시한다. 이와 같이 시작 마크와 종료 마크의 좌표값이 각각 획득되면, 마크 쌍에 의해 정의되는 영역(1030)이 특정된다. 즉, 스마트 크롭 모듈(330)이 마크에 의해 정의되는 영역을 추출한다 함은 마크 쌍의 좌표값을 획득하는 것을 의미한다.The method of detecting the coordinate value of the detected mark may be variously implemented. For example, the smart crop module 330 obtains the coordinate value of the upper left corner point 1011 of the mark in the upper left corner mark 1010 and displays it as a "start" mark. In the case of the right lower corner mark 1020, Obtain the coordinate value of the point 1021 and mark it with an " end " mark. When the coordinate values of the start mark and the end mark are obtained as described above, the region 1030 defined by the mark pair is specified. That is, the smart crop module 330 extracts the area defined by the mark, which means obtaining the coordinate value of the mark pair.

스마트 크롭 모듈(330)이 획득한 시작 마크 및 종료 마크의 좌표값을 추출된 영역에 대한 정보로서 WBC UI 모듈(310)에 전송하면, WBC UI 모듈(310)은 수신한 좌표값을 이미지 크롭 모듈(340)에 전송한다. 이미지 크롭 모듈(340)은 수신한 좌표값을 통해 추출된 영역을 특정할 수 있다.When the coordinate values of the start mark and the end mark acquired by the smart crop module 330 are transmitted to the WBC UI module 310 as information on the extracted region, the WBC UI module 310 transmits the received coordinate values to the image crop module (340). The image cropping module 340 can identify the extracted region through the received coordinate values.

한편, 원본 이미지로부터 마크 쌍을 검출하는 방법을 도 11을 참조하여 자세히 설명하면 다음과 같다.A method of detecting a mark pair from an original image will be described in detail with reference to FIG.

도 11을 참조하면, 스마트 크롭 모듈(330)은 원본 이미지(1100a)로부터 미리 설정된 특정 색상의 오브젝트를 검출하여 제1 이미지(1100b)를 얻을 수 있다. 제1 이미지(1100b)에는 미리 설정된 색상에 해당되는 오브젝트들이 포함되어 있다. 도 11을 참조하면, 제1 이미지(1100b)에는 사용자가 표시한 마크들(1101, 1102, 1105, 1106) 이외에도 미리 설정된 색상을 갖는 오브젝트들(1103, 1104)이 더 포함되어 있는 것을 알 수 있다.Referring to FIG. 11, the smart crop module 330 may obtain a first image 1100b by detecting an object of a specific color preset from the original image 1100a. The first image 1100b includes objects corresponding to a predetermined color. 11, it can be seen that the first image 1100b further includes objects 1103 and 1104 having a predetermined color in addition to the marks 1101, 1102, 1105, and 1106 displayed by the user .

스마트 크롭 모듈(330)은 제1 이미지(1100b)에 포함된 모든 오브젝트들 중에서 마크를 검출하기 위해 다양한 특성(feature)들에 대하여 가중치(weighting)를 부여하고, 결과값이 높은 순서에 따라서 마크 쌍을 매칭시킬 수 있다.The smart crop module 330 applies weighting to various features to detect a mark among all objects included in the first image 1100b and outputs the mark pair Can be matched.

구체적으로, 스마트 크롭 모듈(330)은 오브젝트들간의 거리, 색상 차이, 오브젝트가 미리 설정된 형태와 일치하는 정도 및 두 개의 오브젝트들에 의해 정의되는 영역의 경계에 존재하는 엣지(edge)의 개수와 같은 각각의 특성에 대하여 가중치를 부여한다. 단, 상기 예로 든 특성들은 마크 검출의 정확도를 높이기 위해서 임의로 설정한 것으로, 필요에 따라 일부 특성은 생략하거나 다른 특성으로 대체될 수도 있다.Specifically, the smart crop module 330 may determine the distance between objects, the color difference, the degree to which the object conforms to a predetermined form, and the number of edges that exist at the boundary of an area defined by two objects Weights are assigned to each characteristic. However, the above-mentioned characteristics are arbitrarily set in order to enhance the accuracy of mark detection, and some characteristics may be omitted or replaced with other characteristics if necessary.

스마트 크롭 모듈(330)은 마크 쌍의 거리의 평균값을 미리 결정하고, 임의의 두 개의 오브젝트들간의 거리가 평균값과 가까울 수록 높은 가중치를 부여한다. 스마트 크롭 모듈(330)은 임의의 두 개의 오브젝트들간의 색상 차이가 적을수록 높은 가중치를 부여한다. 스마트 크롭 모듈(330)은 오브젝트가 미리 설정된 형태와 일치하는 정도가 높을수록 높은 가중치를 부여한다. 스마트 크롭 모듈(330)은 임의의 두 개의 오브젝트들에 의해 정의되는 영역의 경계에 존재하는 엣지의 개수가 적을수록 높은 가중치를 부여한다.The smart crop module 330 previously determines the average value of the distance of the mark pair and gives a higher weight to the average value as the distance between any two objects approaches the average value. The smart crop module 330 gives a higher weight as the color difference between any two objects is smaller. The smart crop module 330 gives a higher weight as the degree to which the object matches the preset type is higher. The smart crop module 330 assigns a higher weight to the number of edges that exist at the boundary of the region defined by any two objects.

스마트 크롭 모듈(330)은 이와 같이 각각의 특성에 대하여 가중치를 부여한 후, 그 결과값이 높은 순서대로 임의의 두 개의 오브젝트를 매칭시키고 마크 쌍으로 판단한다.The smart crop module 330 assigns weights to the respective characteristics and then matches any two objects in ascending order of the result and judges them as a mark pair.

스마트 크롭 모듈(330)은 마크 쌍의 검출을 완료하면 검출된 마크 쌍에 의해 정의되는 영역을 추출하고, 원본 이미지에서는 마크를 제거한다. 이어서, 스마트 크롭 모듈(330)은 마크가 제거된 이미지와 함께 추출된 영역에 대한 정보, 즉 마크 쌍의 좌표값을 WBC UI 모듈(310)에 전송하고, WBC UI 모듈(310)은 이를 다시 이미지 크롭 모듈(340)에 전송한다.The smart crop module 330 extracts the area defined by the detected mark pair upon completion of the detection of the mark pair, and removes the mark from the original image. Then, the smart crop module 330 transmits information about the extracted area, that is, the coordinate value of the mark pair, to the WBC UI module 310 along with the image from which the mark is removed, and the WBC UI module 310 re- To the crop module 340.

그런데 이때, WBC UI 모듈(310)은 추출된 영역에 대한 정보를 이미지 크롭 모듈(340)에 전송하기 전에, 사용자에게 미리보기를 제공하여 확인 및 수정의 기회를 제공할 수도 있다. 이러한 과정을 아래에서 도 12를 참조하여 설명한다.However, at this time, the WBC UI module 310 may provide a preview to the user to provide confirmation and correction before transmitting the information on the extracted region to the image crop module 340. This process will be described below with reference to FIG.

도 12는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션에서 추출된 영역의 미리보기를 표시하는 UI 화면을 도시한 도면이다.12 is a diagram showing a UI screen displaying a preview of an area extracted from an application for performing a document scanning method according to an embodiment of the present invention.

본 발명의 실시예에 따른 워크북 컴포저는 마크에 의해 정의되는 영역을 추출한 후, 추출된 영역이 정확한지 또는 사용자가 추가로 수정할 부분은 없는지를 확인하기 위해 추출된 영역에 대한 미리보기를 제공할 수 있다. 즉, WBC UI 모듈(310)은 스마트 크롭 모듈(330)로부터 수신한 추출된 영역에 대한 정보를 이용하여 도 12에 도시된 바와 같이 추출된 영역을 표시하는 미리보기를 사용자 인터페이스부(110)에 표시하고, 사용자로부터 확인 및 수정 입력을 수신할 수 있다.The workbook composer according to an embodiment of the present invention can extract a region defined by a mark and then provide a preview of the extracted region to see if the extracted region is correct or if the user does not need to further modify the region have. That is, the WBC UI module 310 uses the information about the extracted region received from the smart crop module 330 to display a preview showing the extracted region as shown in FIG. 12 to the user interface unit 110 And receive confirmation and correction inputs from the user.

도 12에 도시된 UI 화면(1200)에는, 좌측편에 스캔된 문서 이미지 전체에 대한 미리보기가 썸네일(1230)로 표시된다. 또한, UI 화면(1200)의 중앙에는 추출된 영역들의 표시(1210, 1220)를 포함하는 미리보기가 표시된다. 사용자는 추출된 영역들의 표시(1210, 1220) 각각의 모서리들 중에서 둘 이상을 동시에 터치하고 손가락을 벌리거나 오므림으로써 추출된 영역을 확장시키거나 축소시킬 수 있다. 또한, 사용자는 추출된 영역들의 표시(1210, 1220)에서 “X”를 터치함으로써 추출된 영역을 삭제할 수도 있다. 또한, 사용자는 추출된 영역 이외의 부분을 길게 터치하거나 두 손가락으로 터치함으로써 새로운 추출 영역을 정의할 수도 있다.In the UI screen 1200 shown in FIG. 12, a thumbnail 1230 shows a preview of the entire document image scanned on the left side. In addition, a preview including the displays 1210 and 1220 of the extracted regions is displayed at the center of the UI screen 1200. [ The user can simultaneously touch two or more of the edges of each of the extracted regions 1210 and 1220 and enlarge or reduce the extracted region by opening or closing the finger. In addition, the user may delete the extracted region by touching " X " in the indications 1210 and 1220 of the extracted regions. In addition, the user may define a new extraction area by touching a portion other than the extracted region with a long or two-finger touch.

이와 같이, 본 발명의 실시예에 따른 워크북 컴포저는 추출된 영역에 대한 확인 및 수정의 기회를 사용자에게 제공함으로써 마크 검출 및 영역 추출 과정에서 발생할 수 있는 오류를 방지할 수 있다.As described above, the workbook composer according to the embodiment of the present invention can prevent errors that may occur in the mark detection and area extraction process by providing the user with an opportunity to check and correct the extracted area.

도 13은 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션에서 크롭핑된 이미지의 미리보기를 표시하는 UI 화면을 도시한 도면이다.13 is a diagram showing a UI screen for displaying a preview of an image cropped in an application for performing a document scanning method according to an embodiment of the present invention.

WBC UI 모듈(310)은 추출된 영역에 대한 사용자의 확인 및 수정이 완료되면, 스마트 크롭 모듈(330)로부터 수신한 마크가 제거된 이미지와 함께 확정된 추출된 영역에 대한 정보를 이미지 크롭 모듈(340)에 전송한다. 이미지 크롭 모듈(340)은 추출된 영역에 대한 정보를 이용하여 마크가 제거된 이미지로부터 추출된 영역의 이미지를 크롭핑(cropping)한다. 이미지의 크롭핑이 완료되면 이미지 크롭 모듈(340)은 크롭핑된 이미지를 WBC UI 모듈(310)에 전송한다. When the confirmation and correction of the extracted area is completed, the WBC UI module 310 transmits information about the extracted area determined together with the mark removed image received from the smart crop module 330 to the image crop module 340). The image cropping module 340 crops the image of the region extracted from the image from which the mark is removed by using the information on the extracted region. When the cropping of the image is completed, the image cropping module 340 transmits the cropped image to the WBC UI module 310.

WBC UI 모듈(310)은 이미지 크롭핑 모듈(340)로부터 크롭핑된 이미지를 수신하면, 크롭핑된 이미지의 미리보기를 표시하고 크롭핑된 이미지를 이용하여 수행할 작업을 선택 받을 수 있는 UI 화면(1300)을 사용자 인터페이스부(110)에 표시한다.When the WBC UI module 310 receives the cropped image from the image cropping module 340, the WBC UI module 310 displays a preview of the cropped image and displays a UI screen (1300) on the user interface unit (110).

도 13을 참조하면, UI 화면(1300)의 좌측편에는 크롭핑된 제1 영역(A1) 및 제3 영역(A3)의 이미지에 대한 미리보기가 썸네일(1320, 1330)로 표시되었다. UI 화면(1300)의 중앙에는 좌측편의 썸네일들 중 선택된 제3 영역(A3)의 상세 미리보기(1310)가 표시되었다. 사용자는 도 13의 UI 화면(1300)을 통해 원하는 영역의 이미지가 정확하게 추출되었는지를 다시 한 번 확인할 수 있다.Referring to FIG. 13, thumbnails 1320 and 1330 show previews of images of the first area A1 and the third area A3 cropped on the left side of the UI screen 1300. FIG. At the center of the UI screen 1300, a detailed preview 1310 of the selected third area A3 of thumbnails on the left side is displayed. The user can once again check whether the image of the desired area has been correctly extracted through the UI screen 1300 of FIG.

한편, UI 화면(1300)의 우측편에는 작업 선택 목록(1340)이 표시되었다. 사용자는 작업 선택 목록(1340)을 통해 크롭핑된 이미지를 이용하여 수행할 작업을 선택할 수 있다.On the other hand, a task selection list 1340 is displayed on the right side of the UI screen 1300. The user can select an operation to be performed using the cropped image through the operation selection list 1340. [

구체적으로, 작업 선택 목록(1340) 중에서 “인쇄할 수 있는 페이지로 구성” 항목이 선택되면, WBC UI 모듈(310)은 크롭핑된 이미지를 이미지 구성 모듈(350)로 전송한다. 이미지 구성 모듈(350)은 수신한 크롭핑된 이미지를 미리 설정된 레이아웃에 따라 배치하여 새로운 문서 파일을 생성하고, 생성된 문서 파일을 WBC UI 모듈(310)로 전송한다. WBC UI 모듈(310)은 수신한 문서 파일을 사용자가 확인 가능하도록 사용자 인터페이스부(110)에 미리보기로 표시할 수 있다. 이미지 구성 모듈(350)에서 생성된 문서 파일의 미리보기는 도 14에 도시하였다.More specifically, when the item "configure as printable page" is selected from the job selection list 1340, the WBC UI module 310 transmits the cropped image to the image configuration module 350. The image composition module 350 arranges the received cropped images according to a predetermined layout to generate a new document file, and transmits the generated document file to the WBC UI module 310. [ The WBC UI module 310 can preview the received document file on the user interface unit 110 so that the user can check it. A preview of the document file generated in the image configuration module 350 is shown in Fig.

작업 선택 목록(1340) 중에서 “추출된 이미지를 개별 저장” 항목이 선택되면, WBC UI 모듈(310)은 크롭핑된 이미지들을 각각 개별적인 문서 파일로 저장한다.When the " Save extracted images individually " item is selected from the job selection list 1340, the WBC UI module 310 stores the cropped images as individual document files.

작업 선택 목록(1340) 중에서 “추출된 이미지를 문서형태로 저장(OCR)” 항목이 선택되면, WBC UI 모듈(310)은 크롭핑된 이미지를 OCR 모듈(360)로 전송한다. OCR 모듈(360)은 수신한 크롭핑된 이미지에 OCR을 수행하여 텍스트를 추출한다. 즉, OCR 모듈(360)은 크롭핑된 이미지를 저장부(130)에 미리 저장된 텍스트 데이터 베이스와 매칭시켜 텍스트를 추출한다. OCR 모듈(360)은 크롭핑된 이미지로부터 텍스트 추출을 완료하면, 추출된 텍스트를 포함하는 새로운 문서 파일을 생성하여 WBC UI 모듈(310)에 전송한다. WBC UI 모듈(310)은 수신한 문서 파일을 사용자 인터페이스부(110)에 미리보기로 제공한다. 사용자는 미리보기를 통해 텍스트가 정확하게 추출되었는지 확인하고, 필요한 경우 텍스트의 폰트, 크기, 색상 등을 변경할 수 있다.The WBC UI module 310 transmits the cropped image to the OCR module 360 when the " Save extracted image in document format (OCR) " item is selected from the job selection list 1340. The OCR module 360 performs OCR on the received cropped image to extract the text. That is, the OCR module 360 extracts the text by matching the cropped image with the text database stored in the storage unit 130 in advance. When the OCR module 360 finishes extracting the text from the cropped image, the OCR module 360 generates a new document file including the extracted text and transmits the new document file to the WBC UI module 310. The WBC UI module 310 provides the received document file to the user interface unit 110 in a preview manner. The user can preview the text to see if it has been extracted correctly, and change the font, size, color, etc. of the text if necessary.

도 14는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션에서 크롭핑된 이미지를 재구성하여 생성된 문서의 미리보기를 표시하는 UI 화면을 도시한 도면이다.14 is a diagram showing a UI screen for displaying a preview of a document generated by reconstructing an image cropped in an application for performing a document scanning method according to an embodiment of the present invention.

앞서 설명한 바와 같이 WBC UI 모듈(310)은 크롭핑된 이미지를 미리 설정한 레이아웃에 따라 배치하여 생성된 문서 파일을 이미지 구성 모듈(350)로부터 수신하면, 수신한 문서 파일의 미리보기를 포함하는 UI 화면(1400)을 사용자 인터페이스부(110)에 표시할 수 있다.As described above, when the WBC UI module 310 receives the document file generated by arranging the cropped images according to the preset layout from the image configuration module 350, the WBC UI module 310 displays a UI The screen 1400 can be displayed on the user interface unit 110.

도 14의 UI 화면(1400)의 좌측편에는 새로 생성된 문서 파일 전체의 미리보기가 썸네일(1420)로 표시되었고, UI 화면(1400)의 중앙에는 레이아웃의 변경이 가능한 상세 미리보기(1410)가 표시되었다.A preview of the entire newly created document file is displayed as a thumbnail 1420 on the left side of the UI screen 1400 in Fig. 14, and a detailed preview 1410 capable of changing the layout is displayed in the center of the UI screen 1400 .

사용자는 UI 화면(1400)에 표시된 상세 미리보기(1410)를 통해 생성된 문서 파일의 레이아웃을 확인하고, 크롭핑된 이미지를 드래그 앤 드롭(drag and drop)하여 레이아웃을 변경할 수도 있다.The user may check the layout of the document file generated through the detailed preview 1410 displayed on the UI screen 1400 and drag and drop the cropped image to change the layout.

한편, 이미지 구성 모듈(350)은 크롭핑된 이미지를 미리 설정된 레이아웃에 따라 배치하여 새로운 문서를 생성할 때, 크롭핑된 이미지 각각이 원본 문서상의 순서에 따른 번호를 포함하고 있을 경우, 원래의 번호를 삭제하고 새로운 문서의 순서에 따른 번호를 새롭게 부여할 수도 있다. 예를 들어, 도 13의 상세 미리보기(1310)에서 확인할 수 있는 바와 같이 제3 영역(A3)의 크롭핑된 이미지는 원본 문서의 순서에 따라서 “3”이라는 번호를 가지고 있다. 그런데, 도 14에 도시된 상세 미리보기(1410)에서 제3 영역(A3)의 크롭핑된 이미지는 두 번째의 순서에 해당되므로, 이미지 구성 모듈(350)은 제3 영역(A3)의 크롭핑된 이미지에서 “3”을 삭제하고, 대신에 “2”를 기재할 수 있다.On the other hand, when the cropped images are arranged according to a predetermined layout to generate a new document, if each of the cropped images includes a number according to the order on the original document, And a new number according to the order of the new document may be newly added. For example, as can be seen in the detail preview 1310 of FIG. 13, the cropped image of the third area A3 has a number of "3" according to the order of the original document. 14, since the cropped image of the third area A3 corresponds to the second order, the image configuration module 350 determines the cropping of the third area A3, Quot; 3 " may be deleted from the image, and " 2 "

사용자는 도 14의 UI 화면(1400)에서 새로운 문서 파일의 레이아웃을 확인한 후 “인쇄” 또는 “공유” 버튼을 선택함으로써 새로운 문서를 인쇄하거나 다른 사용자와 공유할 수 있다.The user can print a new document or share it with other users by checking the layout of a new document file on the UI screen 1400 of FIG. 14 and then selecting the "Print" or "Share" button.

한편, 스마트 크롭 모듈(330)은 마크 검출 및 영역 추출을 수행함에 있어서, 검출되는 마크의 형태에 따라서 추출되는 영역의 카테고리를 분류할 수도 있다. 그 예를 도 15에 도시하였다.Meanwhile, the smart crop module 330 may classify the category of the extracted region according to the shape of the detected mark in performing the mark detection and region extraction. An example thereof is shown in Fig.

도 15는 본 발명의 실시예에 따른 문서의 스캔 방법에 있어서, 마크의 형태에 따라서 추출되는 영역의 카테고리를 분류하는 예를 설명하기 위한 도면이다.15 is a diagram for explaining an example of classifying a category of an area to be extracted according to a mark type in a document scanning method according to an embodiment of the present invention.

도 15를 참조하면, 원본 이미지(1500)는 제1 영역 내지 제6 영역(A1 내지 A6)을 포함하고 있다. 또한, 원본 이미지(1500)에는 제1 영역(A1)을 정의하는 마크 쌍(1510a, 1510b), 제3 영역(A3)을 정의하는 마크 쌍(1520a, 1520b) 및 제5 영역(A5)을 정의하는 마크 쌍(1530a, 1530b)이 표시되어 있다. 이 중 제1 영역(A1)을 정의하는 마크 쌍(1510a, 1510b)과 제3 영역(A3)을 정의하는 마크 쌍(1520a, 1520b)은 좌상단 마크 및 우하단 마크를 포함하고 있다. 반면, 제5 영역(A5)을 정의하는 마크 쌍(1530a, 1530b)은 우상단 마크 및 좌하단 마크를 포함하고 있다.Referring to FIG. 15, the original image 1500 includes first to sixth areas A1 to A6. In the original image 1500, mark pairs 1510a and 1510b defining a first area A1, mark pairs 1520a and 1520b defining a third area A3, and a fifth area A5 are defined The mark pairs 1530a and 1530b are displayed. The mark pair 1510a and 1510b defining the first area A1 and the mark pair 1520a and 1520b defining the third area A3 include the upper left mark and the lower right mark. On the other hand, the mark pair 1530a and 1530b defining the fifth area A5 include the upper left mark and the lower left mark.

이와 같이 두 개의 서로 다른 형태의 마크 쌍에 의해 영역이 정의되는 경우, 스마트 크롭 모듈(330)은 각각의 영역을 정의하는 마크의 형태에 따라 서로 다른 카테고리로 분류할 수 있다. 즉, 스마트 크롭 모듈(330)은 좌상단 마크(1510a, 1520a) 및 우하단 마크(1510b, 1520b)로 정의되는 제1 영역(A1) 및 제3 영역(A3)은 제1 카테고리(category 1)로 분류하고, 우상단 마크(1530a) 및 좌하단 마크(1530b)로 정의되는 제5 영역(A5)은 제2 카테고리(category 2)로 분류한다.When the area is defined by two different types of mark pairs, the smart crop module 330 can classify the categories into different categories depending on the type of the mark defining each area. That is, the smart crop module 330 is configured such that the first area A1 and the third area A3 defined by the upper left corner marks 1510a and 1520a and the lower right marks 1510b and 1520b correspond to the first category (category 1) And the fifth area A5 defined by the upper right mark 1530a and the lower left mark 1530b is classified into a second category (category 2).

사용자는 이러한 기능을 이용하여 마크를 표시하는 과정에서 추출되는 영역에 원하는 카테고리를 지정할 수 있다. 예를 들어, 문제집의 경우라면, 사용자는 중요 문제에는 좌상단/우하단 마크 쌍을 이용하여 영역을 정의하고, 오답 문제에는 우상단/좌하단 마크 쌍을 이용하여 영역을 정의하는 방식으로 추출되는 문제들을 관리할 수 있다.The user can specify a desired category in the extracted area in the process of displaying the mark by using such a function. For example, in the case of a problem book, the user defines areas using upper left / lower right mark pairs for important problems, and problems that are extracted using a pair of upper / lower left mark pairs Can be managed.

도 16a 및 도 16b는 본 발명의 실시예에 따른 문서의 스캔 방법을 실시하기 위한 어플리케이션에서 크롭핑된 이미지들을 배치하기 위한 레이아웃을 설정하기 위한 UI 화면들을 도시한 도면들이다.16A and 16B are views showing UI screens for setting a layout for arranging cropped images in an application for implementing a document scanning method according to an embodiment of the present invention.

도 16a를 참조하면, UI 화면(1600a)의 좌측편의 썸네일 목록(1610)에는 미리 준비된 레이아웃의 문서 폼(form)들이 썸네일로 표시되어 있다. 사용자가 썸네일 목록(1610)에서 어느 하나의 썸네일을 선택하면, UI 화면(1600a)의 중앙에는 선택된 썸네일의 상세 이미지(1620)가 표시된다. 사용자는 이와 같이 미리 준비된 문서 폼 중에서 어느 하나를 선택할 수 있다.Referring to FIG. 16A, a thumbnail list of document forms of a layout prepared in advance is displayed in a thumbnail list 1610 on the left side of the UI screen 1600a. When the user selects one of the thumbnails in the thumbnail list 1610, a detailed image 1620 of the selected thumbnail is displayed in the center of the UI screen 1600a. The user can select any one of the document forms prepared in advance.

도 16b를 참조하면, UI 화면(1600b)의 좌측편의 도구 목록(1630)에는 문서 폼을 생성하기 위한 도구들이 표시되어 있다. 사용자는 도구 목록(1630)에 표시된 도구들 중 어느 하나를 선택하고, 드래그 앤 드롭 방식으로 중앙의 미리보기 이미지(1640)에 옮김으로써, 원하는 형태의 레이아웃을 갖는 문서 폼을 생성할 수 있다. Referring to FIG. 16B, tools for creating a document form are displayed in a tool list 1630 on the left side of the UI screen 1600b. The user can select any one of the tools displayed in the tool list 1630 and move it to the central preview image 1640 in a drag-and-drop fashion to create a document form with the desired type of layout.

도 17 내지 도 19는 본 발명의 실시예에 따른 문서의 스캔 방법을 설명하기 위한 순서도들이다. 이하에서는 도 2의 구성을 함께 참조하여 도 17 내지 도 19의 단계들을 설명한다.17 to 19 are flowcharts for explaining a document scanning method according to an embodiment of the present invention. Hereinafter, the steps of FIGS. 17 to 19 will be described with reference to the configuration of FIG.

도 17을 참조하면, 1701 단계에서 스캔부(120)는 문서를 스캔하여 원본 이미지를 획득하고, 이를 제어부(140)에 전송한다.Referring to FIG. 17, in step 1701, the scan unit 120 scans a document to acquire an original image, and transmits the scanned image to the controller 140.

1702 단계에서 제어부(140)는 원본 이미지에서 적어도 한 쌍의 마크를 검출한다. 제어부(140)는 마크 쌍 검출의 정확도를 높이기 위해서 디스큐 및 자동 회전 등의 전처리를 수행할 수 있다. 마크 쌍을 검출하는 구체적인 단계들은 아래에서 도 18을 참조하여 상세하게 설명한다.In step 1702, the control unit 140 detects at least one pair of marks in the original image. The control unit 140 may perform pre-processing such as deskew and automatic rotation in order to increase the accuracy of mark pair detection. Specific steps for detecting the mark pair will be described in detail below with reference to FIG.

마크 쌍의 검출이 완료되면, 1703 단계에서 제어부(140)는 검출된 적어도 한 쌍의 마크에 의해 정의되는 영역의 이미지를 추출한다. 즉, 제어부(140)는 검출된 마크의 좌표값을 획득하고, 획득된 좌표값에 의해 정의되는 영역의 이미지를 원본 이미지로부터 크롭핑한다. 이 과정에서 제어부(140)는 추출된 영역을 원본 이미지에 표시한 미리보기를 사용자 인터페이스부(110)에 표시하고, 사용자로부터 추출된 영역에 대한 수정 및 확정 입력을 수신할 수도 있다.When the detection of the mark pair is completed, in step 1703, the control unit 140 extracts the image of the area defined by the detected at least one pair of marks. That is, the control unit 140 obtains the coordinate value of the detected mark, and crops the image of the area defined by the obtained coordinate value from the original image. In this process, the control unit 140 may display a preview showing the extracted region on the original image on the user interface unit 110, and may receive correction and confirmation input on the region extracted from the user.

마지막으로, 1704 단계에서 제어부(140)는 추출된 이미지를 이용하여 새로운 문서 파일을 생성한다. 즉, 제어부(140)는 추출된 이미지를 미리 설정된 레이아웃에 따라 배치하여 새로운 문서 파일을 생성하거나, 추출된 이미지를 개별적으로 저장하거나, 또는 추출된 이미지에 OCR을 수행하여 텍스트를 추출하고, 추출된 텍스트를 포함하는 새로운 문서 파일을 생성한다.Finally, in step 1704, the control unit 140 generates a new document file using the extracted image. That is, the controller 140 arranges the extracted images according to a predetermined layout to generate a new document file, individually stores the extracted images, or performs OCR on the extracted images to extract text, Create a new document file containing the text.

도 18은 도 17의 1702 단계에 포함되는 상세 단계들을 도시한 순서도이다.FIG. 18 is a flowchart showing the detailed steps included in step 1702 of FIG.

도 18을 참조하면, 1801 단계에서 제어부(140)는 원본 이미지의 기울기를 측정하여 디스큐를 수행한다. 디스큐를 수행하는 구체적인 방법은 앞서 도 8을 참조하여 설명한 바와 같다.Referring to FIG. 18, in step 1801, the controller 140 performs a deskew by measuring the slope of the original image. A specific method of performing the deskew is the same as that described with reference to FIG.

1802 단계에서 제어부(140)는 원본 이미지의 상하 정렬 상태를 판단하여 자동 회전을 수행한다. 자동 회전을 수행하는 구체적인 방법은 앞서 도 9를 참조하여 설명한 바와 같다.In step 1802, the controller 140 determines the vertical alignment of the original image and performs automatic rotation. A specific method of performing automatic rotation is as described above with reference to FIG.

1803 단계에서 제어부(140)는 원본 이미지에서 미리 설정된 색상에 해당되는 오브젝트를 검출한다.In step 1803, the control unit 140 detects an object corresponding to a predetermined color in the original image.

1804 단계에서 제어부(140)는 검출된 오브젝트들간의 거리, 색상 차이, 오브젝트가 미리 설정된 형태와 일치하는 정도 및 두 개의 오브젝트들에 의해 정의되는 영역의 경계에 존재하는 엣지의 개수 등에 기초하여 마크 쌍을 검출한다. 원본 이미지에서 미리 설정된 색상에 해당되는 오브젝트를 검출하고, 검출된 오브젝트들 중에서 마크 쌍을 매칭시키는 구체적인 방법은 앞서 도 11을 참조하여 설명한 바와 같다.In step 1804, the control unit 140 determines whether or not a mark pair (not shown) exists on the basis of the distance between the detected objects, the color difference, the degree to which the object coincides with the predetermined form, and the number of edges existing at the boundary of the area defined by the two objects. . A specific method of detecting an object corresponding to a preset color in the original image and matching the pair of marks among the detected objects is as described with reference to FIG.

도 19는 도 17의 1703 단계에 포함되는 상세 단계들을 도시한 순서도이다.FIG. 19 is a flowchart showing detailed steps included in step 1703 of FIG.

도 19를 참조하면, 1901 단계에서 제어부(140)는 검출된 마크 쌍의 좌표값을 획득한다. 마크 쌍의 좌표값을 검출하는 구체적인 방법은 앞서 도 10을 참조하여 설명한 바와 같다.Referring to FIG. 19, in step 1901, the controller 140 obtains coordinate values of the detected mark pair. A specific method of detecting the coordinate value of the mark pair is as described above with reference to FIG.

1902 단계에서 제어부(140)는 획득한 좌표값을 이용하여 원본 이미지에 추출된 영역을 표시한 미리보기를 사용자 인터페이스부(110)를 통해 사용자에게 제공한다. 미리보기가 표시되는 UI 화면은 도 12에 도시된 바와 같다.In step 1902, the control unit 140 provides a preview to the user through the user interface unit 110, which displays the extracted region in the original image using the obtained coordinate values. The UI screen on which the preview is displayed is as shown in Fig.

1903 단계에서 제어부(140)는 사용자로부터 추출된 영역에 대한 수정 및 확정 입력을 수신한다. 앞서 도 12를 참조하여 설명한 바와 같이, 사용자는 미리보기 화면을 통해 추출된 영역을 수정하거나, 삭제 또는 추가할 수 있다.In step 1903, the control unit 140 receives correction and confirmation input for the area extracted by the user. As described above with reference to FIG. 12, the user can modify, delete, or add the extracted region through the preview screen.

1904 단계에서 제어부(140)는 확정된 영역의 이미지를 원본 이미지로부터 크롭핑한다.In step 1904, the control unit 140 crops the image of the determined area from the original image.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.The present invention has been described with reference to the preferred embodiments. It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 예컨데 롬, 플로피 디스크, 하드디스크 등과 같은 마그네틱 저장매체, 예컨데 씨디롬, 디브이디 등과 같은 광학적 판독매체, 및 예컨데 인터넷을 통한 전송과 같은 캐리어 웨이브와 같은 저장매체를 포함한다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium. The computer-readable recording medium includes magnetic storage media such as ROMs, floppy disks, hard disks and the like, optical storage media such as CD-ROMs and DVDs, and storage media such as carrier waves such as, for example, .

100: 화상형성장치 110: 사용자 인터페이스부
120: 스캔부 130: 저장부
140: 제어부 150: 인쇄부
160: 통신부 170: 팩스부100: Image forming apparatus 110: User interface unit
120: scan unit 130:
140: control unit 150:
160: communication unit 170: fax unit

Claims

A method of scanning a document,
Scanning a document to obtain an original image;
Detecting at least a pair of marks on the original image;
Extracting an image of an area defined by the detected at least one pair of marks from the original image; And
And generating a new document file using the extracted image.

The method according to claim 1,
Wherein the detecting of the at least one pair of marks comprises:
Detecting objects of a predetermined color on the original image; And
And matching the pair of the detected objects based on the distance between the detected objects, the color difference, and the degree of matching of the detected objects with the predetermined type .

The method according to claim 1,
Wherein the detecting of the at least one pair of marks comprises:
Measuring a slope of the original image;
Rotating the original image according to the measured slope; And
And detecting at least a pair of marks on the rotated original image.

The method according to claim 1,
Wherein the detecting of the at least one pair of marks comprises:
Determining whether the original image is vertically aligned;
Rotating the original image up and down if the original image is reversed up and down; And
And detecting at least a pair of marks on the rotated original image.

The method according to claim 1,
Wherein the extracting the image comprises:
And automatically classifying the category of the image to be extracted according to the shape of the mark defining the area.

The method according to claim 1,
Wherein the step of generating the new document file comprises:
Confirming a preset layout; And
And arranging the extracted image according to the identified layout to generate a new document file.

The method according to claim 1,
Wherein the step of generating the new document file comprises:
And storing the extracted images separately.

The method according to claim 1,
Wherein the step of generating the new document file comprises:
Performing an OCR on the extracted image to extract text; And
And storing a new document file containing the extracted text.

A computer-readable recording medium storing a program for causing a computer to execute the method according to any one of claims 1 to 8.

In the image forming apparatus,
An operation panel for displaying a screen and receiving input from a user;
A scan unit that scans a document and acquires an original image when a scan command is received through the operation panel;
A controller receiving the original image from the scan unit and generating a new document file from the received original image; And
And a storage unit for storing data necessary for generating the new document file,
Wherein the control unit detects at least a pair of marks on the original image, extracts an image of an area defined by the detected mark pair, and generates a new document file using the extracted image.

11. The method of claim 10,
Wherein the control unit detects objects of a predetermined color on the original image, and determines, based on the distance between the detected objects, the color difference, and the degree to which the detected objects coincide with a predetermined form, Gt; pairs. &Lt; / RTI >

11. The method of claim 10,
Wherein the control unit measures the tilt of the original image, rotates the original image according to the measured tilt, and detects at least one pair of marks on the rotated original image.

11. The method of claim 10,
The control unit determines whether the original image is vertically aligned. If the original image has been inverted upside down, the controller rotates the original image up and down and detects at least one pair of marks on the rotated original image Characterized in that.

11. The method of claim 10,
Wherein the control unit automatically classifies the category of the image to be extracted according to the shape of the mark defining the area.

11. The method of claim 10,
Wherein the control unit confirms a preset layout and arranges the extracted image according to the checked layout to generate a new document file.

11. The method of claim 10,
And the control unit stores the extracted images separately.

11. The method of claim 10,
Wherein the control unit performs OCR on the extracted image to extract text, and generates a new document file including the extracted text.