WO2019194052A1 - 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体 - Google Patents

画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体 Download PDF

Info

Publication number
WO2019194052A1
WO2019194052A1 PCT/JP2019/013324 JP2019013324W WO2019194052A1 WO 2019194052 A1 WO2019194052 A1 WO 2019194052A1 JP 2019013324 W JP2019013324 W JP 2019013324W WO 2019194052 A1 WO2019194052 A1 WO 2019194052A1
Authority
WO
WIPO (PCT)
Prior art keywords
character string
document
image
recorded
feature amount
Prior art date
Application number
PCT/JP2019/013324
Other languages
English (en)
French (fr)
Inventor
裕一 中谷
克彦 近藤
哲 ▲瀬▼川
杉本　充
康 日高
隼哉 秋山
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP19782081.4A priority Critical patent/EP3779784A4/en
Priority to US17/044,468 priority patent/US11605219B2/en
Priority to SG11202009652RA priority patent/SG11202009652RA/en
Publication of WO2019194052A1 publication Critical patent/WO2019194052A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a storage medium for storing a program.
  • Patent Document 1 describes a method for efficiently selecting the optimum form format for the form.
  • the form formats are grouped, and one representative form format is determined for each group.
  • one of the groups is selected based on the feature match rate between the read form image and the representative form format.
  • the form format having the highest feature matching rate with the read form image is selected from the form formats in the selected group.
  • Patent Document 2 discloses correction of unreadable characters when an unreadable character (rejected character) occurs in character recognition when a plurality of types of forms are mixed.
  • the type of the form to be processed is designated, and the unreadable character correction process for the designated type of form is performed. Thus, it is described that correction processing of the same type of form is continuously performed.
  • Patent Literature 3 accepts the correction by displaying the input contents according to a predetermined format when correcting and confirming the image input (character recognition) form. In addition, when a correction item is instructed by the user, a specific image portion corresponding to the received correction item is highlighted.
  • An object of the present invention is to provide an image processing apparatus, an image processing method, and a program that can solve the above-described problems.
  • the image processing apparatus is recorded in advance based on the learning result using a plurality of document images, and the character string of the item is stored for each type of the document image and for each specific item.
  • a character string detection unit that detects the character string of the specific item in the first document image based on the feature value of the displayed first document image among the feature values indicating features;
  • An output unit configured to output correspondence information indicating the same specific item in the first document image and the second document image displayed corresponding to the first document image.
  • an image processing method is recorded in advance based on learning results using a plurality of document images, and the character string of the item is stored for each type of the document image and for each specific item.
  • the character string of the specific item in the first document image is detected based on the feature amount of the displayed first document image among the feature amounts indicating the features, and the first document image And the second document image displayed corresponding to the first document image, the information on the correspondence relationship indicating the same specific item is output.
  • the program stored in the storage medium is recorded in advance on the computer based on the learning result using a plurality of document images, and is stored for each type of the document image and for each specific item.
  • the character string of the specific item in the first document image is detected based on the feature amount of the displayed first document image among the feature amounts indicating the character string features of the item.
  • a process is executed for outputting information on the correspondence relationship indicating the same specific item in the first document image and the second document image displayed corresponding to the first document image.
  • 1 is a diagram illustrating an apparatus configuration example of an image processing system including an image processing apparatus according to an embodiment.
  • 1 is a diagram illustrating a hardware configuration example of an image processing apparatus according to an embodiment. It is a schematic block diagram which shows the function structure of the image processing apparatus which concerns on 1st embodiment. It is a figure which shows an example of a document form. It is a figure which shows the outline
  • FIG. 1 is a diagram illustrating an apparatus configuration example of an image processing system including an image processing apparatus according to an embodiment.
  • the image processing system 100 includes an image processing device 1, an image reading device 2, a recording device 3, and a database 4.
  • the image processing apparatus 1 is connected to the image reading apparatus 2 via a communication cable.
  • the image reading device 2 optically acquires image data such as a document form and outputs it to the image processing device 1.
  • the image processing apparatus 1 performs character recognition by performing OCR (Optical character recognition) processing on image data of a document form.
  • OCR Optical character recognition
  • the image processing apparatus 1 outputs the character recognition result to the recording device 3, and the recording device 3 records the character recognition result in the database.
  • the document targeted by the image processing apparatus 1 is not limited to a specific type. Various documents that can be OCR processed can be processed by the image processing apparatus 1.
  • the database 4 is connected to the image processing apparatus 1 and the recording apparatus 3.
  • the database 4 stores a correspondence relationship between image data of a plurality of document forms registered in the past from the recording device 3 and a recorded character string indicating a character string to be recorded among character strings included in the image data.
  • the character string indicated by the recorded character string is an important character string to be recorded and stored in the database 4 among the character strings described in the document form.
  • An operator who uses the image processing system 100 registers in advance in the database 4 the image data of a plurality of document forms registered in the past using the recording device 3 and the recorded character strings among the character strings included in the image data. Keep it.
  • the worker is also referred to as a user of the image processing apparatus 1 or simply a user.
  • the image processing apparatus 1 performs processing.
  • FIG. 2 is a diagram illustrating a hardware configuration example of the image processing apparatus.
  • the image processing apparatus 1 includes an image processing apparatus main body 10, a display device 17, and an input device 18.
  • the image processing apparatus body 10 includes a CPU (Central Processing Unit) 11, an IF (Interface) 12, a communication module 13, a ROM (Read Only Memory) 14, a RAM (Random Access Memory) 15, an HDD (Hard Disk Drive) 16, and the like.
  • a computer having a configuration.
  • the communication module 13 may perform wireless communication with the image reading device 2, the recording device 3, and the database 4, or may perform wired communication, and has these two functions. May be.
  • the display device 17 includes a display screen such as a liquid crystal panel or an LED (Light Emitting Diode) panel.
  • the input device 18 is a device that receives a user operation such as a keyboard and a mouse, a touch sensor that is provided on the display screen of the display device 17 and forms a touch panel, or a combination thereof.
  • FIG. 3 is a schematic block diagram illustrating a functional configuration of the image processing apparatus 1 according to the first embodiment.
  • the communication unit 110 is configured using the communication module 13 of FIG. 2 and communicates with other devices.
  • the communication unit 110 communicates with the image reading device 2, the recording device 3, and the database 4.
  • the display unit 120 is configured using the display device 17 of FIG. 2 and displays various images.
  • the display unit 120 corresponds to an example of an output unit, and correspondence information indicating the same specific items in the first document image and the second document image displayed corresponding to the first document image. Is output.
  • the display unit 120 displays a document form image (a raw image, not an OCR result) as a first document image, and a recording character string that is a processing result of the image processing apparatus 1 as a second document image.
  • a GUI Graphic User Interface
  • the display unit 120 indicates which character string in the first document image corresponds to the read result of the character string shown in the second document image by drawing a line between the character strings.
  • the display unit 120 displays the OCR result of the document form as the first document image in the format of the document form, and as the second document image An image of a GUI screen that displays a correct character string in a predetermined format may be displayed. Then, the display unit 120 may indicate which character string in the first document image the correct character string indicates in the first document image by drawing a line between the character strings. Good.
  • the method by which the output unit outputs the image and the relationship information is not limited to the method for displaying the image and the relationship information.
  • the communication unit 110 may function as an output unit, and the image and related information may be transmitted to other devices for display.
  • the operation input unit 130 is configured using the input device 18 of FIG. 2 and accepts user operations. In particular, the operation input unit 130 receives a correction operation for a character string displayed on the display unit 120.
  • the storage unit 180 is configured using the ROM 14, RAM 15, and HDD 16 of FIG. 2 and stores various data.
  • the control unit 190 is configured by the CPU 11 in FIG. 2 reading and executing a program from the storage unit 180 (ROM 14, RAM 15 and HDD 16 in FIG. 2). The control unit 190 controls each unit of the image processing apparatus 1 and executes various processes.
  • the acquisition unit 191 acquires image data of a document form.
  • the feature amount extraction unit 192 extracts the feature amount of the character string from the recognition processing result of the image data of the document form. For example, the feature amount extraction unit 192 determines, for each image data of the document form, the first feature amount indicating the feature of the recorded character string included in the image data of the document form based on the recognition processing result of the image data of the plurality of document forms. Extract. Specifically, the feature amount extraction unit 192 specifies a recorded character string included in a document image that has been subjected to character recognition processing, and extracts a first feature amount in the document image of the specified recorded character string. The specification of the recorded character string here is to determine any one of the character strings in the document form as one recorded character string. The feature amount extraction is also referred to as feature amount generation. The feature amount of the recorded character string is, for example, a value that quantitatively indicates a predetermined feature in the document image of the recorded character string. There may be a plurality of predetermined features.
  • the recording unit 193 extracts and records a recording character string from the character string information read from the image data of the new document form, using the character string feature amount in the image data of the new document form.
  • the recording unit 193 corresponds to an example of a character string detection unit.
  • the recording unit 193 stores a feature amount (first feature amount) that is recorded in advance based on a learning result using a plurality of document images and indicates the character string feature of the item for each type of document image and for each specific item.
  • the character string of the specific item in the first document image is detected based on the feature amount of the displayed first document image (document form image). That is, the recording unit 193 detects a character string (recorded character string) of a predetermined item according to the feature amount of the character string included in the first document image.
  • the recording unit 193 detects a character string of the same item as the specific item in the first document image from the second document image. If the recording unit 193 knows the format of the second document image, the recording unit 193 detects a recorded character string in the second document image using the format information. On the other hand, if the recording unit 193 does not know the format of the second document image, the feature amount extraction unit 192 extracts the first feature amount for the second document image, and the recording unit 193 obtains the obtained first feature.
  • the recorded character string may be specified using the amount.
  • the combination of the feature quantity extraction unit 192 and the recording unit 193 corresponds to an example of a correspondence learning unit.
  • the correspondence learning unit performs machine learning on the correspondence of the same specific items between the first document image and the second document image.
  • the recording unit 193 knows the format of the second document image.
  • the feature amount extraction unit 192 extracts the character string feature amount in the first document image (document form image) by machine learning, and the recording unit 193 based on the obtained character string feature amount.
  • a recording character string in the first document image is specified.
  • the recording unit 193 knows the recorded character strings for both the first document image and the second document image, and acquires the correspondence relationship of the recorded character strings between these two document images. Yes.
  • the feature amount extraction unit 192 extracts the feature amount of the character string for the second document image in addition to the first document image. It may be.
  • the recording unit 193 specifies a recorded character string based on the obtained character string feature amount for each of the first document image and the second document image. As a result, the recording unit 193 knows the recorded character strings for both the first document image and the second document image, and acquires the correspondence relationship of the recorded character strings between these two document images. Yes.
  • the correspondence learning unit uses the image after the character string of the second document image is confirmed, and uses the first document image and the second document. You may make it machine-learn the correspondence of the same specific item with an image. If the character string of the second document image is confirmed, the confirmed character string is considered to be accurate.
  • the correspondence learning unit can learn the correspondence of the same specific item between the first document image and the second document image with relatively high accuracy by performing machine learning using this accurate character string. It is expected.
  • the image after the character string of the second document image is confirmed is, for example, an image in which the character string in the second document image corresponding to the character string of the specific item of the first document image is confirmed. Show. Based on the feature amounts of the first document image and the second document image, when the relationship between specific items in both document images is associated, it indicates that the character string in the second document image has been confirmed.
  • the image processing apparatus 1 reduces the labor of recording character string information to be recorded included in the image data of the new document form.
  • FIG. 4 shows an example of a document form.
  • the mark of the company that created the document, the creation date, the person in charge of the creation, the document content, etc. are described in a format specific to the document form.
  • the document form is an order form
  • the document content indicates one or a plurality of sets of information such as the name of the ordered product and the number of orders.
  • the operator records a specific character string (recorded character string) to be recorded among the character strings described in the document form in the database 4 using the recording device 3.
  • the operator inputs a recording character string to be recorded in the database 4 by the recording device 3 while looking at the document form.
  • the operator causes the image reading device 2 to read the image data of the document form.
  • the document form is read by the image reading device 2 and output to the image processing device 1 based on the operation of the operator.
  • the recording device 3 Based on the operator's operation and the control of the image processing apparatus 1, the recording device 3 associates the image data for one document form with the recorded character string among the character strings described in the document form. Record in database 4.
  • the items are, for example, date 51, supplier 52, product name 53, quantity 54, and amount 55.
  • a character string of date 51, supplier 52, product name 53, quantity 54, and amount 55 is a recorded character string.
  • Other information such as a non-recorded character string that is not recorded by the operator is also printed on the document form 5.
  • the information includes, for example, the name 501 of the orderer who issued the document form, the emblem image 502 of the orderer, the title 503 of the document form, the greeting 504, and the like.
  • FIG. 5 is a diagram showing an outline of a recording table stored in the database.
  • the database 4 associates image data of a document form with a recording character string among character strings described in the document form and stores them in a recording table.
  • FIG. 6 is a first diagram illustrating a processing flow of the image processing apparatus according to the first embodiment.
  • FIG. 6 shows an example of a processing procedure in which the image processing apparatus 1 extracts the first feature amount.
  • the processing flow of the image processing apparatus 1 will be described in order.
  • a combination of image data for a document form and a recording character string described in the document form is recorded for a plurality of document forms having the same format (Format).
  • Form a plurality of pieces of recorded character string information (information indicating recorded character strings) in the format of the document form 5 shown in FIG. 4 are recorded.
  • image data and the recorded character string information for example, image data and recorded character string information of a document form handled in the past business can be used.
  • the acquisition unit 191 of the image processing apparatus 1 controls the communication unit 110 to read the image data of the document form and the information of the recorded character string corresponding to the image data from the database 4 (step S601).
  • the acquisition unit 191 outputs the image data and the recorded character string to the feature amount extraction unit 192.
  • the feature amount extraction unit 192 performs OCR processing on the image data to detect all character strings in the image data and coordinates in the image data indicating the range of the character string (step S602).
  • the character string is a group of characters composed of a plurality of characters.
  • the feature quantity extraction unit 192 analyzes the range of the one group based on an interval with other characters, extracts one or more characters included in the range as a character string, and character strings in the image data The coordinates indicating the range of are detected. Characters included as a character string may include symbols such as ideograms and phonetic characters, marks, icon images, and the like.
  • the feature amount extraction unit 192 compares the character string extracted from the image data by the OCR process with the recorded character string read from the database 4 together with the image data. Of the character strings extracted from the image data by OCR processing, the feature amount extraction unit 192 includes a character string in the image data that matches the character information of the recorded character string, a character attribute included in the character string, and a range of the character string. The coordinates are specified (step S603).
  • the character attribute is information represented by numbers, alphabets, hiragana, kanji, number of characters, character height, font, and the like.
  • the coordinates of the range of the character string are coordinates indicating the position of the character string in the document form.
  • the coordinates of the range of the character string may be information indicating the coordinates of the first character and the end character included in the character string.
  • the attribute of the character included in the character string and the coordinates of the range of the character string are collectively referred to as a character string attribute or a character string attribute.
  • the character information here may be only a character string or may include a character string attribute. That is, the feature amount extraction unit 192 may determine whether the recorded character string and the character string in the image data are the same as the character string. Alternatively, the feature quantity extraction unit 192 may determine the identity of character string attributes in addition to the identity of characters.
  • the image processing apparatus 1 excludes the document image from the processing target (first feature amount extraction target). You may do it. Alternatively, the image processing apparatus 1 may cause the display unit 120 to display an image showing the range of each candidate for the recorded character string on the display unit 120 and specify the character string selected by the operator as the recorded character string.
  • the recorded character string candidate here is a character string associated with a recorded character string that is determined not to be uniquely identified among character strings whose character information matches the character information of the recorded character string. .
  • the specification of the recorded character string here is to determine one of the character strings in the document form as one recorded character string.
  • the feature amount extraction unit 192 determines that the character information of each of the plurality of character strings in the document form matches the character information of one recorded character string, the plurality of character strings are determined as candidates for the recorded information. Become. When the worker selects any one of the plurality of character strings, the recorded character string is uniquely specified.
  • the feature amount extraction unit 192 extracts a feature amount common to the document forms of the same format and for each recorded character string (step S604). . Specifically, the feature amount extraction unit 192 analyzes the character string attribute of the recorded character string in a plurality of document forms for each recorded character string, and extracts one feature amount in one recorded character string.
  • the feature amount of the recorded character string is a value that quantitatively indicates a predetermined feature relating to the format of the recorded character string in the document image.
  • the method by which the feature amount extraction unit 192 extracts the feature amount common to the document forms having the same format and for each recorded character string is not limited to a specific method.
  • the feature amount extraction unit 192 determines the coordinates of the first character, the coordinates of the last character, the character type, the character height, the font type, etc. for a plurality of character string attributes obtained from a plurality of document forms.
  • a mode value (Mode) may be obtained for each item.
  • the feature amount extraction unit 192 has an average value (Median) or a median value (Median) for each item regarding attributes indicated by numerical values such as the coordinates of the first character, the coordinates of the last character, the height of the character, and the distance between characters. ) May be requested.
  • the feature quantity extraction unit 192 uses a feature quantity having a range such as a maximum or minimum value of an item represented by a numerical value, or a feature quantity represented by a plurality of numerical values. It may be. Further, the feature quantity extraction unit 192 may obtain the feature quantity by digitizing attributes other than numeric values such as character type and font type. Further, the feature amount extraction unit 192 may extract feature amounts using a known machine learning algorithm. When the feature amount extraction unit 192 acquires a plurality of numerical values for one format and one recorded character string of the document form, the feature amount of one vector may be extracted by vectorizing the plurality of numerical values. .
  • the feature quantity extracted by the feature quantity extraction unit 192 and common to document forms of the same format and for each recorded character string is referred to as a first feature quantity.
  • the feature quantity extraction unit 192 extracts a first feature quantity of each recorded character string in the format using a plurality of document forms having the same format.
  • the first feature amount is a feature amount for extracting a recorded character string.
  • the first feature amount may include information indicating the attribute of the character, coordinates indicating the range of the character string, or a combination thereof.
  • the feature quantity extraction unit 192 records the first feature quantity obtained for each recorded character string in the database 4 in association with the identifier of the document form format (step S605).
  • the feature amount extraction unit 192 stores the character attributes and character strings of the date 51, the supplier 52, the product name 53, the quantity 54, and the amount 55 that are the recorded character strings included in the format of the document form 5 in FIG.
  • Each first feature quantity indicating the coordinates indicating the range is recorded in the database 4 in association with the format identifier of the document form 5.
  • the image processing apparatus 1 can extract information (first feature amount) used to reduce the labor of recording the operator's recorded character string and store it in the database 4. As a result, the image processing apparatus 1 can receive the input of image data of a new document form and automatically record the recorded character string included in the document form in the database 4. The process will be described with reference to FIG.
  • FIG. 7 is a second diagram showing a processing flow of the image processing apparatus according to the first embodiment.
  • FIG. 7 shows an example of a processing procedure in which the image processing apparatus 1 extracts a recorded character string from newly input image data.
  • the operator performs an operation for causing the image reading apparatus 2 to read a new document form.
  • the image reading apparatus 2 generates image data of the document form and outputs (transmits) it to the image processing apparatus 1.
  • the acquisition unit 191 of the image processing apparatus 1 acquires image data from the reception data of the communication unit 110 (step S701).
  • the acquisition unit 191 outputs the image data to the feature amount extraction unit 192.
  • the feature amount extraction unit 192 performs OCR processing on the image data, and for each character string, character strings, character features (character attributes) included in the character strings, and coordinates in the image data within the character string range are displayed for each character string. Detection is performed (step S702).
  • the feature quantity extraction unit 192 extracts a third feature quantity obtained by converting the detected information into feature quantities for each character string in the image data (step S703). That is, the third feature amount is information indicating the feature of the character string included in the document form of the newly read image data.
  • the feature quantity extraction unit 192 reads the first feature quantity for each recorded character string from the database 4 (step S704).
  • the feature quantity extraction unit 192 outputs the third feature quantity and the first feature quantity to the recording unit 193.
  • the recording unit 193 acquires the third feature amount for each character string in the image data and the first feature amount for each recorded character string, and associates the first feature amount with the third feature amount (step S705). Specifically, the recording unit 193 associates, for each of the first feature amounts, one third feature amount that matches the feature amount or one closest third feature amount. With this association, a recorded character string is selected from character strings obtained by OCR processing of image data of a document form.
  • the feature amount extraction unit 192 controls the display unit 120 to display the display of the recorded character string that is the processing result of the image processing apparatus 1 and the image of the document form side by side (step S706).
  • FIG. 8 is a diagram illustrating an example of a display screen on which the display unit 120 displays a display of a recorded character string and an image of a document form side by side.
  • the display unit 120 displays a document form image W1 and a recorded character string display window W2.
  • the character strings of the OCR results of the character strings C1a and C1b in the document form image W1 are displayed as character strings C2a and C2b, which are recording character strings, in the recording character string display window W2, respectively.
  • the “OK” button icon B1 is a button icon pressed by the operator to confirm and correct the recorded character string displayed in the recorded character string display window W2, and then to confirm the recorded character string.
  • the operator performs an operation of pressing the button icon by, for example, a touch operation on the button icon or a mouse click.
  • the recording unit 193 determines whether or not the correspondence relationship between the display of the recorded character string and the image of the document form has been acquired (step S707). For example, the recording unit 193 determines that the correspondence has been acquired when the number of learnings for grasping the correspondence between the display of the recorded character string and the image of the document form is a predetermined number or more. As described above, the learning for grasping the correspondence between the display of the recorded character string and the image of the document form may be learning for specifying the recorded character string in the display of the recorded character string, Learning for specifying a recorded character string in a form image may be performed. Or the combination of these learning may be sufficient.
  • FIG. 9 is a diagram illustrating an example of a display screen on which the display unit 120 displays the correspondence between the display of the recorded character string and the image of the document form.
  • FIG. 9 shows an example in which the correspondence between the display of the recorded character string and the image of the document form is displayed on the display screen of FIG.
  • Character strings C1a, C1b, C2a, and C2b are shown surrounded by rectangles F1a, F1b, F2a, and F2b, respectively.
  • a line La indicates that the character strings C1a and C2a correspond to each other.
  • Correspondence between the character strings C1b and C2b is indicated by a line Lb.
  • the display unit 120 displays the correspondence between the display of the recorded character string and the document form image. As a result, even when the operator is unfamiliar with either or both of the document form format and the recorded character string display window format, the correspondence between the character strings can be easily and reliably grasped.
  • step S709 the image processing apparatus 1 acquires the corrected recorded character string (step S709). If the recording unit 193 determines in step S707 that the correspondence between the display of the recorded character string and the image of the document form has not been acquired (step S707: NO), the process proceeds to step S709. Then, the feature amount extraction unit 192 and the recording unit 193 as the correspondence learning unit learn the coordinates of the recorded character string in the processing result display (in the example of FIGS. 8 and 9, the recorded character string display window W2) ( Step S710).
  • the feature quantity extraction unit 192 extracts the first feature quantity for the display of the processing result, and the recording unit 193 uses the first feature quantity to determine the position of the recorded character string. Identify and remember.
  • the recording unit 193 already knows the processing result display format, the processing in step S710 is unnecessary.
  • the recording unit 193 records the recorded character string in the recording table in association with the identification information of the document form (step S711). For example, the case where the third feature value a3, the third feature value b3, the third feature value c3, and the third feature value d3 can be acquired from the image data of the document form will be exemplified.
  • the third feature quantity a3 is recorded in advance in the database, the first feature quantity a1, the third feature quantity b3 is the first feature quantity b1, the third feature quantity c3 is the first feature quantity c1, and the third feature.
  • the case where the amount d3 and the first feature amount d1 respectively match the feature amounts is illustrated.
  • the recording unit 193 stores the character strings corresponding to the third feature value a3, the third feature value b3, the third feature value c3, and the third feature value d3 in the record table of the document form as a record character string. Record.
  • the character string corresponding to the third feature value here is a character string from which the third feature value is extracted.
  • the recording unit 193 records the corrected recorded character string in the document table recording table. After step S711, the image processing apparatus 1 ends the process of FIG.
  • the image processing apparatus 1 may update the first feature amount in the document form by the process of FIG.
  • the image processing apparatus 1 may learn the first feature amount in the document form in step S710 in addition to or instead of the machine learning of the first feature amount in the display of the processing result. In that case, the image processing apparatus 1 may perform the processing flow of FIG. 6 again. Alternatively, the image processing apparatus 1 may perform additional learning in step S710 so that the first feature amount is updated without processing the data processed in FIG. 6 again.
  • the image processing device 1 updates the first feature value in the process of FIG. 7, thereby increasing the number of sample data and improving the accuracy of the first feature value, and the accuracy with which the image processing device 1 extracts the recorded character string. Is expected to improve. Further, when a recording character string is added in the process of FIG. 7, the image processing apparatus 1 can also extract a newly added recording character string from the image data. This is expected to save the operator from having to input a character string.
  • the image processing apparatus 1 uses the document form image data and the recorded character string previously recorded by the operator to record the recorded character string in the newly entered document form image data. Can be recorded automatically. Therefore, the image processing apparatus 1 can reduce the labor of the operator who records the recorded character string in the document form. Further, the operator can confirm and correct the recorded character string that is the processing result of the image processing apparatus 1 with reference to the display on the display unit 120. At this time, the display unit 120 indicates the correspondence between the character string in the display of the processing result and the character string in the document form image, so that the operator can easily grasp the correspondence.
  • FIG. 10 is a schematic block diagram showing a functional configuration of the image processing apparatus according to the second embodiment.
  • the image processing apparatus 1 according to the second embodiment has functions of a group classification unit 194 and a group identification unit 195 in addition to the functional units shown in FIG. 3.
  • FIG. 11 is a first diagram illustrating a processing flow of the image processing apparatus according to the second embodiment.
  • the processing flow of the image processing apparatus 1 according to the second embodiment will be described in order.
  • the database 4 a large number of combinations of image data for a plurality of document forms having different formats and recorded character strings described in each document form are recorded for each document form.
  • the worker activates the image processing apparatus 1 and instructs the image processing apparatus 1 to start processing.
  • the acquisition unit 191 of the image processing apparatus 1 determines whether or not all of the image data of the document form and the information of the recorded character string corresponding to the image data have been read from the database 4 (step S901). In the case of NO, the acquisition unit 191 reads the image data of the document form and the information of the recorded character string corresponding to the image data from the database 4 (Step S902). The acquisition unit 191 outputs the image data and the recorded character string to the feature amount extraction unit 192. The feature amount extraction unit 192 performs OCR processing on the image data to detect all character strings in the image data and coordinates in the image data (step S903).
  • the character string is a group of characters composed of a plurality of characters.
  • the feature quantity extraction unit 192 analyzes the range of the one group based on an interval with other characters, extracts one or more characters included in the range as a character string, and character strings in the image data The coordinates indicating the range of are detected. Characters included as a character string may include symbols such as ideograms and phonetic characters, marks, icon images, and the like.
  • the feature amount extraction unit 192 compares the character string extracted from the image data by the OCR process with the recorded character string read from the database 4 together with the image data. Of the character strings extracted from the image data by OCR processing, the feature amount extraction unit 192 includes a character string in the image data that matches the character information of the recorded character string, a character attribute included in the character string, and a range of the character string. The coordinates are specified (step S904).
  • character attributes are information represented by numbers, alphabets, hiragana, kanji, number of characters, character height, font, and the like.
  • the coordinates of the range of the character string are coordinates indicating the position of the character string in the document form.
  • the coordinates of the range of the character string may be information indicating the coordinates of the first character and the end character included in the character string.
  • the attribute of the character included in the character string and the coordinates of the range of the character string are collectively referred to as a character string attribute or a character string attribute.
  • the character information here may be only a character string or may include a character string attribute. That is, the feature amount extraction unit 192 may determine whether the recorded character string and the character string in the image data are the same as the character string. Alternatively, the feature quantity extraction unit 192 may determine the identity of character string attributes in addition to the identity of characters.
  • the image processing apparatus 1 excludes the document image from the processing target (first feature amount extraction target). You may do it. Alternatively, the image processing apparatus 1 may cause the display unit 120 to display an image in which each range of the recorded character string candidates is indicated by a frame, and specify the recorded character string as the character string selected by the operator. .
  • the recorded character string candidate here is a recorded character string that is determined not to be uniquely identified among character strings whose character information matches the character information of the recorded character string. Is a character string associated with. The specification of the recorded character string here is to determine one of the character strings in the document form as one recorded character string.
  • the feature amount extraction unit 192 determines that the character information of each of the plurality of character strings in the document form matches the character information of one recorded character string, the plurality of character strings are determined as candidates for the recorded information. Become. When the worker selects any one of the plurality of character strings, the recorded character string is uniquely specified.
  • the feature amount extraction unit 192 extracts a feature amount for each document form and for each recorded character string using the character string attributes extracted for each document form and for each recorded character string (step S905). Specifically, the feature amount extraction unit 192 converts the character string attribute of the character string associated with the recorded character string into a feature amount in step S904. In the second embodiment, a plurality of types of formats are targeted. For this reason, unlike the case of step S604 in FIG. 7, the first feature amount cannot be directly extracted at the time of step S905 in which the document forms are not grouped by format. Therefore, the feature amount extraction unit 192 extracts the feature amount for each document form and each recorded character string as preparation for extracting the first feature amount for each group.
  • This feature amount for each document form and each recorded character string is referred to as an individual first feature amount.
  • the feature amount extraction unit 192 records the obtained individual first feature amount in the database 4 in association with the identifier of the document form and the identifier of the recording character string (step S906).
  • the identifier of the recorded character string for example, a coordinate value indicating the position of the recorded character string can be used.
  • the feature amount extraction unit 192 stores the character attributes and character strings of the date 51, the supplier 52, the product name 53, the quantity 54, and the amount 55 that are the recorded character strings included in the format of the document form 5 in FIG.
  • the individual first feature amount indicating the coordinates indicating the range is recorded in the database 4 in association with the identifier of the document form 5 and the identifier of the recorded character string for each document form and for each recorded character string.
  • the feature amount extraction unit 192 also extracts a non-recorded character string in the image data that does not match the character information included in the recorded character string, and a character string attribute of the non-recorded character string (step S907).
  • the non-recorded character string is a character string that is not recorded by the operator, that is, a character string other than the recorded character string.
  • the character string attribute may include one or both of information indicating the attribute of the character included in the character string and information indicating the coordinates of the range of the character string.
  • the feature amount extraction unit 192 extracts a feature amount for each document form and for each non-recorded character string using the character string attributes extracted for each document form and for each non-recorded character string (step S908). Specifically, the feature amount extraction unit 192 converts the attribute of the character string (character string attribute) into a feature amount for each character string that is not associated with any recorded character string in step S904. Similar to the case of the first feature amount, at the time of step S908 when the document forms are not grouped for each format, it is not possible to generate a common feature amount for the document forms of the same format.
  • the feature amount extraction unit 192 extracts the feature amount for each document form and for each non-recorded character string as preparation for extracting the second feature amount for each group.
  • This feature amount for each document form and for each non-recorded character string is referred to as an individual second feature amount.
  • the feature amount extraction unit 192 may generate individual second feature amounts for each document form and a plurality of non-recorded character strings. For example, the feature quantity extraction unit 192 may generate one individual second feature quantity for one document form.
  • the feature amount extraction unit 192 records the obtained individual second feature amount in the database 4 in association with the identifier of the document form and the identifier of the non-recorded character string (step S909).
  • an identifier of the non-recorded character string for example, a coordinate value indicating the position of the non-recorded character string can be used.
  • the feature quantity extraction unit 192 includes an orderer name 501, an orderer's emblem image, a document form title 503, a greeting sentence 504, etc., which are non-recorded character strings included in the format of the document form 5 in FIG. 4.
  • the second feature amount is recorded in the database 4 in association with the identifier of the document form 5 and the identifier of the non-recorded character string.
  • step S901 If it is determined in step S901 that the acquisition unit 191 has read all the image data of the document form and the recorded character string information corresponding to the image data from the database 4 (step S901: YES), the group classification unit 194 The forms are grouped (step S921).
  • the group classification unit 194 groups the document form based on the individual second feature amount included in the image data of the document form. For example, the group classification unit 194 groups each document form based on the degree of coincidence of the non-recorded character string indicated by the individual second feature quantity, the degree of coincidence of the emblem image, or the degree of coincidence of the coordinate range of the non-recorded character string. To do.
  • the group classification unit 194 classifies the plurality of document forms into groups based on, for example, the correlation between the individual second feature amounts in the plurality of document forms. Or the group classification
  • the group classification unit 194 determines the group identifier of the document form in this grouping process.
  • the group classification unit 194 determines whether grouping has been completed for all document forms (step S922).
  • the group classification unit 194 repeats the process of step S921 when the grouping of all document forms has not been completed. Specifically, in step S922, when the group classification unit 194 determines that there is a document form that has not been grouped (step S922: NO), the process returns to step S921. When grouping of all document forms is completed (step S922: YES), the group classification unit 194 associates the identifier of the document form with the group identifier assigned to the document form, and stores the group table (recording) in the database 4 Table) (step S923).
  • the feature quantity extraction unit 192 reads from the database 4 each individual first feature quantity and each individual second feature quantity of one or more document forms belonging to a certain group.
  • the feature quantity extraction unit 192 extracts each group first feature quantity and each group second feature quantity corresponding to each individual first feature quantity and each individual second feature quantity of the document form belonging to the group (step S924). ).
  • Each group first feature amount may be a value such as an average of the individual first feature amounts of document forms belonging to the group.
  • each group second feature value may be a value such as an average of the individual second feature values of document forms belonging to the group.
  • Each group first feature value and each group second feature value may not be the average of each individual first feature value and the average of each individual second feature value.
  • Each group first feature amount and each group second feature amount may be extracted using a simple technique.
  • the feature amount extraction unit 192 may generate a group first feature amount by extracting a character string attribute for each recorded character string from a plurality of document forms belonging to the same group in step S924. Good. In this case, the feature quantity extraction unit 192 passes the extraction and recording of the individual first feature quantities in steps S905 and S906 (no particular processing is performed). On the other hand, the individual second feature amount is extracted in step S908 by the feature amount extraction unit 192 so that it can be used in the grouping in step S921. However, in step 921, the group classification unit 194 may perform grouping of document forms using a non-recorded character string without using the individual second feature amount.
  • the feature amount extraction unit 192 may extract the group second feature amount (directly) from the character string attributes of the non-recorded character strings of a plurality of document forms belonging to the same group in step S924. In this case, the feature quantity extraction unit 192 performs no particular processing in steps S907 to S909. The feature quantity extraction unit 192 calculates each group first feature quantity and each group second feature quantity for each group, and records them in the database 4 in association with the group identifier (step S925). After step S925, the image processing apparatus 1 ends the process of FIG.
  • the image processing apparatus 1 extracts information (group first feature amount and group second feature amount) necessary for reducing the labor of recording the recorded character string of the worker for each group of document forms. Can be stored in the database 4. As a result, the image processing apparatus 1 can receive the input of image data of a new document form and automatically record the recorded character string included in the document form in the database 4. The processing will be described with reference to FIG.
  • FIG. 12 is a second diagram illustrating a processing flow of the image processing apparatus according to the second embodiment.
  • FIG. 12 shows an example of a processing procedure in which the image processing apparatus 1 extracts a recorded character string from newly input image data.
  • the operator performs an operation for causing the image reading apparatus 2 to read a new document form.
  • the image reading apparatus 2 generates image data of the document form and outputs (transmits) it to the image processing apparatus 1.
  • the acquisition unit 191 of the image processing apparatus 1 acquires image data from the reception data of the communication unit 110 (step S1001).
  • the acquisition unit 191 outputs the image data to the feature amount extraction unit 192.
  • the feature amount extraction unit 192 performs OCR processing on the image data, and for each character string, character strings, character features (character attributes) included in the character strings, and coordinates in the image data within the character string range are displayed for each character string. Detection is performed (step S1002).
  • the feature quantity extraction unit 192 extracts a third feature quantity obtained by converting the detected information into feature quantities for each character string in the image data (step S1003).
  • the third feature amount is information indicating the character string feature included in the document form of the newly read image data.
  • the group specifying unit 195 reads the group second feature quantity used for group specification of a new document form among the group second feature quantities stored in the database 4.
  • the group second feature amount may be, for example, a feature amount corresponding to the orderer's emblem image 502 displayed in the image data of the document form.
  • the group specifying unit 195 determines whether information indicated by a certain group second feature amount can be specified from the image data of the document form acquired in step S1001.
  • the group specifying unit 195 performs the same processing using the group second feature amount for all groups.
  • the group specifying unit 195 newly reads the group having the group second feature value.
  • the document form image data group is identified (step S1004). Thereafter, the group identification unit 195 reads one or more group first feature values for the group from the database 4 (step S1005). The group specifying unit 195 outputs the third feature value and one or more group first feature values to the recording unit 193.
  • the group first feature amount is a feature amount for specifying one or a plurality of recorded character strings in the document form belonging to the group.
  • the recording unit 193 acquires the third feature amount for each character string in the image data and the group first feature amount for each recorded character string, and associates the group first feature amount with the third feature amount (step S1006). . Specifically, the recording unit 193 associates, for each of the group first feature values, one third feature value or the closest third feature value that matches the feature value. With this association, a recorded character string is selected from character strings obtained by OCR processing of image data of a document form.
  • the feature amount extraction unit 192 controls the display unit 120 to display the display of the recorded character string that is the processing result of the image processing apparatus 1 and the image of the document form side by side (step S1007). Step S1007 is the same as step S706 in FIG.
  • the recording unit 193 determines whether or not the correspondence relationship between the display of the recorded character string and the image of the document form has been acquired (step S1008). For example, the recording unit 193 determines that the correspondence has been acquired when the number of learnings for grasping the correspondence between the display of the recorded character string and the image of the document form is a predetermined number or more.
  • the learning for grasping the correspondence between the display of the recorded character string and the image of the document form may be learning for specifying the recorded character string in the display of the recorded character string, Learning for specifying a recorded character string in a form image may be performed. Or the combination of these learning may be sufficient.
  • step S1008 If it is determined that the correspondence between the display of the recorded character string and the image of the document form has been acquired (step S1008: YES), the recording unit 193 controls the display unit 120 to display the recorded character string and the document The correspondence with the form image is displayed (step S1009). Step S1009 is the same as step S708 in FIG. When the operator confirms and corrects the recorded character string and then performs a confirmation operation, the image processing apparatus 1 acquires the corrected recorded character string (step S1010). If the recording unit 193 determines in step S1008 that the correspondence between the display of the recorded character string and the image of the document form has not been acquired (step S1008: NO), the process proceeds to step S1010.
  • the feature amount extraction unit 192 and the recording unit 193 as the correspondence learning unit learn the coordinates of the recorded character string in the processing result display (in the example of FIGS. 8 and 9, the recorded character string display window W2) (Ste S1011).
  • the feature quantity extraction unit 192 extracts the first feature quantity for the display of the processing result, and the recording unit 193 uses the first feature quantity to determine the position of the recorded character string. Identify and remember.
  • the recording unit 193 already knows the processing result display format, the processing in step S1011 is not necessary.
  • the recording unit 193 records the recorded character string in the recording table in association with the identification information of the document form (step S1012). For example, the case where the third feature value a3, the third feature value b3, the third feature value c3, and the third feature value d3 can be acquired from the image data of the document form will be exemplified.
  • the third feature quantity a3 is recorded in advance in the database, the first feature quantity a1, the third feature quantity b3 is the first feature quantity b1, the third feature quantity c3 is the first feature quantity c1, and the third feature.
  • the case where the amount d3 and the first feature amount d1 respectively match the feature amounts is illustrated.
  • the recording unit 193 stores the character strings corresponding to the third feature value a3, the third feature value b3, the third feature value c3, and the third feature value d3 in the record table of the document form as a record character string. Record.
  • the character string corresponding to the third feature value here is a character string from which the third feature value is extracted.
  • the recording unit 193 records the corrected recorded character string in the document table recording table. After step S1012, the image processing apparatus 1 ends the process of FIG.
  • the image processing apparatus 1 may update the first feature amount in the document form by the process of FIG.
  • the image processing apparatus 1 may learn the first feature value in the document form in step S1011 in addition to or instead of the machine learning of the first feature value in the display of the processing result. In that case, the image processing apparatus 1 may perform the processing flow of FIG. 6 again. Alternatively, the image processing apparatus 1 may perform additional learning in step S1011 so that the first feature amount is updated without processing the data processed in FIG. 6 again.
  • the image processing device 1 updates the first feature value in the process of FIG. 12, thereby increasing the number of sample data and improving the accuracy of the first feature value, and the accuracy with which the image processing device 1 extracts the recorded character string. Is expected to improve.
  • the image processing apparatus 1 can also extract a newly added recorded character string from the image data, so that the operator has to input the character string. Expect to save.
  • the image processing apparatus 1 sets the type of the newly entered document form according to the image data and the recorded character string of each of the plurality of formats previously recorded by the operator. Regardless, the recorded character string in the image data of the document form can be automatically recorded. Therefore, the image processing apparatus 1 can reduce the labor of the operator who records the recorded character string in the document form. Further, the operator can confirm and correct the recorded character string that is the processing result of the image processing apparatus 1 with reference to the display on the display unit 120. At this time, the display unit 120 indicates the correspondence between the character string in the display of the processing result and the character string in the document form image, so that the operator can easily grasp the correspondence.
  • an operator may register a document form group in the image processing apparatus 1 in advance. For example, when registering image data of a document form in the past, an operator inputs a group identifier according to the type of document form and registers it in the database 4 in association with the image data of the document form. As a result, different types of forms are not mixed in the same group due to processing errors of the image processing apparatus 1, and the first feature amount can be extracted with high accuracy. In this case, at the time of registration, the worker inputs a group of document forms, but for a new form, the group is specified using the second feature amount as in step S1004.
  • the image processing apparatus 1 not only uses the second feature value to group document forms but also uses the first feature value and also uses the second feature value.
  • the document form may be grouped using the first feature amount.
  • the first feature value is the feature value of the recorded character string, but if it is the same type of document form, the coordinates of the recorded character string and its character attributes are considered to be the same. It becomes possible to divide into groups.
  • the first grouping is performed by an operator as shown in the fourth embodiment, and a new document form is grouped using the first feature amount in the process of step S1004, thereby accurately recording in the OCR process.
  • the character string can be read.
  • the acquisition unit 191 acquires a plurality of form image data and a recorded character string that is a recording target among character strings included in the form image data. Then, the group classification unit 194 groups the form image data based on the first feature amount. Then, the feature amount extraction unit 192 extracts a recorded character string using the first feature amount corresponding to the form image data included in the group.
  • a new form group is specified based on the second feature amount in step S1004.
  • the image processing apparatus 1 does not perform the process of specifying the group, but sequentially specifies all the groups set by the operator and reads out the first feature amount for each group. The number that matches the third feature value is counted. In the case of a correct group, the first feature value and the third feature value should match most often. For this reason, the image processing apparatus 1 records a character string included in each of the third feature amounts of the specific group when the number of matches is the largest. As a result, the recorded character string can be recorded without specifying the group.
  • the acquisition unit 191 acquires a plurality of form image data and a recorded character string that is a recording target among character strings included in the form image data.
  • the feature quantity extraction unit 192 then recognizes the first feature quantity indicating the feature of the recorded character string or the second recognition information other than the recorded character string based on the result of the recognition processing of the form image data acquired by the acquisition unit 191. Extract features.
  • the feature amount extraction unit 192 extracts a recorded character string using the first feature amount corresponding to the form image data included in a predetermined group set in advance.
  • the recording unit 193 is recorded in advance based on a learning result using a plurality of document images, and includes a feature amount indicating a character string feature of the item for each type of document image and for each specific item.
  • the character string of the specific item in the first document image is detected based on the feature amount of the displayed first document image.
  • the display unit 120 outputs correspondence information indicating the same specific item in the first document image and the second document image displayed corresponding to the first document image.
  • the image processing apparatus 1 the position of the character string in the document image can be acquired by learning. Therefore, according to the image processing apparatus 1, even if the format of the document to be recognized is not known in advance, the operator can assist so that the operator can grasp which item is indicated where.
  • the recording unit 193 detects a character string of the same item as the specific item in the first document image from the second document image. Thereby, the image processing apparatus 1 can present the correspondence between the character string of the specific item in the first document image and the character string of the specific item in the second document image to the user. The user can confirm the correctness of the character string relatively easily by referring to the presentation of the correspondence.
  • the feature amount extraction unit 192 and the recording unit 193 perform machine learning on the correspondence relationship of the same specific items between the first document image and the second document image.
  • the image processing apparatus 1 can automatically learn the correspondence of the same specific item between the first document image and the second document image without requiring any special treatment of the user. The user only needs to perform normal processing, and the burden on the user does not increase.
  • the feature amount extraction unit 192 and the recording unit 193 use the images after the character string of the second document image is confirmed, and use the same specific items for the first document image and the second document image. Machine learning of the correspondence of. If the character string of the second document image is confirmed, the confirmed character string is considered to be accurate.
  • the correspondence learning unit can learn the correspondence of the same specific item between the first document image and the second document image with relatively high accuracy by performing machine learning using this accurate character string. It is expected.
  • FIG. 13 is a diagram illustrating an example of the configuration of the image processing apparatus according to the embodiment.
  • An image processing apparatus 600 illustrated in FIG. 13 includes a character string detection unit 601 and an output unit 602.
  • the character string detection unit 601 is pre-recorded based on the learning results using a plurality of document images, and indicates the character string characteristics of the item for each type of document image and for each specific item.
  • the character string of the specific item in the first document image is detected based on the feature amount of the displayed first document image.
  • the output unit 602 outputs correspondence information indicating the same specific item in the first document image and the second document image displayed corresponding to the first document image.
  • the position of the character string in the document image can be acquired by learning. Therefore, according to the image processing apparatus 600, even when the format of the character recognition target document is not known in advance, it is possible to assist the operator so as to grasp which item is indicated where.
  • Each of the above devices has a computer system inside.
  • a program for causing each device to perform the above-described processes is stored in a computer-readable recording medium of each device, and the above-described processing is performed by the computer of each device reading and executing the program.
  • the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
  • the program may be a program for realizing a part of the functions of each processing unit described above. Furthermore, what can implement

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

複数の文書画像を用いた学習の結果に基づいて予め記録され、前記文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての前記特徴量に基づいて、前記第一の文書画像における前記特定項目の前記文字列を検出する文字列検出部と、前記第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とにおける、同じ前記特定項目を示す対応関係の情報を出力する出力部と、を備える画像処理装置。

Description

画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体
　本発明は、画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体に関する。
　帳票のフォーマットに関連して、特許文献１には、帳票に最適な帳票フォーマットを効率的に選出するための方法が記載されている。この方法では、帳票フォーマットをグループ分けし、グループ毎に代表帳票フォーマットを１つ定めておく。そしてこの方法では、読み取った帳票画像と代表帳票フォーマットとの特徴合致率に基づいて何れか１つのグループを選出する。さらにこの方法では、選出したグループ内の各帳票フォーマットのうち、読み取った帳票画像との特徴合致率が最も高い帳票フォーマットを選択する。
　また、文字認識結果の修正に関連して、特許文献２には、複数種類の帳票が混在している場合の文字認識で読取不能文字（リジェクト文字）が生じた場合に、読取不能文字の訂正処理を行う帳票の種類を指定し、指定された種類の帳票における読取不能文字の訂正処理を行う。これにより、同じ種類の帳票の訂正処理を連続的に行うことが記載されている。
　また、文字認識結果の修正に関連して、特許文献３には、イメージ入力（文字認識）された帳票の修正・確認を行う際、入力された内容を所定の書式に従って表示して修正を受け付けること、および、利用者から修正項目が指示されると、受け付けた修正項目に対応する特定のイメージ部分を強調表示することが記載されている。
特開２０１６－０４８４４４号公報 特開２００４－１１８３８０号公報 特開２００２－００７９５１号公報
　文字認識結果の確認および訂正の際、確認訂正の作業者が、どの項目がどこに示されているかを把握できることが重要である。特に、作業者が普段見慣れていないフォーマットの文書の読み取り結果を確認および訂正する場合、確認したい項目がどこに記載されているかの把握に手間取る可能性がある。
　そこで、作業者が、どの項目がどこに示されているかを把握できるよう補助できることが好ましい。その際、文字認識対象の文書のフォーマットが予めわかっていない場合でも、補助を行えることが好ましい。
　本発明は、上述の課題を解決することのできる画像処理装置、画像処理方法およびプログラムを提供することを目的としている。
　本発明の第１の態様によれば、画像処理装置は、複数の文書画像を用いた学習の結果に基づいて予め記録され、前記文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての前記特徴量に基づいて、前記第一の文書画像における前記特定項目の前記文字列を検出する文字列検出部と、前記第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とにおける、同じ前記特定項目を示す対応関係の情報を出力する出力部と、を備える。
　本発明の第２の態様によれば、画像処理方法は、複数の文書画像を用いた学習の結果に基づいて予め記録され、前記文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての前記特徴量に基づいて、前記第一の文書画像における前記特定項目の前記文字列を検出し、前記第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とにおける、同じ前記特定項目を示す対応関係の情報を出力する。
　本発明の第３の態様によれば、記憶媒体に記憶されたプログラムは、コンピュータに、複数の文書画像を用いた学習の結果に基づいて予め記録され、前記文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての前記特徴量に基づいて、前記第一の文書画像における前記特定項目の前記文字列を検出し、前記第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とにおける、同じ前記特定項目を示す対応関係の情報を出力する、処理を実行させる。
　この発明によれば、文字認識対象の文書のフォーマットが予めわかっていない場合でも、作業者が、どの項目がどこに示されているかを把握できるよう補助を行うことができる。
実施形態に係る画像処理装置を含む画像処理システムの装置構成例を示す図である。 実施形態に係る画像処理装置のハードウェア構成例を示す図である。 第一実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。 文書帳票の一例を示す図である。 第一実施形態に係るデータベースが記憶する記録テーブルの概要を示す図である。 第一実施形態に係る画像処理装置の処理フローを示す第一の図である。 第一実施形態に係る画像処理装置の処理フローを示す第二の図である。 第一実施形態に係る表示部が、記録文字列の表示と、文書帳票の画像とを並べて表示した表示画面の例を示す図である。 第一実施形態に係る表示部が、記録文字列の表示と文書帳票の画像との対応関係を表示した表示画面の例を示す図である。 第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。 第二実施形態に係る画像処理装置の処理フローを示す第一の図である。 第二実施形態に係る画像処理装置の処理フローを示す第二の図である。 実施形態に係る画像処理装置の構成の例を示す図である。
　以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、実施形態に係る画像処理装置を含む画像処理システムの装置構成例を示す図である。
　図１に示す構成で、画像処理システム１００は画像処理装置１、画像読取装置２、記録装置３およびデータベース４により構成される。
　画像処理装置１は画像読取装置２と通信ケーブルにより接続されている。画像読取装置２は光学的に文書帳票などの画像データを取得して画像処理装置１へ出力する。画像処理装置１は文書帳票の画像データをＯＣＲ（Optical character recognition）処理し文字認識する。画像処理装置１は文字認識結果を記録装置３に出力し、記録装置３がその文字認識結果をデータベースに記録する。
　なお、画像処理装置１が対象とする文書は、特定の種類のものに限定されない。ＯＣＲ処理可能ないろいろな文書を、画像処理装置１の処理対象とすることができる。
　データベース４は画像処理装置１と記録装置３とに接続されている。データベース４は記録装置３から過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうち記録対象となる文字列を示す記録文字列の対応関係を記憶している。記録文字列が示す文字列は文書帳票に記述される文字列のうちデータベース４に記録、保存しておくべき重要な文字列である。画像処理システム１００を利用する作業者は予め、記録装置３を用いて過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうちの記録文字列をデータベース４に登録しておく。
　作業者を、画像処理装置１のユーザ、または単にユーザとも称する。
　そしてデータベース４には文書帳票の画像データとその画像データに含まれる文字列の情報のうち記録対象となる文字列を示す記録文字列の情報との対応関係が、多くの文書帳票について十分に記録されているものとする。このような状態において、画像処理装置１は処理を行う。
　図２は画像処理装置のハードウェア構成例を示す図である。
　図２に示す構成で、画像処理装置１は、画像処理装置本体１０と、表示装置１７と、入力デバイス１８とを備える。
　画像処理装置本体１０は、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は画像読取装置２、記録装置３、データベース４との間で無線通信を行うものであってもよいし、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。
　表示装置１７は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode）パネル等の表示画面を備える。
　入力デバイス１８は、例えばキーボードおよびマウス、あるいは、表示装置１７の表示画面に設けられてタッチパネルを構成するタッチセンサ、あるいはこれらの組み合わせなど、ユーザ操作を受ける装置である。
＜第一実施形態＞
　図３は、第一実施形態に係る画像処理装置１の機能構成を示す概略ブロック図である。
　通信部１１０は、図２の通信モジュール１３を用いて構成され、他の装置と通信を行う。特に、通信部１１０は、画像読取装置２、記録装置３、及びデータベース４と通信を行う。
　表示部１２０は、図２の表示装置１７を用いて構成され、各種画像を表示する。特に、表示部１２０は出力部の例に該当し、第一の文書画像と、第一の文書画像に対応して表示されている第二の文書画像とで、同じ特定項目を示す対応関係情報を出力する。
　例えば、表示部１２０は、第一の文書画像として文書帳票の画像（ＯＣＲ結果ではなく生の画像）を表示し、第二の文書画像として、画像処理装置１の処理結果である記録文字列を所定の書式で表示するＧＵＩ（Graphical User Interface）画面画像を表示する。そして、表示部１２０は、第二の文書画像に示す文字列が、第一の文書画像におけるどの文字列の読み取り結果に対応するかを、両者の文字列間に線を引くことで示す。
　あるいは、記録文字列の正解の文字列が得られている場合、表示部１２０が、第一の文書画像として文書帳票のＯＣＲ結果を、その文書帳票の書式で表示し、第二の文書画像として正解の文字列を所定の書式で表示するＧＵＩ画面の画像を表示するようにしてもよい。
　そして、表示部１２０が、第二の文書画像に示す文字列が、第一の文書画像におけるどの文字列の正解を示すかを、両者の文字列間に線を引くことで示すようにしてもよい。
　但し、出力部が画像および関係情報を出力する方法は、これら画像および関係情報を表示する方法に限定されない。例えば、通信部１１０が出力部として機能し、画像および関係情報を他の装置に送信して表示させるようにしてもよい。
　操作入力部１３０は、図２の入力デバイス１８を用いて構成され、ユーザ操作を受け付ける。特に、操作入力部１３０は、表示部１２０が表示する文字列に対する修正操作を受け付ける。
　記憶部１８０は、図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６を用いて構成され、各種データを記憶する。
　制御部１９０は、図２のＣＰＵ１１が、記憶部１８０（図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６）からプログラムを読み出して実行することで構成される。制御部１９０は、画像処理装置１の各部を制御して各種処理を実行する。
　取得部１９１は、文書帳票の画像データを取得する。
　特徴量抽出部１９２は、文書帳票の画像データの認識処理結果から文字列の特徴量を抽出する。例えば特徴量抽出部１９２は、複数の文書帳票の画像データの認識処理結果に基づいて、文書帳票の画像データに含まれる記録文字列の特徴を示す第一特徴量を文書帳票の画像データ毎に抽出する。具体的には、特徴量抽出部１９２は、文字認識処理された文書画像に含まれる記録文字列を特定し、特定した記録文字列の文書画像中における第一特徴量を抽出する。ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。特徴量の抽出を特徴量の生成とも称する。記録文字列の特徴量は、例えば、記録文字列の、文書画像における所定の特徴を定量的に示す値である。所定の特徴は複数であってもよい。
　記録部１９３は、新たな文書帳票の画像データにおける文字列の特徴量を用いて、新たな文書帳票の画像データから読み取った文字列の情報のうちの記録文字列を抽出して記録する。特に、記録部１９３は、文字列検出部の例に該当する。記録部１９３は、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量（第一特徴量）のうち、表示されている第一の文書画像（文書帳票の画像）についての特徴量に基づいて、第一の文書画像における特定項目の文字列を検出する。すなわち、記録部１９３は、第一の文書画像に含まれる文字列の特徴量にしたがって、所定の項目の文字列（記録文字列）を検出する。
　また、記録部１９３は、第一の文書画像における特定項目と同じ項目の文字列を第二の文書画像から検出する。記録部１９３が、第二の文書画像の書式について既知である場合は、その書式の情報を用いて第二の文書画像における記録文字列を検出する。一方、記録部１９３が第二の文書画像の書式について既知でない場合、特徴量抽出部１９２が第二の文書画像についても第一特徴量を抽出し、記録部１９３が、得られた第一特徴量を用いて記録文字列を特定するようにしてもよい。
　また、特徴量抽出部１９２と記録部１９３との組み合わせは、対応関係学習部の例に該当する。対応関係学習部は、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を機械学習する。
　例えば、記録部１９３が第二の文書画像の書式について既知である場合を例示する。この場合、特徴量抽出部１９２が機械学習にて第一の文書画像（文書帳票の画像）における文字列の特徴量を抽出し、記録部１９３が、得られた文字列の特徴量に基づいて第一の文書画像における記録文字列を特定する。これにより、記録部１９３は、第一の文書画像、及び第二の文書画像のいずれについても記録文字列について既知であり、これら２つの文書画像間での記録文字列の対応関係を取得している。
　あるいは、記録部１９３が第二の文書画像の書式について未知である場合、特徴量抽出部１９２が、第一の文書画像に加えて第二の文書画像についても文字列の特徴量を抽出するようにしてもよい。この場合、記録部１９３は、第一の文書画像、第二の文書画像それぞれについて、得られた文字列の特徴量に基づいて記録文字列を特定する。これにより、記録部１９３は、第一の文書画像、及び第二の文書画像のいずれについても記録文字列について既知であり、これら２つの文書画像間での記録文字列の対応関係を取得している。
　対応関係学習部（特徴量抽出部１９２と記録部１９３との組み合わせ）が、第二の文書画像の文字列が確定されたとき以後の画像を用いて、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を機械学習するようにしてもよい。第二の文書画像の文字列が確定された場合、確定された文字列は正確であると考えられる。対応関係学習部が、この正確な文字列を利用して機械学習を行うことで、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を比較的高精度に学習できると期待される。
　第二の文書画像の文字列が確定されたとき以後の画像は、例えば、第一の文書画像の特定項目の文字列に対応する、第二の文書画像における文字列が確定されている画像を示す。第一の文書画像及び第二の文書画像の特徴量に基づいて、両文書画像における特定項目の関係が対応付けられた場合、第二の文書画像における文字列が確定されたことを示す。
　このような処理により画像処理装置１は新たな文書帳票の画像データに含まれる記録するべき文字列情報の記録の労力を軽減する。
　図４は文書帳票の一例を示す図である。
　この図が示すように文書帳票には、例えば、その文書を作成した企業のマーク、作成日、作成担当者、文書内容等が、その文書帳票に特有のフォーマットで記述されている。文書内容は、例えば文書帳票が発注票であれば発注した商品名やその発注個数などの情報の組が１つまたは複数示される。作業者はある１つの文書帳票に基づいて、その文書帳票に記述されている文字列のうち記録すべき特定の文字列（記録文字列）を、記録装置３を用いてデータベース４へ記録する。具体的には作業者は文書帳票を見ながら記録装置３がデータベース４に記録すべき記録文字列を入力する。また作業者は文書帳票の画像データを画像読取装置２に読み込ませる。文書帳票は作業者の操作に基づいて画像読取装置２が読み取り画像処理装置１へ出力する。そして記録装置３は作業者の操作と画像処理装置１の制御とに基づいて、１つの文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けてデータベース４に記録する。
　図４の例において、項目は、例えば、日付５１、発注先５２、商品名５３、数量５４、及び金額５５である。また、図４の例においては、日付５１、発注先５２、商品名５３、数量５４、及び金額５５の文字列が記録文字列である。文書帳票５には作業者によって記録されない非記録文字列等のその他の情報も印字されている。当該情報は例えば文書帳票を発行した発注者の名称５０１、発注者のエンブレム画像５０２、文書帳票のタイトル５０３、挨拶文５０４などである。
　図５はデータベースが記憶する記録テーブルの概要を示す図である。
　図５で示すようにデータベース４は文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けて記録テーブルに記憶する。
　図６は第一実施形態に係る画像処理装置の処理フローを示す第一の図である。図６は、画像処理装置１が第一特徴量を抽出する処理手順の例を示す。
　次に画像処理装置１の処理フローについて順を追って説明する。
　まずデータベース４にはある文書帳票についての画像データと、その文書帳票に記述されている記録文字列との組み合わせが、同じ書式（Format）の文書帳票複数枚分記録されている。例えば図４で示す文書帳票５の書式の記録文字列情報（記録文字列を示す情報）が複数枚分記録されているとする。
　これら画像データと記録文字列情報との組み合わせとして、例えば過去の業務で扱われた文書帳票の画像データおよび記録文字列情報を用いることができる。過去の業務から画像データおよび記録文字列情報を必要量確保できる場合、画像処理装置に第一特徴量を取得させるために画像データおよび記録文字列情報を別途用意する必要はない。
　このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。
　画像処理装置１の取得部１９１は、通信部１１０を制御してデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ６０１）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。
　特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列と、当該文字列の範囲を示す画像データ内の座標とを検出する（ステップＳ６０２）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。
　特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ６０３）。
　ここでいう文字の属性（文字属性）は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。以下、文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。
　また、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。
　なお、特徴量抽出部１９２が記録文字列と文字情報が一致する文字列を一意に特定できない場合、画像処理装置１が、その文書画像を処理対象（第一特徴量の抽出対象）から除外するようにしてもよい。あるいは、画像処理装置１が、記録文字列の候補それぞれの範囲を枠で示した画像を表示部１２０に表示させ、作業者によって選択された文字列を記録文字列として特定させるようにしてもよい。ここでいう記録文字列の候補は、文字情報が記録文字列の文字情報と一致した文字列のうち、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。また、ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。
　特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。
　次に、特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する（ステップＳ６０４）。
　具体的には、特徴量抽出部１９２は、記録文字列毎に、複数の文書帳票におけるその記録文字列の文字列属性を解析して、１つの記録文字列に１つの特徴量を抽出する。例えば、記録文字列の特徴量は、記録文字列の、文書画像における書式に関する所定の特徴を定量的に示す値である。
　特徴量抽出部１９２が、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する方法は、特定の方法に限定されない。例えば、特徴量抽出部１９２が、複数の文書帳票から得られた複数の文字列属性について、先頭の文字の座標、末尾の文字の座標、文字の種類、文字の高さ、フォントの種類などの項目毎に最頻値（Mode）を求めるようにしてもよい。また、特徴量抽出部１９２が、先頭の文字の座標、末尾の文字の座標、文字の高さ、文字間の距離など数値で示される属性について項目毎に平均値（Average）または中央値（Median）を求めるようにしてもよい。また、特徴量抽出部１９２が、数値で表される項目について、その最大値および最小値を特徴量とするなど、範囲を有する特徴量、あるいは、複数の数値で表される特徴量を用いるようにしてもよい。また、特徴量抽出部１９２が、文字の種類、フォントの種類など数値以外の属性を数値化して特徴量を求めるようにしてもよい。また、特徴量抽出部１９２が、公知の機械学習アルゴリズムを用いて特徴量を抽出するようにしてもよい。
　特徴量抽出部１９２が、文書帳票の１つの書式かつ１つの記録文字列について複数の数値を取得した場合、これら複数の数値をベクトル化して１つのベクトルの特徴量を抽出するようにしてもよい。
　特徴量抽出部１９２が抽出した、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を第一特徴量と称する。特徴量抽出部１９２は、同じ書式の複数枚の文書帳票を用いて、その書式における記録文字列それぞれの第一特徴量を抽出する。第一特徴量は記録文字列を抽出するための特徴量である。第一特徴量に、文字の属性を示す情報、文字列の範囲を示す座標の何れか、またはこれらの組み合わせが含まれていてもよい。
　特徴量抽出部１９２は、記録文字列毎に得られた第一特徴量を、文書帳票の書式の識別子に紐づけてデータベース４に記録する（ステップＳ６０５）。
　例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、及び金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す各第一特徴量を、文書帳票５の書式識別子に紐づけてデータベース４に記録する。
　ステップＳ６０５の後、画像処理装置１は、図６の処理を終了する。
　以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために利用する情報（第一特徴量）を抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動でデータベース４に記録していくことができる。図７を参照して、その処理について説明する。
　図７は第一実施形態に係る画像処理装置の処理フローを示す第二の図である。図７は、画像処理装置１が、新たに入力された画像データから記録文字列を抽出する処理手順の例を示す。
　作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ７０１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ７０２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ７０３）。つまり第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。その後、特徴量抽出部１９２はデータベース４から記録文字列毎の第一特徴量を読み出す（ステップＳ７０４）。特徴量抽出部１９２は記録部１９３へ第三特徴量と第一特徴量とを出力する。
　記録部１９３は画像データ中の文字列毎の第三特徴量と、記録文字列毎の第一特徴量とを取得し、第一特徴量と第三特徴量とを対応付ける（ステップＳ７０５）。具体的には、記録部１９３は、第一特徴量の各々について、その特徴量と一致する第三特徴量、または、最も近い第三特徴量を１つ対応付ける。この対応付けにより、文書帳票の画像データをＯＣＲ処理して得られた文字列の中から記録文字列が選択される。
　次に、特徴量抽出部１９２は、表示部１２０を制御して、画像処理装置１による処理結果である記録文字列の表示と、文書帳票の画像とを並べて表示させる（ステップＳ７０６）。
　図８は、表示部１２０が、記録文字列の表示と、文書帳票の画像とを並べて表示した表示画面の例を示す図である。図８の例で、表示部１２０は、文書帳票の画像Ｗ１と、記録文字列の表示ウィンドウＷ２とを表示している。文書帳票の画像Ｗ１における文字列Ｃ１ａおよびＣ１ｂのＯＣＲ結果の文字列が、それぞれ、記録文字列の表示ウィンドウＷ２に記録文字列である文字列Ｃ２ａおよびＣ２ｂとして表示されている。「ＯＫ」ボタンのアイコンＢ１は、操作者が、記録文字列の表示ウィンドウＷ２に示される記録文字列を確認・修正した後、記録文字列を確定させるために押下するボタンアイコンである。操作者は、ボタンアイコンの押下操作を、例えばボタンアイコンに対するタッチ操作、またはマウスクリック等で行う。
　次に、記録部１９３は、記録文字列の表示と文書帳票の画像との対応関係を取得済か否かを判定する（ステップＳ７０７）。例えば、記録部１９３は、記録文字列の表示と文書帳票の画像との対応関係の把握のための学習の回数が所定回数以上である場合に、対応関係を取得済であると判定する。上記のように、記録文字列の表示と文書帳票の画像との対応関係の把握のための学習は、記録文字列の表示における記録文字列の特定のための学習であってもよいし、文書帳票の画像における記録文字列の特定のための学習であってもよい。あるいは、これらの学習の組み合わせであってもよい。
　記録文字列の表示と文書帳票の画像との対応関係を取得済であると判定した場合（ステップＳ７０７：ＹＥＳ）、記録部１９３は、表示部１２０を制御して、記録文字列の表示と文書帳票の画像との対応関係を表示させる（ステップＳ７０８）。
　図９は、表示部１２０が、記録文字列の表示と文書帳票の画像との対応関係を表示した表示画面の例を示す図である。
　図９では、図８の表示画面にて、記録文字列の表示と文書帳票の画像との対応関係を表示した例を示している。文字列Ｃ１ａ、Ｃ１ｂ、Ｃ２ａ、Ｃ２ｂがそれぞれ矩形Ｆ１ａ、Ｆ１ｂ、Ｆ２ａ、Ｆ２ｂで囲って示されている。そして、文字列Ｃ１ａとＣ２ａとが対応することが、線Ｌａにて示されている。文字列Ｃ１ｂとＣ２ｂとが対応することが、線Ｌｂにて示されている。
　このように、表示部１２０が、記録文字列の表示と文書帳票の画像との対応関係を表示する。これにより、作業者が、文書帳票の書式または記録文字列の表示ウィンドウの書式のいずれかまたは両方に不慣れな場合でも、文字列の対応関係を容易かつ確実に把握できる。
　作業者が記録文字列を確認し修正した後、確定操作を行うと、画像処理装置１は、修正後の記録文字列を取得する（ステップＳ７０９）。ステップＳ７０７で、記録部１９３が、記録文字列の表示と文書帳票の画像との対応関係を取得済でないと判定した場合（ステップＳ７０７：ＮＯ）も、処理がステップＳ７０９へ進む。
　そして、対応関係学習部としての特徴量抽出部１９２および記録部１９３は、処理結果の表示（図８、９の例では、記録文字列の表示ウィンドウＷ２）における記録文字列の座標を学習する（ステップＳ７１０）。例えば、特徴量抽出部１９２が、文書帳票の場合と同様に、処理結果の表示についても第一特徴量を抽出し、記録部１９３が、第一特徴量を用いて、記録文字列の位置を特定し、記憶する。
　記録部１９３が、処理結果の表示の書式を既知の場合は、ステップＳ７１０の処理は不要である。
　記録部１９３は、記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ７１１）。
　例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、及び第三特徴量ｄ３が取得できた場合を例示する。そして第三特徴量ａ３が予めデータベースに記録されている第一特徴量ａ１と、第三特徴量ｂ３が第一特徴量ｂ１と、第三特徴量ｃ３が第一特徴量ｃ１と、第三特徴量ｄ３が第一特徴量ｄ１とそれぞれ特徴量が一致した場合を例示する。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、及び第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。作業者による記録文字列の修正があった場合、記録部１９３は、修正後の記録文字列を文書帳票の記録テーブルに記録する。
　ステップＳ７１１の後、画像処理装置１は、図７の処理を終了する。
　画像処理装置１が、図７の処理で文書帳票における第一特徴量を更新するようにしてもよい。例えば画像処理装置１が、ステップＳ７１０で、処理結果の表示における第一特徴量の機械学習に加えて、あるいは代えて、文書帳票における第一特徴量を学習するようにしてもよい。その場合、画像処理装置１が、図６の処理フローを再度実施するようにしてもよい。あるいは画像処理装置１が、ステップＳ７１０で追加学習を行うことで、図６で処理済みのデータについては再度処理を行うことなく第一特徴量を更新するようにしてもよい。
　画像処理装置１が、図７の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図７の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになる。これにより、作業者が文字列を入力する手間を省けることが期待される。
　図７に示す処理によれば、画像処理装置１は予め作業者が記録しておいた文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。また、作業者は表示部１２０の表示を参照して、画像処理装置１の処理結果である記録文字列を確認および修正できる。その際、表示部１２０が、処理結果の表示における文字列と文書帳票の画像における文字列との対応関係を示すことで、作業者は、対応関係を容易に把握することができる。
＜第二実施形態＞
　第二実施形態では、画像処理装置１が、文書帳票の複数の書式に対応する場合について説明する。
　図１０は第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。
　図１０に示すように第二実施形態に係る画像処理装置１は、図３で示した各機能部に加え、さらにグループ分類部１９４、及びグループ特定部１９５の機能を有する。
　図１１は第二実施形態に係る画像処理装置の処理フローを示す第一の図である。
　次に第二実施形態に係る画像処理装置１の処理フローについて順を追って説明する。
　データベース４には書式が異なる複数の文書帳票についての画像データと、各文書帳票に記述されている記録文字列の組み合わせが、その文書帳票毎に多数記録されている。このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。
　画像処理装置１の取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだか否かを判定する（ステップＳ９０１）。ＮＯの場合、取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ９０２）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列とその画像データ内の座標とを検出する（ステップＳ９０３）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。
　特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ９０４）。
　第一実施形態で説明したように、文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。
　第一実施形態の場合と同様、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。
　なお、特徴量抽出部１９２が記録文字列と文字情報が一致する文字列を一意に特定できない場合、画像処理装置１が、その文書画像を処理対象（第一特徴量の抽出対象）から除外するようにしてもよい。あるいは、画像処理装置１が、記録文字列の候補それぞれの範囲を枠で示した画像を表示部１２０に表示させ、作業者によって選択された文字列に記録文字列を特定するようにしてもよい。第一実施形態で説明したように、ここでいう記録文字列の候補は、文字情報が記録文字列の文字情報と一致した文字列のうち、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。また、ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。
　特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。
　次に、特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ記録文字列毎の特徴量を抽出する（ステップＳ９０５）。具体的には、特徴量抽出部１９２は、ステップＳ９０４で記録文字列に対応付けた文字列の文字列属性を特徴量化する。第二実施形態では複数種類の書式を対象とする。このため、文書帳票を書式毎にグループ分けしていないステップＳ９０５の時点では、図７のステップＳ６０４の場合と異なり、直接第一特徴量を抽出することはできない。そこで、特徴量抽出部１９２は、グループ毎の第一特徴量を抽出する準備として、文書帳票毎かつ記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ記録文字列毎の特徴量を個別第一特徴量と称する。
　特徴量抽出部１９２は、得られた個別第一特徴量を、文書帳票の識別子および記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０６）。記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。
　例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、及び金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す個別第一特徴量を、文書帳票毎かつ記録文字列毎に、文書帳票５の識別子および記録文字列の識別子に紐づけてデータベース４に記録する。
　特徴量抽出部１９２はまた、記録文字列に含まれる文字情報と一致しない画像データ中の非記録文字列と、その非記録文字列の文字列属性とを抽出する（ステップＳ９０７）。
　上述したように、非記録文字列は、作業者によって記録されない文字列、すなわち、記録文字列以外の文字列である。文字列属性には、その文字列に含まれる文字の属性を示す情報、その文字列の範囲の座標を示す情報の何れか一方あるは両方が含まれていてもよい。
　特徴量抽出部１９２は、文書帳票毎かつ非記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ非記録文字列毎の特徴量を抽出する（ステップＳ９０８）。
　具体的には、特徴量抽出部１９２は、ステップＳ９０４で何れの記録文字列にも対応付けられなかった文字列の各々について、その文字列の属性（文字列属性）を特徴量化する。第一特徴量の場合と同様、文書帳票を書式毎にグループ分けしていないステップＳ９０８の時点では、同じ書式の文書帳票に共通の特徴量を生成することはできない。そこで、特徴量抽出部１９２は、グループ毎の第二特徴量を抽出する準備として、文書帳票毎かつ非記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ非記録文字列毎の特徴量を個別第二特徴量と称する。
　特徴量抽出部１９２が、文書帳票毎、かつ、複数の非記録文字列を纏めた個別第二特徴量を生成するようにしてもよい。例えば、特徴量抽出部１９２が、１つの文書帳票につき１つの個別第二特徴量を生成するようにしてもよい。
　特徴量抽出部１９２は、得られた個別第二特徴量を、文書帳票の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０９）。非記録文字列の識別子として、例えばその非記録文字列の位置を示す座標値を用いることができる。
　例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる非記録文字列である発注者の名称５０１、発注者のエンブレム画像、文書帳票のタイトル５０３、挨拶文５０４などを示す個別第二特徴量を、文書帳票５の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する。
　データベース４には、文書帳票の複数の書式それぞれについて、その書式の文書帳票の画像データとその画像データに対応する記録文字列の情報が記録されている。画像処理装置１の取得部１９１は全ての文書帳票についての画像データと記録文字列の情報を読み込むまでステップＳ９０１～ステップＳ９０９の処理を繰り返す。
　ステップＳ９０１で、取得部１９１がデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだと判定した場合（ステップＳ９０１：ＹＥＳ）、グループ分類部１９４が文書帳票をグループ分けする（ステップＳ９２１）。グループ分類部１９４は、文書帳票の画像データに含まれる個別第二特徴量に基づいて、文書帳票をグループ分けする。例えばグループ分類部１９４は、各文書帳票を、個別第二特徴量が示す非記録文字列の一致度、エンブレム画像の一致度、又は非記録文字列の座標範囲の一致度などに基づいてグループ分けする。グループ分類部１９４は、例えば、複数の文書帳票における個別第二特徴量の相関性に基づいて、複数の文書帳票をグループに分類する。または、グループ分類部１９４は、例えば、複数の文書帳票における個別第二特徴量の類似度に基づいて、複数の文書帳票をグループに分類する。グループ分類部１９４はこのグループ分けの処理において文書帳票のグループ識別子を決定する。グループ分類部１９４は全ての文書帳票についてグループ分けが終了したか否かを判定する（ステップＳ９２２）。
　グループ分類部１９４は全ての文書帳票のグループ分けが完了していない場合にはステップＳ９２１の処理を繰り返す。具体的には、ステップＳ９２２で、グループ分けを終了していない文書帳票があるとグループ分類部１９４が判定した場合（ステップＳ９２２：ＮＯ）、処理がステップＳ９２１へ戻る。
　グループ分類部１９４は、全ての文書帳票のグループ分けが完了した場合（ステップＳ９２２：ＹＥＳ）、文書帳票の識別子とその文書帳票に付与されたグループ識別子とを対応付けてデータベース４のグループテーブル（記録テーブル）に記録する（ステップＳ９２３）。
　そして特徴量抽出部１９２は、あるグループに属する１つまたは複数の文書帳票の各個別第一特徴量および各個別第二特徴量をデータベース４から読み取る。特徴量抽出部１９２は、そのグループに属する文書帳票の各個別第一特徴量および各個別第二特徴量に対応する各グループ第一特徴量、及び各グループ第二特徴量を抽出する（ステップＳ９２４）。
　各グループ第一特徴量はグループに属する文書帳票の各個別第一特徴量の平均等の値であってもよい。同様に各グループ第二特徴量はグループに属する文書帳票の各個別第二特徴量の平均等の値であってもよい。各グループ第一特徴量、及び各グループ第二特徴量は、各個別第一特徴量の平均、及び各個別第二特徴量の平均でなくともよい。すなわち、所定の統計処理や機械学習等の手法を用いて、グループに属する１つ又は複数の文書帳票の記録文字列や非記録文字列を特定できるよう算出された特徴量であれば、どのような手法を用いて、各グループ第一特徴量、各グループ第二特徴量が抽出されてもよい。
　例えば、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票から記録文字列毎に文字列属性を抽出して（直接的に）グループ第一特徴量を生成するようにしてもよい。この場合、特徴量抽出部１９２が、ステップＳ９０５およびステップＳ９０６での個別第一特徴量の抽出および記録をパスする（特に何も処理を行わない）。
　一方、個別第二特徴量については、ステップＳ９２１でのグループ分けで使用できるように、特徴量抽出部１９２がステップＳ９０８で抽出しておく。但し、ステップ９２１で、グループ分類部１９４が、個別第二特徴量を用いず非記録文字列を用いて文書帳票のグループ分けを行うようにしてもよい。この場合、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票の非記録文字列の文字列属性から（直接的に）グループ第二特徴量を抽出するようにしてもよい。この場合、特徴量抽出部１９２は、ステップＳ９０７～ステップＳ９０９では特に何も処理を行わない。
　特徴量抽出部１９２は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース４に記録する（ステップＳ９２５）。
　ステップＳ９２５の後、画像処理装置１は、図１１の処理を終了する。
　以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために必要な情報（グループ第一特徴量およびグループ第二特徴量）を文書帳票のグループ毎に抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動でデータベース４に記録していくことができる。図１２を参照して、その処理について説明する。
　図１２は第二実施形態に係る画像処理装置の処理フローを示す第二の図である。図１２は、画像処理装置１が、新たに入力された画像データから記録文字列を抽出する処理手順の例を示す。
　作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ１００１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ１００２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ１００３）。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。
　次にグループ特定部１９５が、データベース４が記憶しているグループ第二特徴量のうち新たな文書帳票のグループ特定に利用するグループ第二特徴量を読み取る。当該グループ第二特徴量は例えば文書帳票の画像データに表示される発注者のエンブレム画像５０２に対応する特徴量であってよい。グループ特定部１９５はあるグループ第二特徴量に示す情報が、ステップＳ１００１で取得した文書帳票の画像データから特定できるかどうかを判定する。グループ特定部１９５は全てのグループについてのグループ第二特徴量を用いて同様の処理を行う。
　グループ特定部１９５はデータベース４から読み取ったグループ第二特徴量に一致する情報が、新たに読み込んだ文書帳票の画像データから特定できた場合、そのグループ第二特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する（ステップＳ１００４）。
　その後、グループ特定部１９５はデータベース４からそのグループについての１つまたは複数のグループ第一特徴量を読み出す（ステップＳ１００５）。グループ特定部１９５は記録部１９３へ第三特徴量と、１つまたは複数のグループ第一特徴量とを出力する。グループ第一特徴量はそのグループに属する文書帳票内の１つまたは複数の記録文字列を特定するための特徴量である。
　記録部１９３は画像データ中の文字列毎の第三特徴量と、記録文字列毎のグループ第一特徴量とを取得し、グループ第一特徴量と第三特徴量とを対応付ける（ステップＳ１００６）。具体的には、記録部１９３は、グループ第一特徴量の各々について、その特徴量と一致する第三特徴量、または、最も近い第三特徴量を１つ対応付ける。この対応付けにより、文書帳票の画像データをＯＣＲ処理して得られた文字列の中から記録文字列が選択される。
　次に、特徴量抽出部１９２は、表示部１２０を制御して、画像処理装置１による処理結果である記録文字列の表示と、文書帳票の画像とを並べて表示させる（ステップＳ１００７）。ステップＳ１００７は、図７のステップＳ７０６と同様である。
　次に、記録部１９３は、記録文字列の表示と文書帳票の画像との対応関係を取得済か否かを判定する（ステップＳ１００８）。例えば、記録部１９３は、記録文字列の表示と文書帳票の画像との対応関係の把握のための学習の回数が所定回数以上である場合に、対応関係を取得済であると判定する。上記のように、記録文字列の表示と文書帳票の画像との対応関係の把握のための学習は、記録文字列の表示における記録文字列の特定のための学習であってもよいし、文書帳票の画像における記録文字列の特定のための学習であってもよい。あるいは、これらの学習の組み合わせであってもよい。
　記録文字列の表示と文書帳票の画像との対応関係を取得済であると判定した場合（ステップＳ１００８：ＹＥＳ）、記録部１９３は、表示部１２０を制御して、記録文字列の表示と文書帳票の画像との対応関係を表示させる（ステップＳ１００９）。ステップＳ１００９は、図７のステップＳ７０８と同様である。
　作業者が記録文字列を確認し修正した後、確定操作を行うと、画像処理装置１は、修正後の記録文字列を取得する（ステップＳ１０１０）。ステップＳ１００８で、記録部１９３が、記録文字列の表示と文書帳票の画像との対応関係を取得済でないと判定した場合（ステップＳ１００８：ＮＯ）も、処理がステップＳ１０１０へ進む。
　そして、対応関係学習部としての特徴量抽出部１９２および記録部１９３は、処理結果の表示（図８、９の例では、記録文字列の表示ウィンドウＷ２）における記録文字列の座標を学習する（ステップＳ１０１１）。例えば、特徴量抽出部１９２が、文書帳票の場合と同様に、処理結果の表示についても第一特徴量を抽出し、記録部１９３が、第一特徴量を用いて、記録文字列の位置を特定し、記憶する。
　記録部１９３が、処理結果の表示の書式を既知の場合は、ステップＳ１０１１の処理は不要である。
　記録部１９３は、記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ１０１２）。
　例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、及び第三特徴量ｄ３が取得できた場合を例示する。そして第三特徴量ａ３が予めデータベースに記録されている第一特徴量ａ１と、第三特徴量ｂ３が第一特徴量ｂ１と、第三特徴量ｃ３が第一特徴量ｃ１と、第三特徴量ｄ３が第一特徴量ｄ１とそれぞれ特徴量が一致した場合を例示する。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、及び第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。作業者による記録文字列の修正があった場合、記録部１９３は、修正後の記録文字列を文書帳票の記録テーブルに記録する。
　ステップＳ１０１２の後、画像処理装置１は、図１２の処理を終了する。
　画像処理装置１が、図１２の処理で文書帳票における第一特徴量を更新するようにしてもよい。例えば画像処理装置１が、ステップＳ１０１１で、処理結果の表示における第一特徴量の機械学習に加えて、あるいは代えて、文書帳票における第一特徴量を学習するようにしてもよい。その場合、画像処理装置１が、図６の処理フローを再度実施するようにしてもよい。あるいは画像処理装置１が、ステップＳ１０１１で追加学習を行うことで、図６で処理済みのデータについては再度処理を行うことなく第一特徴量を更新するようにしてもよい。
　画像処理装置１が、図１２の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図１２の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。
　図１２に示す処理によれば、画像処理装置１は予め作業者が記録しておいた複数の書式それぞれの文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の種別によらずにその文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。また、作業者は表示部１２０の表示を参照して、画像処理装置１の処理結果である記録文字列を確認および修正できる。その際、表示部１２０が、処理結果の表示における文字列と文書帳票の画像における文字列との対応関係を示すことで、作業者は、対応関係を容易に把握することができる。
＜第三実施形態＞
　なお、画像処理装置１の処理の他の例としては、作業者が予め文書帳票のグループを画像処理装置１に登録しておいてもよい。例えば作業者は、過去において文書帳票の画像データを登録する際、文書帳票の種類に合わせてグループ識別子を入力しておき文書帳票の画像データと紐づけてデータベース４に登録しておく。これにより、同一グループ内に画像処理装置１の処理誤り等により異種の帳票が混じることがなくなり、精度のよい第一特徴量を抽出することができる。なおこの場合、登録時は作業者が文書帳票のグループを入力するが、新たな帳票に対しては、ステップＳ１００４と同じく、第二特徴量を用いてグループ特定する。
＜第四実施形態＞
　また、画像処理装置１の処理の他の例としては、画像処理装置１は第二特徴量を用いて文書帳票をグループ分けするだけでなく、第一特徴量を用いて、また第二特徴量と共に第一特徴量を用いて、文書帳票をグループ分けするようにしてもよい。第一特徴量は記録文字列の特徴量であるが、同じ種類の文書帳票であれば、記録文字列の座標やその文字属性は同じであると考えられ、第一特徴量を用いて帳票をグループ分けすることが可能となる。最初のグループ分けを第四実施形態で示すように作業者が行い、新たな文書帳票に対してはステップＳ１００４の処理により第一特徴量を用いてグループ分けすることにより、ＯＣＲ処理において精度よく記録文字列を読み取ることが可能となる。
　この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そしてグループ分類部１９４が第一特徴量に基づいて帳票画像データをグループ分けする。そして、特徴量抽出部１９２は、グループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。
＜第五実施形態＞
　第二実施形態においてはステップＳ１００４において第二特徴量に基づいて新たな帳票のグループを特定している。しかしながら、別の処理態様として、画像処理装置１はグループを特定する処理を行わずに、作業者により設定された全グループに対して、１グループごとに順に特定して第一特徴量を読み出し、第三特徴量と一致する個数をカウントする。正しいグループの場合には最も多く第一特徴量と第三特徴量とが一致するはずである。このため、画像処理装置１は一致個数が最も多いときの特定グループの第三特徴量それぞれに含まれる文字列を記録する。これにより、グループを特定しなくても記録文字列を記録することができる。
　この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そして、特徴量抽出部１９２は、取得部１９１の取得した帳票画像データを認識処理した結果に基づいて、記録文字列の特徴を示す第一特徴量または記録文字列以外の認識情報を示す第二特徴量を抽出する。特徴量抽出部１９２は、予め設定された所定のグループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。
　以上のように、記録部１９３は、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての特徴量に基づいて、第一の文書画像における特定項目の文字列を検出する。表示部１２０は、第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とで、同じ特定項目を示す対応関係情報を出力する。
　画像処理装置１によれば、文書画像における文字列の位置を学習により取得することができる。従って、画像処理装置１によれば、文字認識対象の文書のフォーマットが予めわかっていない場合でも、作業者が、どの項目がどこに示されているかを把握できるよう補助を行うことができる。
　また、記録部１９３は、第一の文書画像における特定項目と同じ項目の文字列を第二の文書画像から検出する。
　これにより、画像処理装置１は、第一の文書画像における特定項目の文字列と、第二の文書画像における特定項目の文字列との対応関係をユーザに提示することができる。ユーザは、対応関係の提示を参照することで、文字列の正誤を比較的容易に確認することができる。
　また、特徴量抽出部１９２および記録部１９３は、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を機械学習する。
　これにより、画像処理装置１ではユーザの特別な処置を必要とせずに、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を自動的に学習できる。ユーザは、通常の処理を行えばよく、ユーザの負担が増えない。
　また、特徴量抽出部１９２および記録部１９３は、第二の文書画像の文字列が確定されたとき以後の画像を用いて、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を機械学習する。
　第二の文書画像の文字列が確定された場合、確定された文字列は正確であると考えられる。対応関係学習部が、この正確な文字列を利用して機械学習を行うことで、第一の文書画像と第二の文書画像との、同じ特定項目の対応関係を比較的高精度に学習できると期待される。
　次に、図１３を参照して、本発明の実施形態の構成について説明する。
　図１３は、実施形態に係る画像処理装置の構成の例を示す図である。図１３に示す画像処理装置６００は、文字列検出部６０１と、出力部６０２と、を備える。
　かかる構成にて、文字列検出部６０１は、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての特徴量に基づいて、第一の文書画像における特定項目の文字列を検出する。
　出力部６０２は、第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とで、同じ特定項目を示す対応関係情報を出力する。
　画像処理装置６００によれば、文書画像における文字列の位置を学習により取得することができる。従って、画像処理装置６００によれば、文字認識対象の文書のフォーマットが予めわかっていない場合でも、作業者が、どの項目がどこに示されているかを把握できるよう補助を行うことができる。
　上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、それら装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを各装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。
また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
　また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　この出願は、２０１８年４月２日に日本出願された特願２０１８－０７１１４３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　この発明によれば、文字認識対象の文書のフォーマットが予めわかっていない場合でも、作業者が、どの項目がどこに示されているかを把握できるよう補助を行うことができる。
　１　画像処理装置
　２　画像読取装置
　３　記録装置
　４　データベース
　１１０　通信部
　１２０　表示部
　１３０　操作入力部
　１８０　記憶部
　１９０　制御部
　１９１　取得部
　１９２　特徴量抽出部
　１９３　記録部

Claims (6)

  1. 　複数の文書画像を用いた学習の結果に基づいて予め記録され、前記文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての前記特徴量に基づいて、前記第一の文書画像における前記特定項目の前記文字列を検出する文字列検出部と、
    　前記第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とにおける、同じ前記特定項目を示す対応関係の情報を出力する出力部と、
    　を備える画像処理装置。
  2. 　前記文字列検出部は、前記第一の文書画像における前記特定項目と同じ前記特定項目の前記文字列を前記第二の文書画像からさらに検出する、
    　請求項１に記載の画像処理装置。
  3. 　前記第一の文書画像と前記第二の文書画像との、同じ前記特定項目の前記対応関係を機械学習する対応関係学習部をさらに備える、
    　請求項１または請求項２に記載の画像処理装置。
  4. 　前記対応関係学習部は、前記第二の文書画像の文字列が確定されたとき以後の画像を用いて、前記第一の文書画像と前記第二の文書画像とにおける、同じ前記特定項目の前記対応関係を機械学習する、
    　請求項３に記載の画像処理装置。
  5. 　複数の文書画像を用いた学習の結果に基づいて予め記録され、前記文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての前記特徴量に基づいて、前記第一の文書画像における前記特定項目の前記文字列を検出し、
    　前記第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とにおける、同じ前記特定項目を示す対応関係の情報を出力する、
    　画像処理方法。
  6. 　コンピュータに、
    　複数の文書画像を用いた学習の結果に基づいて予め記録され、前記文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す特徴量のうち、表示されている第一の文書画像についての前記特徴量に基づいて、前記第一の文書画像における前記特定項目の前記文字列を検出し、
    　前記第一の文書画像と当該第一の文書画像に対応して表示されている第二の文書画像とにおける、同じ前記特定項目を示す対応関係の情報を出力する、
    　処理を実行させるためのプログラムを記憶する記憶媒体。
PCT/JP2019/013324 2018-04-02 2019-03-27 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体 WO2019194052A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19782081.4A EP3779784A4 (en) 2018-04-02 2019-03-27 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND STORAGE MEDIA STORING A PROGRAM
US17/044,468 US11605219B2 (en) 2018-04-02 2019-03-27 Image-processing device, image-processing method, and storage medium on which program is stored
SG11202009652RA SG11202009652RA (en) 2018-04-02 2019-03-27 Image-processing device, image-processing method, and storage medium on which program is stored

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-071143 2018-04-02
JP2018071143A JP6784273B2 (ja) 2018-04-02 2018-04-02 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2019194052A1 true WO2019194052A1 (ja) 2019-10-10

Family

ID=68100458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013324 WO2019194052A1 (ja) 2018-04-02 2019-03-27 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体

Country Status (5)

Country Link
US (1) US11605219B2 (ja)
EP (1) EP3779784A4 (ja)
JP (1) JP6784273B2 (ja)
SG (1) SG11202009652RA (ja)
WO (1) WO2019194052A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275934B2 (en) * 2019-11-20 2022-03-15 Sap Se Positional embeddings for document processing
DE112021004037T5 (de) * 2020-07-31 2023-07-06 Cimpress Schweiz Gmbh Systeme und verfahren zum bewerten der lesbarkeit von text in elektronischen dokumenten

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007951A (ja) 2000-06-19 2002-01-11 Hitachi Ltd 帳票入力方法及びその実施装置並びにその処理プログラムを記録した記録媒体
JP2004118380A (ja) 2002-09-25 2004-04-15 Toshiba Corp 文字認識装置、リジェクト文字の訂正処理方法、文字認識プログラム
JP2016001399A (ja) * 2014-06-11 2016-01-07 日本電信電話株式会社 関連性判定装置、モデル学習装置、方法、及びプログラム
JP2016048444A (ja) 2014-08-27 2016-04-07 沖電気工業株式会社 帳票識別プログラム、帳票識別装置、帳票識別システム、および帳票識別方法
JP2017151627A (ja) * 2016-02-23 2017-08-31 沖電気工業株式会社 帳票データ化システム、帳票データ化装置、帳票データ化方法および帳票データ化装置の制御プログラム
WO2018003153A1 (ja) * 2016-06-30 2018-01-04 株式会社日立ソリューションズ 認識装置及び認識方法
JP2018071143A (ja) 2016-10-27 2018-05-10 三井住友建設株式会社 手摺装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05258099A (ja) 1992-03-16 1993-10-08 Fujitsu Ltd 文字認識処理装置
JP3463009B2 (ja) 1995-07-31 2003-11-05 富士通株式会社 媒体処理方法及び媒体処理装置
EP1793338A3 (en) * 1996-11-15 2007-12-19 Toho Business Management Center Business management system
JP3422924B2 (ja) 1998-03-27 2003-07-07 富士通株式会社 文字認識装置、文字認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2015005100A (ja) 2013-06-20 2015-01-08 株式会社日立システムズ 情報処理装置、テンプレート生成方法、およびプログラム
JP6527410B2 (ja) 2015-07-06 2019-06-05 株式会社日立システムズ 文字認識装置、文字認識方法、及びプログラム
JP6620476B2 (ja) 2015-09-11 2019-12-18 オムロン株式会社 車種判別装置、車種判別方法、および車種判別プログラム
JP6739937B2 (ja) 2015-12-28 2020-08-12 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
US10467464B2 (en) * 2016-06-07 2019-11-05 The Neat Company, Inc. Document field detection and parsing
JP6784274B2 (ja) * 2018-04-02 2020-11-11 日本電気株式会社 画像処理装置、画像処理方法およびプログラム
JP7160432B2 (ja) * 2018-04-02 2022-10-25 日本電気株式会社 画像処理装置、画像処理方法、プログラム
JP6859977B2 (ja) * 2018-04-02 2021-04-14 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007951A (ja) 2000-06-19 2002-01-11 Hitachi Ltd 帳票入力方法及びその実施装置並びにその処理プログラムを記録した記録媒体
JP2004118380A (ja) 2002-09-25 2004-04-15 Toshiba Corp 文字認識装置、リジェクト文字の訂正処理方法、文字認識プログラム
JP2016001399A (ja) * 2014-06-11 2016-01-07 日本電信電話株式会社 関連性判定装置、モデル学習装置、方法、及びプログラム
JP2016048444A (ja) 2014-08-27 2016-04-07 沖電気工業株式会社 帳票識別プログラム、帳票識別装置、帳票識別システム、および帳票識別方法
JP2017151627A (ja) * 2016-02-23 2017-08-31 沖電気工業株式会社 帳票データ化システム、帳票データ化装置、帳票データ化方法および帳票データ化装置の制御プログラム
WO2018003153A1 (ja) * 2016-06-30 2018-01-04 株式会社日立ソリューションズ 認識装置及び認識方法
JP2018071143A (ja) 2016-10-27 2018-05-10 三井住友建設株式会社 手摺装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3779784A4

Also Published As

Publication number Publication date
JP2019185139A (ja) 2019-10-24
JP6784273B2 (ja) 2020-11-11
US11605219B2 (en) 2023-03-14
SG11202009652RA (en) 2020-10-29
EP3779784A1 (en) 2021-02-17
US20210142083A1 (en) 2021-05-13
EP3779784A4 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
JP6874729B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6859977B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
US8270721B2 (en) Method and system for acquiring data from machine-readable documents
US6525716B1 (en) Handwritten data input device having coordinate detection tablet
WO2019194026A1 (ja) 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体
JP2007109118A (ja) 入力指示処理装置および入力指示処理プログラム
JP2008204226A (ja) 帳票認識装置およびそのプログラム
JP2014137605A (ja) レシート定義データ作成装置およびそのプログラム
WO2019194052A1 (ja) 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体
JP2022125220A (ja) 画像処理装置、画像処理方法、プログラム
WO2007094078A1 (ja) 文字列検索方法およびその装置
JP7111143B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6784274B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP3394694B2 (ja) フォーマット情報登録方法及びｏｃｒシステム
JP7160432B2 (ja) 画像処理装置、画像処理方法、プログラム
JP3732254B2 (ja) フォーマット情報生成方法及びフォーマット情報生成装置
JPH09297821A (ja) 文字認識方法
JPH0689330A (ja) 画像ファイリングシステム
JPH0793424A (ja) 帳票入力装置
JPH01100683A (ja) 伝票とその伝票の読取り方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19782081

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019782081

Country of ref document: EP

Effective date: 20201102