WO2019194051A1 - 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体 - Google Patents

画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体 Download PDF

Info

Publication number
WO2019194051A1
WO2019194051A1 PCT/JP2019/013319 JP2019013319W WO2019194051A1 WO 2019194051 A1 WO2019194051 A1 WO 2019194051A1 JP 2019013319 W JP2019013319 W JP 2019013319W WO 2019194051 A1 WO2019194051 A1 WO 2019194051A1
Authority
WO
WIPO (PCT)
Prior art keywords
character string
character
specific item
feature amount
image processing
Prior art date
Application number
PCT/JP2019/013319
Other languages
English (en)
French (fr)
Inventor
克彦 近藤
哲 ▲瀬▼川
裕一 中谷
杉本　充
康 日高
隼哉 秋山
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP19781968.3A priority Critical patent/EP3779783A4/en
Priority to SG11202008335QA priority patent/SG11202008335QA/en
Priority to US16/976,639 priority patent/US11321936B2/en
Publication of WO2019194051A1 publication Critical patent/WO2019194051A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/12—Detection or correction of errors, e.g. by rescanning the pattern
    • G06V30/127—Detection or correction of errors, e.g. by rescanning the pattern with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/268—Lexical context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a storage medium for storing a program.
  • a calculation log is prepared by a method different from character recognition.
  • the calculation log and the OCR read data are matched, and if there is no discrepancy, the next sales order slip with an error is skipped without being displayed on the screen.
  • the burden on the operator who confirms the OCR processing result can be reduced not only when the data obtained in advance such as a calculation log matches the data obtained by the OCR processing but also in other cases.
  • An object of the present invention is to provide an image processing apparatus, an image processing method, and a program that can solve the above-described problems.
  • the image processing device is recorded in advance based on the result of character recognition processing of a plurality of document images, and the character string characteristics of the item for each type of document image and for each specific item.
  • a first feature amount selection unit that selects the first feature amount of a document image that is a character recognition target, and a character recognition process that performs character recognition processing of the document image that is the character recognition target
  • a character string selection unit that selects a character string of a specific item corresponding to the first feature amount among character strings obtained as a result of the character recognition process, and the character string selection unit
  • a determination result acquisition unit that acquires a determination result as to whether or not the character string input in advance matches the character string of the specific item And comprising.
  • the image processing method is pre-recorded based on the result of character recognition processing of a plurality of document images, and the character string feature of the item for each type of document image and for each specific item.
  • the first feature value of the document image that is the character recognition target is selected from among the first feature values indicating the character recognition, the character recognition process of the document image that is the character recognition target is performed, and the character string that is the result of the character recognition process If the character string of the specific item corresponding to the first feature amount is selected and none of the character strings of the result of the character recognition process is selected as the character string of the specific item, it is input in advance.
  • the determination result of whether or not the character string matched with the character string of the specific item is acquired.
  • the program stored in the storage medium is recorded in advance on the computer based on the result of character recognition processing of a plurality of document images, and is stored for each type of document image and for each specific item.
  • the character string of the specific item corresponding to the first feature amount is selected from the character string resulting from the character recognition process, and any of the character strings resulting from the character recognition process is the character string of the specific item. If it is not selected, a process of acquiring a determination result as to whether or not the character string input in advance matches the character string of the specific item is executed.
  • 1 is a diagram illustrating an apparatus configuration example of an image processing system including an image processing apparatus according to an embodiment.
  • 1 is a diagram illustrating a hardware configuration example of an image processing apparatus according to an embodiment. It is a schematic block diagram which shows the function structure of the image processing apparatus which concerns on 1st embodiment. It is a figure which shows an example of a document form. It is a figure which shows the outline
  • FIG. 1 is a diagram illustrating an apparatus configuration example of an image processing system including an image processing apparatus according to an embodiment.
  • the image processing system 100 includes an image processing device 1, an image reading device 2, a recording device 3, and a database 4.
  • the image processing apparatus 1 is connected to the image reading apparatus 2 via a communication cable.
  • the image reading device 2 optically acquires image data such as a document form and outputs it to the image processing device 1.
  • the image processing apparatus 1 performs character recognition by performing OCR (Optical character recognition) processing on image data of a document form.
  • OCR Optical character recognition
  • the image processing apparatus 1 outputs the character recognition result to the recording device 3, and the recording device 3 records the character recognition result in the database.
  • the document targeted by the image processing apparatus 1 is not limited to a specific type. Various documents that can be OCR processed can be processed by the image processing apparatus 1.
  • the database 4 is connected to the image processing apparatus 1 and the recording apparatus 3.
  • the database 4 stores a correspondence relationship between image data of a plurality of document forms registered in the past from the recording device 3 and a recorded character string indicating a character string to be recorded among character strings included in the image data.
  • the character string indicated by the recorded character string is an important character string to be recorded and stored in the database 4 among the character strings described in the document form.
  • An operator who uses the image processing system 100 registers in advance in the database 4 the image data of a plurality of document forms registered in the past using the recording device 3 and the recorded character strings among the character strings included in the image data. Keep it.
  • the worker is also referred to as a user of the image processing apparatus 1 or simply a user.
  • the image processing apparatus 1 performs processing.
  • FIG. 2 is a diagram illustrating a hardware configuration example of the image processing apparatus.
  • the image processing apparatus 1 includes an image processing apparatus main body 10, a display device 17, and an input device 18.
  • the image processing apparatus body 10 includes a CPU (Central Processing Unit) 11, an IF (Interface) 12, a communication module 13, a ROM (Read Only Memory) 14, a RAM (Random Access Memory) 15, an HDD (Hard Disk Drive) 16, and the like.
  • a computer having a configuration.
  • the communication module 13 may perform wireless communication with each of the image reading device 2, the recording device 3, and the database 4, or may perform wired communication, and has these two functions. You may have.
  • the display device 17 includes a display screen such as a liquid crystal panel or an LED (Light Emitting Diode) panel.
  • the input device 18 is a device that receives a user operation such as a keyboard and a mouse, a touch sensor that is provided on the display screen of the display device 17 and forms a touch panel, or a combination thereof.
  • FIG. 3 is a schematic block diagram illustrating a functional configuration of the image processing apparatus 1 according to the first embodiment.
  • the communication unit 110 is configured using the communication module of FIG. 2 and communicates with other devices.
  • the communication unit 110 communicates with the image reading device 2, the recording device 3, and the database 4.
  • the display unit 120 is configured using the display device 17 of FIG. 2 and displays various images.
  • the operation input unit 130 is configured using the input device of FIG. 2 and accepts user operations.
  • the storage unit 180 is configured using the ROM 14, RAM 15, and HDD 16 of FIG. 2 and stores various data.
  • the control unit 190 is configured by the CPU 11 in FIG. 2 reading and executing a program from the storage unit 180 (ROM 14, RAM 15 and HDD 16 in FIG. 2).
  • the control unit 190 controls each unit of the image processing apparatus 1 and executes various processes.
  • the acquisition unit 191 acquires image data of a document form.
  • the recording unit 193 extracts and records a recording character string from the character string information read from the image data of the new document form, using the character string feature amount in the image data of the new document form.
  • the recording character string is a character string to be recorded. That is, the recorded character string is a character string of a specific item that the image processing apparatus 1 should acquire and output from the OCR processing result.
  • the recording unit 193 corresponds to an example of a first feature value selection unit, and selects a first feature value for a document image that is a character recognition target from among first feature values for each type of document image and for each specific item.
  • the first feature amount indicates the feature of the recorded character string, and here, the first feature amount includes coordinate information indicating the position of the character string in the document image. Accordingly, the recording unit 193 selects the first feature amount indicating the position of the character string of the specific item in the document image.
  • the recording unit 193 corresponds to an example of a character string selection unit, and selects a character string of a specific item corresponding to the first feature amount from the character string as a result of the character recognition process.
  • the recording unit 193 does not always succeed in selecting the character string of the specific item.
  • the recording unit 193 may not be able to select a character string of a specific item.
  • the value of the character string selected by the recording unit 193 may be different from the original value of the character string of the specific item depending on the result of the OCR process.
  • the image processing apparatus 1 receives input or correction of the character string of the specific item by the operator.
  • the image processing apparatus 1 may be able to use a character string (preliminary input data) preliminarily input as a character string of a specific item.
  • a character string preliminarily input as a character string of a specific item.
  • pre-input data for example, when a person in charge of the accounting department performs OCR processing on a slip, a person in charge of the sales department inputs a part of the contents of the slip as an input of transaction contents.
  • pre-input data can be obtained, for example, when a person in charge of the accounting department performs OCR processing on a slip, a person in charge of the sales department inputs a part of the contents of the slip as an input of transaction contents.
  • manual input in a business flow or the like for example, when a person in charge of the accounting department performs OCR processing on a slip, a person in charge of the sales department inputs a part of the contents of the slip as an input of transaction contents.
  • the feature amount extraction unit 192 extracts, for each image data of the document form, the first feature amount indicating the feature of the recorded character string included in the image data of the document form based on the recognition processing result of the image data of the plurality of document forms. To do.
  • the feature amount extraction unit corresponds to an example of a character recognition processing unit, and performs character recognition processing (OCR processing) of a document image to be character recognized.
  • OCR processing character recognition processing
  • the feature amount extraction is also referred to as feature amount generation.
  • the feature amount extraction unit 192 corresponds to an example of a machine learning unit, and performs processing using a character string that has been input in advance when it is determined that the character string that has been input in advance matches the character string of the specific item. .
  • the user determination result acquisition unit 196 matches the character string input in advance with the character string of the specific item.
  • the user determination result of whether or not to perform is acquired. Specifically, the user determination result acquisition unit 196 presents a document image indicating the position of the character string of the specific item and a pre-input character string to the user, and the specific item indicated in the document image And a user determination result as to whether or not the pre-input character string matches.
  • the image processing apparatus 1 reduces the labor of recording character string information to be recorded included in the image data of the new document form.
  • FIG. 4 shows an example of a document form.
  • the mark of the company that created the document, the creation date, the person in charge of the creation, the document content, etc. are described in a format specific to the document form.
  • the document form is an order form
  • the document content indicates one or a plurality of sets of information such as the name of the ordered product and the number of orders.
  • the operator records a character string (recorded character string) of a specific item to be recorded among the character strings described in the document form in the database 4 using the recording device 3. .
  • the operator inputs a recording character string to be recorded in the database 4 by the recording device 3 while looking at the document form.
  • the operator causes the image reading device 2 to read the image data of the document form.
  • the document form is read by the image reading device 2 and output to the image processing device 1 based on the operation of the operator.
  • the recording device 3 Based on the operator's operation and the control of the image processing apparatus 1, the recording device 3 associates the image data for one document form with the recorded character string among the character strings described in the document form. Record in database 4.
  • the items are, for example, date 51, supplier 52, product name 53, quantity 54, and amount 55.
  • a character string of date 51, supplier 52, product name 53, quantity 54, and amount 55 is a recorded character string.
  • Other information such as a non-recorded character string that is not recorded by the operator is also printed on the document form 5.
  • the information includes, for example, the name 501 of the orderer who issued the document form, the emblem image 502 of the orderer, the title 503 of the document form, the greeting 504, and the like.
  • FIG. 5 is a diagram showing an outline of a recording table stored in the database.
  • the database 4 associates image data of a document form with a recording character string among character strings described in the document form and stores them in a recording table.
  • FIG. 6 is a first diagram illustrating a processing flow of the image processing apparatus according to the first embodiment.
  • FIG. 6 shows an example of a processing procedure in which the image processing apparatus 1 extracts the first feature amount.
  • the processing flow of the image processing apparatus 1 will be described in order.
  • a combination of image data for a document form and a recording character string described in the document form is recorded for a plurality of document forms having the same format (Format). For example, assume that a plurality of pieces of recorded character string information (information indicating recorded character strings) in the format of the document form 5 shown in FIG. 4 are recorded.
  • image data and the recorded character string information for example, image data and recorded character string information of a document form handled in the past business can be used.
  • image data and recorded character string information of a document form handled in the past business can be used.
  • the worker activates the image processing apparatus 1 and instructs the image processing apparatus 1 to start processing.
  • the acquisition unit 191 of the image processing apparatus 1 controls the communication unit 110 to read the image data of the document form and the information of the recorded character string corresponding to the image data from the database 4 (step S601).
  • the acquisition unit 191 outputs the image data and the recorded character string to the feature amount extraction unit 192.
  • the feature amount extraction unit 192 performs OCR processing on the image data to detect all character strings in the image data and coordinates in the image data indicating the range of the character string (step S602).
  • the character string is a group of characters composed of a plurality of characters.
  • the feature quantity extraction unit 192 analyzes the range of the one group based on an interval with other characters, extracts one or more characters included in the range as a character string, and character strings in the image data The coordinates indicating the range of are detected. Characters included as a character string may include symbols such as ideograms and phonetic characters, marks, icon images, and the like.
  • the feature amount extraction unit 192 compares the character string extracted from the image data by the OCR process with the recorded character string read from the database 4 together with the image data. Of the character strings extracted from the image data by OCR processing, the feature amount extraction unit 192 includes a character string in the image data that matches the character information of the recorded character string, a character attribute included in the character string, and a range of the character string. The coordinates are specified (step S603).
  • the character attribute is information represented by numbers, alphabets, hiragana, kanji, number of characters, character height, font, and the like.
  • the coordinates of the range of the character string are coordinates indicating the position of the character string in the document form.
  • the coordinates of the range of the character string may be information indicating the coordinates of the first character and the end character included in the character string.
  • the attribute of the character included in the character string and the coordinates of the range of the character string are collectively referred to as a character string attribute or a character string attribute.
  • the character information here may be only a character string or may include a character string attribute. That is, the feature amount extraction unit 192 may determine whether the recorded character string and the character string in the image data are the same as the character string. Alternatively, the feature quantity extraction unit 192 may determine the identity of character string attributes in addition to the identity of characters.
  • the image processing apparatus 1 excludes the document image from the processing target (first feature amount extraction target). You may do it. Alternatively, the image processing apparatus 1 may cause the display unit 120 to display an image in which each range of the recorded character string candidates is indicated by a frame, and specify the recorded character string as the character string selected by the operator. .
  • the recorded character string candidate here is a character string associated with a recorded character string that is determined not to be uniquely identified among character strings whose character information matches the character information of the recorded character string. .
  • the specification of the recorded character string here is to determine one of the character strings in the document form as one recorded character string.
  • the feature amount extraction unit 192 determines that the character information of each of the plurality of character strings in the document form matches the character information of one recorded character string, the plurality of character strings are determined as candidates for the recorded information. Become. When the worker selects any one of the plurality of character strings, the recorded character string is uniquely specified.
  • the feature amount extraction unit 192 extracts a feature amount common to the document forms of the same format and for each recorded character string (step S604).
  • the feature amount of the recorded character string is, for example, a value that quantitatively indicates a predetermined feature in the document form of the recorded character string.
  • the predetermined feature may be different depending on the recorded character string, or may be the same among a plurality of recorded character strings.
  • the feature amount extraction unit 192 analyzes the character string attribute of the recorded character string in a plurality of document forms for each recorded character string, and extracts one feature amount in one recorded character string.
  • the method by which the feature amount extraction unit 192 extracts the feature amount common to the document forms having the same format and for each recorded character string is not limited to a specific method.
  • the feature amount extraction unit 192 determines the coordinates of the first character, the coordinates of the last character, the character type, the character height, the font type, etc. for a plurality of character string attributes obtained from a plurality of document forms.
  • a mode value (Mode) may be obtained for each item.
  • the feature amount extraction unit 192 has an average value (Median) or a median value (Median) for each item regarding attributes indicated by numerical values such as the coordinates of the first character, the coordinates of the last character, the height of the character, and the distance between characters. ) May be requested.
  • the feature quantity extraction unit 192 uses a feature quantity having a range such as a maximum or minimum value of an item represented by a numerical value, or a feature quantity represented by a plurality of numerical values. It may be. Further, the feature quantity extraction unit 192 may obtain the feature quantity by digitizing attributes other than numeric values such as character type and font type. Further, the feature amount extraction unit 192 may extract feature amounts using a known machine learning algorithm. When the feature amount extraction unit 192 acquires a plurality of numerical values for one format and one recorded character string of the document form, the feature amount of one vector may be extracted by vectorizing the plurality of numerical values. .
  • the feature quantity extracted by the feature quantity extraction unit 192 and common to document forms of the same format and for each recorded character string is referred to as a first feature quantity.
  • the feature quantity extraction unit 192 extracts a first feature quantity of each recorded character string in the format using a plurality of document forms having the same format.
  • the first feature amount is a feature amount for extracting a recorded character string.
  • the first feature amount may include information indicating the attribute of the character, coordinates indicating the range of the character string, or a combination thereof.
  • the feature quantity extraction unit 192 records the first feature quantity obtained for each recorded character string in the database 4 in association with the identifier of the document form format (step S605).
  • the feature amount extraction unit 192 stores the character attributes and character strings of the date 51, the supplier 52, the product name 53, the quantity 54, and the amount 55 that are the recorded character strings included in the format of the document form 5 in FIG.
  • Each first feature quantity indicating the coordinates indicating the range is recorded in the database 4 in association with the format identifier of the document form 5.
  • the image processing apparatus 1 can extract information (first feature amount) used to reduce the labor of recording the operator's recorded character string and store it in the database 4.
  • the image processing apparatus 1 can receive the input of image data of a new document form, and can automatically or semi-automatically record the recorded character string included in the document form in the database 4. The processing will be described with reference to FIGS.
  • FIG. 7 is a second diagram showing a processing flow of the image processing apparatus according to the first embodiment.
  • FIG. 7 shows an example of a processing procedure in which the image processing apparatus 1 extracts a recorded character string from newly input image data.
  • the operator performs an operation for causing the image reading apparatus 2 to read a new document form.
  • the image reading apparatus 2 generates image data of the document form and outputs (transmits) it to the image processing apparatus 1.
  • the acquisition unit 191 of the image processing apparatus 1 acquires image data from the reception data of the communication unit 110 (step S701).
  • the acquisition unit 191 outputs the image data to the feature amount extraction unit 192.
  • the feature amount extraction unit 192 acquires a learning result corresponding to the form from the database 4 (step S702).
  • the feature quantity extraction unit 192 acquires, for each recorded character string, a first feature quantity indicating a reading position (coordinate information) and character type information of the recorded character string as a learning result.
  • the feature amount extraction unit 192 performs OCR processing on the image data obtained from the image reading device 2, and performs a character string, character features (character attributes) included in the character string, and a range of the character string.
  • the coordinates in the image data are detected for each character string (step S703).
  • the feature amount extraction unit 192 allows each character string obtained by the OCR process to be a character string to be acquired (recorded character string). ) Or not.
  • the image processing apparatus 1 starts a loop L1 that performs processing for each reading position indicated by the learning result (step S704).
  • the reading position that is the processing target in the loop L1 is referred to as the Mth reading position.
  • the image processing apparatus 1 performs in-loop processing (step S705).
  • the recorded character string is also referred to as a character string at a reading position or a read character string.
  • FIG. 8 is a third diagram illustrating a processing flow of the image processing apparatus according to the first embodiment.
  • FIG. 8 shows a procedure of processing performed by the image processing apparatus 1 in step S705.
  • the recording unit 193 determines whether there is pre-input data of the character string at the Mth reading position (step S801). If it is determined that there is no pre-input data (step S801: NO), the recording unit 193 determines whether the character string at the Mth reading position has been read by the OCR process (step S802). When the recording unit 193 determines that the character cannot be read (step S802: NO), the image processing apparatus 1 receives a key input from the operator for the M-th reading position character string (step S803).
  • the display unit 120 displays an input request screen indicating the reading position in a rectangle on the image of the document form, and the operation input unit 130 receives a character string input operation. Then, the recording unit 193 generates learning data including the key input content (character string obtained by key input) and the OCR processing result (step S804).
  • the learning data here is learning data for machine learning in which the feature amount extraction unit 192 updates the first feature amount.
  • step S802 determines in step S802 that the character string at the Mth reading position has been read by the OCR process (step S802: YES)
  • the operator obtains the character string obtained by the OCR process and the document form image. Are compared (step S811).
  • the image processing apparatus 1 receives the operator's determination as to whether or not there is an error in the character string obtained by the OCR process (step S812).
  • the display unit 120 displays the character string obtained by the OCR processing and the image of the document form according to the control of the user determination result acquisition unit 196.
  • the display unit 120 displays an input request screen in which the reading position is indicated by a rectangle on the document form image.
  • the operation input unit 130 receives an input operation of the operator's determination result.
  • the user determination result acquisition unit 196 detects the user determination result based on the output signal of the operation input unit 130.
  • step S812 NO
  • step S812: NO the image processing apparatus 1 ends the process of FIG. 8 and returns to the process of FIG.
  • step S812: YES the operator corrects the character string by key input (step S813).
  • the display unit 120 displays a character string read by OCR processing and a document form image.
  • the operation input unit 130 receives a user operation for correcting a character string.
  • step S813 the image processing apparatus 1 ends the process in FIG. 8 and returns to the process in FIG.
  • step S801 determines whether or not (step S821).
  • step S821: NO the operator compares the character string of the pre-input data with the image of the document form (step S822).
  • the image processing apparatus 1 receives the operator's determination as to whether or not there is an error in the character string of the pre-input data (step S823).
  • the display unit 120 displays the character string of the pre-input data and the image of the document form according to the control of the user determination result acquisition unit 196. Then, the operation input unit 130 receives an input operation of the operator's determination result. The user determination result acquisition unit 196 detects the user determination result based on the output signal of the operation input unit 130.
  • step S823 When it is determined that there is an error in the character string of the pre-input data (step S823: YES), the operator corrects the character string by key input (step S824). For example, the display unit 120 displays a character string of pre-input data and an image of a document form. Then, the operation input unit 130 receives a user operation for correcting a character string. After step S824, the process proceeds to step S804. On the other hand, when it is determined in step S823 that the character string of the pre-input data is correct (step S823: NO), the recording unit 193 generates learning data including the pre-input data and the OCR processing result (step S825). ). After step S825, the image processing apparatus 1 ends the process in FIG. 8 and returns to the process in FIG.
  • step S821 determines whether or not the character string of the pre-input data matches the character string of the OCR processing result (Step S831). If the recording unit 193 determines that they match (step S831: YES), the image processing apparatus 1 ends the process of FIG. 8 and returns to the process of FIG.
  • step S831 when it is determined in step S831 that the character string of the pre-input data and the character string of the OCR processing result do not match (step S831: NO), the operator uses the character string of the pre-input data and the image of the document form. Compare (step S832).
  • the image processing apparatus 1 receives the operator's determination as to whether or not there is an error in the character string of the pre-input data (step S833).
  • the display unit 120 displays the character string of the pre-input data and the image of the document form according to the control of the user determination result acquisition unit 196.
  • the operation input unit 130 receives an input operation of the operator's determination result.
  • the user determination result acquisition unit 196 detects the user determination result based on the output signal of the operation input unit 130.
  • the image processing apparatus 1 ends the process of FIG. 8 and returns to the process of FIG.
  • step S833 when it is determined that there is an error in the character string of the pre-input data (step S833: YES), the operator corrects the character string by key input (step S834).
  • the display unit 120 displays a character string of pre-input data and an image of a document form.
  • the operation input unit 130 receives a user operation for correcting a character string.
  • step S834 the image processing apparatus 1 ends the process in FIG. 8 and returns to the process in FIG.
  • step S706 the control unit 190 performs a termination process of the loop L1 (step S706). Specifically, the control unit 190 determines whether or not the processing of the loop L1 has been completed for all reading positions indicated by the learning result. If the control unit 190 determines that there is an unprocessed reading position, the process returns to step S704, and the image processing apparatus 1 continues the processing of the loop L1 for the unprocessed reading position. On the other hand, when the control unit 190 determines that the processing of the loop L1 has been completed for all the reading positions, the image processing apparatus 1 ends the processing of the loop L1.
  • the image processing apparatus 1 After the loop L1, the image processing apparatus 1 outputs a recording character string as an OCR processing result and records it in the database 4 (step S707). Specifically, the recording unit 193 records the recorded character string in the database 4 via the communication unit 110. In addition, the feature amount extraction unit 192 performs machine learning using the obtained learning data and updates the first feature amount (step S708). For example, the image processing apparatus 1 may perform the processing flow of FIG. 6 again. Alternatively, the image processing apparatus 1 may perform additional learning, and the first feature amount may be updated without performing processing again on the data processed in FIG. After step S708, the image processing apparatus 1 ends the process of FIG.
  • the learning data generation timing (steps S804 and S825) shown in FIG. 8 is an example, and the present invention is not limited to this.
  • the recording unit 193 may generate learning data after NO in step S812, after step S813, in the case of NO in step S833 and after step S834.
  • the recording unit 193 when the image processing apparatus 1 fails in the OCR processing (when the recording character string cannot be obtained properly by the OCR processing) or succeeds, the recording unit 193 generates learning data.
  • Statistical information on the format of document forms can be reflected in machine learning.
  • machine learning is performed only when the OCR processing fails, if the image processing apparatus 1 succeeds in the OCR processing, the machine learning is not performed. As a result, the statistical information on the format of the document form may not be reflected in the machine learning. is there.
  • step S802 YES or step S821: YES
  • the recording is performed.
  • step S821 YES
  • the character string is in the lower left and in the upper right
  • learning is performed once.
  • the actual ratio is 99: 1
  • learning by the image processing apparatus 1 is performed at a ratio of 1: 1
  • the image processing apparatus 1 succeeds in the OCR process, or if it fails, the machine learning (update of the first feature value) is performed, so that statistical information on the format of the document form can be used for machine learning. It can be reflected.
  • the recording unit 193 also generates learning data when NO in step S812, after step S813, when NO in step S833, and also after step S834.
  • the feature quantity extraction unit 192 updates the first feature quantity both when the image processing apparatus 1 fails in the OCR process and when it succeeds.
  • the image processing apparatus 1 (especially the recording unit 193) uses the character string read by the OCR process as a recording character string in step S708 of FIG. It is a case where it is made to record.
  • the image processing apparatus 1 if the image processing apparatus 1 has failed in the OCR process, in step S708 in FIG. 7, the image processing apparatus 1 (particularly the recording unit 193) uses the character string obtained by other than the OCR process as a recorded character string in the database 4. It is a case where it is made to record.
  • the character string obtained by other than the OCR process include a character string of pre-input data and a character string key-input by the user.
  • the image processing apparatus 1 updates the first feature value in the processes of FIGS. 7 and 8, thereby increasing the number of sample data and improving the accuracy of the first feature value. It is expected that the accuracy of extraction will be improved. Further, when a recorded character string is added in the process of FIG. 8, the image processing apparatus 1 can also extract a newly added recorded character string from the image data, and the operator has to input the character string. Expect to save.
  • the image processing apparatus 1 records characters in the image data of the document form newly inputted by the image data and the recorded character string of the document form previously recorded by the operator. Columns can be recorded automatically. Therefore, the image processing apparatus 1 can reduce the labor of the operator who records the recorded character string in the document form.
  • FIG. 9 is a schematic block diagram showing a functional configuration of the image processing apparatus according to the second embodiment.
  • the image processing apparatus 1 according to the second embodiment has functions of a group classification unit 194 and a group identification unit 195 in addition to the functional units shown in FIG.
  • FIG. 10 is a first diagram illustrating a processing flow of the image processing apparatus according to the second embodiment.
  • the processing flow of the image processing apparatus 1 according to the second embodiment will be described in order.
  • the database 4 a large number of combinations of image data for a plurality of document forms having different formats and recorded character strings described in each document form are recorded for each document form.
  • the worker activates the image processing apparatus 1 and instructs the image processing apparatus 1 to start processing.
  • the acquisition unit 191 of the image processing apparatus 1 determines whether or not all the image data of the document form and the information of the recording character string corresponding to the image data have been read from the database 4 (step S901). In the case of NO, the acquisition unit 191 reads the image data of the document form and the information of the recorded character string corresponding to the image data from the database 4 (Step S902). The acquisition unit 191 outputs the image data and the recorded character string to the feature amount extraction unit 192. The feature amount extraction unit 192 performs OCR processing on the image data to detect all character strings in the image data and coordinates in the image data (step S903).
  • the character string is a group of characters composed of a plurality of characters.
  • the feature quantity extraction unit 192 analyzes the range of the one group based on an interval with other characters, extracts one or more characters included in the range as a character string, and character strings in the image data The coordinates indicating the range of are detected. Characters included as a character string may include symbols such as ideograms and phonetic characters, marks, icon images, and the like.
  • the feature amount extraction unit 192 compares the character string extracted from the image data by the OCR process with the recorded character string read from the database 4 together with the image data. Of the character strings extracted from the image data by OCR processing, the feature amount extraction unit 192 includes a character string in the image data that matches the character information of the recorded character string, a character attribute included in the character string, and a range of the character string. The coordinates are specified (step S904).
  • character attributes are information represented by numbers, alphabets, hiragana, kanji, number of characters, character height, font, and the like.
  • the coordinates of the range of the character string are coordinates indicating the position of the character string in the document form.
  • the coordinates of the range of the character string may be information indicating the coordinates of the first character and the end character included in the character string.
  • the attribute of the character included in the character string and the coordinates of the range of the character string are collectively referred to as a character string attribute or a character string attribute.
  • the character information here may be only a character string or may include a character string attribute. That is, the feature amount extraction unit 192 may determine whether the recorded character string and the character string in the image data are the same as the character string. Alternatively, the feature quantity extraction unit 192 may determine the identity of character string attributes in addition to the identity of characters.
  • the image processing apparatus 1 excludes the document image from the processing target (first feature amount extraction target). You may do it. Alternatively, the image processing apparatus 1 may cause the display unit 120 to display an image in which each range of the recorded character string candidates is indicated by a frame, and specify the recorded character string as the character string selected by the operator. .
  • the recorded character string candidate here is a recorded character string that is determined not to be uniquely identified among character strings whose character information matches the character information of the recorded character string. Is a character string associated with. The specification of the recorded character string here is to determine one of the character strings in the document form as one recorded character string.
  • the feature amount extraction unit 192 determines that the character information of each of the plurality of character strings in the document form matches the character information of one recorded character string, the plurality of character strings are determined as candidates for the recorded information. Become. When the worker selects any one of the plurality of character strings, the recorded character string is uniquely specified.
  • the feature amount extraction unit 192 extracts a feature amount for each document form and for each recorded character string using the character string attributes extracted for each document form and for each recorded character string (step S905). Specifically, the feature amount extraction unit 192 converts the character string attribute of the character string associated with the recorded character string into a feature amount in step S904. Since a plurality of types of formats are targeted in the second embodiment, the first feature amount is directly extracted at the time of step S905 in which the document forms are not grouped by format, unlike the case of step S604 in FIG. I can't. Therefore, the feature amount extraction unit 192 extracts the feature amount for each document form and each recorded character string as preparation for extracting the first feature amount for each group.
  • This feature amount for each document form and each recorded character string is referred to as an individual first feature amount.
  • the feature amount extraction unit 192 records the obtained individual first feature amount in the database 4 in association with the identifier of the document form and the identifier of the recording character string (step S906).
  • the identifier of the recorded character string for example, a coordinate value indicating the position of the recorded character string can be used.
  • the feature amount extraction unit 192 stores the character attributes and character strings of the date 51, the supplier 52, the product name 53, the quantity 54, and the amount 55 that are the recorded character strings included in the format of the document form 5 in FIG.
  • the individual first feature amount indicating the coordinates indicating the range is recorded in the database 4 in association with the identifier of the document form 5 and the identifier of the recorded character string for each document form and for each recorded character string.
  • the feature amount extraction unit 192 also extracts a non-recorded character string in the image data that does not match the character information included in the recorded character string, and a character string attribute of the non-recorded character string (step S907).
  • the non-recorded character string is a character string that is not recorded by the operator, that is, a character string other than the recorded character string.
  • the character string attribute may include one or both of information indicating the attribute of the character included in the character string and information indicating the coordinates of the range of the character string.
  • the feature amount extraction unit 192 extracts a feature amount for each document form and for each non-recorded character string using the character string attributes extracted for each document form and for each non-recorded character string (step S908). Specifically, the feature amount extraction unit 192 converts the attribute of the character string (character string attribute) into a feature amount for each character string that is not associated with any recorded character string in step S904. As in the case of the first feature amount, at the time of step S908 in which the document forms are not grouped by format, it is not possible to generate (extract) a feature amount common to document forms having the same format.
  • the feature amount extraction unit 192 extracts the feature amount for each document form and for each non-recorded character string as preparation for extracting the second feature amount for each group. This feature amount for each document form and for each non-recorded character string is referred to as an individual second feature amount.
  • the feature amount extraction unit 192 may generate individual second feature amounts for each document form and a plurality of non-recorded character strings. For example, the feature quantity extraction unit 192 may generate one individual second feature quantity for one document form.
  • the feature amount extraction unit 192 records the obtained individual second feature amount in the database 4 in association with the identifier of the document form and the identifier of the non-recorded character string (step S909).
  • an identifier of the non-recorded character string for example, a coordinate value indicating the position of the non-recorded character string can be used.
  • the feature amount extraction unit 192 includes an orderer name 501, an orderer's emblem image, a document form title 503, a greeting sentence 504, etc., which are non-recorded character strings included in the format of the document form 5 in FIG. 4.
  • the second feature amount is recorded in the database 4 in association with the identifier of the document form 5 and the identifier of the non-recorded character string.
  • step S901 If it is determined in step S901 that the acquisition unit 191 has read all the image data of the document form and the recorded character string information corresponding to the image data from the database 4 (step S901: YES), the group classification unit 194 The forms are grouped (step S921).
  • the group classification unit 194 groups the document form based on the individual second feature amount included in the image data of the document form. For example, the group classification unit 194 groups each document form based on the degree of coincidence of the non-recorded character string indicated by the individual second feature amount, the degree of coincidence of the emblem image, the degree of coincidence of the coordinate range of the non-recorded character string, and the like. To do.
  • the group classification unit 194 determines the group identifier of the document form in this grouping process.
  • the group classification unit 194 determines whether grouping has been completed for all document forms (step S922).
  • the group classification unit 194 repeats the process of step S921 when the grouping of all document forms has not been completed. Specifically, in step S922, when the group classification unit 194 determines that there is a document form that has not been grouped (step S922: NO), the process returns to step S921. When grouping of all document forms is completed (step S922: YES), the group classification unit 194 associates the identifier of the document form with the group identifier assigned to the document form, and stores the group table (recording) in the database 4 Table) (step S923).
  • the feature quantity extraction unit 192 reads from the database 4 each individual first feature quantity and each individual second feature quantity of one or more document forms belonging to a certain group.
  • the feature quantity extraction unit 192 extracts each group first feature quantity corresponding to each individual first feature quantity and each individual second feature quantity of each document form belonging to the group, and each group second feature quantity (step S924). ).
  • Each group first feature amount may be a value such as an average of the individual first feature amounts of document forms belonging to the group.
  • each group second feature value may be a value such as an average of the individual second feature values of document forms belonging to the group.
  • Each group first feature amount, each group second feature amount is not the average of each individual first feature amount, the average of each individual second feature amount, using a method such as predetermined statistical processing or machine learning, As long as the feature amount is calculated so that the recorded character string or non-recorded character string of one or a plurality of document forms belonging to the group can be specified, any technique can be used.
  • Two feature amounts may be extracted.
  • the feature amount extraction unit 192 may generate a group first feature amount by extracting a character string attribute for each recorded character string from a plurality of document forms belonging to the same group in step S924. Good. In this case, the feature quantity extraction unit 192 passes the extraction and recording of the individual first feature quantities in steps S905 and S906 (no particular processing is performed).
  • the individual second feature amount is extracted in step S908 by the feature amount extraction unit 192 so that it can be used in the grouping in step S921.
  • the group classification unit 194 may perform grouping of document forms using a non-recorded character string without using the individual second feature amount.
  • the feature amount extraction unit 192 may extract the group second feature amount (directly) from the character string attributes of the non-recorded character strings of a plurality of document forms belonging to the same group in step S924.
  • the feature quantity extraction unit 192 performs no particular processing in steps S907 to S909.
  • the feature quantity extraction unit 192 calculates each group first feature quantity and each group second feature quantity for each group, and records them in the database 4 in association with the group identifier (step S925). After step S925, the image processing apparatus 1 ends the process of FIG.
  • the image processing apparatus 1 extracts information (group first feature amount and group second feature amount) necessary for reducing the labor of recording the recorded character string of the worker for each group of document forms. Can be stored in the database 4. As a result, the image processing apparatus 1 can receive the input of image data of a new document form and automatically record the recorded character string included in the document form in the database 4. As the processing, the processing in FIGS. 7 and 8 can be used. In that case, when the feature amount extraction unit 192 acquires the learning result in step S702 of FIG. 7, the group is specified, and the learning result (first feature amount) corresponding to the specified group is acquired. An example of a processing procedure for specifying a group will be described with reference to FIG.
  • FIG. 11 is a second diagram illustrating a processing flow of the image processing apparatus according to the second embodiment.
  • Step S1001 is common to step S701 in FIG.
  • Step S1002 is common to step S703 in FIG. Therefore, when performing the process of FIG. 11, the image processing apparatus 1 executes step S703 before step S702 as the process of FIG.
  • the feature quantity extraction unit 192 extracts a third feature quantity obtained by converting the detected information into feature quantities for each character string in the image data (step S1003).
  • the third feature amount is information indicating the character string feature included in the document form of the newly read image data.
  • the group specifying unit 195 reads the group second feature quantity used for group specification of a new document form among the group second feature quantities stored in the database 4.
  • the group second feature amount may be, for example, a feature amount corresponding to the orderer's emblem image 502 displayed in the image data of the document form.
  • the group specifying unit 195 determines whether information indicated by a certain group second feature amount can be specified from the image data of the document form acquired in step S1001.
  • the group specifying unit 195 performs the same processing using the group second feature amount for all groups.
  • the group specifying unit 195 newly reads the group having the group second feature value.
  • the document form image data group is identified (step S1004). Thereafter, the group identification unit 195 reads one or more group first feature values for the group from the database 4 (step S1005).
  • the group first feature amount is a feature amount for specifying one or a plurality of recorded character strings in the document form belonging to the group.
  • Step S1005 corresponds to step S702 in FIG. 7, and the group first feature amount corresponds to an example of the learning result in step S702.
  • the image processing apparatus 1 performs the processes in and after step S704 in FIG. 7 using the group first feature amount.
  • the image processing apparatus 1 uses the document form image data and the recorded character strings of each of a plurality of formats previously recorded by the operator, regardless of the type of the newly entered document form.
  • the recorded character string in the image data can be automatically recorded. Therefore, the image processing apparatus 1 can reduce the labor of the operator who records the recorded character string in the document form.
  • an operator may register a document form group in the image processing apparatus 1 in advance. For example, when registering image data of a document form in the past, an operator inputs a group identifier according to the type of document form and registers it in the database 4 in association with the image data of the document form. As a result, different types of forms are not mixed in the same group due to processing errors of the image processing apparatus 1, and the first feature amount can be extracted with high accuracy. In this case, at the time of registration, the worker inputs a group of document forms, but for a new form, the group is specified using the second feature amount as in step S1004.
  • the image processing apparatus 1 not only uses the second feature value to group document forms but also uses the first feature value and also uses the second feature value.
  • the document form may be grouped using the first feature amount.
  • the first feature value is the feature value of the recorded character string, but if it is the same type of document form, the coordinates of the recorded character string and its character attributes are considered to be the same. It becomes possible to divide into groups.
  • the first grouping is performed by the operator as shown in the fourth embodiment, and a new document form is grouped using the first feature amount by the process of step S1004. As a result, the recorded character string can be read with high accuracy in the OCR process.
  • the acquisition unit 191 acquires a plurality of form image data and a recorded character string that is a recording target among character strings included in the form image data. Then, the group classification unit 194 groups the form image data based on the first feature amount. Then, the feature amount extraction unit 192 extracts a recorded character string using the first feature amount corresponding to the form image data included in the group.
  • the recording unit 193 selects the first feature amount for the character recognition target document image among the first feature amounts.
  • the feature amount extraction unit 192 performs character recognition processing of the document image to be recognized.
  • the recording unit 193 selects a character string of a specific item corresponding to the first feature amount from the character string as a result of the character recognition process.
  • the user determination result acquisition unit 196 determines whether the character string input in advance and the character string of the specific item are The user determination result of whether or not they match is acquired. Thereby, the image processing apparatus 1 can use the character string input in advance as the character string of the specific item.
  • the operator only needs to determine whether or not the pre-input character string matches the character string of the specific item and the input character string, and does not need to key-in the character string.
  • the image processing apparatus not only when the data obtained in advance and the data obtained by the OCR process match, but also in other cases, the burden on the operator who confirms the OCR process result is reduced. Can be reduced.
  • the recording unit 193 selects a first feature amount indicating the position of the character string of the specific item in the document image.
  • the user determination result acquisition unit 196 presents the document image indicating the position of the character string of the specific item and the pre-input character string to the user, and is pre-input with the character string of the specific item indicated in the document image.
  • the user determination result as to whether or not the character string matches is obtained.
  • the worker only has to compare the character string of the specific item shown in the image of the document form with the input character string to determine whether or not they match, and the determination is relatively simple. be able to. According to the image processing apparatus 1, the burden on the operator can be reduced in this respect.
  • the feature amount extraction unit 192 does not select any of the character strings resulting from character recognition by the recording unit 193 as the character string of the specific item, and the character string input in advance and the character string of the specific item If the user identification result indicates that they match, the character string input in advance is used for machine learning to acquire information for selecting the character string of the specific item from the character string of the character recognition result.
  • machine learning can be performed with high accuracy in that machine learning is performed using a character string confirmed by an operator.
  • the operator does not need to input a character string for confirmation, and the burden on the operator can be reduced in this respect.
  • the feature amount extraction unit 192 performs machine learning when the recording unit 193 does not select any of the character strings resulting from the character recognition processing as the character string of the specific item, and the recording unit 193 performs the character recognition processing. If any of the resulting character strings is selected as the character string of the specific character, execution of machine learning is suppressed.
  • the image processing apparatus 1 when the recording unit 193 selects any one of the character strings as a result of the character recognition process as the character string of the specific item, it is compared with the case where the feature amount extraction unit 192 performs machine learning. Thus, the number of data to be stored for machine learning and the time required for machine learning can be reduced.
  • FIG. 12 is a diagram illustrating an example of the configuration of the image processing apparatus according to the embodiment.
  • An image processing apparatus 600 illustrated in FIG. 12 includes a first feature amount selection unit 601, a character recognition processing unit 602, a character string selection unit 603, and a user determination result acquisition unit 604.
  • the first feature value selection unit 601 is recorded in advance based on the result of character recognition processing of a plurality of document images, and indicates the character string characteristics of the item for each type of document image and for each specific item. Of the first feature values, the first feature value for the character recognition target document image is selected.
  • a character recognition processing unit 602 performs character recognition processing of a document image that is a character recognition target.
  • the character string selection unit 603 selects a character string of a specific item corresponding to the first feature amount from the character string as a result of the character recognition process.
  • the user determination result acquisition unit 604 when the character string selection unit 603 does not select any of the character strings resulting from the character recognition process as the character string of the specific item, the character string input in advance and the character of the specific item Acquires the user determination result whether or not the column matches.
  • the image processing apparatus 600 can use the character string input in advance as the character string of the specific item.
  • the operator only needs to determine whether or not the pre-input character string matches the character string of the specific item and the input character string, and does not need to key-in the character string.
  • the burden on the operator who confirms the OCR process result is reduced. Can be reduced.
  • Each of the above devices has a computer system inside.
  • a program for causing each device to perform the above-described processes is stored in a computer-readable recording medium of each device, and the above-described processing is performed by the computer of each device reading and executing the program.
  • the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
  • the program may be a program for realizing a part of the functions of each processing unit described above. Furthermore, what can implement

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

複数の文書画像を文字認識処理した結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す第一特徴量のうち、文字認識対象の文書画像についての前記第一特徴量を選択する第一特徴量選択部と、前記文字認識対象の前記文書画像の文字認識処理を行う文字認識処理部と、前記文字認識処理の結果の文字列のうち前記第一特徴量に対応する特定項目の文字列を選択する文字列選択部と、前記文字列選択部が前記文字認識処理の前記結果の文字列のうちの何れも前記特定項目の文字列として選択しなかった場合、事前入力された文字列と前記特定項目の文字列とが一致するか否かの判定結果を取得する判定結果取得部と、を備える画像処理装置。

Description

画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体
　本発明は、画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体に関する。
　文字認識に関連して、特許文献１に記載のＯＣＲ入力確認修正方法では、文字認識とは別の方法で計算ログを用意しておく。そして、この方法では、計算ログとＯＣＲ読み込みデータとを突き合わせ、不一致がない場合には画面表示せずに次のエラーのある受注票まで読み飛ばしていく。
特開平０９－２２３１８７号公報
　計算ログなど事前に得られたデータとＯＣＲ処理で得られたデータとが一致する場合だけでなく、他の場合にもＯＣＲ処理結果を確認する作業者の負担を軽減することができればさらに好ましい。
　本発明は、上述の課題を解決することのできる画像処理装置、画像処理方法およびプログラムを提供することを目的としている。
　本発明の第１の態様によれば、画像処理装置は、複数の文書画像を文字認識処理した結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す第一特徴量のうち、文字認識対象の文書画像についての前記第一特徴量を選択する第一特徴量選択部と、前記文字認識対象の前記文書画像の文字認識処理を行う文字認識処理部と、前記文字認識処理の結果の文字列のうち前記第一特徴量に対応する特定項目の文字列を選択する文字列選択部と、前記文字列選択部が前記文字認識処理の前記結果の文字列のうちの何れも前記特定項目の文字列として選択しなかった場合、事前入力された文字列と前記特定項目の文字列とが一致するか否かの判定結果を取得する判定結果取得部と、を備える。
　本発明の第２の態様によれば、画像処理方法は、複数の文書画像を文字認識処理した結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す第一特徴量のうち、文字認識対象の文書画像についての前記第一特徴量を選択し、前記文字認識対象の前記文書画像の文字認識処理を行い、前記文字認識処理の結果の文字列のうち前記第一特徴量に対応する特定項目の文字列を選択し、前記文字認識処理の前記結果の文字列のうちの何れも前記特定項目の文字列として選択しなかった場合、事前入力された文字列と前記特定項目の文字列とが一致するか否かの判定結果を取得する。
　本発明の第３の態様によれば、記憶媒体に記憶されたプログラムは、コンピュータに、複数の文書画像を文字認識処理した結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す第一特徴量のうち、文字認識対象の文書画像についての前記第一特徴量を選択し、前記文字認識対象の前記文書画像の文字認識処理を行う工程と、前記文字認識処理の結果の文字列のうち前記第一特徴量に対応する特定項目の文字列を選択し、前記文字認識処理の前記結果の文字列のうちの何れも前記特定項目の文字列として選択しなかった場合、事前入力された文字列と前記特定項目の文字列とが一致するか否かの判定結果を取得する、処理を実行させる。
　この発明によれば、事前に得られたデータとＯＣＲ処理で得られたデータとが一致する場合だけでなく、他の場合にもＯＣＲ処理結果を確認する作業者の負担を軽減できる。
実施形態に係る画像処理装置を含む画像処理システムの装置構成例を示す図である。 実施形態に係る画像処理装置のハードウェア構成例を示す図である。 第一実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。 文書帳票の一例を示す図である。 第一実施形態に係るデータベースが記憶する記録テーブルの概要を示す図である。 第一実施形態に係る画像処理装置の処理フローを示す第一の図である。 第一実施形態で、記録文字列の候補それぞれの範囲を枠で示した画像の例を示す図である。 第一実施形態に係る画像処理装置の処理フローを示す第二の図である。 第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。 第二実施形態に係る画像処理装置の処理フローを示す第一の図である。 第二実施形態に係る画像処理装置の処理フローを示す第二の図である。 実施形態に係る画像処理装置の構成の例を示す図である。
　以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、実施形態に係る画像処理装置を含む画像処理システムの装置構成例を示す図である。
　図１に示す構成で、画像処理システム１００は画像処理装置１、画像読取装置２、記録装置３およびデータベース４により構成される。
　画像処理装置１は画像読取装置２と通信ケーブルにより接続されている。画像読取装置２は光学的に文書帳票などの画像データを取得して画像処理装置１へ出力する。画像処理装置１は文書帳票の画像データをＯＣＲ（Optical character recognition）処理し文字認識する。画像処理装置１は文字認識結果を記録装置３に出力し、記録装置３がその文字認識結果をデータベースに記録する。
　なお、画像処理装置１が対象とする文書は、特定の種類のものに限定されない。ＯＣＲ処理可能ないろいろな文書を、画像処理装置１の処理対象とすることができる。
　データベース４は画像処理装置１と記録装置３とに接続されている。データベース４は記録装置３から過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうち記録対象となる文字列を示す記録文字列の対応関係を記憶している。記録文字列が示す文字列は文書帳票に記述される文字列のうちデータベース４に記録、保存しておくべき重要な文字列である。画像処理システム１００を利用する作業者は予め、記録装置３を用いて過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうちの記録文字列をデータベース４に登録しておく。
　作業者を、画像処理装置１のユーザ、または単にユーザとも称する。
　そしてデータベース４には文書帳票の画像データとその画像データに含まれる文字列の情報のうち記録対象となる文字列を示す記録文字列の情報との対応関係が、多くの文書帳票について十分に記録されているものとする。このような状態において、画像処理装置１は処理を行う。
　図２は画像処理装置のハードウェア構成例を示す図である。
　図２に示す構成で、画像処理装置１は、画像処理装置本体１０と、表示装置１７と、入力デバイス１８とを備える。
　画像処理装置本体１０は、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は画像読取装置２、記録装置３、及びデータベース４の各々との間で無線通信を行うものであってもよいし、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。
　表示装置１７は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode）パネル等の表示画面を備える。
　入力デバイス１８は、例えばキーボードおよびマウス、あるいは、表示装置１７の表示画面に設けられてタッチパネルを構成するタッチセンサ、あるいはこれらの組み合わせなど、ユーザ操作を受ける装置である。
＜第一実施形態＞
　図３は、第一実施形態に係る画像処理装置１の機能構成を示す概略ブロック図である。
　通信部１１０は、図２の通信モジュールを用いて構成され、他の装置と通信を行う。特に、通信部１１０は、画像読取装置２、記録装置３、データベース４と通信を行う。
　表示部１２０は、図２の表示装置１７を用いて構成され、各種画像を表示する。
　操作入力部１３０は、図２の入力デバイスを用いて構成され、ユーザ操作を受け付ける。
　記憶部１８０は、図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６を用いて構成され、各種データを記憶する。
　制御部１９０は、図２のＣＰＵ１１が、記憶部１８０（図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６）からプログラムを読み出して実行することで構成される。制御部１９０は、画像処理装置１の各部を制御して各種処理を実行する。
　取得部１９１は、文書帳票の画像データを取得する。
　記録部１９３は、新たな文書帳票の画像データにおける文字列の特徴量を用いて、新たな文書帳票の画像データから読み取った文字列の情報のうちの記録文字列を抽出して記録する。上記のように記録文字列は、記録対象の文字列である。すなわち、記録文字列は画像処理装置１がＯＣＲ処理結果から取得して出力すべき特定項目の文字列である。
　記録部１９３は第一特徴量選択部の例に該当し、文書画像の種別毎かつ特定項目毎の第一特徴量のうち、文字認識対象の文書画像についての第一特徴量を選択する。第一特徴量は記録文字列の特徴を示し、ここでは、第一特徴量には文書画像における文字列の位置を示す座標情報が含まれる。従って、記録部１９３は、文書画像中での特定項目の文字列の位置を示す第一特徴量を選択する。
　また、記録部１９３は文字列選択部の例に該当し、文字認識処理の結果の文字列のうち第一特徴量に対応する特定項目の文字列を選択する。但し、記録部１９３が常に特定項目の文字列の選択に成功するとは限らない。例えばＯＣＲ処理の結果によっては、記録部１９３が、特定項目の文字列を選択できない場合もある。また、記録部１９３が、選択した文字列の値が、ＯＣＲ処理の結果によって特定項目の文字列の本来の値と異なっている場合もある。
　ＯＣＲ処理結果から特定項目の文字列を適切に取得できなかった場合、画像処理装置１は、作業者による特定項目の文字列の入力または修正を受ける。
　また、画像処理装置１が、特定項目の文字列として事前入力された文字列（事前入力データ）を利用できる場合がある。事前入力データが得られるケースの例として、例えば経理部の担当者が伝票をＯＣＲ処理する際に、営業部の担当者が取引内容の入力として伝票の内容の一部を入力していた場合など、業務フロー等で手入力されている場合が挙げられる。
　特徴量抽出部１９２は、複数の文書帳票の画像データの認識処理結果に基づいて、文書帳票の画像データに含まれる記録文字列の特徴を示す第一特徴量を文書帳票の画像データ毎に抽出する。また、特徴量抽出部は文字認識処理部の例に該当し、文字認識対象の文書画像の文字認識処理（ＯＣＲ処理）を行う。特徴量の抽出を特徴量の生成とも称する。
　また、特徴量抽出部１９２は機械学習部の例に該当し、事前入力された文字列と特定項目の文字列とが一致すると判定された場合、事前入力された文字列を用いて処理を行う。
　具体的には、特徴量抽出部１９２は、事前入力された文字列を用いて第一特徴量を更新する。従って、特徴量抽出部１９２は、文字認識結果の文字列の中から特定項目の文字列を選択するための情報を取得する機械学習に、事前入力された文字列を用いる。ここで、特徴量抽出部１９２が、記録部１９３が文字認識結果の文字列の中から特定項目の文字列の選択に失敗した場合のみ第一特徴量を更新するようにしてもよいし、成功した場合も第一特徴量を更新するようにしてもよい。従って、特徴量抽出部１９２は、記録部１９３が文字認識結果の文字列の中から特定項目の文字列を選択した場合および選択しなかった場合の何れも機械学習を行うようにしてもよい。
　ユーザ判定結果取得部１９６は、記録部１９３が文字認識の結果の文字列のうち何れも定項目の文字列として選択しなかった場合、事前入力された文字列と特定項目の文字列とが一致するか否かのユーザ判定結果を取得する。具体的には、ユーザ判定結果取得部１９６は、特定項目の文字列の位置を示した文書画像と、事前入力された文字列とをユーザに提示して、前記文書画像に示される前記特定項目の文字列と前記事前入力された文字列とが一致するか否かのユーザ判定結果を取得する。
　このような処理により画像処理装置１は新たな文書帳票の画像データに含まれる記録するべき文字列情報の記録の労力を軽減する。
　図４は文書帳票の一例を示す図である。
　この図が示すように文書帳票には、例えば、その文書を作成した企業のマーク、作成日、作成担当者、文書内容等が、その文書帳票に特有のフォーマットで記述されている。文書内容は、例えば文書帳票が発注票であれば発注した商品名やその発注個数などの情報の組が１つまたは複数示される。作業者はある１つの文書帳票に基づいて、その文書帳票に記述されている文字列のうち記録すべき特定項目の文字列（記録文字列）を、記録装置３を用いてデータベース４へ記録する。具体的には作業者は文書帳票を見ながら記録装置３がデータベース４に記録すべき記録文字列を入力する。また作業者は文書帳票の画像データを画像読取装置２に読み込ませる。文書帳票は作業者の操作に基づいて画像読取装置２が読み取り画像処理装置１へ出力する。そして記録装置３は作業者の操作と画像処理装置１の制御とに基づいて、１つの文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けてデータベース４に記録する。
　図４の例において、項目は、例えば、日付５１、発注先５２、商品名５３、数量５４、及び金額５５である。また、図４の例においては、日付５１、発注先５２、商品名５３、数量５４、及び金額５５の文字列が記録文字列である。文書帳票５には作業者によって記録されない非記録文字列等のその他の情報も印字されている。当該情報は例えば文書帳票を発行した発注者の名称５０１、発注者のエンブレム画像５０２、文書帳票のタイトル５０３、挨拶文５０４などである。
　図５はデータベースが記憶する記録テーブルの概要を示す図である。
　図５で示すようにデータベース４は文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けて記録テーブルに記憶する。
　図６は第一実施形態に係る画像処理装置の処理フローを示す第一の図である。図６は、画像処理装置１が第一特徴量を抽出する処理手順の例を示す。
　次に画像処理装置１の処理フローについて順を追って説明する。
　まずデータベース４にはある文書帳票についての画像データと、その文書帳票に記述されている記録文字列との組み合わせが、同じ書式（Format）の文書帳票複数枚分記録されている。例えば図４で示す文書帳票５の書式の記録文字列情報（記録文字列を示す情報）が複数枚分記録されているとする。
　これら画像データと記録文字列情報との組み合わせとして、例えば過去の業務で扱われた文書帳票の画像データおよび記録文字列情報を用いることができる。過去の業務から画像データおよび記録文字列情報を必要量確保できる場合、画像処理装置に第一特徴量を取得させるために画像データおよび記録文字列情報を別途用意する必要はない。
　このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。
　画像処理装置１の取得部１９１は、通信部１１０を制御してデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ６０１）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。
　特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列と、当該文字列の範囲を示す画像データ内の座標とを検出する（ステップＳ６０２）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。
　特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ６０３）。
　ここでいう文字の属性（文字属性）は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。以下、文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。
　また、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。
　なお、特徴量抽出部１９２が記録文字列と文字情報が一致する文字列を一意に特定できない場合、画像処理装置１が、その文書画像を処理対象（第一特徴量の抽出対象）から除外するようにしてもよい。あるいは、画像処理装置１が、記録文字列の候補それぞれの範囲を枠で示した画像を表示部１２０に表示させ、作業者によって選択された文字列に記録文字列を特定するようにしてもよい。ここでいう記録文字列の候補は、文字情報が記録文字列の文字情報と一致した文字列のうち、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。また、ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。
　特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。
　次に、特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する（ステップＳ６０４）。記録文字列の特徴量は、例えば、当該記録文字列の文書帳票における所定の特徴を定量的に示す値である。所定の特徴は複数であってもよい。所定の特徴は、記録文字列に応じて異なっていてもよいし、複数の記録文字列の間で同一であってもよい。
　具体的には、特徴量抽出部１９２は、記録文字列毎に、複数の文書帳票におけるその記録文字列の文字列属性を解析して、１つの記録文字列に１つの特徴量を抽出する。
　特徴量抽出部１９２が、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する方法は、特定の方法に限定されない。例えば、特徴量抽出部１９２が、複数の文書帳票から得られた複数の文字列属性について、先頭の文字の座標、末尾の文字の座標、文字の種類、文字の高さ、フォントの種類などの項目毎に最頻値（Mode）を求めるようにしてもよい。また、特徴量抽出部１９２が、先頭の文字の座標、末尾の文字の座標、文字の高さ、文字間の距離など数値で示される属性について項目毎に平均値（Average）または中央値（Median）を求めるようにしてもよい。また、特徴量抽出部１９２が、数値で表される項目について、その最大値および最小値を特徴量とするなど、範囲を有する特徴量、あるいは、複数の数値で表される特徴量を用いるようにしてもよい。また、特徴量抽出部１９２が、文字の種類、フォントの種類など数値以外の属性を数値化して特徴量を求めるようにしてもよい。また、特徴量抽出部１９２が、公知の機械学習アルゴリズムを用いて特徴量を抽出するようにしてもよい。
　特徴量抽出部１９２が、文書帳票の１つの書式かつ１つの記録文字列について複数の数値を取得した場合、これら複数の数値をベクトル化して１つのベクトルの特徴量を抽出するようにしてもよい。
　特徴量抽出部１９２が抽出した、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を第一特徴量と称する。特徴量抽出部１９２は、同じ書式の複数枚の文書帳票を用いて、その書式における記録文字列それぞれの第一特徴量を抽出する。第一特徴量は記録文字列を抽出するための特徴量である。第一特徴量に、文字の属性を示す情報、文字列の範囲を示す座標の何れか、またはこれらの組み合わせが含まれていてもよい。
　特徴量抽出部１９２は、記録文字列毎に得られた第一特徴量を、文書帳票の書式の識別子に紐づけてデータベース４に記録する（ステップＳ６０５）。
　例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、及び金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す各第一特徴量を、文書帳票５の書式識別子に紐づけてデータベース４に記録する。
　ステップＳ６０５の後、画像処理装置１は、図６の処理を終了する。
　以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために利用する情報（第一特徴量）を抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動で、または半自動でデータベース４に記録していくことができる。図７および図８を参照して、その処理について説明する。
　図７は第一実施形態に係る画像処理装置の処理フローを示す第二の図である。図７は、画像処理装置１が、新たに入力された画像データから記録文字列を抽出する処理手順の例を示す。
　作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ７０１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は、帳票に対応する学習結果をデータベース４から取得する（ステップＳ７０２）。例えば、特徴量抽出部１９２は記録文字列毎に、その記録文字列の読取位置（座標情報）および文字種情報を示す第一特徴量を学習結果として取得する。
　また、特徴量抽出部１９２は、画像読取装置２から得られた画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ７０３）。学習結果が示す位置情報と、ＯＣＲ処理で得られた位置情報とを比較することで、特徴量抽出部１９２は、ＯＣＲ処理で得られた各文字列が、取得対象の文字列（記録文字列）か否かを判定できる。
　次に、画像処理装置１は、学習結果が示す読取位置毎に処理を行うループＬ１を開始する（ステップＳ７０４）。ループＬ１で処理対象になっている読取位置をＭ番目の読取位置と称する。ループＬ１では、画像処理装置１は、ループ内処理を行う（ステップＳ７０５）。
　記録文字列を読取位置の文字列、または、読取文字列とも称する。
　図８は、第一実施形態に係る画像処理装置の処理フローを示す第三の図である。図８は、画像処理装置１がステップＳ７０５で行う処理の手順を示す。
　図８の処理で、記録部１９３は、Ｍ番目の読取位置の文字列の事前入力データがあるか否かを判定する（ステップＳ８０１）。事前入力データ無しと判定した場合（ステップＳ８０１：ＮＯ）、記録部１９３は、Ｍ番目の読取位置の文字列をＯＣＲ処理で読み取れたか否かを判定する（ステップＳ８０２）。読み取れなかったと記録部１９３が判定した場合（ステップＳ８０２：ＮＯ）、画像処理装置１は、Ｍ番目の読取位置文字列について作業者によるキー入力を受ける（ステップＳ８０３）。例えば表示部１２０が、文書帳票の画像上で読取位置を矩形で示す入力依頼画面を表示し、操作入力部１３０が文字列の入力操作を受ける。
　そして、記録部１９３は、キー入力内容（キー入力で得られた文字列）とＯＣＲ処理結果とを含む学習用データを生成する（ステップＳ８０４）。ここでの学習用データは、特徴量抽出部１９２が第一特徴量を更新する機械学習のための学習用データである。
　ステップＳ８０４の後、画像処理装置１は図８の処理を終了して図７の処理へ戻る。
　一方、ステップＳ８０２でＭ番目の読取位置の文字列をＯＣＲ処理で読み取れたと記録部１９３が判定した場合（ステップＳ８０２：ＹＥＳ）、作業者がＯＣＲ処理で得られた文字列と文書帳票の画像とを比較する（ステップＳ８１１）。画像処理装置１は、ＯＣＲ処理で得られた文字列に誤りがあるか否かについての作業者の判定を受ける（ステップＳ８１２）。具体的には、表示部１２０がユーザ判定結果取得部１９６の制御に従って、ＯＣＲ処理で得られた文字列と文書帳票の画像とを表示する。表示部１２０は、文書帳票の画像上で読取位置を矩形で示す入力依頼画面を表示する。そして、操作入力部１３０が、作業者の判定結果の入力操作を受け付ける。ユーザ判定結果取得部１９６は、操作入力部１３０の出力信号に基づいて、ユーザの判定結果を検知する。
　ＯＣＲ処理で得られた文字列が正しいと判定された場合（ステップＳ８１２：ＮＯ）、画像処理装置１は図８の処理を終了して図７の処理へ戻る。
　一方、ＯＣＲ処理で得られた文字列に誤りがあると判定された場合（ステップＳ８１２：ＹＥＳ）、作業者がキー入力で文字列を修正する（ステップＳ８１３）。例えば、表示部１２０が、ＯＣＲ処理で読み取れた文字列と文書帳票の画像とを表示する。そして、操作入力部１３０が、文字列の修正のユーザ操作を受け付ける。
　ステップＳ８１３の後、画像処理装置１は図８の処理を終了して図７の処理へ戻る。
　一方、ステップＳ８０１で、Ｍ番目の読取位置の文字列の事前入力データがあると判定した場合（ステップＳ８０１：ＹＥＳ）、記録部１９３は、Ｍ番目の読取位置の文字列をＯＣＲ処理で読み取れたか否かを判定する（ステップＳ８２１）。読み取れなかったと記録部１９３が判定した場合（ステップＳ８２１：ＮＯ）、作業者が事前入力データの文字列と文書帳票の画像とを比較する（ステップＳ８２２）。画像処理装置１は、事前入力データの文字列に誤りがあるか否かについての作業者の判定を受ける（ステップＳ８２３）。具体的には、表示部１２０がユーザ判定結果取得部１９６の制御に従って、事前入力データの文字列と文書帳票の画像とを表示する。そして、操作入力部１３０が、作業者の判定結果の入力操作を受け付ける。ユーザ判定結果取得部１９６は、操作入力部１３０の出力信号に基づいて、ユーザの判定結果を検知する。
　事前入力データの文字列に誤りがあると判定された場合（ステップＳ８２３：ＹＥＳ）、作業者がキー入力で文字列を修正する（ステップＳ８２４）。例えば、表示部１２０が、事前入力データの文字列と文書帳票の画像とを表示する。そして、操作入力部１３０が、文字列の修正のユーザ操作を受け付ける。
　ステップＳ８２４の後、処理がステップＳ８０４へ進む。
　一方、ステップＳ８２３で、事前入力データの文字列が正しいと判定された場合（ステップＳ８２３：ＮＯ）、記録部１９３は、事前入力データとＯＣＲ処理結果とを含む学習用データを生成する（ステップＳ８２５）。
　ステップＳ８２５の後、画像処理装置１は図８の処理を終了して図７の処理へ戻る。
　一方、ステップＳ８２１で、Ｍ番目の読取位置の文字列をＯＣＲ処理で読み取れたと判定した場合（ステップＳ８２１：ＹＥＳ）。記録部１９３は、事前入力データの文字列とＯＣＲ処理結果の文字列とが一致するか否かを判定する（ステップＳ８３１）。一致すると記録部１９３が判定した場合（ステップＳ８３１：ＹＥＳ）、画像処理装置１は図８の処理を終了して図７の処理へ戻る。
　一方、ステップＳ８３１で、事前入力データの文字列とＯＣＲ処理結果の文字列とが一致しないと判定した場合（ステップＳ８３１：ＮＯ）、作業者が事前入力データの文字列と文書帳票の画像とを比較する（ステップＳ８３２）。画像処理装置１は、事前入力データの文字列に誤りがあるか否かについての作業者の判定を受ける（ステップＳ８３３）。具体的には、表示部１２０がユーザ判定結果取得部１９６の制御に従って、事前入力データの文字列と文書帳票の画像とを表示する。そして、操作入力部１３０が、作業者の判定結果の入力操作を受け付ける。ユーザ判定結果取得部１９６は、操作入力部１３０の出力信号に基づいて、ユーザの判定結果を検知する。
　事前入力データの文字列が正しいと判定された場合（ステップＳ８３３：ＮＯ）、画像処理装置１は図８の処理を終了して図７の処理へ戻る。
　一方、事前入力データの文字列に誤りがあると判定された場合（ステップＳ８３３：ＹＥＳ）、作業者がキー入力で文字列を修正する（ステップＳ８３４）。例えば、表示部１２０が、事前入力データの文字列と文書帳票の画像とを表示する。そして、操作入力部１３０が、文字列の修正のユーザ操作を受け付ける。
　ステップＳ８３４の後、画像処理装置１は図８の処理を終了して図７の処理へ戻る。
　図７のステップＳ７０５の後、制御部１９０は、ループＬ１の終端処理を行う（ステップＳ７０６）。具体的には、制御部１９０は、学習結果が示す全ての読取位置についてループＬ１の処理を完了したか否かを判定する。未処理の読取位置があると制御部１９０が判定した場合、処理がステップＳ７０４へ戻り、画像処理装置１は、未処理の読取位置について引き続きループＬ１の処理を行う。一方、全ての読取位置についてループＬ１の処理を完了したと制御部１９０が判定した場合、画像処理装置１はループＬ１の処理を終了する。
　ループＬ１の後、画像処理装置１は、ＯＣＲ処理結果として記録文字列を出力し、データベース４に記録させる（ステップＳ７０７）。具体的には、記録部１９３は、通信部１１０を介してデータベース４に記録文字列を記録させる。また、特徴量抽出部１９２は、得られた学習用データを用いて機械学習を行って第一特徴量を更新する（ステップＳ７０８）。例えば画像処理装置１が、図６の処理フローを再度実施するようにしてもよい。あるいは画像処理装置１が追加学習を行うことで、図６で処理済みのデータについては再度処理を行うことなく第一特徴量を更新するようにしてもよい。
　ステップＳ７０８の後、画像処理装置１は、図７の処理を終了する。
　図８で示した学習用データ生成タイミング（ステップＳ８０４およびＳ８２５）は一例であり、これに限定されない。例えば、記録部１９３が、ステップＳ８０４およびＳ８２５に加えて、ステップＳ８１２でＮＯの場合、ステップＳ８１３の後、ステップＳ８３３でＮＯの場合およびステップＳ８３４の後にも学習用データを生成するようにしてもよい。
　特に、画像処理装置１がＯＣＲ処理に失敗した場合（ＯＣＲ処理では記録文字列を適切に得られなかった場合）、成功した場合のいずれも、記録部１９３が学習用データを生成することで、文書帳票の書式の統計的な情報を機械学習に反映させることができる。
　ここで、ＯＣＲ処理に失敗した場合のみ機械学習を行う場合、画像処理装置１がＯＣＲ処理に成功すると機械学習を行わない結果、文書帳票の書式の統計的な情報が機械学習に反映されない場合がある。
　例えば、文書帳票１００枚中９９枚まで左下に記録文字列があり、１枚だけ右上に記録文字列がある場合を考える。この場合、画像処理装置１が、同じ位置に記録文字列がある文書帳票では画像処理装置１がＯＣＲ処理に成功する（ステップＳ８０２：ＹＥＳとなる、あるいは、ステップＳ８２１：ＹＥＳとなる）と、記録文字列が左下にある場合、右上にある場合とも１回ずつ学習を行う。実際には９９対１の割合であるのに、画像処理装置１の学習では１対１の割合で学習を行うことになり、記録文字列が右上にある場合について過学習してしまう可能性がある。
　これに対し、画像処理装置１がＯＣＲ処理に成功した場合、失敗した場合のいずれも機械学習（第一特徴量の更新）を行うことで、文書帳票の書式の統計的な情報を機械学習に反映させることができる。例えば上記のように、記録部１９３が、ステップＳ８０４およびＳ８２５に加えて、ステップＳ８１２でＮＯの場合、ステップＳ８１３の後、ステップＳ８３３でＮＯの場合およびステップＳ８３４の後にも学習用データを生成する。これにより、画像処理装置１がＯＣＲ処理に失敗した場合、成功した場合のいずれも、特徴量抽出部１９２が第一特徴量を更新する。
　ここでの画像処理装置１がＯＣＲ処理に成功した場合は、図７のステップＳ７０８で、画像処理装置１（特に記録部１９３）が、ＯＣＲ処理で読み取られた文字列を記録文字列としてデータベース４に記録させる場合である。一方、画像処理装置１がＯＣＲ処理に失敗した場合は、図７のステップＳ７０８で、画像処理装置１（特に記録部１９３）が、ＯＣＲ処理以外で得られた文字列を記録文字列としてデータベース４に記録させる場合である。ＯＣＲ処理以外で得られた文字列として、事前入力データの文字列、および、ユーザがキー入力した文字列が挙げられる。
　画像処理装置１が、図７および図８の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図８の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。
　図７および８に示す処理によれば、画像処理装置１は予め作業者が記録しておいた文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
＜第二実施形態＞
　第二実施形態では、画像処理装置１が、文書帳票の複数の書式に対応する場合について説明する。
　図９は第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。
　図９に示すように第二実施形態に係る画像処理装置１は、図３で示した各機能部に加え、さらにグループ分類部１９４、及びグループ特定部１９５の機能を有する。
　図１０は第二実施形態に係る画像処理装置の処理フローを示す第一の図である。
　次に第二実施形態に係る画像処理装置１の処理フローについて順を追って説明する。
　データベース４には書式が異なる複数の文書帳票についての画像データと、各文書帳票に記述されている記録文字列の組み合わせが、その文書帳票毎に多数記録されている。このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。
　画像処理装置１の取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだか否かを判定する（ステップＳ９０１）。ＮＯの場合、取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ９０２）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。
　特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列とその画像データ内の座標とを検出する（ステップＳ９０３）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。
　特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ９０４）。
　第一実施形態で説明したように、文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。
　第一実施形態の場合と同様、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。
　なお、特徴量抽出部１９２が記録文字列と文字情報が一致する文字列を一意に特定できない場合、画像処理装置１が、その文書画像を処理対象（第一特徴量の抽出対象）から除外するようにしてもよい。あるいは、画像処理装置１が、記録文字列の候補それぞれの範囲を枠で示した画像を表示部１２０に表示させ、作業者によって選択された文字列に記録文字列を特定するようにしてもよい。第一実施形態で説明したように、ここでいう記録文字列の候補は、文字情報が記録文字列の文字情報と一致した文字列のうち、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。また、ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。
　特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。
　次に、特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ記録文字列毎の特徴量を抽出する（ステップＳ９０５）。具体的には、特徴量抽出部１９２は、ステップＳ９０４で記録文字列に対応付けた文字列の文字列属性を特徴量化する。第二実施形態では複数種類の書式を対象とするため、文書帳票を書式毎にグループ分けしていないステップＳ９０５の時点では、図７のステップＳ６０４の場合と異なり直接第一特徴量を抽出することはできない。そこで、特徴量抽出部１９２は、グループ毎の第一特徴量を抽出する準備として、文書帳票毎かつ記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ記録文字列毎の特徴量を個別第一特徴量と称する。
　特徴量抽出部１９２は、得られた個別第一特徴量を、文書帳票の識別子および記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０６）。記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。
　例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、及び金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す個別第一特徴量を、文書帳票毎かつ記録文字列毎に、文書帳票５の識別子および記録文字列の識別子に紐づけてデータベース４に記録する。
　特徴量抽出部１９２はまた、記録文字列に含まれる文字情報と一致しない画像データ中の非記録文字列と、その非記録文字列の文字列属性とを抽出する（ステップＳ９０７）。
　上述したように、非記録文字列は、作業者によって記録されない文字列、すなわち、記録文字列以外の文字列である。文字列属性には、その文字列に含まれる文字の属性を示す情報、その文字列の範囲の座標を示す情報の何れか一方あるは両方が含まれていてもよい。
　特徴量抽出部１９２は、文書帳票毎かつ非記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ非記録文字列毎の特徴量を抽出する（ステップＳ９０８）。
　具体的には、特徴量抽出部１９２は、ステップＳ９０４で何れの記録文字列にも対応付けられなかった文字列の各々について、その文字列の属性（文字列属性）を特徴量化する。第一特徴量の場合と同様、文書帳票を書式毎にグループ分けしていないステップＳ９０８の時点では、同じ書式の文書帳票に共通の特徴量を生成（抽出）することはできない。
　そこで、特徴量抽出部１９２は、グループ毎の第二特徴量を抽出する準備として、文書帳票毎かつ非記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ非記録文字列毎の特徴量を個別第二特徴量と称する。
　特徴量抽出部１９２が、文書帳票毎、かつ、複数の非記録文字列を纏めた個別第二特徴量を生成するようにしてもよい。例えば、特徴量抽出部１９２が、１つの文書帳票につき１つの個別第二特徴量を生成するようにしてもよい。
　特徴量抽出部１９２は、得られた個別第二特徴量を、文書帳票の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０９）。非記録文字列の識別子として、例えばその非記録文字列の位置を示す座標値を用いることができる。
　例えば特徴量抽出部１９２は、図４の文書帳票５の書式に含まれる非記録文字列である発注者の名称５０１、発注者のエンブレム画像、文書帳票のタイトル５０３、挨拶文５０４などを示す個別第二特徴量を、文書帳票５の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する。
　データベース４には、文書帳票の複数の書式それぞれについて、その書式の文書帳票の画像データとその画像データに対応する記録文字列の情報が記録されている。画像処理装置１の取得部１９１は全ての文書帳票についての画像データと記録文字列の情報を読み込むまでステップＳ９０１～ステップＳ９０９の処理を繰り返す。
　ステップＳ９０１で、取得部１９１がデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだと判定した場合（ステップＳ９０１：ＹＥＳ）、グループ分類部１９４が文書帳票をグループ分けする（ステップＳ９２１）。グループ分類部１９４は、文書帳票の画像データに含まれる個別第二特徴量に基づいて、文書帳票をグループ分けする。例えばグループ分類部１９４は、各文書帳票を、個別第二特徴量が示す非記録文字列の一致度や、エンブレム画像の一致度、非記録文字列の座標範囲の一致度などに基づいてグループ分けする。グループ分類部１９４はこのグループ分けの処理において文書帳票のグループ識別子を決定する。グループ分類部１９４は全ての文書帳票についてグループ分けが終了したか否かを判定する（ステップＳ９２２）。
　グループ分類部１９４は全ての文書帳票のグループ分けが完了していない場合にはステップＳ９２１の処理を繰り返す。具体的には、ステップＳ９２２で、グループ分けを終了していない文書帳票があるとグループ分類部１９４が判定した場合（ステップＳ９２２：ＮＯ）、処理がステップＳ９２１へ戻る。
　グループ分類部１９４は、全ての文書帳票のグループ分けが完了した場合（ステップＳ９２２：ＹＥＳ）、文書帳票の識別子とその文書帳票に付与されたグループ識別子とを対応付けてデータベース４のグループテーブル（記録テーブル）に記録する（ステップＳ９２３）。
　そして特徴量抽出部１９２は、あるグループに属する１つまたは複数の文書帳票の各個別第一特徴量および各個別第二特徴量をデータベース４から読み取る。特徴量抽出部１９２は、グループに属する文書帳票の各個別第一特徴量および各個別第二特徴量に対応する各グループ第一特徴量と、各グループ第二特徴量とを抽出する（ステップＳ９２４）。各グループ第一特徴量はグループに属する文書帳票の各個別第一特徴量の平均等の値であってもよい。同様に各グループ第二特徴量はグループに属する文書帳票の各個別第二特徴量の平均等の値であってもよい。各グループ第一特徴量、各グループ第二特徴量は、各個別第一特徴量の平均、各個別第二特徴量の平均でなくとも、所定の統計処理や機械学習等の手法を用いて、グループに属する１つ又は複数の文書帳票の記録文字列や非記録文字列を特定できるよう算出された特徴量であれば、どのような手法を用いて、各グループ第一特徴量、各グループ第二特徴量を抽出してもよい。
　例えば、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票から記録文字列毎に文字列属性を抽出して（直接的に）グループ第一特徴量を生成するようにしてもよい。この場合、特徴量抽出部１９２が、ステップＳ９０５およびステップＳ９０６での個別第一特徴量の抽出および記録をパスする（特に何も処理を行わない）。
　一方、個別第二特徴量については、ステップＳ９２１でのグループ分けで使用できるように、特徴量抽出部１９２がステップＳ９０８で抽出しておく。但し、ステップ９２１で、グループ分類部１９４が、個別第二特徴量を用いず非記録文字列を用いて文書帳票のグループ分けを行うようにしてもよい。この場合、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票の非記録文字列の文字列属性から（直接的に）グループ第二特徴量を抽出するようにしてもよい。この場合、特徴量抽出部１９２は、ステップＳ９０７～ステップＳ９０９では特に何も処理を行わない。
　特徴量抽出部１９２は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース４に記録する（ステップＳ９２５）。
　ステップＳ９２５の後、画像処理装置１は、図１０の処理を終了する。
　以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために必要な情報（グループ第一特徴量およびグループ第二特徴量）を文書帳票のグループ毎に抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動でデータベース４に記録していくことができる。その処理として、図７および図８の処理を用いることができる。その場合、図７のステップＳ７０２で特徴量抽出部１９２が学習結果を取得する際に、グループを特定し、特定したグループに応じた学習結果（第一特徴量）を取得する。グループを特定する処理手順の例について、図１１を参照して説明する。
　図１１は第二実施形態に係る画像処理装置の処理フローを示す第二の図である。
　ステップＳ１００１は、図７のステップＳ７０１と共通である。ステップＳ１００２は、図７のステップＳ７０３と共通である。そこで、画像処理装置１は、図１１の処理を行う場合、図７の処理としてはステップＳ７０２の前にステップＳ７０３を実行する。
　ステップＳ１００２の後、特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ１００３）。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。
　次にグループ特定部１９５が、データベース４が記憶しているグループ第二特徴量のうち新たな文書帳票のグループ特定に利用するグループ第二特徴量を読み取る。当該グループ第二特徴量は例えば文書帳票の画像データに表示される発注者のエンブレム画像５０２に対応する特徴量であってよい。グループ特定部１９５はあるグループ第二特徴量に示す情報が、ステップＳ１００１で取得した文書帳票の画像データから特定できるかどうかを判定する。グループ特定部１９５は全てのグループについてのグループ第二特徴量を用いて同様の処理を行う。グループ特定部１９５はデータベース４から読み取ったグループ第二特徴量に一致する情報が新たに読み込んだ文書帳票の画像データから特定できた場合、そのグループ第二特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する（ステップＳ１００４）。その後、グループ特定部１９５はデータベース４からそのグループについての１つまたは複数のグループ第一特徴量を読み出す（ステップＳ１００５）。グループ第一特徴量はそのグループに属する文書帳票内の１つまたは複数の記録文字列を特定するための特徴量である。
　ステップＳ１００５は図７のステップＳ７０２に相当し、グループ第一特徴量はステップＳ７０２での学習結果の例に該当する。以下、画像処理装置１はグループ第一特徴量を用いて図７のステップＳ７０４以降の処理を行う。
　これにより、画像処理装置１は予め作業者が記録しておいた複数の書式それぞれの文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の種別によらずにその文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
＜第三実施形態＞
　なお、画像処理装置１の処理の他の例としては、作業者が予め文書帳票のグループを画像処理装置１に登録しておいてもよい。例えば作業者は、過去において文書帳票の画像データを登録する際、文書帳票の種類に合わせてグループ識別子を入力しておき文書帳票の画像データと紐づけてデータベース４に登録しておく。これにより、同一グループ内に画像処理装置１の処理誤り等により異種の帳票が混じることがなくなり、精度のよい第一特徴量を抽出することができる。なおこの場合、登録時は作業者が文書帳票のグループを入力するが、新たな帳票に対しては、ステップＳ１００４と同じく、第二特徴量を用いてグループ特定する。
＜第四実施形態＞
　また、画像処理装置１の処理の他の例としては、画像処理装置１は第二特徴量を用いて文書帳票をグループ分けするだけでなく、第一特徴量を用いて、また第二特徴量と共に第一特徴量を用いて、文書帳票をグループ分けするようにしてもよい。第一特徴量は記録文字列の特徴量であるが、同じ種類の文書帳票であれば、記録文字列の座標やその文字属性は同じであると考えられ、第一特徴量を用いて帳票をグループ分けすることが可能となる。最初のグループ分けを第四実施形態で示すように作業者が行い、新たな文書帳票に対してはステップＳ１００４の処理により第一特徴量を用いてグループ分けする。これにより、ＯＣＲ処理において精度よく記録文字列を読み取ることが可能となる。
　この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そしてグループ分類部１９４が第一特徴量に基づいて帳票画像データをグループ分けする。そして、特徴量抽出部１９２は、グループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。
　以上のように、記録部１９３は、第一特徴量のうち文字認識対象の文書画像についての第一特徴量を選択する。特徴量抽出部１９２は、文字認識対象の文書画像の文字認識処理を行う。記録部１９３は、文字認識処理の結果の文字列のうち第一特徴量に対応する特定項目の文字列を選択する。ユーザ判定結果取得部１９６は、記録部１９３が文字認識の結果の文字列のうちの何れも特定項目の文字列として選択しなかった場合、事前入力された文字列と特定項目の文字列とが一致するか否かのユーザ判定結果を取得する。
　これにより、画像処理装置１は、事前入力された文字列を特定項目の文字列として用いることができる。作業者（ユーザ）は、事前入力された文字列と特定項目の文字列と入力された文字列とが一致するか否かを判定すればよく、文字列をキー入力する必要がない。この点で画像処理装置１によれば、事前に得られたデータとＯＣＲ処理で得られたデータとが一致する場合だけでなく、他の場合にもＯＣＲ処理結果を確認する作業者の負担を軽減できる。
　また、記録部１９３は、文書画像中での特定項目の文字列の位置を示す第一特徴量を選択する。ユーザ判定結果取得部１９６は、特定項目の文字列の位置を示した文書画像と、事前入力された文字列とをユーザに提示して、文書画像に示される特定項目の文字列と事前入力された文字列とが一致するか否かのユーザ判定結果を取得する。
　これにより、作業者（ユーザ）は、文書帳票の画像に示される特定項目の文字列と入力された文字列とを見比べて一致するか否かを判定すればよく、比較的簡単で判定を行うことができる。画像処理装置１によれば、この点で作業者の負担が軽くて済む。
　また、特徴量抽出部１９２は、記録部１９３が文字認識の結果の文字列のうちの何れも特定項目の文字列として選択せず、かつ、事前入力された文字列と特定項目の文字列とが一致するとユーザ判定結果で示された場合、文字認識結果の文字列の中から特定項目の文字列を選択するための情報を取得する機械学習に、事前入力された文字列を用いる。
　画像処理装置１によれば、作業者によって確認された文字列を用いて機械学習を行う点で、精度よく機械学習を行うことができる。また、作業者は確認の際文字列をキー入力する必要がなく、この点で作業者の負担が小さくて済む。
　また、特徴量抽出部１９２は、記録部１９３が文字認識処理の結果の文字列のうちの何れかを特定項目の文字列として選択した場合、および、文字認識処理の結果の文字列のうちの何れも特定項目の文字列として選択しなかった場合の何れも機械学習を行う。
　これにより、画像処理装置１では、上述したように、文書帳票の書式の統計的な情報を機械学習に反映させることができる。
　あるいは、特徴量抽出部１９２は、記録部１９３が文字認識処理の結果の文字列のうちの何れも特定項目の文字列として選択しなかった場合に機械学習を行い、記録部１９３が文字認識処理の結果の文字列のうちの何れかを特定文字の文字列として選択した場合は機械学習の実行を抑制する。
　この場合、画像処理装置１では、記録部１９３が文字認識処理の結果の文字列のうちの何れかを特定項目の文字列として選択したときも特徴量抽出部１９２が機械学習を行う場合と比較して、機械学習用に保存するデータ数、および、機械学習に要する時間が少なくて済む。
　次に、図１２を参照して、本発明の実施形態の構成について説明する。
　図１２は、実施形態に係る画像処理装置の構成の例を示す図である。図１２に示す画像処理装置６００は、第一特徴量選択部６０１と、文字認識処理部６０２と、文字列選択部６０３と、ユーザ判定結果取得部６０４と、を備える。
　かかる構成にて、第一特徴量選択部６０１は、複数の文書画像を文字認識処理した結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す第一特徴量のうち、文字認識対象の文書画像についての第一特徴量を選択する。文字認識処理部６０２は、文字認識対象の文書画像の文字認識処理を行う。文字列選択部６０３は、文字認識処理の結果の文字列のうち第一特徴量に対応する特定項目の文字列を選択する。ユーザ判定結果取得部６０４は、文字列選択部６０３が文字認識処理の結果の文字列のうちの何れも特定項目の文字列として選択しなかった場合、事前入力された文字列と特定項目の文字列とが一致するか否かのユーザ判定結果を取得する。
　これにより、画像処理装置６００は、事前入力された文字列を特定項目の文字列として用いることができる。作業者（ユーザ）は、事前入力された文字列と特定項目の文字列と入力された文字列とが一致するか否かを判定すればよく、文字列をキー入力する必要がない。この点で画像処理装置６００によれば、事前に得られたデータとＯＣＲ処理で得られたデータとが一致する場合だけでなく、他の場合にもＯＣＲ処理結果を確認する作業者の負担を軽減できる。
　上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、それら装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを各装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。
また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
　また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　この出願は、２０１８年４月２日に日本出願された特願２０１８－０７１１４０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　この発明によれば、事前に得られたデータとＯＣＲ処理で得られたデータとが一致する場合だけでなく、他の場合にもＯＣＲ処理結果を確認する作業者の負担を軽減できる。
　１　画像処理装置
　２　画像読取装置
　３　記録装置
　４　データベース
　１１０　通信部
　１２０　表示部
　１３０　操作入力部
　１８０　記憶部
　１９０　制御部
　１９１　取得部
　１９２　特徴量抽出部
　１９３　記録部
　１９４　グループ分類部
　１９５　グループ特定部
　１９６　ユーザ判定結果取得部

Claims (7)

  1. 　複数の文書画像を文字認識処理した結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す第一特徴量のうち、文字認識対象の文書画像についての前記第一特徴量を選択する第一特徴量選択部と、
    　前記文字認識対象の前記文書画像の文字認識処理を行う文字認識処理部と、
    　前記文字認識処理の結果の文字列のうち前記第一特徴量に対応する特定項目の文字列を選択する文字列選択部と、
    　前記文字列選択部が前記文字認識処理の前記結果の文字列のうちの何れも前記特定項目の文字列として選択しなかった場合、事前入力された文字列と前記特定項目の文字列とが一致するか否かの判定結果を取得する判定結果取得部と、
    　を備える画像処理装置。
  2. 　前記第一特徴量選択部は、前記文書画像中での前記特定項目の文字列の位置を示す前記第一特徴量を選択し、
    　前記判定結果取得部は、前記特定項目の文字列の位置を示した前記文書画像と、前記事前入力された文字列とをユーザに提示して、前記文書画像に示される前記特定項目の文字列と前記事前入力された文字列とが一致するか否かの前記判定結果を取得する
    　請求項１に記載の画像処理装置。
  3. 　前記文字列選択部が前記文字認識処理の前記結果の文字列のうちの何れも前記特定項目の文字列として選択せず、かつ、前記事前入力された文字列と前記特定項目の文字列とが一致することが前記判定結果によって示された場合、前記文字認識処理の前記結果の文字列の中から前記特定項目の文字列を選択するための情報を取得する機械学習に、前記事前入力された文字列を用いる機械学習部をさらに備える、
    　請求項１または請求項２に記載の画像処理装置。
  4. 　前記機械学習部は、前記文字列選択部が前記文字認識処理の前記結果の文字列のうちの何れかを前記特定項目の文字列として選択した場合、および、前記文字認識処理の前記結果の文字列のうちの何れも前記特定項目の文字列として選択しなかった場合の何れも前記機械学習を行う、
    　請求項３に記載の画像処理装置。
  5. 　前記機械学習部は、前記文字列選択部が前記文字認識処理の前記結果の文字列のうちの何れも前記特定項目の文字列として選択しなかった場合に前記機械学習を行い、前記文字列選択部が前記文字認識処理の前記結果の文字列のうちの何れかを前記特定項目の文字列として選択した場合は前記機械学習の実行を抑制する、
    　請求項３に記載の画像処理装置。
  6. 　複数の文書画像を文字認識処理した結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す第一特徴量のうち、文字認識対象の文書画像についての前記第一特徴量を選択し、
    　前記文字認識対象の前記文書画像の文字認識処理を行い、
    　前記文字認識処理の結果の文字列のうち前記第一特徴量に対応する特定項目の文字列を選択し、
    　前記文字認識処理の前記結果の文字列のうちの何れも前記特定項目の文字列として選択しなかった場合、事前入力された文字列と前記特定項目の文字列とが一致するか否かの判定結果を取得する、
    　画像処理方法。
  7. 　コンピュータに、
    　複数の文書画像を文字認識処理した結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す第一特徴量のうち、文字認識対象の文書画像についての前記第一特徴量を選択し、
    　前記文字認識対象の前記文書画像の文字認識処理を行い、
    　前記文字認識処理の結果の文字列のうち前記第一特徴量に対応する特定項目の文字列を選択し、
    　前記文字認識処理の前記結果の文字列のうちの何れも前記特定項目の文字列として選択しなかった場合、事前入力された文字列と前記特定項目の文字列とが一致するか否かの判定結果を取得する、
    　処理を実行させるためのプログラムを記憶する記憶媒体。
PCT/JP2019/013319 2018-04-02 2019-03-27 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体 WO2019194051A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19781968.3A EP3779783A4 (en) 2018-04-02 2019-03-27 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND STORAGE MEDIUM WITH PROGRAM STORED ON IT
SG11202008335QA SG11202008335QA (en) 2018-04-02 2019-03-27 Image processing device, image processing method, and storage medium storing program
US16/976,639 US11321936B2 (en) 2018-04-02 2019-03-27 Image processing device, image processing method, and storage medium storing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-071140 2018-04-02
JP2018071140A JP6859977B2 (ja) 2018-04-02 2018-04-02 画像処理装置、画像処理システム、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2019194051A1 true WO2019194051A1 (ja) 2019-10-10

Family

ID=68100770

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013319 WO2019194051A1 (ja) 2018-04-02 2019-03-27 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体

Country Status (5)

Country Link
US (1) US11321936B2 (ja)
EP (1) EP3779783A4 (ja)
JP (1) JP6859977B2 (ja)
SG (1) SG11202008335QA (ja)
WO (1) WO2019194051A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6784273B2 (ja) * 2018-04-02 2020-11-11 日本電気株式会社 画像処理装置、画像処理方法およびプログラム
US11227176B2 (en) * 2019-05-16 2022-01-18 Bank Of Montreal Deep-learning-based system and process for image recognition
JP2022095391A (ja) * 2020-12-16 2022-06-28 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム
JP2022097259A (ja) * 2020-12-18 2022-06-30 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
CN113642584B (zh) * 2021-08-13 2023-11-28 北京百度网讯科技有限公司 文字识别方法、装置、设备、存储介质和智能词典笔
CN114519858B (zh) * 2022-02-16 2023-09-05 北京百度网讯科技有限公司 文档图像的识别方法、装置、存储介质以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05258099A (ja) * 1992-03-16 1993-10-08 Fujitsu Ltd 文字認識処理装置
JPH09223187A (ja) 1996-02-20 1997-08-26 Nec Software Ltd Ｏｃｒ入力確認修正方法およびシステム
JP2014182477A (ja) * 2013-03-18 2014-09-29 Fuji Xerox Co Ltd プログラム及び帳票処理装置
JP2018071140A (ja) 2016-10-27 2018-05-10 積水ハウス株式会社 防水床部の改修方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831361B2 (en) * 2012-03-09 2014-09-09 Ancora Software Inc. Method and system for commercial document image classification
US8724907B1 (en) * 2012-03-28 2014-05-13 Emc Corporation Method and system for using OCR data for grouping and classifying documents

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05258099A (ja) * 1992-03-16 1993-10-08 Fujitsu Ltd 文字認識処理装置
JPH09223187A (ja) 1996-02-20 1997-08-26 Nec Software Ltd Ｏｃｒ入力確認修正方法およびシステム
JP2014182477A (ja) * 2013-03-18 2014-09-29 Fuji Xerox Co Ltd プログラム及び帳票処理装置
JP2018071140A (ja) 2016-10-27 2018-05-10 積水ハウス株式会社 防水床部の改修方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3779783A4

Also Published As

Publication number Publication date
EP3779783A1 (en) 2021-02-17
US11321936B2 (en) 2022-05-03
US20210012138A1 (en) 2021-01-14
EP3779783A4 (en) 2021-05-26
SG11202008335QA (en) 2020-09-29
JP2019185137A (ja) 2019-10-24
JP6859977B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
WO2019194051A1 (ja) 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体
JP6874729B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20210073531A1 (en) Multi-page document recognition in document capture
WO2019194026A1 (ja) 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体
KR100570224B1 (ko) 전표정의데이터 작성방법 및 전표처리장치
US20190294912A1 (en) Image processing device, image processing method, and image processing program
WO2019194052A1 (ja) 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体
JP2019008775A (ja) 画像処理装置、画像処理システム、画像処理方法、プログラム
JP7111143B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6784274B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7160432B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2021140831A (ja) 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム
JP2000003403A (ja) 帳票入力支援方法
JP6028566B2 (ja) プログラム、表示制御方法及び表示制御装置
WO2023021636A1 (ja) データ処理装置、データ処理方法及びプログラム
JP2013182459A (ja) 情報処理装置、情報処理方法及びプログラム
US20220198183A1 (en) Information processing apparatus and non-transitory computer readable medium
JP5703191B2 (ja) 文書認識支援装置、文書検索装置及び文書管理方法
JP2005242786A (ja) 帳票識別装置および帳票識別方法
JP6217403B2 (ja) 手書き金額記入欄のチェック画面出力方法、手書き金額記入欄のチェック画面出力プログラム、および手書き金額記入欄のチェック画面出力装置
JPH08339420A (ja) フォーマット情報生成方法及びフォーマット情報生成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19781968

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019781968

Country of ref document: EP

Effective date: 20201102