WO2019234865A1 - 検査装置、制御方法及び制御プログラム - Google Patents

検査装置、制御方法及び制御プログラム Download PDF

Info

Publication number
WO2019234865A1
WO2019234865A1 PCT/JP2018/021759 JP2018021759W WO2019234865A1 WO 2019234865 A1 WO2019234865 A1 WO 2019234865A1 JP 2018021759 W JP2018021759 W JP 2018021759W WO 2019234865 A1 WO2019234865 A1 WO 2019234865A1
Authority
WO
WIPO (PCT)
Prior art keywords
item
specific
form image
inspection
relationship
Prior art date
Application number
PCT/JP2018/021759
Other languages
English (en)
French (fr)
Inventor
裕紀 谷崎
清人 小坂
Original Assignee
株式会社Pfu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Pfu filed Critical 株式会社Pfu
Priority to PCT/JP2018/021759 priority Critical patent/WO2019234865A1/ja
Priority to JP2020523916A priority patent/JP7039693B2/ja
Publication of WO2019234865A1 publication Critical patent/WO2019234865A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns

Definitions

  • the present disclosure relates to an inspection apparatus, a control method, and a control program, and more particularly, to an inspection apparatus, a control method, and a control program for inspecting a form image.
  • a digital copying machine that recognizes a character string included in a table area extracted from an image is disclosed.
  • This digital copying machine calculates numerical data obtained by converting a character string consisting of numbers based on an arithmetic expression defined based on a specific character string, and compares the calculated value with numerical data to be verified. If the calculation value does not match the numerical data to be verified as a result of the verification, the digital copying machine notifies the user to that effect (see Patent Document 1).
  • a receipt or other form contains a plurality of items, and each form has a variety of formats.
  • an apparatus for processing a form image in which forms having such various formats are captured it is desired to be able to more accurately determine whether or not the item value of each item has been correctly detected.
  • the purpose of the inspection apparatus, control method, and control program is to make it possible to more accurately determine whether or not an item value has been correctly detected from a form image.
  • the inspection apparatus stores an item name candidate for each of a plurality of element items according to a priority order, and a storage unit that stores relationship information indicating a relationship between item values of a plurality of specific items;
  • An image acquisition unit that acquires a form image including any of the item name candidates, and for each of the plurality of element items, sequentially determines whether the corresponding item name candidate is included in the form image according to the priority order, and is included first
  • a detection unit that detects a candidate item name determined to be a specific item corresponding to the element item, and a relationship in which each item value of the plurality of specific items detected by the detection unit is indicated in the relationship information
  • a display control unit that displays a determination result of the determination unit.
  • a control method is a control method for an inspection apparatus having a storage unit, in which item name candidates are stored in the storage unit according to priority for each of a plurality of element items, and a plurality of specific items
  • the relationship information indicating the relationship between the item values is stored in the storage unit, a form image including any of the item name candidates is acquired, and the corresponding item name candidates are included in the form image for each of the plurality of element items.
  • Each item of the plurality of specific items detected by the detection unit by detecting the item name candidate determined to be included first as a specific item corresponding to the element item. It includes determining whether the value has a relationship indicated in the relationship information, and displaying a determination result by the determination unit.
  • a control program is a control program for an inspection apparatus having a storage unit, in which item name candidates are stored in the storage unit according to priority for each of a plurality of element items, and a plurality of specific items
  • the relationship information indicating the relationship between the item values is stored in the storage unit, a form image including any of the item name candidates is acquired, and the corresponding item name candidates are included in the form image for each of the plurality of element items.
  • Each item of the plurality of specific items detected by the detection unit by detecting the item name candidate determined to be included first as a specific item corresponding to the element item. It is determined whether the value has a relationship indicated in the relationship information, and the inspection apparatus is caused to display the determination result by the determination unit.
  • the inspection apparatus, the control method, and the control program can more accurately determine whether or not the item value is correctly detected from the form image.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an inspection apparatus 100.
  • FIG. 2 is a diagram illustrating a schematic configuration of a storage device 110 and a CPU 120.
  • FIG. 5 is a diagram illustrating an example of a form image 300.
  • FIG. 5 is a diagram illustrating an example of a form image 400.
  • FIG. 6 is a diagram illustrating an example of a data structure of a priority order table 500.
  • 6 is a diagram illustrating an example of a data structure of a detection result table 600.
  • FIG. 5 is a schematic diagram showing an example of display data 900.
  • FIG. It is a flowchart which shows the example of operation
  • 5 is a schematic diagram showing an example of display data 1100.
  • FIG. FIG. 10 is a schematic diagram showing an example of other display data 1200.
  • 2 is a block diagram showing a schematic configuration of a processing circuit 130.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an inspection apparatus 100 according to the embodiment.
  • the inspection device 100 is a portable device such as a tablet PC or a multi-function mobile phone (so-called smart phone), and is used by the user to process a form image.
  • a form image is image data representing a form.
  • various layout forms are used as forms.
  • a multi-layout form is a form that is created individually by a plurality of different organizations, companies, etc., where the description position of each item differs for each form, and a plurality of synonyms for each item exist.
  • the inspection device 100 includes a communication device 101, an input device 102, a display device 103, an imaging device 104, a storage device 110, a CPU (Central Processing Unit) 120, and a processing circuit 130.
  • a communication device 101 an input device 102, a display device 103, an imaging device 104, a storage device 110, a CPU (Central Processing Unit) 120, and a processing circuit 130.
  • CPU Central Processing Unit
  • the communication device 101 has a communication interface circuit including an antenna mainly having a 2.4 GHz band, a 5 GHz band, or the like as a sensitive band.
  • the communication apparatus 101 performs wireless communication with an access point or the like based on an IEEE (The Institute of Electrical and Electronics Electronics, Inc.) 802.11 standard wireless communication system.
  • the communication device 101 transmits / receives data to / from an external device (not shown) via an access point.
  • the communication device 101 supplies data received from the external device via the access point to the CPU 120, and transmits the data supplied from the CPU 120 to the external device via the access point.
  • the communication device 101 may be any device that can communicate with an external device.
  • the communication device 101 may communicate with an external device via a base station device (not shown) according to a mobile phone communication method, or may communicate with an external device according to a wired LAN communication method.
  • the input device 102 is an example of an operation unit, and includes a touch panel type input device, an input device such as a keyboard and a mouse, and an interface circuit that acquires signals from the input device.
  • the input device 102 receives input data input by the user and outputs a signal corresponding to the received input data to the CPU 120.
  • the display device 103 is an example of a display unit, and includes a display composed of liquid crystal, organic EL (Electro-Luminescence), and the like, and an interface circuit that outputs image data or various information to the display.
  • the display device 103 is connected to the CPU 120 and displays the image data output from the CPU 120 on a display. Note that the input device 102 and the display device 103 may be integrally configured using a touch panel display.
  • the imaging device 104 includes a reduction optical system type imaging sensor including an imaging element made up of a CCD (Charge Coupled Device) arranged one-dimensionally or two-dimensionally, and an A / D converter.
  • the imaging device 104 is an example of an imaging unit, and sequentially captures a form in accordance with an instruction from the CPU 120 to sequentially generate a form image (for example, 30 frames / second).
  • the imaging sensor generates a captured analog image signal and outputs it to the A / D converter.
  • the A / D converter performs analog-digital conversion on the output analog image signal to sequentially generate digital image data, and outputs the digital image data to the CPU 120.
  • an equal magnification optical system type CIS Contact Image Sensor
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • digital image data photographed and output by the imaging device 104 is referred to as a form image.
  • the storage device 110 is an example of a storage unit.
  • the storage device 110 includes a memory device such as a RAM (Random Access Memory) and a ROM (Read Only Memory), a fixed disk device such as a hard disk, or a portable storage device such as a flexible disk and an optical disk.
  • the storage device 110 stores computer programs, databases, tables, and the like used for various processes of the inspection apparatus 100.
  • the computer program may be installed from a computer-readable portable recording medium such as a CD-ROM (compact disk ROM) or a DVD-ROM (digital disk disk ROM).
  • the computer program is installed in the storage device 110 using a known setup program or the like.
  • the storage device 110 stores a priority order table, an arrangement table, a relation table, a detection result table, a determination result table, and the like as data. Details of the priority order table, the arrangement table, the relationship table, the detection result table, and the determination result table will be described later.
  • the CPU 120 operates based on a program stored in the storage device 110 in advance.
  • the CPU 120 may be a general purpose processor. Instead of the CPU 120, a DSP (digital signal processor), an LSI (large scale integration), or the like may be used. Instead of the CPU 120, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or the like may be used.
  • DSP digital signal processor
  • LSI large scale integration
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 120 is connected to the communication device 101, the input device 102, the display device 103, the imaging device 104, and the storage device 110, and controls each of these units.
  • the CPU 120 performs data transmission / reception control via the communication device 101, input control of the input device 102, output control of the display device 103, imaging control of the imaging device 104, control of the storage device 110, and the like. Further, the CPU 120 processes a form image.
  • FIG. 2 is a diagram showing a schematic configuration of the storage device 110 and the CPU 120 of the inspection apparatus 100.
  • the storage device 110 stores programs such as an image acquisition program 111, a detection program 112, a determination program 113, and a display control program 114.
  • Each of these programs is a functional module implemented by software operating on the processor.
  • the CPU 120 reads each program stored in the storage device 110 and operates according to each read program. Accordingly, the CPU 120 functions as the image acquisition unit 121, the detection unit 122, the determination unit 123, and the display control unit 124.
  • FIG. 3 is a diagram illustrating an example of a form image 300 processed by the inspection apparatus 100
  • FIG. 4 is a diagram illustrating an example of a form image 400 processed by the inspection apparatus 100.
  • invoices issued by a predetermined institution or company are captured as forms.
  • an item value 302 corresponding to each element item 301 is represented for each of a plurality of element items 301.
  • the element item 301 is an item in which each piece of information represented by the form is classified according to a predetermined rule.
  • the form images 300 and 400 include the quantity, unit price, amount, and billing amount (including tax) as the element items 301.
  • the item names of the element items of quantity, unit price, amount of money, and billing amount (including tax) are “unit number”, “unit price”, “charge”, “total” in the form image 300, and “quantity” in the form image 400. , “Unit price”, “amount”, and “total”.
  • the element items 301 of quantity, unit price, and amount are arranged in the order of unit price, quantity, and amount from the left in the form image 300, and are arranged in order of quantity, unit price, and amount from the left in the form image 400.
  • the forms are individually created by a plurality of different organizations, companies, etc., and the description positions of the element items 301 are different for each form, and a plurality of synonyms of the element items 301 exist.
  • Layout forms are used.
  • the form images 300 and 400 only one item value 302 is shown in the element item 301 of the charge amount (tax included). On the other hand, in each element item 301 of quantity, unit price, and amount of money, an item value 302 is shown for each of a plurality of expense items 303, and a plurality of item values 302 are shown for each element item 301.
  • the form images 300 and 400 include each product and consumption tax as the expense item 303.
  • FIG. 5A is a diagram showing an example of the data structure of the priority order table 500.
  • the priority table 500 is set in advance by the provider of the inspection apparatus 100 and stored in the storage device 110. As shown in FIG. 5A, in the priority order table 500, for each of a plurality of element items, identification information (item ID) of each element item, item contents, one or a plurality of item name candidates, and the like are stored in association with each other. The Each item name candidate is stored in accordance with the priority order.
  • Item ID is a number for identifying each element item.
  • the item content indicates the content of each element item.
  • the item name candidate is a name to be checked whether it is included in the form image when the item value of the element item is detected from the form image, and the name of each element item (item name) described in the form image. ) Candidate.
  • the priority order is an order for defining the order in which the item name candidates defined in the priority table 500 are inspected when detecting the item values of the element items from the form image. In this example, the priority order of the numerical value “1” is the highest, and the priority order is assigned to each item name candidate so that the higher the numerical value, the lower the priority order.
  • FIG. 5B is a diagram illustrating an example of the data structure of the arrangement table 510.
  • the arrangement table 510 is set in advance by the provider of the inspection apparatus 100 and stored in the storage device 110. As shown in FIG. 5B, in the arrangement table 510, the item ID, arrangement information, and the like of each element item are stored in association with each other for each of the plurality of element items.
  • the arrangement information is information for defining the display position relationship between the item name of each specific item and the item value corresponding to each item name in the form image.
  • the specific item is an item name candidate actually detected from the form image among the item name candidates of each element item defined in the priority order table 500 for each element item.
  • the arrangement information for example, the relative position of the item value with respect to the item name (for example, a predetermined range in the upper, lower, right, left, upper right, lower right, upper left, lower left) and condition (for example, a numerical string), etc. It is prescribed.
  • the arrangement information is used to specify an item value corresponding to the specific item when detecting the item value of the specific item from the form image.
  • FIG. 5C is a diagram illustrating an example of the data structure of the relationship table 520.
  • the relationship table 520 is set in advance by the provider of the inspection apparatus 100 and stored in the storage device 110. As shown in FIG. 5C, in the relationship table 520, identification information (relation ID), relationship information, and the like of each relationship are associated and stored for each relationship between item values of a plurality of specific items.
  • the relationship ID is a number for identifying each relationship.
  • the relationship information indicates a relationship between item values of a plurality of specific items.
  • the relationship information indicates a relationship between the item value of one specific item and the item values of two or more other specific items.
  • the item value (amount) of one specific item is the other two. It is shown that it is equal to the product of item values (quantity, unit price) of two specific items.
  • the relationship information may indicate a relationship between the item value of one specific item and a plurality of item values of another specific item. In the example shown in FIG.
  • the item value (billed amount (tax included)) of one specific item is equal to the sum of the item values (amount of each expense item) of other specific items.
  • the relationship information may indicate a relationship between the item value of one specific item and the item value of another specific item. In that case, for example, the item value (billing amount (tax included)) of one specific item is equal to the product of the item value (billing amount (tax excluded)) of the other specific item and a predetermined value (1 + consumption tax rate). Is shown.
  • FIG. 6A is a diagram illustrating an example of a data structure of the detection result table 600.
  • the detection result table 600 is created for each form image processed by the inspection apparatus 100 in the determination process and stored in the storage device 110. As shown in FIG. 6A, in the detection result table 600, for each element item stored in the priority order table, the item ID, the item name of the specific item, the item value, the relative position of the item value, and the like are stored in association with each other. .
  • the item name of the specific item is the item name of the specific item detected for each element item in the determination process.
  • the item value is an item value detected for each specific item in the determination process.
  • the relative position of the item value the horizontal position and vertical position (coordinates) of the barycentric position of each item value viewed from the barycentric position of the item name of each specific item in the form image are stored.
  • the item value and the relative position are stored for each detected item value.
  • FIG. 6B is a diagram illustrating an example of the data structure of the determination result table 610.
  • the determination result table 610 is created for each form image processed by the inspection apparatus 100 in the determination process and stored in the storage device 110. As shown in FIG. 6B, the determination result table 610 stores each relationship ID stored in the relationship table 520, identification information (inspection target ID) of each inspection target, determination results, and the like in association with each other.
  • the inspection object ID is a number for identifying each inspection object.
  • the inspection object is an object to be inspected whether or not the item value of each specific item has the relationship indicated in the relationship information.
  • a combination of item values of each specific item is set as an inspection target.
  • the determination result indicates whether each detected item value has a relationship for each inspection target. When there is each relationship, normal is set as the determination result, and when there is no relationship, abnormality is set as the determination result.
  • FIG. 7 is a flowchart showing an example of operation of determination processing by the inspection apparatus 100.
  • the operation flow described below is mainly executed by the CPU 120 in cooperation with each element of the inspection apparatus 100 based on a program stored in the storage device 110 in advance.
  • the image acquisition unit 121 causes the imaging device 104 to capture a form to generate a form image, acquires the form image from the imaging device 104, and stores the acquired form image in the storage device 110 (step S101).
  • the forms imaged by the imaging device 104 are forms of various layouts as shown in FIGS. 3 and 4, and the form image includes any of item name candidates for each element item.
  • the detection unit 122 detects each character string included in the form image (step S102).
  • the detection unit 122 detects a character from a form image using a known OCR technique, groups characters having a detected position within a predetermined distance from each other, and detects them as a character string.
  • the detection unit 122 stores each detected character string in the storage device 110 in association with the arrangement position in the form image.
  • the detection unit 122 executes the processing of steps S103 to S109 for each element item stored in the priority order table 500. First, the detection unit 122 reads the priority order table 500 and extracts any element item from the priority order table 500 (step S103).
  • the detection unit 122 executes the processing of steps S104 to S106 for each item name candidate associated with the extracted element item.
  • the detection unit 122 extracts item name candidates of the extracted element items from the priority order table 500 according to the priority order (step S104).
  • the detection unit 122 extracts item name candidates stored in association with the extracted element items one by one in descending order of priority.
  • the detection unit 122 determines whether or not the extracted item name candidate is included in any character string detected from the form image (step S105).
  • the detection unit 122 determines whether or not all the item name candidates of the extracted element items have been extracted from the priority order table 500. Is determined (step S106). When all the item name candidates have been extracted, the detection unit 122 determines that the determination process has failed, displays that fact on the display device 103, and ends the series of steps. On the other hand, when all the item name candidates have not yet been extracted, the detection unit 122 returns the process to step S104 and repeats the processes of steps S104 to S105.
  • the detection unit 122 detects the item name candidate as a specific item corresponding to the element item (step S107). ). The detection unit 122 stores the detected item name candidates in the detection result table 600 as specific items.
  • the detection unit 122 detects an item value corresponding to the detected specific item (step S108).
  • the detection unit 122 reads the arrangement information of the element item in which the specific item is detected from the arrangement table 510.
  • the detection unit 122 detects, as a detected specific item, a character string that exists at a relative position indicated by the arrangement information and satisfies the condition indicated by the arrangement information with respect to the position in the form image where the specific item is detected. Detect as the corresponding item value.
  • the detection unit 122 stores the detected item value and the relative position of the item value with respect to the position in the form image where the specific item is detected in the detection result table 600 in association with each specific item.
  • the detection unit 122 detects a ruled line of the table from the form image using a known image processing technique, identifies a range including the item value corresponding to the specific item based on the detected ruled line, and identifies The item value may be detected only within the range.
  • the detection unit 122 detects item values for each of the plurality of inspection targets
  • the detection result table associates each item value and the relative position of each item value with each specific item. 600. That is, the detection unit 122 detects the item value of the specific item corresponding to each element item for each of a plurality of inspection objects.
  • the detection unit 122 determines whether or not processing has been executed for all element items stored in the priority order table 500 (step S109). If the processing has not been executed for all element items, the detection unit 122 returns the processing to step S103 and repeats the processing of steps S103 to S109. As described above, the detection unit 122 sequentially determines whether the corresponding item name candidate is included in the form image for each of the plurality of element items according to the priority order, and the item name candidate determined to be included first. Is detected as a specific item corresponding to the element item.
  • the determination unit 123 extracts the relationship information from the relationship table 520. And the determination part 123 extracts the combination of the item value of each specific item made into the test object of the test
  • the determination unit 123 determines whether or not the item value of each extracted specific item has the relationship indicated in the extracted relationship information (step S111).
  • the determination unit 123 determines that the character recognition process executed in step S102 is correct (step S112). On the other hand, when the item value of each specific item does not have the relationship indicated in the relationship information, the determination unit 123 determines that the character recognition process executed in step S102 is incorrect (step S113).
  • the determination unit 123 generates an inspection target ID, and stores the determination result in the determination result table 610 in association with the relationship ID corresponding to the relationship information and the generated inspection target ID (step S114).
  • the determination unit 123 stores normal as the determination result, and when determining that the character recognition process is incorrect, stores the abnormality as the determination result.
  • the determination unit 123 determines whether or not the inspection has been completed for all inspection objects based on all the relationship information stored in the relationship table 520 (step S115). If the inspection has not been completed for all inspection objects, the determination unit 123 returns the process to step S110 and repeats the processes of steps S110 to S114. Thus, the determination unit 123 determines whether or not the item value of each specific item detected by the detection unit 122 has the relationship indicated in the relationship information. On the other hand, when the inspection for all the inspection objects is completed, the determination unit 123 ends the series of steps.
  • the determination unit 123 determines whether or not there is an error in the character recognition process for each form image, and the form image determined as having no error in the character recognition process is sent to the RPA processing apparatus (not shown) via the communication apparatus 101. ). As a result, the RPA processing apparatus can automatically acquire a highly reliable form image and execute a predetermined RPA process.
  • step S107 item values corresponding to the products A to J are detected for “number of units”, “unit price”, and “charge”, and one item value (64,800) is detected for “total”.
  • step S107 item values corresponding to the products A to J are detected for “quantity” and “unit price”, and item values corresponding to the products A to J and the consumption tax are detected for “money”. For, one item value (64,800) is detected.
  • total and total have different meanings such as “billing amount (tax included)” and “billing amount (tax excluded)”. It may be used as an item name to indicate. For example, when the item value of the element item “billing amount (tax included)” is fixed to “total” and the item value is detected, the corresponding item value is correctly detected from the form image 300, but it is supported from the form image 400. Item value to be detected is not detected correctly.
  • the inspection apparatus 100 sequentially determines whether item name candidates of each element item are included in the form image according to the priority order, and detects the item name candidates determined to be included first as a specific item. As a result, the inspection apparatus 100 accurately determines whether or not the item value has been correctly detected from the form image for each of the form images 300 and 400 obtained by capturing forms of various layouts having different names for each form. Can be determined.
  • FIG. 8 is a flowchart showing an example of the operation of display processing by the inspection apparatus 100.
  • the operation flow described below is mainly executed by the CPU 120 in cooperation with each element of the inspection apparatus 100 based on a program stored in the storage device 110 in advance.
  • the display process is executed when a determination result display request is received by the user using the input device 102.
  • the display control unit 124 extracts, from the storage device 110, the detection result table 600 and the determination result table 610 corresponding to all the form images for which the determination process has been executed (step S201).
  • the display control unit 124 reads out the determination result from each extracted determination result table 610, and identifies the form image in which the character recognition process has an error as the recognition error image (step S202).
  • the display control unit 124 determines one specific image as the target image from the identified recognition error images (step S203). For example, the display control unit 124 determines the image having the earliest (before) time when the determination process is performed among the recognition error images as the attention image. When there is no form image in which the character recognition process has an error, the display control unit 124 sets one specific image as a target image from among the form images in which the character recognition process has not been made error.
  • the display control unit 124 reads out the determination result from the determination result table 610 corresponding to the image of interest, and specifies the inspection target in which the character recognition process is incorrect as the recognition error target (step S204).
  • the display control unit 124 determines one specific inspection target as a target of attention from among the identified recognition error targets (step S205). For example, the display control unit 124 determines the inspection target stored at the head of the determination result table 610 among the recognition error targets as the target of attention. When there is no inspection target in which there is an error in the character recognition processing, the display control unit 124 sets one specific inspection target as a target of attention from among the inspection targets in which there is no error in the character recognition processing.
  • the display control unit 124 displays the determination result by the determination unit 123 based on the extracted form image, the identified recognition error image and recognition error target, and the determined attention image and attention target. Create data. Then, the display control unit 124 displays the created display data on the display device 103 (step S206).
  • FIG. 9 is a schematic diagram illustrating an example of display data 900 displayed on the display device 103.
  • display data 900 is displayed on the display screen of the display device 103.
  • the display data 900 includes an image designation button 901 and an image display area 902.
  • An image designation button 901 is a button for designating each form image on which the determination process has been executed as a target image, and is displayed corresponding to each form image on which the determination process has been executed.
  • the image designation buttons 901 are displayed side by side in the order in which the determination processing for the corresponding form image is executed.
  • a button corresponding to a recognition error image is highlighted so as to be distinguishable from buttons corresponding to other images.
  • a form image 903 designated as an attention image by the image designation button 901 and a determination result in the determination process are displayed. Part or all of the form image 903 is displayed in the image display area 902.
  • the form image 903 is displayed such that the combination of the item values designated as the target of attention is positioned at the reference position R.
  • the reference position R is set, for example, at a substantially central position in the vertical direction of the image display area 902.
  • the reference position R is set, for example, at a substantially central position in the horizontal direction of the image display area 902.
  • the display control unit 124 uses the item value of the specific item as another specific item in the form image. It is highlighted so that it can be distinguished from the item value.
  • the display control unit 124 The item value of each specific item corresponding to the specific inspection object is highlighted.
  • the item value 906 corresponding to “product E” and “product H” are supported.
  • the display control unit 124 displays one item of the one specific item.
  • the value and a plurality of item values of other specific items are all highlighted.
  • the display control unit 124 highlights the item value of each specific item by displaying it in a color different from the item value of the other specific item. Note that the display control unit 124 may highlight the item values of each specific item by displaying them in a font or size different from the item values of other specific items. As a result, the user can easily identify the item value for which the character recognition process is incorrect, and the inspection apparatus 100 can improve the convenience for the user.
  • the display control unit 124 detects the specific item in the area adjacent to the area where the item value of the specific item not having the relationship indicated in the relationship information is displayed in the form image. Displays the item value.
  • the item values 908 and 909 detected by the detection unit 122 are adjacent to an area where the item value 904 corresponding to “money amount” and the item value 905 corresponding to “total” are displayed. Is displayed.
  • the item values 910 and 911 detected by the detection unit 122 are displayed in an area adjacent to the area where the item value 906 corresponding to “product E” and the item value 907 corresponding to “product H” are displayed. Is done. Thereby, the user can easily recognize which item value detection result is incorrect, and the inspection apparatus 100 can improve the convenience of the user.
  • the display control unit 124 highlights the item value of the specific item for which the character recognition process is incorrect in the form image, or displays the item value detected by the detection unit 122 for the specific item.
  • the determination result is superimposed on the form image.
  • the display control unit 124 executes reception processing and ends a series of steps (step S207).
  • the display control unit 124 changes the display data in accordance with an instruction from the user in the reception process. Details of the reception process will be described later.
  • FIG. 10 is a flowchart showing an example of the operation of the reception process.
  • the reception process shown in FIG. 10 is executed in step S207 of the display process shown in FIG.
  • the display control unit 124 determines whether or not a first instruction by the user using the input device 102 has been received (step S301).
  • the first instruction is an instruction for designating a target image to be displayed in the image display area 902. For example, when any image designation button 901 is pressed using a mouse, the display control unit 124 receives a first instruction for designating a form image corresponding to the image designation button 901 as an attention image.
  • the display control unit 124 sets the form image designated by the first instruction as a noticed image (step S302).
  • the display control unit 124 specifies a recognition error target related to the newly set attention image (step S303), and determines the attention target (step S304).
  • the display control unit 124 creates display data and displays it on the display device 103 in the same manner as in step S206 (step S305), and returns the process to step S301.
  • the display control unit 124 arbitrarily switches and displays the determination result for each form image in accordance with the first instruction from the user.
  • the display control unit 124 determines whether a second instruction by the user using the input device 102 has been received (step S306).
  • the second instruction is an instruction for designating a target image to be displayed in the image display area 902 from among recognition error images.
  • the display control unit 124 receives the second instruction when the down arrow key or the up arrow key is pressed using the keyboard in a state where the image designation button 901 corresponding to the current image of interest is designated. In that case, among the image designation buttons 901 corresponding to the recognition error images, the image designation buttons 901 located below or above the currently designated image designation button 901 and arranged closest to the image designation button 901 are displayed. The corresponding form image is designated as the attention image.
  • the display control unit 124 sets the form image designated by the second instruction as the attention image (step S307).
  • the display control unit 124 specifies a recognition error target related to the newly set attention image (step S303), and determines the attention target (step S304).
  • the display control unit 124 creates display data and displays it on the display device 103 in the same manner as in step S206 (step S305), and returns the process to step S301.
  • the display control unit 124 has the relationship indicated by the relationship information in the item values of the specific items detected by the detection unit 122 in each form image in response to the second instruction from the user. Judgment results for the form images not to be displayed are sequentially switched and displayed. The user can sequentially select only the form images in which the character recognition processing has an error and can confirm or correct the error, and the inspection apparatus 100 can improve the efficiency of the user's work. It becomes possible.
  • the display control unit 124 determines whether or not a third instruction using the input device 102 by the user has been received (step S308).
  • the third instruction is an instruction for designating a target object from a plurality of inspection targets in the target image displayed in the image display area 902. For example, when any region in the image display region 902 is pressed using a mouse, the display control unit 124 receives a third instruction that specifies a combination of item values corresponding to the pressed region as a target of attention. .
  • the display control unit 124 sets the combination of the item values designated by the third instruction as a target of attention (step S309).
  • the display control unit 124 creates display data and displays it on the display device 103 in the same manner as in step S206 (step S305), and returns the process to step S301.
  • the display control unit 124 arbitrarily switches and displays the determination result for each inspection target in accordance with the third instruction from the user.
  • the display control unit 124 can appropriately display the determination results for the inspection target that the user wants to pay attention to even when the determination results for each inspection target cannot be displayed together in the image display area 902.
  • the display control unit 124 determines whether or not a fourth instruction using the input device 102 by the user has been received (step S310).
  • the fourth instruction is an instruction for designating a target object from among recognition error targets in the target image displayed in the image display area 902.
  • the display control unit 124 receives the fourth instruction when the down arrow key or the up arrow key is pressed using the keyboard in a state where the combination of the item values corresponding to the current target of interest is specified. In that case, among the combinations of the item values corresponding to the recognition error target, the item value combination located below or above the combination of the item values corresponding to the current target of interest and arranged closest to the combination.
  • the inspection target is designated as the target of attention.
  • the display control unit 124 sets the inspection target specified by the fourth instruction as a target of attention (step S311).
  • the display control unit 124 creates display data and displays it on the display device 103 in the same manner as in step S206 (step S305), and returns the process to step S301.
  • the display control unit 124 has the relationship indicated by the relationship information in the item values of the specific items detected by the detection unit 122 among the inspection targets in response to the fourth instruction from the user. Judgment results for non-inspected objects are sequentially switched and displayed.
  • the display control unit 124 can appropriately select and display the determination result for the inspection target having an error in the character recognition process even when the determination results for each inspection target cannot be displayed together in the image display area 902. It becomes possible.
  • the user can sequentially select only the inspection objects with errors in the character recognition process and confirm or correct the errors, and the inspection apparatus 100 improves the efficiency of the user's work. It becomes possible.
  • FIG. 11 is a schematic diagram illustrating an example of display data 1100 displayed on the display device 103.
  • FIG. 11 shows display data 1100 displayed when the fourth instruction is received from the state in which the display data 900 shown in FIG. 9 is displayed on the display device 103.
  • each item value combination 906 relating to “product E” is designated as a target of interest and is positioned at the reference position R.
  • the combination 907 of each item value related to “product H” is newly designated as the target of attention.
  • the form image 903 is scroll-displayed so that the combination 907 of each item value related to “product H” is positioned at the reference position R.
  • the display control unit 124 first specifies the interval between each inspection object in the form image based on the detection result of the item value of the specific item.
  • the display control unit 124 reads the relative position of each item value of any specific item from the detection result table 600, and determines the distance between the relative positions of the adjacent item values as the interval between each inspection object in the form image. Calculate as
  • the display control unit 124 detects a ruled line extending between each item value from the form image using a known image processing technique, and determines the distance between the ruled lines adjacent to each other in the form image. You may calculate as a space
  • the display control unit 124 scrolls and displays the form image so that the newly designated attention object is displayed at the reference position R where the attention object designated in the past was displayed.
  • the display control unit 124 scrolls and displays the form image in the specified interval unit. For example, when the newly designated attention object is adjacent to the attention object designated in the past, the display control unit 124 scrolls and displays the form image for the specified interval. Further, for example, when there is one inspection object (expense item) between a newly specified attention object and a previously specified attention object, the display control unit 124 only doubles the specified interval. Scrolls the form image.
  • the display control unit 124 when the display control unit 124 newly receives the target object specification, the target object that has been specified in the past is displayed in the display area 902 of the form image.
  • the form image is scroll-displayed so that it is displayed at the position where it has been. Accordingly, when the inspection target to be noticed is changed, the user can browse the newly specified inspection target without moving the line of sight, and the inspection apparatus 100 improves the convenience for the user. It becomes possible to make it.
  • the display control unit 124 determines whether or not a correction instruction by the user using the input device 102 has been received (step S312).
  • the correction instruction is an instruction to correct any item value among the item values specified as the target of attention to the correction value specified by the user.
  • the display control unit 124 receives a correction instruction when a correction value is input using the keyboard in a state where a specific item value within the target of interest is specified.
  • the display control unit 124 replaces the item value specified by the correction instruction in the detection result table 600 with the correction value.
  • the display control unit 124 refers to the relationship table 520 and identifies the relationship and inspection target corresponding to the item value. Then, the display control unit 124 determines whether or not the error in the character recognition process has been corrected by determining whether or not the combination of the item values related to the specified inspection target has the specified relationship (step S313). When there are a plurality of specified inspection targets, the display control unit 124 determines whether or not the character recognition processing error has been corrected for each specified inspection target.
  • the display control unit 124 creates display data and displays it on the display device 103 (step S305) in the same manner as in step S206, and returns the process to step S301.
  • the display control unit 124 when it is determined that any of the errors has been corrected, the display control unit 124 normally updates the determination result stored in association with the relationship in which the error is corrected and the inspection target in the determination result table 610 from abnormality. (Step S314).
  • the display control unit 124 specifies a recognition error target regarding the current target image (step S303) and determines the target target (step S304).
  • the display control unit 124 creates display data and displays it on the display device 103 in the same manner as in step S206 (step S305), and returns the process to step S301. If the item value that was highlighted because the character recognition process was incorrect was corrected, the item value is no longer highlighted, so the user can reliably recognize that the correction was made correctly. Become.
  • the display control unit 124 determines whether or not there is an error for each form image in which the error is corrected, and performs the RPA process via the communication apparatus 101 on the form image that is determined to have no error. You may transmit to an apparatus (not shown). As a result, the RPA processing apparatus can automatically acquire only a highly reliable form image and execute a predetermined RPA process.
  • the display control unit 124 determines whether or not the user has received an end instruction using the input device 102 (step S315). If the display control unit 124 has not received an end instruction, the display control unit 124 returns the process to step S301. If the display control unit 124 has received an end instruction, the display control unit 124 ends a series of steps.
  • the inspection apparatus 100 determines whether the item name candidate is included in the form image according to the priority order, detects the item name candidate determined to be included first as a specific item, It is determined whether or not the detected item value of each specific item has a correct relationship. As a result, the inspection apparatus 100 can more accurately determine whether the item value is correctly detected from the form image.
  • a receipt or other form contains a plurality of items, and each form has a variety of formats. From such a form, an item value of a specific item cannot be detected by a so-called standard OCR method in which an item value is detected from a predetermined area.
  • the inspection apparatus 100 determines whether the item name candidate is included in the form image in accordance with the priority order, and detects the item name candidate determined to be included first as a specific item. It became possible to identify well.
  • the inspection apparatus 100 can more accurately determine whether or not the item value is correctly detected from the form image, and can improve the reliability of the characters detected from the form image using the OCR technique. It has become possible. Therefore, the inspection apparatus 100 can reduce the confirmation and correction work of the characters detected by the user. In addition, since the detected characters are highly reliable, the user can use the detected characters in the RPA technology to improve work efficiency.
  • FIG. 12 is a schematic diagram showing an example of other display data 1200 displayed on the display device 103.
  • the item values detected by the detection unit 122 for the specific items not having the relationship indicated in the relationship information are displayed in the form image.
  • the display data 1200 shown in FIG. 12 only the item value of the specific item detected for the target of interest is displayed in the form image.
  • the item value of each specific item detected for the target object is displayed in an area adjacent to the area in which the item value of the specific item related to the target object is displayed in the form image.
  • the display control unit 124 may display the item value of the specific item detected for the target object in the area adjacent to the area where the item value of the specific item related to the target object is displayed in the form image. Good. Thereby, the user can easily identify the inspection object to be noticed and other inspection objects, and the inspection apparatus 100 can improve the convenience for the user.
  • the image designation button and the item value of the specific item corresponding to the form image in which the character recognition process is wrong are highlighted.
  • the display data 1200 shown in FIG. 12 only the image designation button and the target object corresponding to the target image are highlighted, and are distinguished from the image specification button and the inspection target other than the target image, respectively. It is displayed as possible.
  • the display control unit 124 displays the image designation button corresponding to the target image so as to be distinguishable from the image designation button corresponding to the form image other than the target image, and can distinguish the target target from the inspection target other than the target target. May be displayed. Accordingly, the user can easily identify the form image and inspection object of interest and the other form image and inspection object, and the inspection apparatus 100 can improve the convenience of the user. Become.
  • the display control unit 124 does not select a new target of attention from among recognition error targets, but newly selects an inspection target adjacent to the current inspection target. It may be a target of attention. Also in this case, the display control unit 124 scrolls and displays the form image so that the newly designated attention object is displayed at the reference position where the attention object designated in the past was displayed.
  • FIG. 13 is a block diagram showing a schematic configuration of the processing circuit 130 in the inspection apparatus 100 according to another embodiment.
  • the processing circuit 130 is used instead of the CPU 120 and executes determination processing and display processing instead of the CPU 120.
  • the processing circuit 130 includes an image acquisition circuit 131, a detection circuit 132, a determination circuit 133, a display control circuit 134, and the like.
  • the image acquisition circuit 131 is an example of an image acquisition unit and has the same function as the image acquisition unit 121.
  • the image acquisition circuit 131 acquires a form image from the imaging device 104 and stores the acquired form image in the storage device 110.
  • the detection circuit 132 is an example of a detection unit and has the same function as the detection unit 122.
  • the detection circuit 132 reads a form image from the storage device 110, detects a specific item from the read form image, and stores the detection result in the storage device 110.
  • the determination circuit 133 is an example of a determination unit and has the same function as the determination unit 123.
  • the determination circuit 133 reads the detection result from the storage device 110, determines whether or not the item value of each specific item has a predetermined relationship based on the read detection result, and stores the determination result in the storage device 110. .
  • the display control circuit 134 is an example of a display control unit, and has the same function as the display control unit 124.
  • the display control circuit 134 reads the form image, the detection result, and the determination result from the storage device 110, and displays the display data on the display device 103 based on the read information.
  • the display control circuit 134 accepts various instructions from the input device 102, changes display data based on the accepted instructions, and updates the detection results and determination results stored in the storage device 110.
  • the inspection apparatus 100 can determine more accurately whether or not the item value is correctly detected from the form image.
  • the form only needs to include item values of a plurality of items, and the form may be a document other than an invoice such as an estimate, a purchase order, and an invoice.
  • the inspection apparatus 100 may be an apparatus that does not have an imaging device, such as a PC (Personal Computer), a notebook PC, or a portable information terminal.
  • the inspection apparatus 100 communicates with an imaging apparatus such as a tablet PC, a multifunctional mobile phone, or a scanner apparatus or a server apparatus via the communication apparatus 101, and receives a form image from each apparatus. To get it.
  • the inspection apparatus 100 is an apparatus having an imaging device such as a tablet PC or a multi-function mobile phone
  • the inspection apparatus 100 communicates with the scanner apparatus or the server apparatus via the communication apparatus 101, and each form image is displayed. You may acquire by receiving from an apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Document Processing Apparatus (AREA)

Abstract

帳票画像から項目値が正しく検出されたか否かをより精度良く判定することを可能とする。検査装置は、複数の要素項目毎に項目名候補が優先順位に従って記憶されるとともに、複数の特定項目の項目値間の関係を示す関係情報を記憶する記憶部と、項目名候補の何れかが含まれる帳票画像を取得する画像取得部と、複数の要素項目毎に、対応する項目名候補が帳票画像に含まれているかを優先順位に従って順次判定し、最初に含まれていると判定された項目名候補を、要素項目に対応した特定項目として検出する検出部と、検出部によって検出された複数の特定項目のそれぞれの項目値が、関係情報に示された関係を有するか否かを判定する判定部と、判定部による判定結果を表示する表示制御部と、を有する。

Description

検査装置、制御方法及び制御プログラム
　本開示は、検査装置、制御方法及び制御プログラムに関し、特に、帳票画像を検査する検査装置、制御方法及び制御プログラムに関する。
　金融機関、生命保険会社、損害保険会社等では、顧客から提供された領収書等の帳票を担当者が手作業によりデータ化している。各機関、会社によっては、顧客から膨大な数の帳票が提供されるため、担当者の業務負担は大きく、帳票のデータ化作業の効率化に対する要望が高まっている。そのため、近年、帳票から文字を読み取るＯＣＲ（Optical Character Recognition）技術が利用されている。さらに、最近では、帳票から読み取った文字を利用して担当者の作業を自動化するＲＰＡ（Robotic Process Automation）技術も注目されている。
　画像から抽出した表領域に含まれる文字列を認識するデジタル複写機が開示されている。このデジタル複写機は、数字からなる文字列を変換した数値データを、特定の文字列に基づいて定義された演算式に基づいて演算し、演算値と検算対象の数値データとを比較する。そして、デジタル複写機は、検算の結果、演算値と検算対象の数値データとが一致しない場合には、その旨をユーザに報知する（特許文献１を参照）。
特開２００１－３２５５６２号公報
　一般に、領収書等の帳票には複数の項目が含まれており、各帳票は多種多様なフォーマットを有している。このような多種多様なフォーマットを有する帳票が撮像された帳票画像を処理する装置において、各項目の項目値が正しく検出されたか否かをより精度良く判定できることが望まれている。
　検査装置、制御方法及び制御プログラムの目的は、帳票画像から項目値が正しく検出されたか否かをより精度良く判定することを可能とすることにある。
　実施形態の一側面に係る検査装置は、複数の要素項目毎に項目名候補が優先順位に従って記憶されるとともに、複数の特定項目の項目値間の関係を示す関係情報を記憶する記憶部と、項目名候補の何れかが含まれる帳票画像を取得する画像取得部と、複数の要素項目毎に、対応する項目名候補が帳票画像に含まれているかを優先順位に従って順次判定し、最初に含まれていると判定された項目名候補を、要素項目に対応した特定項目として検出する検出部と、検出部によって検出された複数の特定項目のそれぞれの項目値が、関係情報に示された関係を有するか否かを判定する判定部と、判定部による判定結果を表示する表示制御部と、を有する。
　また、実施形態の一側面に係る制御方法は、記憶部を有する検査装置の制御方法であって、複数の要素項目毎に項目名候補が優先順位に従って記憶部に記憶するとともに、複数の特定項目の項目値間の関係を示す関係情報を記憶部に記憶し、項目名候補の何れかが含まれる帳票画像を取得し、複数の要素項目毎に、対応する項目名候補が帳票画像に含まれているかを優先順位に従って順次判定し、最初に含まれていると判定された項目名候補を、要素項目に対応した特定項目として検出し、検出部によって検出された複数の特定項目のそれぞれの項目値が、関係情報に示された関係を有するか否かを判定し、判定部による判定結果を表示することを含む。
　また、実施形態の一側面に係る制御プログラムは、記憶部を有する検査装置の制御プログラムであって、複数の要素項目毎に項目名候補が優先順位に従って記憶部に記憶するとともに、複数の特定項目の項目値間の関係を示す関係情報を記憶部に記憶し、項目名候補の何れかが含まれる帳票画像を取得し、複数の要素項目毎に、対応する項目名候補が帳票画像に含まれているかを優先順位に従って順次判定し、最初に含まれていると判定された項目名候補を、要素項目に対応した特定項目として検出し、検出部によって検出された複数の特定項目のそれぞれの項目値が、関係情報に示された関係を有するか否かを判定し、判定部による判定結果を表示することを検査装置に実行させる。
　本実施形態によれば、検査装置、制御方法及び制御プログラムは、帳票画像から項目値が正しく検出されたか否かをより精度良く判定することが可能となる。
　本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。
検査装置１００の概略構成の一例を示す図である。 記憶装置１１０及びＣＰＵ１２０の概略構成を示す図である。 帳票画像３００の一例を示す図である。 帳票画像４００の一例を示す図である。 優先順位テーブル５００のデータ構造の一例を示す図である。 配置テーブル５１０のデータ構造の一例を示す図である。 関係テーブル５２０のデータ構造の一例を示す図である。 検出結果テーブル６００のデータ構造の一例を示す図である。 判定結果テーブル６１０のデータ構造の一例を示す図である。 判定処理の動作の例を示すフローチャートである。 表示処理の動作の例を示すフローチャートである。 表示データ９００の一例を示す模式図である。 受付処理の動作の例を示すフローチャートである。 表示データ１１００の一例を示す模式図である。 他の表示データ１２００の一例を示す模式図である。 処理回路１３０の概略構成を示すブロック図である。
　以下、本開示の一側面に係る検査装置について図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
　図１は、実施形態に従った検査装置１００の概略構成の一例を示す図である。
　検査装置１００は、タブレットＰＣ、多機能携帯電話（いわゆるスマートフォン）等の携帯可能な装置であり、その利用者により使用され、帳票画像を処理する。帳票画像は、帳票を表す画像データである。本実施形態では、帳票として多種レイアウトの帳票が使用される。多種レイアウトの帳票とは、複数の異なる機関、会社等によって個別に作成され、帳票毎に各項目の記載位置が異なり且つ各項目の類義語が複数存在する帳票のことをいう。
　検査装置１００は、通信装置１０１と、入力装置１０２と、表示装置１０３と、撮像装置１０４と、記憶装置１１０と、ＣＰＵ（Central Processing Unit）１２０と、処理回路１３０とを有する。以下、検査装置１００の各部について詳細に説明する。
　通信装置１０１は、主に２．４ＧＨｚ帯、５ＧＨｚ帯等を感受帯域とするアンテナを含む、通信インタフェース回路を有する。通信装置１０１は、アクセスポイント等との間でＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）８０２．１１規格の無線通信方式に基づいて無線通信を行う。そして、通信装置１０１は、アクセスポイントを介して外部装置（不図示）とデータの送受信を行う。通信装置１０１は、アクセスポイントを介して外部装置から受信したデータをＣＰＵ１２０に供給し、ＣＰＵ１２０から供給されたデータをアクセスポイントを介して外部装置に送信する。なお、通信装置１０１は、外部装置と通信できるものであればどのようなものでもよい。例えば、通信装置１０１は、携帯電話通信方式に従って不図示の基地局装置を介して外部装置と通信するものでもよいし、有線ＬＡＮ通信方式に従って外部装置と通信するものでもよい。
　入力装置１０２は、操作部の一例であり、タッチパネル式の入力装置、キーボード、マウス等の入力デバイス及び入力デバイスから信号を取得するインタフェース回路を有する。入力装置１０２は、利用者により入力された入力データを受け付け、受け付けた入力データに応じた信号をＣＰＵ１２０に対して出力する。
　表示装置１０３は、表示部の一例であり、液晶、有機ＥＬ（Electro-Luminescence）等から構成されるディスプレイ及びディスプレイに画像データ又は各種の情報を出力するインタフェース回路を有する。表示装置１０３は、ＣＰＵ１２０と接続されて、ＣＰＵ１２０から出力された画像データをディスプレイに表示する。なお、タッチパネルディスプレイを用いて、入力装置１０２と表示装置１０３を一体に構成してもよい。
　撮像装置１０４は、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）からなる撮像素子を備える縮小光学系タイプの撮像センサと、Ａ／Ｄ変換器とを有する。撮像装置１０４は、撮像部の一例であり、ＣＰＵ１２０からの指示に従って帳票を順次撮影して帳票画像を順次生成する（例えば３０フレーム／秒）。撮像センサは、撮影したアナログの画像信号を生成してＡ／Ｄ変換器に出力する。Ａ／Ｄ変換器は、出力されたアナログの画像信号をアナログデジタル変換してデジタルの画像データを順次生成し、ＣＰＵ１２０に出力する。なお、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）からなる撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）を利用してもよい。以下では、撮像装置１０４により撮影されて出力されたデジタルの画像データを帳票画像と称する。
　記憶装置１１０は、記憶部の一例である。記憶装置１１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶装置１１０には、検査装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ－ＲＯＭ（compact disk ROM）、ＤＶＤ－ＲＯＭ（digital versatile disk ROM）等のコンピュータ読み取り可能な可搬型記録媒体からインストールされてもよい。コンピュータプログラムは、公知のセットアッププログラム等を用いて記憶装置１１０にインストールされる。また、記憶装置１１０には、データとして、優先順位テーブル、配置テーブル、関係テーブル、検出結果テーブル及び判定結果テーブル等が記憶される。優先順位テーブル、配置テーブル、関係テーブル、検出結果テーブル及び判定結果テーブルの詳細については後述する。
　ＣＰＵ１２０は、予め記憶装置１１０に記憶されているプログラムに基づいて動作する。ＣＰＵ１２０は、汎用プロセッサであってもよい。なお、ＣＰＵ１２０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、ＣＰＵ１２０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等が用いられてもよい。
　ＣＰＵ１２０は、通信装置１０１、入力装置１０２、表示装置１０３、撮像装置１０４及び記憶装置１１０と接続され、これらの各部を制御する。ＣＰＵ１２０は、通信装置１０１を介したデータ送受信制御、入力装置１０２の入力制御、表示装置１０３の出力制御、撮像装置１０４の撮像制御及び記憶装置１１０の制御等を行う。また、ＣＰＵ１２０は、帳票画像を処理する。
　図２は、検査装置１００の記憶装置１１０及びＣＰＵ１２０の概略構成を示す図である。
　図２に示すように、記憶装置１１０には、画像取得プログラム１１１、検出プログラム１１２、判定プログラム１１３及び表示制御プログラム１１４等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。ＣＰＵ１２０は、記憶装置１１０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、ＣＰＵ１２０は、画像取得部１２１、検出部１２２、判定部１２３及び表示制御部１２４として機能する。
　図３は、検査装置１００が処理する帳票画像３００の一例を示す図であり、図４は、検査装置１００が処理する帳票画像４００の一例を示す図である。
　図３、図４に示す帳票画像３００、４００には、帳票として、所定の機関又は会社等により発行された請求書が撮像されている。各帳票には、複数の要素項目３０１毎に、各要素項目３０１に対応する項目値３０２が表される。要素項目３０１は、帳票が表す各情報を所定の規則に従って分類した項目である。
　帳票画像３００、４００には、要素項目３０１として、数量、単価、金額及び請求金額（税込）が含まれる。数量、単価、金額、請求金額（税込）の各要素項目の項目名は、帳票画像３００では「単位数」、「単価」、「料金」、「合計」であり、帳票画像４００では「数量」、「単価」、「金額」、「総計」である。また、数量、単価、金額の各要素項目３０１は、帳票画像３００では左から単価、数量、金額の順に配置され、帳票画像４００では左から数量、単価、金額の順に配置される。このように、本実施形態では、帳票として、複数の異なる機関、会社等によって個別に作成され、帳票毎に各要素項目３０１の記載位置が異なり且つ各要素項目３０１の類義語が複数存在する、多種レイアウトの帳票が使用される。
　帳票画像３００、４００において、請求金額（税込）の要素項目３０１には、一つの項目値３０２のみが示されている。一方、数量、単価、金額の各要素項目３０１には、複数の費目３０３毎に項目値３０２が示されており、要素項目３０１毎に複数の項目値３０２が示されている。帳票画像３００、４００には、費目３０３として各商品及び消費税が含まれる。
　図５Ａは、優先順位テーブル５００のデータ構造の一例を示す図である。
　優先順位テーブル５００は、検査装置１００の提供者により事前に設定されて記憶装置１１０に記憶される。図５Ａに示すように、優先順位テーブル５００には、複数の要素項目毎に、各要素項目の識別情報（項目ＩＤ）、項目内容、及び、一又は複数の項目名候補等が関連付けて記憶される。各項目名候補は、優先順位に従って記憶される。
　項目ＩＤは、各要素項目を識別するための番号である。項目内容は、各要素項目の内容を示す。項目名候補は、帳票画像から要素項目の項目値を検出する際に、帳票画像に含まれるか否かが検査される名称であり、帳票画像において記載されている各要素項目の名称（項目名）の候補である。優先順位は、帳票画像から要素項目の項目値を検出する際に、優先順位テーブル５００に規定された項目名候補が検査される順序を規定するための順位である。この例では、数値「１」の優先順位が最も高く、数値が大きくなる程、優先順位が低くなるように、各項目名候補に優先順位が割り当てられている。
　図５Ｂは、配置テーブル５１０のデータ構造の一例を示す図である。
　配置テーブル５１０は、検査装置１００の提供者により事前に設定されて記憶装置１１０に記憶される。図５Ｂに示すように、配置テーブル５１０には、複数の要素項目毎に、各要素項目の項目ＩＤ及び配置情報等が関連付けて記憶される。
　配置情報は、帳票画像における各特定項目の項目名と各項目名に対応する項目値の表示位置関係を規定するための情報である。特定項目は、各要素項目に対して、優先順位テーブル５００に規定された各要素項目の項目名候補の内、帳票画像から実際に検出された項目名候補である。配置情報として、例えば項目名に対する項目値の相対位置（例えば、上方、下方、右方、左方、右上方、右下方、左上方、左下方に所定範囲）及び条件（例えば数値列）等が規定される。配置情報は、帳票画像から特定項目の項目値を検出する際に、特定項目に対応する項目値を特定するために使用される。
　図５Ｃは、関係テーブル５２０のデータ構造の一例を示す図である。
　関係テーブル５２０は、検査装置１００の提供者により事前に設定されて記憶装置１１０に記憶される。図５Ｃに示すように、関係テーブル５２０には、複数の特定項目の項目値間の関係毎に、各関係の識別情報（関係ＩＤ）及び関係情報等が関連付けて記憶される。
　関係ＩＤは、各関係を識別するための番号である。関係情報は、複数の特定項目の項目値間の関係を示す。例えば、関係情報には、一つの特定項目の項目値と、他の二つ以上の特定項目の項目値との間の関係が示される。図５Ｃに示す例では、各特定項目の項目名に対する相対位置が同一である三つの項目値（金額、数量、単価）の組合せについて、一つの特定項目の項目値（金額）が、他の二つの特定項目の項目値（数量、単価）の積と等しいことが示されている。なお、関係情報には、一つの特定項目の項目値と、他の特定項目の複数の項目値との間の関係が示されてもよい。図５Ｃに示す例では、一つの特定項目の項目値（請求金額（税込））が、他の特定項目の項目値（各費目の金額）の総和と等しいことが示されている。また、関係情報には、一つの特定項目の項目値と、他の一つの特定項目の項目値との間の関係が示されてもよい。その場合、例えば、一つの特定項目の項目値（請求金額（税込））が、他の一つの特定項目の項目値（請求金額（税抜））と所定値（１＋消費税率）の積と等しいことが示される。
　図６Ａは、検出結果テーブル６００のデータ構造の一例を示す図である。
　検出結果テーブル６００は、判定処理において検査装置１００により処理された帳票画像毎に作成されて記憶装置１１０に記憶される。図６Ａに示すように、検出結果テーブル６００には、優先順位テーブルに記憶された要素項目毎に、項目ＩＤ、特定項目の項目名、項目値及び項目値の相対位置等が関連付けて記憶される。
　特定項目の項目名は、判定処理において各要素項目に対して検出された特定項目の項目名である。項目値は、判定処理において各特定項目に対して検出された項目値である。項目値の相対位置として、帳票画像内における各特定項目の項目名の重心位置から見た各項目値の重心位置の水平位置及び垂直位置（座標）が記憶される。各特定項目に対して項目値が複数検出された場合、検出された項目値毎に、項目値及び相対位置が記憶される。
　図６Ｂは、判定結果テーブル６１０のデータ構造の一例を示す図である。
　判定結果テーブル６１０は、判定処理において検査装置１００により処理された帳票画像毎に作成されて記憶装置１１０に記憶される。図６Ｂに示すように、判定結果テーブル６１０には、関係テーブル５２０に記憶された各関係ＩＤ、各検査対象の識別情報（検査対象ＩＤ）、及び、判定結果等が関連付けて記憶される。
　検査対象ＩＤは、各検査対象を識別するための番号である。検査対象は、各特定項目の項目値が関係情報に示された関係を有するか否かが検査される対象である。検査対象として、各特定項目の項目値の組合せが設定される。判定結果は、検査対象毎に、検出された各項目値が各関係を有するか否かを示す。各関係を有する場合には判定結果として正常が設定され、各関係を有さない場合には判定結果として異常が設定される。
　図７は、検査装置１００による判定処理の動作の例を示すフローチャートである。
　以下、図７に示したフローチャートを参照しつつ、検査装置１００による判定処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め記憶装置１１０に記憶されているプログラムに基づき主にＣＰＵ１２０により検査装置１００の各要素と協働して実行される。
　最初に、画像取得部１２１は、撮像装置１０４に帳票を撮像させて帳票画像を生成させ、撮像装置１０４から帳票画像を取得し、取得した帳票画像を記憶装置１１０に記憶する（ステップＳ１０１）。撮像装置１０４に撮像させる帳票は、図３、４に示したような多種レイアウトの帳票であり、帳票画像には各要素項目の項目名候補の何れかが含まれる。
　次に、検出部１２２は、帳票画像に含まれる各文字列を検出する（ステップＳ１０２）。検出部１２２は、公知のＯＣＲ技術を利用して帳票画像から文字を検出し、検出された位置が相互に所定距離内である文字同士をグループ化して文字列として検出する。検出部１２２は、検出した各文字列を帳票画像内の配置位置と関連付けて記憶装置１１０に記憶する。
　検出部１２２は、優先順位テーブル５００に記憶された要素項目毎に、ステップＳ１０３～Ｓ１０９の処理を実行する。まず、検出部１２２は、優先順位テーブル５００を読み出し、優先順位テーブル５００から何れかの要素項目を抽出する（ステップＳ１０３）。
　検出部１２２は、抽出した要素項目に関連付けられた項目名候補毎に、ステップＳ１０４～Ｓ１０６の処理を実行する。まず、検出部１２２は、優先順位テーブル５００から、優先順位に従って、抽出した要素項目の項目名候補を抽出する（ステップＳ１０４）。検出部１２２は、抽出した要素項目に関連付けて記憶された項目名候補を、優先順位が高い順に一つずつ抽出する。
　次に、検出部１２２は、抽出した項目名候補が、帳票画像から検出した何れかの文字列に含まれているか否かを判定する（ステップＳ１０５）。
　抽出した項目名候補が帳票画像から検出した何れの文字列にも含まれていない場合、検出部１２２は、抽出した要素項目の全ての項目名候補を優先順位テーブル５００から抽出済みであるか否かを判定する（ステップＳ１０６）。全ての項目名候補を抽出済みである場合、検出部１２２は、判定処理に失敗したと判定し、その旨を表示装置１０３に表示して、一連のステップを終了する。一方、全ての項目名候補をまだ抽出していない場合、検出部１２２は、処理をステップＳ１０４に戻し、ステップＳ１０４～Ｓ１０５の処理を繰り返す。
　一方、抽出した項目名候補が帳票画像から検出した何れかの文字列に含まれている場合、検出部１２２は、その項目名候補を、その要素項目に対応した特定項目として検出する（ステップＳ１０７）。検出部１２２は、検出した項目名候補を検出結果テーブル６００に特定項目として記憶する。
　次に、検出部１２２は、検出した特定項目に対応する項目値を検出する（ステップＳ１０８）。検出部１２２は、配置テーブル５１０から、特定項目が検出された要素項目の配置情報を読み出す。検出部１２２は、特定項目が検出された帳票画像内の位置に対して、その配置情報に示される相対位置に存在し且つその配置情報に示される条件を満たす文字列を、検出した特定項目に対応する項目値として検出する。検出部１２２は、検出した項目値、及び、特定項目が検出された帳票画像内の位置に対する項目値の相対位置を各特定項目と関連付けて検出結果テーブル６００に記憶する。なお、検出部１２２は、公知の画像処理技術を利用して、帳票画像から表の罫線を検出し、検出した罫線に基づいて、特定項目に対応する項目値が含まれる範囲を特定し、特定した範囲内でのみ項目値を検出してもよい。
　帳票画像に複数の検査対象が含まれており、検出部１２２が複数の検査対象毎に項目値を検出した場合、各項目値及び各項目値の相対位置を各特定項目と関連付けて検出結果テーブル６００に記憶する。即ち、検出部１２２は、複数の検査対象毎に、各要素項目に対応した特定項目の項目値を検出する。
　次に、検出部１２２は、優先順位テーブル５００に記憶された全ての要素項目に対して処理を実行したか否かを判定する（ステップＳ１０９）。まだ全ての要素項目に対して処理を実行していない場合、検出部１２２は、処理をステップＳ１０３に戻し、ステップＳ１０３～Ｓ１０９の処理を繰り返す。このように、検出部１２２は、複数の要素項目毎に、対応する項目名候補が帳票画像に含まれているかを優先順位に従って順次判定し、最初に含まれていると判定された項目名候補を、要素項目に対応した特定項目として検出する。
　一方、検出部１２２が全ての要素項目に対して処理を実行した場合、判定部１２３は、関係テーブル５２０から関係情報を抽出する。そして、判定部１２３は、抽出した関係情報に基づく検査の検査対象とする、各特定項目の項目値の組合せを検出結果テーブル６００から抽出する（ステップＳ１１０）。検査対象とする項目値の組合せが複数ある場合、判定部１２３は、各組合せを一つずつ抽出する。
　次に、判定部１２３は、抽出した各特定項目の項目値が、抽出した関係情報に示された関係を有するか否かを判定する（ステップＳ１１１）。
　各特定項目の項目値が関係情報に示された関係を有する場合、判定部１２３は、ステップＳ１０２で実行した文字認識処理が正しかったと判定する（ステップＳ１１２）。一方、各特定項目の項目値が関係情報に示された関係を有さない場合、判定部１２３は、ステップＳ１０２で実行した文字認識処理が誤っていたと判定する（ステップＳ１１３）。
　次に、判定部１２３は、検査対象ＩＤを生成し、判定結果を、関係情報に対応する関係ＩＤ及び生成した検査対象ＩＤと関連付けて判定結果テーブル６１０に記憶する（ステップＳ１１４）。判定部１２３は、文字認識処理が正しかったと判定した場合、判定結果として正常を記憶し、文字認識処理が誤っていたと判定した場合、判定結果として異常を記憶する。
　次に、判定部１２３は、関係テーブル５２０に記憶された全ての関係情報に基づく、全ての検査対象に対する検査が完了したか否かを判定する（ステップＳ１１５）。まだ全ての検査対象に対する検査が完了していない場合、判定部１２３は、処理をステップＳ１１０に戻し、ステップＳ１１０～Ｓ１１４の処理を繰り返す。このように、判定部１２３は、検出部１２２によって検出された各特定項目の項目値が、関係情報に示された関係を有するか否かを判定する。一方、全ての検査対象に対する検査が完了した場合、判定部１２３は、一連のステップを終了する。
　なお、判定部１２３は、帳票画像毎に文字認識処理に誤りがあったか否かを判定し、文字認識処理に誤りがなかったと判定された帳票画像を通信装置１０１を介してＲＰＡ処理装置（不図示）に送信してもよい。これにより、ＲＰＡ処理装置は、信頼性の高い帳票画像を自動的に取得して、所定のＲＰＡ処理を実行することが可能となる。
　図３に示した帳票画像３００に対して判定処理が実行されると、ステップＳ１０７において、特定項目として「単位数」、「単価」、「料金」、「合計」が検出される。ステップＳ１０８において、「単位数」、「単価」、「料金」については商品Ａ～Ｊに対応する項目値が検出され、「合計」については一つの項目値（64,800）が検出される。そして、ステップＳ１１１において、商品Ａ～Ｊについて「単位数×単価＝料金」が成立するかと、「料金の総和＝合計」が成立するかが判定される。
　一方、図４に示した帳票画像４００に対して判定処理が実行されると、ステップＳ１０７において、特定項目として「数量」、「単価」、「金額」、「総計」が検出される。ステップＳ１０８において、「数量」、「単価」については商品Ａ～Ｊに対応する項目値が検出され、「金額」については商品Ａ～Ｊ及び消費税に対応する項目値が検出され、「総計」については一つの項目値（64,800）が検出される。そして、ステップＳ１１１において、商品Ａ～Ｊについて「数量×単価＝金額」が成立するかと、「金額の総和＝総計」が成立するかが判定される。
　多種レイアウトの帳票では、「合計」、「総計」等のように相互に類似した意味を有する用語が、「請求金額（税込）」、「請求金額（税抜）」等のように異なる意味を示す項目名として用いられる可能性がある。例えば、要素項目「請求金額（税込）」の項目名を「合計」に固定して項目値を検出すると、帳票画像３００からは対応する項目値が正しく検出されるが、帳票画像４００からは対応する項目値が正しく検出されない。一方、要素項目「請求金額（税込）」の項目名を「総計」に固定して項目値を検出すると、帳票画像４００からは対応する項目値が正しく検出されるが、帳票画像３００からは対応する項目値が正しく検出されない。
　一方、検査装置１００は、各要素項目の項目名候補が帳票画像に含まれているかを優先順位に従って順次判定し、最初に含まれていると判定された項目名候補を特定項目として検出する。これにより、検査装置１００は、帳票ごとに各項目の名称が異なる多種レイアウトの帳票を撮像した帳票画像３００、４００のそれぞれに対して、帳票画像から項目値が正しく検出されたか否かを精度良く判定することができる。
　図８は、検査装置１００による表示処理の動作の例を示すフローチャートである。
　以下、図８に示したフローチャートを参照しつつ、検査装置１００による表示処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め記憶装置１１０に記憶されているプログラムに基づき主にＣＰＵ１２０により検査装置１００の各要素と協働して実行される。表示処理は、利用者による入力装置１０２を用いた、判定結果の表示要求が受け付けられた場合に実行される。
　最初に、表示制御部１２４は、記憶装置１１０から、判定処理が実行された全ての帳票画像に対応する検出結果テーブル６００及び判定結果テーブル６１０を抽出する（ステップＳ２０１）。
　次に、表示制御部１２４は、抽出した各判定結果テーブル６１０から判定結果を読み出し、文字認識処理に誤りがあった帳票画像を認識誤り画像として特定する（ステップＳ２０２）。
　次に、表示制御部１２４は、特定した認識誤り画像の中から、特定の一つの画像を注目画像に決定する（ステップＳ２０３）。例えば、表示制御部１２４は、認識誤り画像の中で、判定処理が実行された時刻が最も早い（前である）画像を注目画像に決定する。なお、文字認識処理に誤りがあった帳票画像が存在しない場合、表示制御部１２４は、文字認識処理に誤りがなかった帳票画像の中から、特定の一つの画像を注目画像に設定する。
　次に、表示制御部１２４は、注目画像に対応する判定結果テーブル６１０から判定結果を読み出し、文字認識処理が誤っていた検査対象を認識誤り対象として特定する（ステップＳ２０４）。
　次に、表示制御部１２４は、特定した認識誤り対象の中から、特定の一つの検査対象を注目対象に決定する（ステップＳ２０５）。例えば、表示制御部１２４は、認識誤り対象の中で、判定結果テーブル６１０において最も先頭側に記憶されている検査対象を注目対象に決定する。なお、文字認識処理に誤りがあった検査対象が存在しない場合、表示制御部１２４は、文字認識処理に誤りがなかった検査対象の中から、特定の一つの検査対象を注目対象に設定する。
　次に、表示制御部１２４は、抽出した帳票画像と、特定した認識誤り画像及び認識誤り対象と、決定した注目画像及び注目対象とに基づいて、判定部１２３による判定結果を表示するための表示データを作成する。そして、表示制御部１２４は、作成した表示データを表示装置１０３に表示する（ステップＳ２０６）。
　図９は、表示装置１０３に表示される表示データ９００の一例を示す模式図である。
　図９に示すように、表示装置１０３の表示画面には、表示データ９００が表示される。表示データ９００には、画像指定ボタン９０１、画像表示領域９０２が含まれる。画像指定ボタン９０１は、判定処理が実行された各帳票画像を注目画像として指定するためのボタンであり、判定処理が実行された各帳票画像に対応して表示される。例えば、各画像指定ボタン９０１は、対応する帳票画像に対する判定処理が実行された時刻順に並べて表示される。画像指定ボタン９０１の内、認識誤り画像に対応するボタンは、他の画像に対応するボタンと区別可能に強調表示される。
　画像表示領域９０２には、画像指定ボタン９０１により注目画像として指定された帳票画像９０３と、判定処理における判定結果とが表示される。画像表示領域９０２には、帳票画像９０３の一部又は全部が表示される。画像表示領域９０２において、帳票画像９０３は、注目対象として指定された項目値の組合せが基準位置Ｒに位置するように表示される。注目対象として指定された項目値の組合せが水平方向に並ぶ場合、基準位置Ｒは、例えば画像表示領域９０２の垂直方向の略中央位置に設定される。また、注目対象として指定された項目値の組合せが垂直方向に並ぶ場合、基準位置Ｒは、例えば画像表示領域９０２の水平方向の略中央位置に設定される。
　図９に示す帳票画像９０３では、判定処理において「商品Ｅ」及び「商品Ｈ」について「数量×単価＝金額」が成立せず、「料金の総和＝合計」が成立せず、他の関係が成立している。
　表示制御部１２４は、検出部１２２によって検出された各特定項目の項目値が、関係情報に示された関係を有さない場合、帳票画像において、その特定項目の項目値を、他の特定項目の項目値と区別可能に、強調表示する。表示制御部１２４は、複数の検査対象の内の特定の検査対象について、検出部１２２によって検出された各特定項目の項目値が、関係情報に示された関係を有さない場合、帳票画像において、その特定の検査対象に対応する各特定項目の項目値を強調表示する。図９に示す例では、「商品Ｅ」及び「商品Ｈ」について「数量×単価＝金額」が成立していないため、「商品Ｅ」に対応する項目値９０６と、「商品Ｈ」に対応する項目値９０７が強調表示されている。また、「料金の総和＝総計」も成立していないため、「金額」に対応する項目値９０４と、「総計」に対応する項目値９０５とが強調表示されている。
　また、表示制御部１２４は、関係情報が一つの特定項目の一つの項目値と、他の特定項目の複数の項目値との間の関係とを示す場合、その一つの特定項目の一つの項目値と、他の特定項目の複数の項目値とを全て強調表示する。図９に示す例では、「料金の総和＝合計」が成立していないため、「金額」に対応する各項目値９０４と、「総計」に対応する項目値９０５とが強調表示されている。
　表示制御部１２４は、各特定項目の項目値を、他の特定項目の項目値と異なる色で表示することにより、強調表示する。なお、表示制御部１２４は、各特定項目の項目値を、他の特定項目の項目値と異なるフォント又はサイズで表示することにより、強調表示してもよい。これらにより、利用者は、文字認識処理が誤っていた項目値を容易に識別することが可能となり、検査装置１００は、利用者の利便性を向上させることが可能となる。
　また、表示制御部１２４は、帳票画像において、関係情報に示された関係を有さない特定項目の項目値が表示される領域と隣接する領域に、その特定項目について検出部１２２により検出された項目値を表示する。図９に示す例では、「金額」に対応する項目値９０４及び「総計」に対応する項目値９０５が表示された領域と隣接する領域に、検出部１２２により検出された各項目値９０８及び９０９が表示されている。同様に、「商品Ｅ」に対応する項目値９０６及び「商品Ｈ」に対応する項目値９０７が表示された領域と隣接する領域に、検出部１２２により検出された各項目値９１０及び９１１が表示される。これにより、利用者は、どの項目値の検出結果が誤っているかを容易に認識することが可能となり、検査装置１００は、利用者の利便性を向上させることが可能となる。
　また、表示制御部１２４は、帳票画像において、文字認識処理が誤っていた特定項目の項目値を強調表示すること、又は、その特定項目について検出部１２２により検出された項目値を表示することにより、帳票画像上に判定結果を重ねて表示している。これにより、利用者は、各項目値に対する文字認識処理が正しかったか否かを視覚的に認識することが可能となり、検査装置１００は、利用者の利便性を向上させることが可能となる。
　次に、表示制御部１２４は、受付処理を実行し、一連のステップを終了する（ステップＳ２０７）。表示制御部１２４は、受付処理において、利用者による指示に応じて表示データを変更する。受付処理の詳細については後述する。
　図１０は、受付処理の動作の例を示すフローチャートである。図１０に示す受付処理は、図９に示す表示処理のステップＳ２０７で実行される。
　最初に、表示制御部１２４は、利用者による入力装置１０２を用いた第１指示を受け付けたか否かを判定する（ステップＳ３０１）。第１指示は、画像表示領域９０２に表示する注目画像を指定する指示である。表示制御部１２４は、例えばマウスを用いて何れかの画像指定ボタン９０１が押下された場合に、画像指定ボタン９０１に対応する帳票画像を注目画像として指定する第１指示を受け付ける。
　第１指示を受け付けた場合、表示制御部１２４は、第１指示で指定された帳票画像を注目画像に設定する（ステップＳ３０２）。次に、表示制御部１２４は、ステップＳ２０４、Ｓ２０５と同様にして、新たに設定した注目画像に関する認識誤り対象を特定し（ステップＳ３０３）、注目対象を決定する（ステップＳ３０４）。次に、表示制御部１２４は、ステップＳ２０６と同様にして、表示データを作成し、表示装置１０３に表示し（ステップＳ３０５）、処理をステップＳ３０１へ戻す。このように、表示制御部１２４は、利用者による第１指示に応じて、各帳票画像に対する判定結果を任意に切り替えて表示する。
　一方、第１指示を受け付けていない場合、表示制御部１２４は、利用者による入力装置１０２を用いた第２指示を受け付けたか否かを判定する（ステップＳ３０６）。第２指示は、画像表示領域９０２に表示する注目画像を認識誤り画像の中から指定する指示である。表示制御部１２４は、例えば、現在の注目画像に対応する画像指定ボタン９０１が指定された状態で、キーボードを用いて下矢印キー又は上矢印キーが押下された場合に、第２指示を受け付ける。その場合、認識誤り画像に対応する画像指定ボタン９０１の内、現在指定されている画像指定ボタン９０１の下方又は上方に位置し且つその画像指定ボタン９０１の最も近くに配置された画像指定ボタン９０１に対応する帳票画像が注目画像として指定される。
　第２指示を受け付けた場合、表示制御部１２４は、第２指示で指定された帳票画像を注目画像に設定する（ステップＳ３０７）。次に、表示制御部１２４は、ステップＳ２０４、Ｓ２０５と同様にして、新たに設定した注目画像に関する認識誤り対象を特定し（ステップＳ３０３）、注目対象を決定する（ステップＳ３０４）。次に、表示制御部１２４は、ステップＳ２０６と同様にして、表示データを作成し、表示装置１０３に表示し（ステップＳ３０５）、処理をステップＳ３０１へ戻す。このように、表示制御部１２４は、利用者による第２指示に応じて、各帳票画像の内、検出部１２２によって検出された各特定項目の項目値が、関係情報に示された関係を有さない帳票画像に対する判定結果を順次切り替えて表示する。利用者は、文字認識処理に誤りがあった帳票画像のみを順次選択して、誤りを確認又は修正していくことが可能となり、検査装置１００は、利用者の作業の効率化を図ることが可能となる。
　一方、第２指示を受け付けていない場合、表示制御部１２４は、利用者による入力装置１０２を用いた第３指示を受け付けたか否かを判定する（ステップＳ３０８）。第３指示は、画像表示領域９０２に表示された注目画像内で、複数の検査対象の中から注目対象を指定する指示である。表示制御部１２４は、例えばマウスを用いて画像表示領域９０２内の何れかの領域が押下された場合に、押下された領域に対応する項目値の組合せを注目対象として指定する第３指示を受け付ける。
　第３指示を受け付けた場合、表示制御部１２４は、第３指示で指定された項目値の組合せを注目対象に設定する（ステップＳ３０９）。次に、表示制御部１２４は、ステップＳ２０６と同様にして、表示データを作成し、表示装置１０３に表示し（ステップＳ３０５）、処理をステップＳ３０１へ戻す。このように、表示制御部１２４は、利用者による第３指示に応じて、各検査対象に対する判定結果を任意に切り替えて表示する。表示制御部１２４は、各検査対象に対する判定結果を画像表示領域９０２内に全てまとめて表示できない場合でも、利用者が注目したい検査対象に対する判定結果を適切に表示することが可能となる。
　一方、第３指示を受け付けていない場合、表示制御部１２４は、利用者による入力装置１０２を用いた第４指示を受け付けたか否かを判定する（ステップＳ３１０）。第４指示は、画像表示領域９０２に表示された注目画像内で、認識誤り対象の中から注目対象を指定する指示である。表示制御部１２４は、例えば、現在の注目対象に対応する項目値の組合せが指定された状態で、キーボードを用いて下矢印キー又は上矢印キーが押下された場合に、第４指示を受け付ける。その場合、認識誤り対象に対応する項目値の組合せの内、現在の注目対象に対応する項目値の組合せの下方又は上方に位置し且つその組合せの最も近くに配置された項目値の組合せに係る検査対象が注目対象として指定される。
　第４指示を受け付けた場合、表示制御部１２４は、第４指示で指定された検査対象を注目対象に設定する（ステップＳ３１１）。次に、表示制御部１２４は、ステップＳ２０６と同様にして、表示データを作成し、表示装置１０３に表示し（ステップＳ３０５）、処理をステップＳ３０１へ戻す。このように、表示制御部１２４は、利用者による第４指示に応じて、各検査対象の内、検出部１２２によって検出された各特定項目の項目値が、関係情報に示された関係を有さない検査対象に対する判定結果を順次切り替えて表示する。表示制御部１２４は、各検査対象に対する判定結果を画像表示領域９０２内に全てまとめて表示できない場合でも、文字認識処理に誤りがあった検査対象に対する判定結果を適切に選択して表示することが可能となる。特に、利用者は、文字認識処理に誤りがあった検査対象のみを順次選択して、誤りを確認又は修正していくことが可能となり、検査装置１００は、利用者の作業の効率化を図ることが可能となる。
　図１１は、表示装置１０３に表示される表示データ１１００の一例を示す模式図である。
　図１１は、図９に示した表示データ９００が表示装置１０３に表示された状態から、第４指示が受け付けられた場合に表示される表示データ１１００を示している。図９に示した表示データ９００では、「商品Ｅ」に関する各項目値の組合せ９０６が、注目対象に指定されて、基準位置Ｒに位置している。一方、図１１に示す表示データ１１００では、「商品Ｈ」に関する各項目値の組合せ９０７が、新たに注目対象に指定されている。表示データ１１００では、「商品Ｈ」に関する各項目値の組合せ９０７が基準位置Ｒに位置するように、帳票画像９０３がスクロール表示されている。
　そのために、表示制御部１２４は、まず、特定項目の項目値の検出結果に基づいて、帳票画像内の各検査対象の間隔を特定する。表示制御部１２４は、検出結果テーブル６００から何れかの特定項目の各項目値の相対位置を読み出し、相互に隣接する項目値の相対位置の間の距離を、帳票画像内の各検査対象の間隔として算出する。
　なお、表示制御部１２４は、公知の画像処理技術を利用して、帳票画像から、各項目値の間を延伸する罫線を検出し、相互に隣接する罫線の間の距離を、帳票画像内の各検査対象の間隔として算出してもよい。
　次に、表示制御部１２４は、新たに指定された注目対象が、過去に指定されていた注目対象が表示されていた基準位置Ｒに表示されるように、帳票画像をスクロール表示する。表示制御部１２４は、特定した間隔単位で帳票画像をスクロール表示する。例えば、新たに指定された注目対象が、過去に指定されていた注目対象と隣接している場合、表示制御部１２４は、特定した間隔だけ帳票画像をスクロール表示する。また、例えば、新たに指定された注目対象と、過去に指定されていた注目対象との間に検査対象（費目）が一つ存在する場合、表示制御部１２４は、特定した間隔の２倍だけ帳票画像をスクロール表示する。
　このように、表示制御部１２４は、注目対象の指定を新たに受け付けた場合、帳票画像の表示領域９０２内で、新たに指定された注目対象が、過去に指定されていた注目対象が表示されていた位置に表示されるように、帳票画像をスクロール表示する。これにより、利用者は、注目する検査対象を変更した場合に、視線を移動させることなく、新たに指定した検査対象を閲覧することが可能となり、検査装置１００は、利用者の利便性を向上させることが可能となる。
　一方、第４指示を受け付けていない場合、表示制御部１２４は、利用者による入力装置１０２を用いた修正指示を受け付けたか否かを判定する（ステップＳ３１２）。修正指示は、注目対象として指定された項目値の内の何れかの項目値を、利用者により指定された修正値に修正する指示である。表示制御部１２４は、例えば、注目対象内の特定の項目値が指定された状態で、キーボードを用いて修正値が入力された場合に、修正指示を受け付ける。
　次に、表示制御部１２４は、検出結果テーブル６００において、修正指示で指定された項目値を修正値に置換する。表示制御部１２４は、関係テーブル５２０を参照して、その項目値に対応する関係及び検査対象を特定する。そして、表示制御部１２４は、特定した検査対象に係る項目値の組合せが、特定した関係を有するか否かを判定することにより、文字認識処理の誤りが訂正されたか否かを判定する（ステップＳ３１３）。特定した検査対象が複数である場合、表示制御部１２４は、特定した検査対象毎に、文字認識処理の誤りが訂正されたか否かを判定する。
　何れの誤りも訂正されていないと判定した場合、表示制御部１２４は、ステップＳ２０６と同様にして、表示データを作成し、表示装置１０３に表示し（ステップＳ３０５）、処理をステップＳ３０１へ戻す。
　一方、何れかの誤りが訂正されたと判定した場合、表示制御部１２４は、判定結果テーブル６１０において、誤りが訂正された関係及び検査対象に関連付けて記憶された判定結果を異常から正常に更新する（ステップＳ３１４）。次に、表示制御部１２４は、ステップＳ２０４、Ｓ２０５と同様にして、現在の注目画像に関する認識誤り対象を特定し（ステップＳ３０３）、注目対象を決定する（ステップＳ３０４）。次に、表示制御部１２４は、ステップＳ２０６と同様にして、表示データを作成し、表示装置１０３に表示し（ステップＳ３０５）、処理をステップＳ３０１へ戻す。文字認識処理が誤っていて強調表示されていた項目値が修正された場合、その項目値は、強調表示されなくなるため、利用者は正しく修正が行われたことを確実に認識することが可能となる。
　なお、表示制御部１２４は、誤りが訂正された帳票画像毎に、誤りが残っているか否かを判定し、誤りが残っていないと判定された帳票画像を、通信装置１０１を介してＲＰＡ処理装置（不図示）に送信してもよい。これにより、ＲＰＡ処理装置は、信頼性の高い帳票画像のみを自動的に取得して、所定のＲＰＡ処理を実行することが可能となる。
　一方、修正指示を受け付けていない場合、表示制御部１２４は、利用者による入力装置１０２を用いた終了指示を受け付けたか否かを判定する（ステップＳ３１５）。表示制御部１２４は、終了指示を受け付けていない場合、処理をステップＳ３０１へ戻し、終了指示を受け付けた場合、一連のステップを終了する。
　以上詳述したように、検査装置１００は、帳票画像に項目名候補が含まれているかを優先順位に従って判定し、最初に含まれていると判定された項目名候補を特定項目として検出し、検出した各特定項目の項目値が正しい関係を有するか否かを判定する。これにより、検査装置１００は、帳票画像から項目値が正しく検出されたか否かをより精度良く判定することが可能となった。
　一般に、領収書等の帳票には複数の項目が含まれており、各帳票は多種多様なフォーマットを有している。このような帳票からは、予め定められた領域から項目値を検出する、いわゆる定型ＯＣＲ方式では、特定項目の項目値を検出することができない。一方、検査装置１００は、帳票画像に項目名候補が含まれているかを優先順位に従って判定し、最初に含まれていると判定された項目名候補を特定項目として検出するため、特定項目を精度良く特定することが可能となった。
　また、検査装置１００では、帳票画像から項目値が正しく検出されたか否かをより精度良く判定することが可能となり、ＯＣＲ技術を利用して帳票画像から検出した文字の信頼性を向上させることが可能となった。そのため、検査装置１００は、利用者による検出した文字の確認及び修正作業を低減させることが可能となった。また、検出した文字の信頼性が高いため、利用者は、検出した文字をＲＰＡ技術に利用して、作業の効率化を図ることも可能となった。
　図１２は、表示装置１０３に表示される他の表示データ１２００の一例を示す模式図である。
　図９、１１に示した表示データ９００、１１００では、帳票画像において、関係情報に示された関係を有さない特定項目について検出部１２２により検出された項目値が表示されていた。一方、図１２に示す表示データ１２００では、帳票画像において、注目対象について検出された特定項目の項目値のみが表示されている。注目対象について検出された各特定項目の項目値は、帳票画像内で注目対象に係る特定項目の項目値が表示される領域と隣接する領域に表示されている。
　このように、表示制御部１２４は、帳票画像内で注目対象に係る特定項目の項目値が表示される領域と隣接する領域に、注目対象について検出された特定項目の項目値を表示してもよい。これにより、利用者は、注目する検査対象と他の検査対象とを容易に識別することが可能となり、検査装置１００は、利用者の利便性を向上させることが可能となる。
　また、図９、１１に示した表示データ９００、１１００では、文字認識処理が誤っていた帳票画像に対応する画像指定ボタン及び特定項目の項目値が強調表示されていた。一方、図１２に示す表示データ１２００では、注目画像に対応する画像指定ボタン及び注目対象のみが強調表示され、それぞれ注目画像以外の帳票画像に対応する画像指定ボタン及び注目対象以外の検査対象と区別可能に表示されている。
　このように、表示制御部１２４は、注目画像に対応する画像指定ボタンを注目画像以外の帳票画像に対応する画像指定ボタンと区別可能に表示し、注目対象を注目対象以外の検査対象と区別可能に表示してもよい。これにより、利用者は、注目する帳票画像及び検査対象と他の帳票画像及び検査対象とを容易に識別することが可能となり、検査装置１００は、利用者の利便性を向上させることが可能となる。
　また、表示制御部１２４は、キーボードを用いて矢印キーが押下された場合に、認識誤り対象の中から新たな注目対象を選択するのではなく、現在の検査対象に隣接する検査対象を新たな注目対象としてもよい。その場合も、表示制御部１２４は、新たに指定された注目対象が、過去に指定されていた注目対象が表示されていた基準位置に表示されるように、帳票画像をスクロール表示する。
　図１３は、他の実施形態に係る検査装置１００における処理回路１３０の概略構成を示すブロック図である。
　処理回路１３０は、ＣＰＵ１２０の代わりに用いられ、ＣＰＵ１２０の代わりに判定処理及び表示処理を実行する。処理回路１３０は、画像取得回路１３１、検出回路１３２、判定回路１３３及び表示制御回路１３４等を有する。
　画像取得回路１３１は、画像取得部の一例であり、画像取得部１２１と同様の機能を有する。画像取得回路１３１は、撮像装置１０４から帳票画像を取得し、取得した帳票画像を記憶装置１１０に記憶する。
　検出回路１３２は、検出部の一例であり、検出部１２２と同様の機能を有する。検出回路１３２は、記憶装置１１０から帳票画像を読み出し、読み出した帳票画像から特定項目を検出して検出結果を記憶装置１１０に記憶する。
　判定回路１３３は、判定部の一例であり、判定部１２３と同様の機能を有する。判定回路１３３は、記憶装置１１０から検出結果を読み出し、読み出した検出結果に基づいて、各特定項目の項目値が所定の関係を有するか否かを判定して判定結果を記憶装置１１０に記憶する。
　表示制御回路１３４は、表示制御部の一例であり、表示制御部１２４と同様の機能を有する。表示制御回路１３４は、記憶装置１１０から帳票画像、検出結果及び判定結果を読み出し、読み出した各情報に基づいて表示データを表示装置１０３に表示する。また、表示制御回路１３４は、入力装置１０２から各種指示を受け付け、受け付けた指示に基づいて、表示データを変更するとともに、記憶装置１１０に記憶された検出結果及び判定結果を更新する。
　以上詳述したように、検査装置１００が処理回路１３０を用いる場合においても、検査装置１００は、帳票画像から項目値が正しく検出されたか否かをより精度良く判定することが可能となった。
　以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、各特定項目の項目値間の関係として「数量×単価＝金額」と「金額の総和＝請求金額」の両方が用いられるのではなく、何れか一方のみ、又は、三つ以上の関係が用いられてもよい。
　また、帳票には、複数の項目の項目値が含まれていればよく、帳票は、見積書、発注書、納品書等の請求書以外の文書でもよい。
　また、検査装置１００は、ＰＣ（Personal Computer）、ノートＰＣ、携帯情報端末のように、撮像装置を有さない装置でもよい。その場合、検査装置１００は、ステップＳ１０１において、通信装置１０１を介して、タブレットＰＣ、多機能携帯電話、スキャナ装置等の撮像装置、又は、サーバ装置と通信し、帳票画像を、各装置から受信することにより取得する。また、検査装置１００がタブレットＰＣ、多機能携帯電話のように撮像装置を有する装置である場合でも、検査装置１００は、通信装置１０１を介してスキャナ装置又はサーバ装置と通信し、帳票画像を各装置から受信することにより取得してもよい。
　１００　　検査装置
　１１０　　記憶装置
　１２１　　画像取得部
　１２２　　検出部
　１２３　　判定部
　１２４　　表示制御部

Claims (15)

  1. 　複数の要素項目毎に項目名候補が優先順位に従って記憶されるとともに、複数の特定項目の項目値間の関係を示す関係情報を記憶する記憶部と、
    　前記項目名候補の何れかが含まれる帳票画像を取得する画像取得部と、
    　前記複数の要素項目毎に、対応する項目名候補が前記帳票画像に含まれているかを前記優先順位に従って順次判定し、最初に含まれていると判定された項目名候補を、要素項目に対応した特定項目として検出する検出部と、
    　前記検出部によって検出された複数の特定項目のそれぞれの項目値が、前記関係情報に示された関係を有するか否かを判定する判定部と、
    　前記判定部による判定結果を表示する表示制御部と、
    　を有することを特徴とする検査装置。
  2. 　前記関係情報には、一つの特定項目の一つの項目値と、他の特定項目の複数の項目値との間の関係が示される、請求項１に記載の検査装置。
  3. 　前記関係情報には、一つの特定項目の項目値と、他の二つ以上の特定項目の項目値との間の関係が示される、請求項１に記載の検査装置。
  4. 　前記表示制御部は、前記検出部によって検出された複数の特定項目の項目値が、前記関係情報に示された関係を有さない場合、前記一つの特定項目の一つの項目値と、前記他の特定項目の複数の項目値とを全て強調表示する、請求項２に記載の検査装置。
  5. 　前記検出部は、複数の検査対象毎に、各要素項目に対応した特定項目の項目値を検出し、
    　前記表示制御部は、前記複数の検査対象の内の特定の検査対象について、前記検出部によって検出された複数の特定項目の項目値が、前記関係情報に示された関係を有さない場合、当該特定の検査対象に対応する各特定項目の項目値を強調表示する、請求項１又は３に記載の検査装置。
  6. 　前記表示制御部は、前記帳票画像を表示し、前記帳票画像上に前記判定結果を重ねて表示する、請求項１、３及び５の何れか一項に記載の検査装置。
  7. 　前記検出部は、複数の検査対象毎に、各要素項目に対応した特定項目の項目値を検出し、
    　前記表示制御部は、利用者による、前記複数の検査対象の内の注目対象の指定を受け付ける、請求項６に記載の検査装置。
  8. 　前記表示制御部は、前記帳票画像内で前記注目対象に係る前記特定項目の項目値が表示される領域と隣接する領域に、前記注目対象について検出された特定項目の項目値を表示する、請求項７に記載の検査装置。
  9. 　前記表示制御部は、注目対象の指定を新たに受け付けた場合、前記帳票画像の表示領域内で、前記新たに指定された注目対象が、過去に指定されていた注目対象が表示されていた位置に表示されるように、前記帳票画像をスクロール表示する、請求項７または８に記載の検査装置。
  10. 　前記表示制御部は、前記特定項目の項目値の検出結果に基づいて、前記帳票画像内の各検査対象の間隔を特定し、前記特定した間隔単位で前記帳票画像をスクロール表示する、請求項９に記載の検査装置。
  11. 　前記表示制御部は、前記注目対象を前記注目対象以外の検査対象と区別可能に表示する、請求項７～１０の何れか一項に記載の検査装置。
  12. 　前記表示制御部は、
    　　利用者による第１指示に応じて、複数の帳票画像のそれぞれに対する前記判定結果を切り替えて表示し、
    　　利用者による第２指示に応じて、前記複数の帳票画像の内、前記検出部によって検出された複数の特定項目の項目値が、前記関係情報に示された関係を有さない帳票画像に対する前記判定結果を順次切り替えて表示する、請求項１～１１の何れか一項に記載の検査装置。
  13. 　前記検出部は、複数の検査対象毎に、各要素項目に対応した特定項目の項目値を検出し、
    　前記表示制御部は、
    　　利用者による第３指示に応じて、前記複数の検査対象のそれぞれに対する前記判定結果を切り替えて表示し、
    　　利用者による第４指示に応じて、前記複数の検査対象の内、前記検出部によって検出された複数の特定項目の項目値が、前記関係情報に示された関係を有さない検査対象に対する前記判定結果を順次切り替えて表示する、請求項１～１２の何れか一項に記載の検査装置。
  14. 　記憶部を有する検査装置の制御方法であって、
    　複数の要素項目毎に項目名候補が優先順位に従って前記記憶部に記憶するとともに、複数の特定項目の項目値間の関係を示す関係情報を前記記憶部に記憶し、
    　前記項目名候補の何れかが含まれる帳票画像を取得し、
    　前記複数の要素項目毎に、対応する項目名候補が前記帳票画像に含まれているかを前記優先順位に従って順次判定し、最初に含まれていると判定された項目名候補を、要素項目に対応した特定項目として検出し、
    　前記検出された複数の特定項目のそれぞれの項目値が、前記関係情報に示された関係を有するか否かを判定し、
    　前記判定における判定結果を表示する、
    　ことを含むことを特徴とする制御方法。
  15. 　記憶部を有する検査装置の制御プログラムであって、
    　複数の要素項目毎に項目名候補が優先順位に従って前記記憶部に記憶するとともに、複数の特定項目の項目値間の関係を示す関係情報を前記記憶部に記憶し、
    　前記項目名候補の何れかが含まれる帳票画像を取得し、
    　前記複数の要素項目毎に、対応する項目名候補が前記帳票画像に含まれているかを前記優先順位に従って順次判定し、最初に含まれていると判定された項目名候補を、要素項目に対応した特定項目として検出し、
    　前記検出された複数の特定項目のそれぞれの項目値が、前記関係情報に示された関係を有するか否かを判定し、
    　前記判定における判定結果を表示する、
    　ことを前記検査装置に実行させることを特徴とする制御プログラム。
PCT/JP2018/021759 2018-06-06 2018-06-06 検査装置、制御方法及び制御プログラム WO2019234865A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/021759 WO2019234865A1 (ja) 2018-06-06 2018-06-06 検査装置、制御方法及び制御プログラム
JP2020523916A JP7039693B2 (ja) 2018-06-06 2018-06-06 検査装置、制御方法及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/021759 WO2019234865A1 (ja) 2018-06-06 2018-06-06 検査装置、制御方法及び制御プログラム

Publications (1)

Publication Number Publication Date
WO2019234865A1 true WO2019234865A1 (ja) 2019-12-12

Family

ID=68769823

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021759 WO2019234865A1 (ja) 2018-06-06 2018-06-06 検査装置、制御方法及び制御プログラム

Country Status (2)

Country Link
JP (1) JP7039693B2 (ja)
WO (1) WO2019234865A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09297821A (ja) * 1996-05-08 1997-11-18 Toshiba Corp 文字認識方法
JP2015146075A (ja) * 2014-01-31 2015-08-13 株式会社日本デジタル研究所 会計データ入力支援システム、方法およびプログラム
JP2017126225A (ja) * 2016-01-14 2017-07-20 キヤノン株式会社 画像処理装置、方法およびプログラム
JP2017220266A (ja) * 2017-09-21 2017-12-14 株式会社東芝 帳票読取装置、プログラムおよび帳票読取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09297821A (ja) * 1996-05-08 1997-11-18 Toshiba Corp 文字認識方法
JP2015146075A (ja) * 2014-01-31 2015-08-13 株式会社日本デジタル研究所 会計データ入力支援システム、方法およびプログラム
JP2017126225A (ja) * 2016-01-14 2017-07-20 キヤノン株式会社 画像処理装置、方法およびプログラム
JP2017220266A (ja) * 2017-09-21 2017-12-14 株式会社東芝 帳票読取装置、プログラムおよび帳票読取方法

Also Published As

Publication number Publication date
JPWO2019234865A1 (ja) 2021-01-07
JP7039693B2 (ja) 2022-03-22

Similar Documents

Publication Publication Date Title
JP6202215B2 (ja) 情報処理装置、棚札管理システム、制御方法、及びプログラム
US20200379630A1 (en) Commodity recognition apparatus and commodity recognition method
KR102556345B1 (ko) 정보 처리 장치, 정보 처리 방법, 저장 매체 및 안내 시스템
JP6202216B2 (ja) 情報処理装置、棚札管理システム、制御方法、及びプログラム
US20140023242A1 (en) Recognition dictionary processing apparatus and recognition dictionary processing method
CN102034081A (zh) 使用影像作为数据来源的计算器装置
JP7444495B2 (ja) Ｏｃｒベース文書分析システム及び方法
JP2021056750A (ja) データ入力支援装置、データ入力支援方法及びプログラム
WO2018167974A1 (ja) 画像処理装置、制御方法及び制御プログラム
JP6099788B1 (ja) 商品データ登録端末、商品データ登録方法および商品データ登録プログラム
US11875587B2 (en) Information processing system, information processing method, and non-transitory recording medium
WO2019234865A1 (ja) 検査装置、制御方法及び制御プログラム
JP2008197674A (ja) 支援情報提供方法、支援情報提供プログラム及び情報提供管理システム
JP6361432B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP6704608B2 (ja) 端末装置、診断システムおよびプログラム
WO2019097690A1 (ja) 画像処理装置、制御方法及び制御プログラム
KR101757258B1 (ko) 문자인식 기능이 내장된 방문검침 용 모바일 기기 및 이를 이용한 방문검침 수행방법
JP6000069B2 (ja) 検査システム
WO2019167272A1 (ja) 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム
JP2019140449A (ja) 撮像装置、制御方法及び制御プログラム
JP2005107992A (ja) 支援情報提供方法、支援情報提供プログラム及び情報提供管理システム
JP6421528B2 (ja) 表示制御プログラム、表示制御方法及び情報処理装置
JP2019074875A (ja) 情報処理装置、制御方法、およびプログラム
JP7456580B2 (ja) 情報処理装置、情報処理システム及び情報処理方法
JP7282257B2 (ja) 画像処理装置、制御方法及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18921883

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020523916

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18921883

Country of ref document: EP

Kind code of ref document: A1