WO2020136778A1 - 書類分類システム、書類分類装置、書類分類方法、書類分類プログラム - Google Patents

書類分類システム、書類分類装置、書類分類方法、書類分類プログラム Download PDF

Info

Publication number
WO2020136778A1
WO2020136778A1 PCT/JP2018/047981 JP2018047981W WO2020136778A1 WO 2020136778 A1 WO2020136778 A1 WO 2020136778A1 JP 2018047981 W JP2018047981 W JP 2018047981W WO 2020136778 A1 WO2020136778 A1 WO 2020136778A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
document
unit
image data
characters
Prior art date
Application number
PCT/JP2018/047981
Other languages
English (en)
French (fr)
Inventor
森啓太郎
小嶋勇志
Original Assignee
ファーストアカウンティング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファーストアカウンティング株式会社 filed Critical ファーストアカウンティング株式会社
Priority to JP2018568459A priority Critical patent/JP6683377B1/ja
Priority to PCT/JP2018/047981 priority patent/WO2020136778A1/ja
Publication of WO2020136778A1 publication Critical patent/WO2020136778A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition

Definitions

  • the present invention relates to a document classification system for classifying documents such as invoices and receipts, a document classification device, a document classification method, and a document classification program.
  • an image processing device that recognizes characters in the image data of a document by OCR (Optical Character Recognition) and classifies the image data of the document based on the recognized characters (see Patent Document 1).
  • OCR Optical Character Recognition
  • the present invention has been made to solve such problems, and an object thereof is to provide a document classification system, a document classification device, a document classification method, which can improve the efficiency of document image classification processing. To provide a document classification program.
  • the system includes an image acquisition unit that acquires image data of a document, and a first classification unit that classifies the type of the document from elements other than characters of the image data of the document.
  • a first determination unit that determines whether or not to confirm the classification by the first classification unit according to a first reliability that is the reliability of the classification by the first classification unit; and the first determination unit.
  • a second classification unit for recognizing characters in the image data for which the classification has not been finalized and classifying the document type from the recognized characters.
  • the system described above may further include a second determination unit that determines whether to determine the classification by the second classification unit according to the second reliability that is the reliability of the classification by the second classification unit. Good.
  • the first classification unit may classify the types of the documents by the first classification AI for classifying the documents from elements other than the characters of the image data of the documents.
  • the second classification unit recognizes the characters in the image data, and classifies the document types by a second classification AI for classifying the document types from the recognized characters. May be.
  • the image data classified by the first classification unit or the second classification unit and the classification information indicating the classification progress of the image data are acquired, and the classification information is acquired according to the acquired classification information.
  • a learning data generation unit that determines whether or not the image data is the learning data of the first classification AI may be further provided.
  • the learning data generation unit may use the image data whose classification has been determined by the second determination unit as the learning data of the first classification AI.
  • the image acquisition unit acquires image data of a plurality of documents, and saves the image data of the document whose classification is determined by the first determination unit and the second determination unit for each type of document.
  • a storage unit may be provided.
  • the first determination unit includes an adjustment unit that determines the classification by the first classification unit and adjusts the first threshold when the first reliability is equal to or higher than a first threshold. Good.
  • the above-mentioned system may include a charge amount calculation unit that calculates the charge amount for the classification work according to the value of the first threshold value.
  • the charge amount is calculated according to the number of image data of documents whose classification is determined by the first determination unit and the second determination unit and the number of image data of documents not determined.
  • a billing amount calculation unit may be provided.
  • the first classification unit may include the shape of the document in the image data as an element other than the characters of the image data of the document.
  • the above-described system may include an accounting processing unit that performs accounting processing using the image data of the documents classified by the first classification unit and the second classification unit.
  • an apparatus includes an image acquisition unit that acquires image data of a document and a first classification unit that classifies the type of the document based on elements other than characters of the image data of the document.
  • a first determination unit that determines whether or not to confirm the classification by the first classification unit according to a first reliability that is the reliability of the classification by the first classification unit; and the first determination unit.
  • a second classification unit for recognizing characters in the image data for which the classification has not been finalized and classifying the document type from the recognized characters.
  • the method according to the present invention comprises an image acquisition step of acquiring image data of a document by a computer, and classifying the document type from elements other than characters of the image data of the document.
  • a first classification step a first judgment step of judging whether or not to decide the classification by the first classification step according to a first reliability which is the reliability of the classification by the first classification step;
  • the second classification step of recognizing the character in the image data and classifying the document type from the recognized character is executed for the image data whose classification is not determined in the first determination step.
  • the program according to the present invention includes an image acquisition step of acquiring image data of a document and a first classification step of classifying the type of the document from elements other than characters of the image data of the document. And a first determination step of determining whether or not to confirm the classification by the first classification step according to a first reliability that is the reliability of the classification by the first classification step, and the first determination step.
  • the computer is caused to execute a second classification step of recognizing the characters in the image data for which the classification has not been confirmed by, and classifying the document type from the recognized characters.
  • the efficiency of document image classification processing can be improved.
  • 1 is a system configuration diagram showing a document classification system according to an embodiment of the present invention.
  • 7 is a flowchart showing a flow of document classification processing executed by the management server.
  • 6 is a flowchart showing a learning data generation routine by a learning data generation unit.
  • FIG. 1 is a system configuration diagram showing a document classification system according to an embodiment of the present invention, and the configuration of the present embodiment will be described based on the diagram.
  • the document classification system 1 is configured by connecting an information terminal 2 and a management server 3 (document classification device) via a wired or wireless communication means.
  • the information terminal 2 and the management server 3 may be connected via a communication network such as a VPN (Virtual Private Network), an intranet, or the Internet.
  • the management server 3 is connected to one information terminal 2 in FIG. 1, but the management server 3 can be connected to a plurality of information terminals 2.
  • a person (user) who uses the information terminal 2 is, for example, a person in charge of accounting of a company, an expert such as a tax accountant and an accountant, or a corporation or an individual who directly performs accounting processing.
  • the information terminal 2 is, for example, a mobile terminal such as a smartphone, a tablet PC, and a mobile phone, or a personal computer (hereinafter referred to as a PC), and includes a reading unit 10, a display unit 11, and an operation unit 12. ..
  • the reading unit 10 is, for example, an optical device such as a camera, and can read a document as image data.
  • Documents include, for example, general ledger, journal, cash account book, accounts receivable/accounts payable ledger, fixed account book, sales/purchase book, etc., inventory, balance sheet, income statement, and other financial statements.
  • Settlement documents such as prepared documents, receipts and receipts, other receipts, invoices, delivery notes, financial institution passbooks, documents that are proof of financial transfer for accounting, transaction information using IC cards such as electronic money Includes vouchers including.
  • the display unit 11 is, for example, a display and visually displays information such as messages from the management server 3 and data stored in the management server 3.
  • the operation unit 12 is, for example, a keyboard or a mouse, and can input and operate information.
  • the information terminal 2 can transmit the image data of the document read by the reading unit 10 to the management server 3.
  • the image data is also associated with the information of the sender, that is, the information of the information terminal 2, the information of the accounting staff using the information terminal 2, the information of the recipient of the national tax documents (for example, the personal ID). It is possible to recognize who sent the image data of what document.
  • the management server 3 is composed of one or more servers (computers) that perform document classification work from image data of documents based on a program. Further, the management server 3 in the present embodiment can also execute accounting processing from the image data of the classified documents. Further, the management server 3 can provide the user with the document classification work as a service, and can calculate the charge amount according to the man-hours of the document classification work.
  • the management server 3 has various calculation units and a storage unit, for example, a pre-classification image database 20 (hereinafter, the database will be referred to as “DB”), a classification processing unit 21, a post-classification image DB 22, and a charge amount calculation unit 23. , An accounting processing unit 24, a learning system 25, and a learning data generation unit 26.
  • the pre-classification image DB 20 (image acquisition unit) is a database that stores image data of documents read by the reading unit 10 of the information terminal 2.
  • the image data of the document stored in the pre-classification image DB 20 at least one document may be reflected in one image data, and one image data may include a plurality of documents. ..
  • the pre-classification image DB 20 stores a plurality of pieces of image data in which the types of documents are not classified, but it is also possible to store the areas separately for each user according to the information of the sender of the image data. ..
  • the classification processing unit 21 includes a first classification unit 30 and a first determination unit 31 that perform a classification process with a relatively low load, and a second classification unit 32 and a second classification unit 32 that perform a classification process with a higher load than the first classification unit 30. It is possible to perform a two-step classification work with the determination unit 33. Further, the classification processing unit 21 has an adjusting unit 34 capable of adjusting the judgment criteria in the first judging unit 31 and the second judging unit 33.
  • the first classification unit 30 has a function of classifying the document type from elements other than the characters of the image data of the document.
  • the elements other than the characters for example, the appearance of the document such as the shape, color, and pattern of the document in the image data, and the figures included in the document (for example, logo mark, seal imprint, and other designs that can identify the company), etc. Is included.
  • the first classification unit 30 has a first classification AI for classifying the document from elements other than the characters of the image data of the document, and according to the first classification AI, the type of the document from the image data of the document. Classify.
  • the first classification AI is an AI learned by the learning system 25 by machine learning (for example, deep learning) to classify a document from elements other than the characters of the image data of the document.
  • the document classification in the first classification unit 30 is a classification based on the appearance of the document, which is an element other than the characters of the image data of the document, and the processing load is smaller than the document classification in the second classification unit 32 in a short time. It can be processed. It should be noted that the first classification unit 30 recognizes at least the shape of the document in the image data, and when one image data contains a plurality of documents, one image data corresponds to one document. As described above, the image data may be divided for each document.
  • the first classification unit 30 can also output the reliability of the classification processing (first reliability R1) by elements other than the characters of the image data of the document.
  • the first reliability R1 is the accuracy of classification in the first classification unit 30, and can be expressed as a percentage, for example. For example, when the first classification unit 30 can identify the appearance peculiar to the receipt or the figure in the document from the image data, the first reliability R1 as the receipt becomes high. On the other hand, when the appearance peculiar to a document such as a receipt or an invoice or the figure in the document cannot be specified, the first reliability R1 becomes low.
  • the first reliability R1 corresponds to each document that is a classification candidate, for example, the reliability that is a receipt is 60%, the reliability that is an invoice is 30%, and the reliability that is a delivery note is 10%. And output.
  • the first determination unit 31 has a function of determining whether or not to decide the classification by the first classification unit 30 according to the first reliability R1 which is the reliability of the classification by the first classification unit 30. There is. Specifically, the first determination unit 31 sets the first threshold Ra corresponding to the first reliability R1, and when the first reliability R1 is the first threshold Ra or more, the first classification unit 30 determines Confirm the classification. In addition, when a plurality of classification candidates are output from the first classification unit 30, the first determination unit 31 makes a determination based on, for example, the first reliability R1 having the highest numerical value.
  • the image data of the document whose classification has been determined here is stored in an area corresponding to the classification in the post-classification image DB 22.
  • the second classification unit 32 has a function of recognizing the characters in the image data whose classification has not been finalized by the first determination unit 31 and classifying the document type from the recognized characters. ..
  • the characters in the image data include, for example, alphanumeric characters, hiragana, katakana, kanji, and symbols printed on documents. It should be noted that if a seal imprint or the like not recognized as an element other than a character by the first classification unit 30 can be recognized as a character, the second classification unit 32 recognizes it.
  • the second classification unit 32 has a second classification AI for recognizing the characters in the image data of the document and classifying the document from the recognized characters. The image of the document is classified by the second classification AI. Categorize document types from data.
  • the second classification AI is an AI learned by the learning system 25 by machine learning (for example, deep learning) to recognize characters in image data of a document and classify the document from the recognized characters.
  • machine learning for example, deep learning
  • OCR optical character recognition
  • the well-known OCR may be used to recognize the characters in the image data of the document, and only the function of classifying the document from the recognized characters may be performed by AI.
  • the classification of the document in the second classification unit 32 is a classification based on the content of the document, that is, by the characters in the image data of the document, and has a processing load larger than that of the classification of the document in the first classification unit 30 and is a long-time process. Become.
  • the second classification unit 32 can also output the reliability (second reliability R2) of the character classification processing in the image data of the document.
  • the second reliability R2 is the accuracy of the classification in the second classification unit 32, and can be expressed as a percentage, for example. For example, when the second classification unit 32 can identify a character peculiar to the receipt from the image data, the second reliability R2 as the receipt becomes high. On the other hand, when the character peculiar to the document such as the receipt or the bill cannot be specified, the second reliability R2 becomes low.
  • the second reliability R2 is output corresponding to each document that is a classification candidate, like the first reliability R1.
  • the second determination unit 33 has a function of determining whether or not to decide the classification by the second classification unit 32 according to the second reliability R2 which is the reliability of the classification by the second classification unit 32. There is. Specifically, the second determination unit 33 sets the second threshold value Rb corresponding to the second reliability R2, and when the second reliability R2 is equal to or higher than the second threshold value Rb, the second classification unit 32 determines Confirm the classification. When a plurality of classification candidates are output from the 2nd classification part 32, the 2nd judgment part 33 judges based on the 2nd reliability R2 with the highest numerical value, for example.
  • the image data of the document whose classification has been determined here is stored in an area corresponding to the classification in the post-classification image DB 22. On the other hand, the image data of the document whose classification has not been finalized is stored in the post-classification image DB 22 in an area corresponding to the non-classification.
  • the adjustment unit 34 has a function of adjusting the first threshold Ra in the first determination unit 31 and the second threshold Rb in the second determination unit 33. For example, if the adjustment unit 34 sets the value of the first threshold value Ra to be high, the number of documents whose classification is determined by the first determination unit 31 decreases and the image data processed by the second classification unit 32 increases. That is, since the ratio of the classification processing by the second classification unit 32 having a high load changes depending on the value of the first threshold Ra, the adjustment unit 34 mainly adjusts the first threshold Ra to detect the documents in the classification processing unit 21. The time and accuracy required for the classification process can be adjusted.
  • the adjustment of the first threshold Ra and the second threshold Rb in the adjustment unit 34 may be performed by the service provider side via the operation means of the management server 3, or the display unit 11 of the information terminal 2 may be provided with an operation bar or the like. It may be displayed and adjustable by the user side via the operation unit 12.
  • the post-classification image DB 22 is provided with a storage area (for example, a folder) according to the type of document.
  • a storage area for example, a folder
  • a receipt folder 22a for storing image data of a receipt
  • a bill folder 22b for storing image data of a bill
  • another folder 22c for storing other image data (in FIG. 1, the folder is referred to as F).
  • the other folder 22c is an area in which image data of documents that are not classified or documents that cannot be classified is stored. In the present embodiment, for the sake of simplification of description, only three folders are used, but the number and types of folders are not limited to this.
  • the image data stored in the post-classification image DB 22 is added with classification information including the classification result and the classification progress.
  • the classified result is, for example, a document name or an identifier corresponding to the document type.
  • the classification progress includes, for example, information on the first reliability R1 output by the first classification unit 30 and the second reliability R2 output by the second classification unit 32 for the image data.
  • the charge amount calculation unit 23 has a function of calculating a charge amount according to the amount of document classification work when the document classification work is provided to the user as a service.
  • This charge amount is calculated, for example, according to the first threshold Ra in the adjustment unit 34 of the classification processing unit 21. That is, as the value of the first threshold Ra is lower, the classification work is completed only by the classification by the first classification unit 30, so that the classification work amount of the document is smaller and the billing amount is also lower.
  • the value of the first threshold value Ra is higher, the ratio of the classification performed by the second classification unit 32 is increased, the amount of document classification work is increased, and the charge amount is also increased.
  • the billing amount in the high speed mode in which the value of the first threshold Ra is set relatively low and the billing amount in the fine mode in which the value of the first threshold Ra is relatively high are set. It may be set in advance so that the user can select the mode via the information terminal 2.
  • the accounting processing unit 24 has a function of acquiring image data of a document to be subjected to accounting processing from the classified image DB 22 and outputting an account item according to a journal entry element described in each image data.
  • the output of the account item according to the journal element is performed by, for example, journal AI.
  • the journal AI is an AI of an automatic journal learned by the learning system 25 in advance to output an account item for a journal element by machine learning.
  • the account items output by the journalizing unit 13 can be transmitted to the user's information terminal 2 as a journalizing result together with the journalizing elements.
  • the learning system 25 has a function of performing learning as the above-described first classification AI and second classification AI and journal AI, and supplying the learned AI. Specifically, the learning system 25 generates the first classification AI by machine-learning the elements other than the characters of the image data of the document of which the document type is known as the learning data, and the document type is determined. The second classification AI is generated by machine learning the characters in the image data of the existing document as learning data. In addition, the learning system 25 generates a journal AI by performing machine learning based on learning data composed of journal elements and account items corresponding to the journal elements.
  • the learning data generation unit 26 has a function of automatically feeding back the image data of documents stored in the classified image DB 23 to the learning system 25 as learning data.
  • the learning data generation unit 26 acquires the image data of the document stored in the post-classification document DB 22 and the classification information of the image data, and the learning data according to the classification progress in the classification processing unit 21.
  • the learning data is generated after deciding whether or not.
  • the learning data generation unit 26 in the present embodiment sorts the image data whose classification has not been determined by the first determination unit 31 and which has been determined by the second determination unit 33, as learning data.
  • the learning data generation unit 26 regarding the image data of the document that cannot be classified stored in the other folder 22c of the post-classification image DB 23, manually or using another document classification system, the information of the correct document type. Is added as learning data.
  • the document classification system 1 configured in this way accumulates the image data of the document transmitted by the user using the information terminal 2 in the pre-classification image DB 20, classifies it in the classification processing unit 21, and stores it in the post-classification image DB 22. To do.
  • the image data of the document stored in the post-classification image DB 22 can be used for accounting processing by the accounting processing unit 24, or can be browsed and downloaded by the information terminal 2. Further, when the management server 3 provides the user with a document classification work as a service, the user is charged with the charge amount calculated by the charge amount calculation unit 23.
  • FIG. 2 there is shown a flowchart showing a flow of a document classification method executed by the classification processing unit 21 and the charge amount calculation unit 23 of the management server 3, and the electronic flowchart will be described below according to the flowchart.
  • the classification method will be described in detail.
  • the first classification unit 30 acquires image data of a document from the pre-classification image DB 20, and classifies the document type from elements other than the characters of the image data of the document using the first classification AI ( First classification step). Further, at this time, the first classification unit 30 outputs the first reliability R1 which is the reliability of this classification.
  • the first classification unit 30 divides the image data for each document, and in the subsequent steps, one image data is divided into one image data. Processing is performed while documents are compatible.
  • the first determination unit 31 determines whether the first reliability R1 is lower than the first threshold Ra (first determination step). If the determination result is false (No), that is, if the first reliability R1 is equal to or higher than the first threshold Ra, the process proceeds to step S3.
  • step S3 the first determination unit 31 finalizes the classification by the first classification unit 30, and stores the finalized image data of the document in a folder according to the classification of the post-classification image DB 22.
  • step S2 determines whether the first reliability R1 is lower than the first threshold Ra. If the determination result in step S2 is true (Yes), that is, if the first reliability R1 is lower than the first threshold Ra, the process proceeds to step S4.
  • step S4 the second classification unit 32 recognizes the characters in the image data of the document using the second classification AI, and classifies the document type from the recognized characters (second classification step). At this time, the 2nd classification part 32 outputs the 2nd reliability R2 which is the reliability of this classification.
  • the second determination unit 33 determines whether the second reliability R2 is lower than the second threshold value Rb (second determination step). When the determination result is false (No), that is, when the second reliability R2 is equal to or higher than the second threshold value Rb, the process proceeds to step S3 described above. Then, the second determination unit 33 finalizes the classification by the second classification unit 32, and saves the finalized image data of the document in a folder according to the classification of the post-classification image DB 22.
  • step S5 determines whether the second reliability R2 is lower than the second threshold value Rb.
  • step S6 the second determination unit 33 saves the image data of the document in the other folder 22c of the classified image DB 22 without confirming the classification.
  • step S3 After the storage of the image data of the document is completed in step S3 or step S6, the process proceeds to step S7.
  • step S7 the charge amount calculation unit 23 calculates the charge amount and returns the routine.
  • the adjusting unit 34 is provided with a high speed mode and a fine mode according to the first threshold value Ra, and the billing amount according to the mode is recorded. Specifically, when the high-speed mode is selected, the first billing amount A1 is added to the classification work of one document. On the other hand, when the fine mode is selected, the second billing amount A2, which is higher than the first billing amount A1, is counted for the classification work of one document.
  • the post-classification image DB 22 accumulates the image data classified for each document.
  • the learning data generation unit 26 feeds back the image data accumulated in the classified image DB 22 to the learning system 25 as learning data.
  • FIG. 3 there is shown a flowchart showing a learning data generating routine by the learning data generating unit 26, and a learning data generating method to be fed back to the learning system 25 will be described below along the flowchart. explain in detail.
  • step S10 the learning data generation unit 26 acquires the classified image data and the classification information of the image data from the classified image DB 22.
  • step S11 the learning data generation unit 26 determines whether the image data acquired from the classification information is image data classified into other folders.
  • the determination result is true (Yes)
  • the process proceeds to step S12.
  • step S12 the learning data generation unit 26 adds the information of the correct document type manually or using another document classification system to generate the learning data of the first classification AI and the second classification AI.
  • step S11 determines whether the image data whose classification has been determined by the first determination unit 31 or the second determination unit 33 is acquired. If the result of the determination in step S11 is false (No), that is, if the image data whose classification has been determined by the first determination unit 31 or the second determination unit 33 is acquired, the process proceeds to step S13.
  • step S13 the learning data generation unit 26 determines whether or not the first reliability R1 of the acquired image data is lower than the first threshold Ra and the second reliability R2 is equal to or higher than the second threshold Rb. .. That is, in step S13, it is determined whether or not the acquired image data is the image data whose classification has not been determined in the first determination unit 31 and whose classification has been determined in the second determination unit 33. When the determination result is false (No), that is, when the classification is determined by the first determination unit 31, the image data is not used as learning data and the routine is returned.
  • step S13 determines whether the image data is the image data of which the classification is determined in the second determination unit 33. If the determination result in step S13 is true (Yes), that is, if the image data is the image data of which the classification is determined in the second determination unit 33, the process proceeds to step S14.
  • step S14 the learning data generation unit 26 creates learning data using the result of classification of the acquired image data by the second classification unit 32 determined by the second determination unit 33, and returns the routine. To do. Since the learning data here is generated based on the result of the second classification AI, the learning data is only for the first classification AI.
  • the learning data generation unit 26 can automatically sort the image data suitable for the learning data from the classified image DB 22 and then feed it back to the learning system 25.
  • the work of manually generating the learning data can be reduced, and the learning of the first classification AI and the second classification AI can be performed efficiently, and the accuracy of the first classification AI and the second classification AI can be improved by the learning. Can be improved automatically.
  • the first classification unit 30 performs the classification process on the elements other than the characters, and only the image data of the document whose classification has not been determined by the first determination unit 31 is processed.
  • the classification by the character recognition in the 2 classification part 32 is performed. That is, with respect to the image data of the document, the type of which can be easily discriminated from the appearance of the document, the classification work can be completed in a short time by the low load first classification unit 30.
  • the accuracy of the classification can be ensured by the second classification unit 32 considering the characters in the image data and performing the classification. As a result, the efficiency of the document image classification process can be improved.
  • the first determination unit 31 determines whether or not to confirm the classification by the first classification unit 30 based on the first threshold Ra, and the first threshold Ra can be adjusted by the adjustment unit 34, so that the classification work can be performed. The speed and accuracy of can be adjusted.
  • the charge amount calculation unit 23 calculates the charge amount of the classification work according to the value of the first threshold value Ra by the charge amount calculation unit 23, it is possible to calculate an appropriate charge amount according to the load of the classification work.
  • the document can be easily classified with a small processing load.
  • the image data can be divided for each document.
  • accounting processing unit 24 can perform accounting processing using the image data of the documents classified by the classification processing unit 21, it is possible to consistently process from classification of documents to accounting processing.
  • the first classification unit uses the first classification AI for classifying the document from elements other than the characters of the image data of the document, and the second classification unit recognizes the characters in the image data and recognizes the characters from the recognized document.
  • the second classification AI for classifying the types, it is possible to perform the document classification work without performing complicated calculation processing in the classification processing unit 21.
  • the charge amount calculation unit 23 of the above embodiment calculates the charge amount according to the first threshold value Ra, but the calculation of the charge amount is not limited to this. For example, it may be calculated according to the number of image data of documents whose classification has been determined by the first determination unit and the second determination unit and the number of image data of uncategorized documents that have not been determined. That is, the image data that can be classified is charged at a regular fee, and the image data that cannot be classified is discounted or free. In this way, by calculating the billing amount according to the number that can be classified and the number that cannot be classified, the billing amount can be calculated according to the result of the classification work.
  • the billing calculation unit may be set to further reduce the price. As a result, the accuracy of classification can be improved while reducing the correction work by the management server 3.
  • Document classification system Information terminal 3 Management server 10 Reading unit 11 Display unit 12 Operation unit 20 Pre-classification image database (image acquisition unit) 21 classification processing unit 22 post-classification image database (storage unit) 23 billing amount calculation unit 24 accounting processing unit 25 learning system 26 learning data generation unit 30 first classification unit 31 first determination unit 32 second classification unit 33 second determination unit 34 adjustment unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Technology Law (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)

Abstract

書類分類システム1は、書類の画像データを取得する分類前画像DB20と、書類の画像データの文字以外の要素から書類の種類を分類する第1分類部30と、第1分類部による分類の信頼度である第1信頼度R1に応じて第1分類部30による分類を確定するか否かの判定を行う第1判定部31と、第1判定部31により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して認識した文字から書類の種類を分類する第2分類部32と、を備える。

Description

書類分類システム、書類分類装置、書類分類方法、書類分類プログラム
 本発明は請求書や領収書等の書類を分類する書類分類システム、書類分類装置、書類分類方法、書類分類プログラムに関する。
 近年は、請求書や領収書等の各種書類について画像データ等の電子データにより保存する機会が増えている。書類を画像データとして保存する場合、書類の種類に応じて分類する必要があるが、一つ一つの画像を人手で分類していては時間とコストがかかり効率が悪い。
 そこで書類の画像データをOCR(Optical Character Recognition)によって文字を認識し、認識した文字をもとに書類の画像データの分類を行う画像処理装置が開発されている(特許文献1参照)。
特開2017-69599号公報
 しかしながら、一般的に書類内には膨大な文字が記載されており、特許文献1に記載の技術のように、まずOCRにより書類の画像データから全ての文字を認識して、認識した文字から書類を分類していると長い時間を要するという問題がある。特に、請求書や領収書等の会計に関係する書類は、大量の書類を所定の期日までに処理する必要があるため書類の分類処理の時間の短縮が望まれる。
 本発明はこのような問題点を解決するためになされたもので、その目的とするところは、書類画像の分類処理の効率を向上させることのできる書類分類システム、書類分類装置、書類分類方法、書類分類プログラムを提供することにある。
 上記した目的を達成するために、本発明に係るシステムは、書類の画像データを取得する画像取得部と、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類部と、前記第1分類部による分類の信頼度である第1信頼度に応じて、前記第1分類部による分類を確定するか否かの判定を行う第1判定部と、前記第1判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類部と、を備える。
 上述のシステムにおいて、前記第2分類部による分類の信頼度である第2信頼度に応じて、前記第2分類部による分類を確定するか否かの判定を行う第2判定部を備えてもよい。
 また、上述のシステムにおいて、前記第1分類部は、前記書類の画像データの文字以外の要素から書類を分類するための第1分類AIにより、前記書類の種類を分類してもよい。
 また、上述のシステムにおいて、前記第2分類部は、前記画像データ内の文字を認識して、認識した文字から書類の種類を分類するための第2分類AIにより、前記書類の種類を分類してもよい。
 また、上述のシステムにおいて、前記第1分類部又は前記第2分類部により分類された画像データと、当該画像データの分類経過を示す分類情報とを取得し、取得した当該分類情報に応じて当該画像データを前記第1分類AIの学習用データとするか否かを判定する学習用データ生成部を、さらに備えてもよい。
 また、上述のシステムにおいて、前記学習用データ生成部は、前記第2判定部において分類が確定された画像データを前記第1分類AIの学習用データとしてもよい。
 上述の判定システムにおいて、前記画像取得部は複数の書類の画像データを取得し、前記第1判定部及び前記第2判定部により分類が確定された書類の画像データを書類の種類ごとに保存する記憶部を備えてもよい。
 上述のシステムにおいて、前記第1判定部は、前記第1信頼度が第1閾値以上である場合に、前記第1分類部による分類を確定し、前記第1閾値を調整する調整部を備えてもよい。
 また、上述のシステムにおいて、前記第1閾値の値に応じて分類作業の課金額を算出する課金額算出部を備えてもよい。
 また、上述のシステムにおいて、前記第1判定部及び前記第2判定部により分類が確定された書類の画像データの数と、確定されなかった書類の画像データの数に応じて課金額を算出する課金額算出部を備えてもよい。
 また、上述のシステムにおいて、前記第1分類部は、前記書類の画像データの文字以外の要素として、画像データ内の書類の形が含まれてもよい。
 また、上述のシステムにおいて、前記第1分類部及び前記第2分類部により分類された書類の画像データを用いて会計処理を行う会計処理部を備えてもよい。
 上記した目的を達成するために、本発明に係る装置は、書類の画像データを取得する画像取得部と、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類部と、前記第1分類部による分類の信頼度である第1信頼度に応じて、前記第1分類部による分類を確定するか否かの判定を行う第1判定部と、前記第1判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類部と、を備える。
 上記した目的を達成するために、本発明に係る方法は、コンピュータにより、書類の画像データを取得する画像取得ステップと、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類ステップと、前記第1分類ステップによる分類の信頼度である第1信頼度に応じて、前記第1分類ステップによる分類を確定するか否かの判定を行う第1判定ステップと、前記第1判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類ステップと、を実行する。
 上記した目的を達成するために、本発明に係るプログラムは、書類の画像データを取得する画像取得ステップと、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類ステップと、前記第1分類ステップによる分類の信頼度である第1信頼度に応じて、前記第1分類ステップによる分類を確定するか否かの判定を行う第1判定ステップと、前記第1判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類ステップと、をコンピュータに実行させる。
 上記手段を用いる本発明によれば、書類画像の分類処理の効率を向上させることのできる。
本発明の一実施形態に係る書類分類システムを示したシステム構成図である。 管理サーバにより実行される書類分類処理の流れを示したフローチャートである。 学習用データ生成部による学習用データ生成ルーチンを示したフローチャートである。
 以下、本発明の一実施形態を図面に基づき説明する。
 図1は本発明の一実施形態に係る書類分類システムを示したシステム構成図であり、同図に基づき本実施形態の構成について説明する。
 図1に示すように、本実施形態に係る書類分類システム1は、情報端末2と管理サーバ3(書類分類装置)とが有線又は無線の通信手段を介して接続されて構成されている。なお、情報端末2と管理サーバ3とは、VPN(Virtual Private Network)、イントラネット、又はインターネット等の通信網を介して接続されていてもよい。また、説明の簡略化のため図1では管理サーバ3は一つの情報端末2と接続されているが、管理サーバ3は複数の情報端末2と接続可能である。
 情報端末2を使用する者(ユーザ)は、例えば企業の経理担当者、税理士及び会計士等の専門家であったり、直接会計処理を行う法人や個人等である。
 情報端末2は、例えばスマートフォン、タブレットPC、及び携帯電話のような携帯端末や、パーソナルコンピュータ(以下、PCという)であり、読取部10、表示部11、及び操作部12とを有している。
 読取部10は、例えばカメラ等の光学機器であり、書類を画像データとして取り込み可能な部分である。書類としては、例えば、総勘定元帳、仕訳帳、現金出納帳、売掛金・買掛金元帳固定資産台帳、売上・仕入帳等の帳簿や、棚卸表、貸借対照表、損益計算書、その他決算に関して作成した書類等の決算関係書類や、領収書やレシート、その他の受領書、請求書、納品書、金融機関の通帳、会計上金銭授受の証明となる書類、電子マネー等のICカードによる取引情報を含む証憑類が含まれる。
 表示部11は、例えばディスプレイであり、管理サーバ3からのメッセージ等の情報や、管理サーバ3に保存されたデータを視認可能に表示するものである。
 操作部12は、例えばキーボードやマウスであり、情報の入力や操作が可能である。
 情報端末2は、読取部10にて読み取った書類の画像データを管理サーバ3に送信可能である。また当該画像データには送信元の情報、つまり情報端末2の情報、当該情報端末2を使用している経理担当者の情報や国税関係書類の受領者等の情報(例えば個人ID)も紐づけされており、誰がどのような書類の画像データを送ってきたか認識可能となっている。
 一方、管理サーバ3は、プログラムに基づき書類の画像データから書類の分類作業を実行する1又は複数のサーバ(コンピュータ)から構成されている。また本実施形態における管理サーバ3は、分類した書類の画像データから会計処理も実行可能である。さらに当該管理サーバ3は、ユーザに対し書類の分類作業をサービスとして提供可能であり、書類の分類作業の工数に応じた課金額を算出可能である。
 管理サーバ3は各種演算部及び記憶部を有しており、例えば分類前画像データベース20(以下、データベースを「DB」と表記する)、分類処理部21、分類後画像DB22、課金額算出部23、会計処理部24、学習システム25、学習用データ生成部26を有している。
 詳しくは、分類前画像DB20(画像取得部)は、情報端末2の読取部10にて読み取った書類の画像データを保存するデータベースである。当該分類前画像DB20にて保存される書類の画像データは、1つの画像データ内に少なくとも1つの書類が写り込んでいればよく、1つの画像データ内に複数の書類が含まれていてもよい。分類前画像DB20には、書類の種類が分類されていない複数の画像データが保存されているが、画像データの送信元の情報に応じてユーザ毎に領域を分けて保存することも可能である。
 分類処理部21は、比較的低負荷で分類処理を行う第1分類部30及び第1判定部31と、第1分類部30よりも高負荷で分類処理を行う第2分類部32及び第2判定部33とによる2段階の分類作業が可能である。また、分類処理部21は第1判定部31及び第2判定部33における判定基準を調整可能な調整部34を有している。
 詳しくは、第1分類部30は、書類の画像データの文字以外の要素から書類の種類を分類する機能を有している。この文字以外の要素としては、例えば、画像データ内の書類の形、色、模様等の書類の外観、及び書類内に含まれる図形(例えばロゴマーク、印影、その他企業を特定可能な図柄)等が含まれる。第1分類部30は、このような書類の画像データの文字以外の要素から書類を分類するための第1分類AIを有しており、当該第1分類AIにより書類の画像データから書類の種類を分類する。第1分類AIは、学習システム25において、機械学習(例えばディープラーニング)により、書類の画像データの文字以外の要素から書類を分類することを学習したAIである。
 第1分類部30における書類の分類は、書類の画像データの文字以外の要素という、いわゆる書類の見た目による分類であり、第2分類部32における書類の分類よりも処理の負荷が小さく短時間で処理可能である。なお、第1分類部30は、少なくとも画像データ内の書類の形を認識することで、1つの画像データ内に複数の書類が含まれている場合に、1つの画像データに1つの書類が対応するよう、書類毎に画像データを分割する機能を有していてもよい。
 また、第1分類部30は、書類の画像データの文字以外の要素による分類処理の信頼度(第1信頼度R1)を出力することも可能である。当該第1信頼度R1は、第1分類部30における分類の確度であり、例えばパーセントで表すことが可能である。例えば、第1分類部30は画像データから領収書特有の外観や書類内の図形を特定できたときには、領収書としての第1信頼度R1が高くなる。一方、領収書や請求書等の書類特有の外観や書類内の図形を特定できないときには第1信頼度R1は低くなる。第1信頼度R1は、例えば、領収書である信頼度は60%、請求書である信頼度は30%、納品書である信頼度は10%、というように分類候補となる各書類に対応して出力される。
 第1判定部31は、第1分類部30による分類の信頼度である第1信頼度R1に応じて、第1分類部30による分類を確定するか否かの判定を行う機能を有している。具体的には、第1判定部31は、第1信頼度R1に対応した第1閾値Raを設定し、第1信頼度R1が第1閾値Ra以上である場合に、第1分類部30による分類を確定する。なお、第1分類部30より複数の分類候補が出力された場合は、第1判定部31は、例えば最も数値の高い第1信頼度R1に基づいて判定を行う。ここで分類が確定された書類の画像データは分類後画像DB22において分類に応じた領域に保存される。
 第2分類部32は、第1判定部31により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する機能を有している。画像データ内の文字としては、例えば、書類に印字された英数字、ひらがな、カタカナ、漢字、記号が含まれる。なお、第1分類部30において文字以外の要素として認識されなかった印影等も文字として認識可能であれば、当該第2分類部32にて認識される。第2分類部32は、このような書類の画像データ内の文字を認識し、認識した文字から書類を分類するための第2分類AIを有しており、当該第2分類AIにより書類の画像データから書類の種類を分類する。第2分類AIは、学習システム25において、機械学習(例えばディープラーニング)により、書類の画像データ内の文字を認識し、認識した文字から書類を分類することを学習したAIである。なお、書類の画像データ内の文字の認識については周知のOCRを用いて、認識した文字から書類を分類する機能のみAIで行う構成としてもよい。
 第2分類部32における書類の分類は、書類の画像データ内の文字による、いわゆる書類の内容による分類であり、第1分類部30における書類の分類よりも処理の負荷が大きく長時間の処理となる。
 また、第2分類部32は、書類の画像データ内の文字による分類処理の信頼度(第2信頼度R2)を出力することも可能である。当該第2信頼度R2は、第2分類部32における分類の確度であり、例えばパーセントで表すことが可能である。例えば、第2分類部32は画像データから領収書特有の文字を特定できたときには、領収書としての第2信頼度R2が高くなる。一方、領収書や請求書等の書類特有の文字を特定できないときには第2信頼度R2は低くなる。第2信頼度R2は、第1信頼度R1と同様に分類候補となる各書類に対応して出力される。
 第2判定部33は、第2分類部32による分類の信頼度である第2信頼度R2に応じて、第2分類部32による分類を確定するか否かの判定を行う機能を有している。具体的には、第2判定部33は、第2信頼度R2に対応した第2閾値Rbを設定し、第2信頼度R2が第2閾値Rb以上である場合に、第2分類部32による分類を確定する。なお、第2分類部32より複数の分類候補が出力された場合は、第2判定部33は、例えば最も数値の高い第2信頼度R2に基づいて判定を行う。ここで分類が確定された書類の画像データは分類後画像DB22において分類に応じた領域に保存される。一方、分類が確定されなかった書類の画像データは分類後画像DB22において分類不可に応じた領域に保存される。
 調整部34は、第1判定部31における第1閾値Raと、第2判定部33における第2閾値Rbを調整する機能を有している。例えば、調整部34により第1閾値Raの値を高く設定すれば、第1判定部31にて分類が確定する書類は減少し、第2分類部32で処理する画像データが増加する。つまり、第1閾値Raの値によって高負荷な第2分類部32による分類処理の割合が変化するため、調整部34は、主に第1閾値Raを調整することで分類処理部21における書類の分類処理にかかる時間と精度を調整可能である。この調整部34における第1閾値Ra及び第2閾値Rbの調整は、管理サーバ3の操作手段を介してサービス提供者側で行ってもよいし、情報端末2の表示部11に操作バー等の表示を行い操作部12を介してユーザ側で調整可能としてもよい。
 分類後画像DB22は、書類の種類に応じて記憶領域(例えばフォルダ)が設けられている。例えば、本実施形態では領収書の画像データを保存する領収書フォルダ22a、請求書の画像データを保存する請求書フォルダ22b、その他の画像データを保存するその他フォルダ22c(図1ではフォルダをFと表記する)の3つのフォルダが設けられているものとする。その他フォルダ22cは、分類の対象となっていない書類や、分類不可となった書類の画像データを保存する領域である。なお、本実施形態では説明の簡略化のため、フォルダを3つのみとしているが、フォルダの数や種類はこれに限られるものではない。
 また、分類後画像DB22に保存される画像データには、分類された結果や分類経過を含む分類情報が付加されている。分類された結果は、例えば書類名であったり、書類の種類に対応する識別子であったりする。分類経過は、例えば当該画像データに対して第1分類部30が出力した第1信頼度R1や第2分類部32が出力した第2信頼度R2の情報が含まれる。
 課金額算出部23は、ユーザに対し書類の分類作業をサービスとして提供する場合において、書類の分類作業量に応じた課金額を算出する機能を有している。この課金額の算出は、例えば、分類処理部21の調整部34における第1閾値Raに応じて算出する。つまり、第1閾値Raの値が低いほど、第1分類部30による分類のみで分類作業が完了することから、書類の分類作業量は少なくなり、課金額も低くなる。一方、第1閾値Raの値が高いほど、第2分類部32による分類が実行される割合が増え、書類の分類作業量は多くなり、課金額も高くなる。このような課金額の算出方法に基づく場合において、比較的第1閾値Raの値が低く設定された高速モードの課金額と、比較的第1閾値Raが高く設定された精細モードの課金額を予め設定しておき、ユーザが情報端末2を介してモード選択できるようにしてもよい。
 会計処理部24は、分類後画像DB22から会計処理の対象となる書類の画像データを取得し、各画像データ内に記載された仕訳要素に応じた勘定科目を出力する機能を有している。この仕訳要素に応じた勘定科目の出力は、例えば仕訳AIにより行う。仕訳AIは、学習システム25において、予め機械学習により仕訳要素に対する勘定科目を出力することを学習した自動仕訳のAIである。当該仕訳部13において出力された勘定科目は、仕訳要素と共に、仕訳結果としてユーザの情報端末2に送信可能である。
 学習システム25は、上述した第1分類AI及び第2分類AIや、仕訳AIとしての学習を行い、学習済みのAIを供給する機能を有している。詳しくは、学習システム25は、書類の種類が判明している書類の画像データの文字以外の要素を学習用データとして機械学習させることで第1分類AIを生成し、書類の種類が判明している書類の画像データ内の文字を学習用データとして機械学習させることで第2分類AIを生成する。また、学習システム25は、仕訳要素と当該仕訳要素に対応する勘定科目からなる学習用データに基づき機械学習させることで、仕訳AIを生成する。
 学習用データ生成部26は、分類後画像DB23に保存されている書類の画像データを、学習システム25に学習用データとして自動的にフィードバックする機能を有している。
 詳しくは、学習用データ生成部26は、分類後書類DB22に保存されている書類の画像データ及び当該画像データの分類情報を取得して、分類処理部21での分類経過に応じて学習用データとするか否かを振り分けた上で、学習用データを生成する。例えば、本実施形態における学習用データ生成部26は、第1判定部31において分類が確定せず、第2判定部33において分類が確定した画像データを学習用データとするよう振り分ける。
 また学習用データ生成部26は、分類後画像DB23のその他フォルダ22cに保存されている分類不可であった書類の画像データについては、手動又は別の書類分類システムを用いて正しい書類の種類の情報を付加して学習用データとする。
 このように構成された書類分類システム1は、ユーザが情報端末2を用いて送信した書類の画像データを分類前画像DB20に蓄積し、分類処理部21にて分類して分類後画像DB22に保存する。分類後画像DB22に保存された書類の画像データは会計処理部24にて会計処理に用いられたり、情報端末2にて閲覧、ダウンロード等することが可能である。また、管理サーバ3がユーザに対し書類の分類作業をサービスとして提供する場合には、課金額算出部23にて算出された課金額がユーザに請求される。
 ここで図2を参照すると、管理サーバ3の分類処理部21及び課金額算出部23にて実行される書類分類方法の流れを示したフローチャートが示されており、以下同フローチャートに沿って、電子分類方法について詳しく説明する。
 まず、ステップS1として、第1分類部30は、分類前画像DB20から書類の画像データを取得し、第1分類AIを用いて書類の画像データの文字以外の要素から書類の種類を分類する(第1分類ステップ)。また、このとき、第1分類部30は、この分類の信頼度である第1信頼度R1を出力する。なお、1つの画像データ内に複数の書類が含まれている場合には、第1分類部30は、書類毎に画像データを分割し、これより先のステップにおいては1つの画像データに1つの書類が対応している状態で処理を行う。
 続くステップS2において、第1判定部31は、第1信頼度R1が第1閾値Raより低いか否かを判定する(第1判定ステップ)。当該判定結果が偽(No)である場合、即ち第1信頼度R1が第1閾値Ra以上である場合は、ステップS3に進む。
 ステップS3において、第1判定部31は、第1分類部30による分類を確定し、確定された書類の画像データを分類後画像DB22の分類に応じたフォルダに保存する。
 一方、ステップS2の判定結果が真(Yes)である場合、即ち第1信頼度R1が第1閾値Raより低い場合は、ステップS4に進む。
 ステップS4として、第2分類部32は、第2分類AIを用いて書類の画像データ内の文字を認識して、認識した文字から書類の種類を分類する(第2分類ステップ)。このとき、第2分類部32は、この分類の信頼度である第2信頼度R2を出力する。
 続くステップS5において、第2判定部33は、第2信頼度R2が第2閾値Rbより低いか否かを判定する(第2判定ステップ)。当該判定結果が偽(No)である場合、即ち第2信頼度R2が第2閾値Rb以上である場合は、上述のステップS3に進む。そして、第2判定部33は、第2分類部32による分類を確定し、確定された書類の画像データを分類後画像DB22の分類に応じたフォルダに保存する。
 一方、ステップS5の判定結果が真(Yes)である場合、即ち第2信頼度R2が第2閾値Rbより低い場合は、ステップS6に進む。
 ステップS6では、第2判定部33が、分類を確定させずに書類の画像データを分類後画像DB22のその他フォルダ22cに保存する。
 上記ステップS3又は上記ステップS6にて書類の画像データの保存が完了した後は、ステップS7に進む。
 ステップS7において、課金額算出部23は、課金額を算出し、当該ルーチンをリターンする。ここでの課金額の算出の一例としては、調整部34において第1閾値Raに応じて高速モードと精細モードが設けられており、当該モードに応じた課金額を計上する。具体的には、高速モードが選択されている場合には、1つの書類の分類作業に対して第1課金額A1で計上する。一方、精細モードが選択されている場合には、1つの書類の分類作業に対して第1課金額A1よりも高い第2課金額A2で計上する。
 分類前画像DB20内の画像データごとに上記ルーチンを繰り返すことで、分類後画像DB22に書類毎に分類された画像データが蓄積される。
 また、学習用データ生成部26は、分類後画像DB22に蓄積された画像データを学習用データとして学習システム25にフィードバックさせる。
 ここで図3を参照すると、学習用データ生成部26による学習用データ生成ルーチンを示したフローチャートが示されており、以下同フローチャートに沿って、学習システム25にフィードバックされる学習データの生成方法について詳しく説明する。
 まず、ステップS10として、学習用データ生成部26は、分類後画像DB22から分類後の画像データと、当該画像データの分類情報を取得する。
 続くステップS11において、学習用データ生成部26は、分類情報から取得した画像データが、その他フォルダに分類された画像データであるか否かを判定する。当該判定結果が真(Yes)である場合、即ち第1判定部31及び第2判定部33にて分類が確定されなかった画像データを取得した場合には、ステップS12に進む。
 ステップS12として、学習用データ生成部26は、手動又は別の書類分類システムを用いて正しい書類の種類の情報を付加して第1分類AI及び第2分類AIの学習用データを生成する。
 一方、上記ステップS11の判定結果が偽(No)である場合、即ち第1判定部31又は第2判定部33にて分類が確定した画像データを取得した場合には、ステップS13に進む。
 ステップS13において、学習用データ生成部26は、取得した画像データの第1信頼度R1が第1閾値Raより低く、且つ第2信頼度R2が第2閾値Rb以上であるか否かを判定する。つまり、ステップS13では、取得した画像データが第1判定部31においては分類が確定せず、第2判定部33において分類が確定した画像データであるか否かを判定する。当該判定結果が偽(No)である場合、即ち第1判定部31において分類が確定した画像データである場合は、当該画像データは学習用データとせず、当該ルーチンをリターンする。
 一方、ステップS13の判定結果が真(Yes)である場合、即ち第2判定部33において分類が確定した画像データである場合は、ステップS14に進む。
 ステップS14として、学習用データ生成部26は、取得した画像データにおいて第2判定部33で確定された第2分類部32により分類された結果を用いて学習用データを作成し、当該ルーチンをリターンする。なお、ここでの学習用データは、第2分類AIの結果に基づいて生成されるものなので、第1分類AIに対してのみの学習用データとする。
 学習用データ生成部26は、上記ルーチンを繰り返すことで、分類後画像DB22から自動的に学習用データに相応しい画像データを振り分けた上で学習システム25にフィードバックを行うことができる。これにより、人手で学習用データを生成する作業を削減し、第1分類AI及び第2分類AIの学習を効率的に行うことができ、当該学習により第1分類AI及び第2分類AIの精度を自動的に向上させることができる。
 以上のように、本実施形態における書類分類システム1では、第1分類部30において文字以外の要素での分類処理を行い、第1判定部31において分類が確定されなかった書類の画像データのみ第2分類部32における文字認識による分類を行う。つまり、書類の見た目から容易に種類を判別できる書類の画像データに対しては、低負荷な第1分類部30により短時間で分類作業を完了させることができる。一方で、容易に種類を判別できない書類の画像データに対しては、第2分類部32により画像データ内の文字まで考慮して分類を行うことで分類の精度を確保することができる。これにより、書類画像の分類処理の効率を向上させることのできる。
 第1判定部31は、第1閾値Raにより第1分類部30による分類を確定するか否かを判定しており、当該第1閾値Raを調整部34により調整可能であることで、分類作業の速度と精度を調整することができる。
 また、課金額算出部23により、第1閾値Raの値に応じて分類作業の課金額を算出することで、分類作業の負荷に応じた適正な課金額を算出することができる。
 また、第1分類部30における分類の判断要素である書類の画像データの文字以外の要素として、画像データ内の書類の形を用いることで少ない処理負荷で容易に書類を分類することができ、且つ1つの画像データ内に複数の書類が含まれる場合に書類毎に画像データを分割することができる。
 さらに、分類処理部21において分類された書類の画像データを用いて会計処理部24により会計処理を行うことが可能であることで、書類の分類から会計処理まで一貫して処理することができる。
 また、第1分類部では書類の画像データの文字以外の要素から書類を分類するための第1分類AIを用い、第2分類部では画像データ内の文字を認識して認識した文字から書類の種類を分類するための第2分類AIを用いていることで、分類処理部21において複雑な演算処理を行うことなく、書類の分類作業を実行することができる。
 以上で本発明の実施形態の説明を終えるが、本発明の態様はこの実施形態に限定されるものではない。
 例えば、上記実施形態の課金額算出部23は、課金額を第1閾値Raに応じて算出しているが、課金額の算出はこれに限られるものではない。例えば、第1判定部及び前記第2判定部により分類が確定された書類の画像データの数と、確定されなかった分類不可の書類の画像データの数に応じて算出してもよい。つまり、分類できた画像データは正規の料金で請求し、分類できなかった画像データは割引いた料金又は無料とする。このように分類できた数と分類できなかった数に応じて課金額を算出することで分類作業の結果に応じた課金額を算出できる。
 さらに、分類できなかった画像データについて、ユーザが情報端末を介して正しい分類に修正して、学習システムにフィードバックした場合には、課金算出部において更なる値引きを行うよう設定してもよい。これにより、管理サーバ3による修正作業を軽減しつつ、分類の精度を向上させることができる。
 1 書類分類システム
 2 情報端末
 3 管理サーバ
 10 読取部
 11 表示部
 12 操作部
 20 分類前画像データベース(画像取得部)
 21 分類処理部
 22 分類後画像データベース(記憶部)
 23 課金額算出部
 24 会計処理部
 25 学習システム
 26 学習用データ生成部
 30 第1分類部
 31 第1判定部
 32 第2分類部
 33 第2判定部
 34 調整部

Claims (15)

  1.  書類の画像データを取得する画像取得部と、
     前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類部と、
     前記第1分類部による分類の信頼度である第1信頼度に応じて、前記第1分類部による分類を確定するか否かの判定を行う第1判定部と、
     前記第1判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類部と、
     を備える書類分類システム。
  2.  前記第2分類部による分類の信頼度である第2信頼度に応じて、前記第2分類部による分類を確定するか否かの判定を行う第2判定部を備える請求項1に記載の書類分類システム。
  3.  前記第1分類部は、前記書類の画像データの文字以外の要素から書類を分類するための第1分類AIにより、前記書類の種類を分類する請求項1又は2に記載の書類分類システム。
  4.  前記第2分類部は、前記画像データ内の文字を認識して、認識した文字から書類の種類を分類するための第2分類AIにより、前記書類の種類を分類する請求項1から3のいずれか一項に記載の書類分類システム。
  5.  前記第1分類部又は前記第2分類部により分類された画像データと、当該画像データの分類経過を示す分類情報とを取得し、取得した当該分類情報に応じて当該画像データを前記第1分類AIの学習用データとするか否かを判定する学習用データ生成部を、さらに備える請求項3に従属する請求項4に記載の書類分類システム。
  6.  前記学習用データ生成部は、前記第2判定部において分類が確定された画像データを前記第1分類AIの学習用データとする請求項5記載の書類分類システム。
  7.  前記画像取得部は複数の書類の画像データを取得し、
     前記第1判定部及び前記第2判定部により分類が確定された書類の画像データを書類の種類ごとに保存する記憶部を備える請求項2に記載の書類分類システム。
  8.  前記第1判定部は、前記第1信頼度が第1閾値以上である場合に、前記第1分類部による分類を確定し、
     前記第1閾値を調整する調整部を備える請求項1から7のいずれか一項に記載の書類分類システム。
  9.  前記第1閾値の値に応じて分類作業の課金額を算出する課金額算出部を備える請求項8に記載の書類分類システム。
  10.  前記第1判定部及び前記第2判定部により分類が確定された書類の画像データの数と、確定されなかった書類の画像データの数に応じて課金額を算出する課金額算出部を備える請求項8に記載の書類分類システム。
  11.  前記第1分類部は、前記書類の画像データの文字以外の要素として、画像データ内の書類の形が含まれる請求項1から10のいずれか一項に記載の書類分類システム。
  12.  前記第1分類部及び前記第2分類部により分類された書類の画像データを用いて会計処理を行う会計処理部を備える請求項1から11のいずれか一項に記載の書類分類システム。
  13.  書類の画像データを取得する画像取得部と、
     前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類部と、
     前記第1分類部による分類の信頼度である第1信頼度に応じて、前記第1分類部による分類を確定するか否かの判定を行う第1判定部と、
     前記第1判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類部と、
     を備える書類分類装置。
  14.  コンピュータにより、
     書類の画像データを取得する画像取得ステップと、
     前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類ステップと、
     前記第1分類ステップによる分類の信頼度である第1信頼度に応じて、前記第1分類ステップによる分類を確定するか否かの判定を行う第1判定ステップと、
     前記第1判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類ステップと、
     を実行する書類分類方法。
  15.  書類の画像データを取得する画像取得ステップと、
     前記書類の画像データの文字以外の要素から前記書類の種類を分類する第1分類ステップと、
     前記第1分類ステップによる分類の信頼度である第1信頼度に応じて、前記第1分類ステップによる分類を確定するか否かの判定を行う第1判定ステップと、
     前記第1判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第2分類ステップと、
     をコンピュータに実行させる書類分類プログラム。

     
PCT/JP2018/047981 2018-12-26 2018-12-26 書類分類システム、書類分類装置、書類分類方法、書類分類プログラム WO2020136778A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018568459A JP6683377B1 (ja) 2018-12-26 2018-12-26 書類分類システム、書類分類装置、書類分類方法、書類分類プログラム
PCT/JP2018/047981 WO2020136778A1 (ja) 2018-12-26 2018-12-26 書類分類システム、書類分類装置、書類分類方法、書類分類プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/047981 WO2020136778A1 (ja) 2018-12-26 2018-12-26 書類分類システム、書類分類装置、書類分類方法、書類分類プログラム

Publications (1)

Publication Number Publication Date
WO2020136778A1 true WO2020136778A1 (ja) 2020-07-02

Family

ID=70286674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/047981 WO2020136778A1 (ja) 2018-12-26 2018-12-26 書類分類システム、書類分類装置、書類分類方法、書類分類プログラム

Country Status (2)

Country Link
JP (1) JP6683377B1 (ja)
WO (1) WO2020136778A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022137356A1 (ja) * 2020-12-22 2022-06-30

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021229822A1 (ja) * 2020-05-15 2021-11-18 ファーストアカウンティング株式会社 電子データ判定システム、電子データ判定装置、電子データ判定方法、電子データ判定プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163594A (ja) * 2000-11-27 2002-06-07 Hitachi Ltd 帳票処理システム、帳票識別辞書管理センタ装置、帳票処理端末及び帳票識別辞書配信方法
JP2011060219A (ja) * 2009-09-14 2011-03-24 Hiroaki Ono 文書分類システム、文書分類方法、及びプログラム
JP2015018361A (ja) * 2013-07-10 2015-01-29 富士ゼロックス株式会社 情報処理装置及びプログラム
US20160307067A1 (en) * 2003-06-26 2016-10-20 Abbyy Development Llc Method and apparatus for determining a document type of a digital document
JP2017090974A (ja) * 2015-11-02 2017-05-25 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2018512634A (ja) * 2015-01-23 2018-05-17 コンバーシカ,エルエルシー 自動化された動的メッセージングの管理のためのシステム及び方法
JP2018097813A (ja) * 2016-12-16 2018-06-21 ファーストアカウンティング株式会社 会計処理装置、会計処理システム、会計処理方法、及び会計処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3914767B2 (ja) * 2001-12-28 2007-05-16 株式会社日本デジタル研究所 画像縮小変換方法、画像処理装置、会計処理装置、および画像縮小変換プログラム。
JP5344956B2 (ja) * 2009-02-27 2013-11-20 グローリー株式会社 文字認識方法および文字認識装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163594A (ja) * 2000-11-27 2002-06-07 Hitachi Ltd 帳票処理システム、帳票識別辞書管理センタ装置、帳票処理端末及び帳票識別辞書配信方法
US20160307067A1 (en) * 2003-06-26 2016-10-20 Abbyy Development Llc Method and apparatus for determining a document type of a digital document
JP2011060219A (ja) * 2009-09-14 2011-03-24 Hiroaki Ono 文書分類システム、文書分類方法、及びプログラム
JP2015018361A (ja) * 2013-07-10 2015-01-29 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2018512634A (ja) * 2015-01-23 2018-05-17 コンバーシカ,エルエルシー 自動化された動的メッセージングの管理のためのシステム及び方法
JP2017090974A (ja) * 2015-11-02 2017-05-25 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2018097813A (ja) * 2016-12-16 2018-06-21 ファーストアカウンティング株式会社 会計処理装置、会計処理システム、会計処理方法、及び会計処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022137356A1 (ja) * 2020-12-22 2022-06-30
WO2022137356A1 (ja) * 2020-12-22 2022-06-30 株式会社KPMG Ignition Tokyo 書類管理システム、電子デバイス、書類管理方法、方法、及びプログラム
JP7244158B2 (ja) 2020-12-22 2023-03-22 株式会社KPMG Ignition Tokyo 書類管理システム、電子デバイス、書類管理方法、方法、及びプログラム

Also Published As

Publication number Publication date
JP6683377B1 (ja) 2020-04-22
JPWO2020136778A1 (ja) 2021-02-15

Similar Documents

Publication Publication Date Title
JP6268352B2 (ja) 会計データ入力システム、方法、およびプログラム
CN101685499B (zh) 用于纠正字符识别错误的技术
US7680739B1 (en) Check processing and categorizing system
US8073751B2 (en) Automated review and hold placement
CN110956739A (zh) 一种票据识别方法及装置
JP6504514B1 (ja) 書類分類システム及び方法並びに会計処理システム及び方法。
JP6646308B1 (ja) 証憑解析装置、会計処理システム、証憑解析方法、証憑解析プログラム
JP6535860B1 (ja) 仕訳要素解析装置、会計処理装置、仕訳要素解析方法、仕訳要素解析プログラム
WO2019008766A1 (ja) 証憑処理システムおよび証憑処理プログラム
CN111242760B (zh) 一种用于对基于资金机构的资金业务进行记账的方法及系统
JP6895632B1 (ja) 会計処理装置、会計処理システム、会計処理方法及びプログラム
JP6261808B1 (ja) 会計処理装置、会計処理システム、会計処理方法、及び会計処理プログラム
JP6683377B1 (ja) 書類分類システム、書類分類装置、書類分類方法、書類分類プログラム
JP6635563B1 (ja) 仕訳要素解析装置、会計処理システム、仕訳要素解析方法、仕訳要素解析プログラム
JP2018136655A (ja) 自動仕訳システムおよび自動仕訳プログラム
CN115050043A (zh) 一种财务票据处理方法
CN112949601A (zh) 一种电子账本关联凭证分析方法、装置及系统
JP6981671B2 (ja) 仕訳要素解析装置、会計処理装置、仕訳要素解析方法、仕訳要素解析プログラム
JP2011227787A (ja) 会計取引情報読取装置
WO2020255361A1 (ja) 会計処理システム、会計処理方法、会計処理プログラム
JP6967174B1 (ja) データ処理装置、データ処理方法及びプログラム
JP6946596B1 (ja) データ処理装置、データ処理方法及びプログラム
WO2022054136A1 (ja) データ処理装置、データ処理方法及びプログラム
JP6835382B1 (ja) 電子データ判定システム、電子データ判定装置、電子データ判定方法、電子データ判定プログラム
CN115620291A (zh) 一种票据识别区域的调整方法、装置、设备及存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018568459

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18944490

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18944490

Country of ref document: EP

Kind code of ref document: A1