JP6683377B1 - 書類分類システム、書類分類装置、書類分類方法、書類分類プログラム - Google Patents

Abstract

書類分類システム１は、書類の画像データを取得する分類前画像ＤＢ２０と、書類の画像データの文字以外の要素から書類の種類を分類する第１分類部３０と、第１分類部による分類の信頼度である第１信頼度Ｒ１に応じて第１分類部３０による分類を確定するか否かの判定を行う第１判定部３１と、第１判定部３１により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して認識した文字から書類の種類を分類する第２分類部３２と、を備える。

Description

本発明は請求書や領収書等の書類を分類する書類分類システム、書類分類装置、書類分類方法、書類分類プログラムに関する。

近年は、請求書や領収書等の各種書類について画像データ等の電子データにより保存する機会が増えている。書類を画像データとして保存する場合、書類の種類に応じて分類する必要があるが、一つ一つの画像を人手で分類していては時間とコストがかかり効率が悪い。

そこで書類の画像データをＯＣＲ（Optical Character Recognition）によって文字を認識し、認識した文字をもとに書類の画像データの分類を行う画像処理装置が開発されている（特許文献１参照）。

特開２０１７−６９５９９号公報

しかしながら、一般的に書類内には膨大な文字が記載されており、特許文献１に記載の技術のように、まずＯＣＲにより書類の画像データから全ての文字を認識して、認識した文字から書類を分類していると長い時間を要するという問題がある。特に、請求書や領収書等の会計に関係する書類は、大量の書類を所定の期日までに処理する必要があるため書類の分類処理の時間の短縮が望まれる。

本発明はこのような問題点を解決するためになされたもので、その目的とするところは、書類画像の分類処理の効率を向上させることのできる書類分類システム、書類分類装置、書類分類方法、書類分類プログラムを提供することにある。

上記した目的を達成するために、本発明に係るシステムは、書類の画像データを取得する画像取得部と、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第１分類部と、前記第１分類部による分類の信頼度である第１信頼度に応じて、前記第１分類部による分類を確定するか否かの判定を行う第１判定部と、前記第１判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第２分類部と、を備える。

上述のシステムにおいて、前記第２分類部による分類の信頼度である第２信頼度に応じて、前記第２分類部による分類を確定するか否かの判定を行う第２判定部を備えてもよい。

また、上述のシステムにおいて、前記第１分類部は、前記書類の画像データの文字以外の要素から書類を分類するための第１分類ＡＩにより、前記書類の種類を分類してもよい。

また、上述のシステムにおいて、前記第２分類部は、前記画像データ内の文字を認識して、認識した文字から書類の種類を分類するための第２分類ＡＩにより、前記書類の種類を分類してもよい。

また、上述のシステムにおいて、前記第１分類部又は前記第２分類部により分類された画像データと、当該画像データの分類経過を示す分類情報とを取得し、取得した当該分類情報に応じて当該画像データを前記第１分類ＡＩの学習用データとするか否かを判定する学習用データ生成部を、さらに備えてもよい。

また、上述のシステムにおいて、前記学習用データ生成部は、前記第２判定部において分類が確定された画像データを前記第１分類ＡＩの学習用データとしてもよい。

上述の判定システムにおいて、前記画像取得部は複数の書類の画像データを取得し、前記第１判定部及び前記第２判定部により分類が確定された書類の画像データを書類の種類ごとに保存する記憶部を備えてもよい。

上述のシステムにおいて、前記第１判定部は、前記第１信頼度が第１閾値以上である場合に、前記第１分類部による分類を確定し、前記第１閾値を調整する調整部を備えてもよい。

また、上述のシステムにおいて、前記第１閾値の値に応じて分類作業の課金額を算出する課金額算出部を備えてもよい。

また、上述のシステムにおいて、前記第１判定部及び前記第２判定部により分類が確定された書類の画像データの数と、確定されなかった書類の画像データの数に応じて課金額を算出する課金額算出部を備えてもよい。

また、上述のシステムにおいて、前記第１分類部は、前記書類の画像データの文字以外の要素として、画像データ内の書類の形が含まれてもよい。

また、上述のシステムにおいて、前記第１分類部及び前記第２分類部により分類された書類の画像データを用いて会計処理を行う会計処理部を備えてもよい。

上記した目的を達成するために、本発明に係る装置は、書類の画像データを取得する画像取得部と、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第１分類部と、前記第１分類部による分類の信頼度である第１信頼度に応じて、前記第１分類部による分類を確定するか否かの判定を行う第１判定部と、前記第１判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第２分類部と、を備える。

上記した目的を達成するために、本発明に係る方法は、コンピュータにより、書類の画像データを取得する画像取得ステップと、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第１分類ステップと、前記第１分類ステップによる分類の信頼度である第１信頼度に応じて、前記第１分類ステップによる分類を確定するか否かの判定を行う第１判定ステップと、前記第１判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第２分類ステップと、を実行する。

上記した目的を達成するために、本発明に係るプログラムは、書類の画像データを取得する画像取得ステップと、前記書類の画像データの文字以外の要素から前記書類の種類を分類する第１分類ステップと、前記第１分類ステップによる分類の信頼度である第１信頼度に応じて、前記第１分類ステップによる分類を確定するか否かの判定を行う第１判定ステップと、前記第１判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第２分類ステップと、をコンピュータに実行させる。

上記手段を用いる本発明によれば、書類画像の分類処理の効率を向上させることのできる。

本発明の一実施形態に係る書類分類システムを示したシステム構成図である。 管理サーバにより実行される書類分類処理の流れを示したフローチャートである。 学習用データ生成部による学習用データ生成ルーチンを示したフローチャートである。

以下、本発明の一実施形態を図面に基づき説明する。

図１は本発明の一実施形態に係る書類分類システムを示したシステム構成図であり、同図に基づき本実施形態の構成について説明する。

図１に示すように、本実施形態に係る書類分類システム１は、情報端末２と管理サーバ３（書類分類装置）とが有線又は無線の通信手段を介して接続されて構成されている。なお、情報端末２と管理サーバ３とは、ＶＰＮ（Virtual Private Network）、イントラネット、又はインターネット等の通信網を介して接続されていてもよい。また、説明の簡略化のため図１では管理サーバ３は一つの情報端末２と接続されているが、管理サーバ３は複数の情報端末２と接続可能である。

情報端末２を使用する者（ユーザ）は、例えば企業の経理担当者、税理士及び会計士等の専門家であったり、直接会計処理を行う法人や個人等である。

情報端末２は、例えばスマートフォン、タブレットＰＣ、及び携帯電話のような携帯端末や、パーソナルコンピュータ（以下、ＰＣという）であり、読取部１０、表示部１１、及び操作部１２とを有している。

読取部１０は、例えばカメラ等の光学機器であり、書類を画像データとして取り込み可能な部分である。書類としては、例えば、総勘定元帳、仕訳帳、現金出納帳、売掛金・買掛金元帳固定資産台帳、売上・仕入帳等の帳簿や、棚卸表、貸借対照表、損益計算書、その他決算に関して作成した書類等の決算関係書類や、領収書やレシート、その他の受領書、請求書、納品書、金融機関の通帳、会計上金銭授受の証明となる書類、電子マネー等のＩＣカードによる取引情報を含む証憑類が含まれる。

表示部１１は、例えばディスプレイであり、管理サーバ３からのメッセージ等の情報や、管理サーバ３に保存されたデータを視認可能に表示するものである。

操作部１２は、例えばキーボードやマウスであり、情報の入力や操作が可能である。

情報端末２は、読取部１０にて読み取った書類の画像データを管理サーバ３に送信可能である。また当該画像データには送信元の情報、つまり情報端末２の情報、当該情報端末２を使用している経理担当者の情報や国税関係書類の受領者等の情報（例えば個人ＩＤ）も紐づけされており、誰がどのような書類の画像データを送ってきたか認識可能となっている。

一方、管理サーバ３は、プログラムに基づき書類の画像データから書類の分類作業を実行する１又は複数のサーバ（コンピュータ）から構成されている。また本実施形態における管理サーバ３は、分類した書類の画像データから会計処理も実行可能である。さらに当該管理サーバ３は、ユーザに対し書類の分類作業をサービスとして提供可能であり、書類の分類作業の工数に応じた課金額を算出可能である。

管理サーバ３は各種演算部及び記憶部を有しており、例えば分類前画像データベース２０（以下、データベースを「ＤＢ」と表記する）、分類処理部２１、分類後画像ＤＢ２２、課金額算出部２３、会計処理部２４、学習システム２５、学習用データ生成部２６を有している。

詳しくは、分類前画像ＤＢ２０（画像取得部）は、情報端末２の読取部１０にて読み取った書類の画像データを保存するデータベースである。当該分類前画像ＤＢ２０にて保存される書類の画像データは、１つの画像データ内に少なくとも１つの書類が写り込んでいればよく、１つの画像データ内に複数の書類が含まれていてもよい。分類前画像ＤＢ２０には、書類の種類が分類されていない複数の画像データが保存されているが、画像データの送信元の情報に応じてユーザ毎に領域を分けて保存することも可能である。

分類処理部２１は、比較的低負荷で分類処理を行う第１分類部３０及び第１判定部３１と、第１分類部３０よりも高負荷で分類処理を行う第２分類部３２及び第２判定部３３とによる２段階の分類作業が可能である。また、分類処理部２１は第１判定部３１及び第２判定部３３における判定基準を調整可能な調整部３４を有している。

詳しくは、第１分類部３０は、書類の画像データの文字以外の要素から書類の種類を分類する機能を有している。この文字以外の要素としては、例えば、画像データ内の書類の形、色、模様等の書類の外観、及び書類内に含まれる図形（例えばロゴマーク、印影、その他企業を特定可能な図柄）等が含まれる。第１分類部３０は、このような書類の画像データの文字以外の要素から書類を分類するための第１分類ＡＩを有しており、当該第１分類ＡＩにより書類の画像データから書類の種類を分類する。第１分類ＡＩは、学習システム２５において、機械学習（例えばディープラーニング）により、書類の画像データの文字以外の要素から書類を分類することを学習したＡＩである。

第１分類部３０における書類の分類は、書類の画像データの文字以外の要素という、いわゆる書類の見た目による分類であり、第２分類部３２における書類の分類よりも処理の負荷が小さく短時間で処理可能である。なお、第１分類部３０は、少なくとも画像データ内の書類の形を認識することで、１つの画像データ内に複数の書類が含まれている場合に、１つの画像データに１つの書類が対応するよう、書類毎に画像データを分割する機能を有していてもよい。

また、第１分類部３０は、書類の画像データの文字以外の要素による分類処理の信頼度（第１信頼度Ｒ１）を出力することも可能である。当該第１信頼度Ｒ１は、第１分類部３０における分類の確度であり、例えばパーセントで表すことが可能である。例えば、第１分類部３０は画像データから領収書特有の外観や書類内の図形を特定できたときには、領収書としての第１信頼度Ｒ１が高くなる。一方、領収書や請求書等の書類特有の外観や書類内の図形を特定できないときには第１信頼度Ｒ１は低くなる。第１信頼度Ｒ１は、例えば、領収書である信頼度は６０％、請求書である信頼度は３０％、納品書である信頼度は１０％、というように分類候補となる各書類に対応して出力される。

第１判定部３１は、第１分類部３０による分類の信頼度である第１信頼度Ｒ１に応じて、第１分類部３０による分類を確定するか否かの判定を行う機能を有している。具体的には、第１判定部３１は、第１信頼度Ｒ１に対応した第１閾値Ｒａを設定し、第１信頼度Ｒ１が第１閾値Ｒａ以上である場合に、第１分類部３０による分類を確定する。なお、第１分類部３０より複数の分類候補が出力された場合は、第１判定部３１は、例えば最も数値の高い第１信頼度Ｒ１に基づいて判定を行う。ここで分類が確定された書類の画像データは分類後画像ＤＢ２２において分類に応じた領域に保存される。

第２分類部３２は、第１判定部３１により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する機能を有している。画像データ内の文字としては、例えば、書類に印字された英数字、ひらがな、カタカナ、漢字、記号が含まれる。なお、第１分類部３０において文字以外の要素として認識されなかった印影等も文字として認識可能であれば、当該第２分類部３２にて認識される。第２分類部３２は、このような書類の画像データ内の文字を認識し、認識した文字から書類を分類するための第２分類ＡＩを有しており、当該第２分類ＡＩにより書類の画像データから書類の種類を分類する。第２分類ＡＩは、学習システム２５において、機械学習（例えばディープラーニング）により、書類の画像データ内の文字を認識し、認識した文字から書類を分類することを学習したＡＩである。なお、書類の画像データ内の文字の認識については周知のＯＣＲを用いて、認識した文字から書類を分類する機能のみＡＩで行う構成としてもよい。

第２分類部３２における書類の分類は、書類の画像データ内の文字による、いわゆる書類の内容による分類であり、第１分類部３０における書類の分類よりも処理の負荷が大きく長時間の処理となる。

また、第２分類部３２は、書類の画像データ内の文字による分類処理の信頼度（第２信頼度Ｒ２）を出力することも可能である。当該第２信頼度Ｒ２は、第２分類部３２における分類の確度であり、例えばパーセントで表すことが可能である。例えば、第２分類部３２は画像データから領収書特有の文字を特定できたときには、領収書としての第２信頼度Ｒ２が高くなる。一方、領収書や請求書等の書類特有の文字を特定できないときには第２信頼度Ｒ２は低くなる。第２信頼度Ｒ２は、第１信頼度Ｒ１と同様に分類候補となる各書類に対応して出力される。

第２判定部３３は、第２分類部３２による分類の信頼度である第２信頼度Ｒ２に応じて、第２分類部３２による分類を確定するか否かの判定を行う機能を有している。具体的には、第２判定部３３は、第２信頼度Ｒ２に対応した第２閾値Ｒｂを設定し、第２信頼度Ｒ２が第２閾値Ｒｂ以上である場合に、第２分類部３２による分類を確定する。なお、第２分類部３２より複数の分類候補が出力された場合は、第２判定部３３は、例えば最も数値の高い第２信頼度Ｒ２に基づいて判定を行う。ここで分類が確定された書類の画像データは分類後画像ＤＢ２２において分類に応じた領域に保存される。一方、分類が確定されなかった書類の画像データは分類後画像ＤＢ２２において分類不可に応じた領域に保存される。

調整部３４は、第１判定部３１における第１閾値Ｒａと、第２判定部３３における第２閾値Ｒｂを調整する機能を有している。例えば、調整部３４により第１閾値Ｒａの値を高く設定すれば、第１判定部３１にて分類が確定する書類は減少し、第２分類部３２で処理する画像データが増加する。つまり、第１閾値Ｒａの値によって高負荷な第２分類部３２による分類処理の割合が変化するため、調整部３４は、主に第１閾値Ｒａを調整することで分類処理部２１における書類の分類処理にかかる時間と精度を調整可能である。この調整部３４における第１閾値Ｒａ及び第２閾値Ｒｂの調整は、管理サーバ３の操作手段を介してサービス提供者側で行ってもよいし、情報端末２の表示部１１に操作バー等の表示を行い操作部１２を介してユーザ側で調整可能としてもよい。

分類後画像ＤＢ２２は、書類の種類に応じて記憶領域（例えばフォルダ）が設けられている。例えば、本実施形態では領収書の画像データを保存する領収書フォルダ２２ａ、請求書の画像データを保存する請求書フォルダ２２ｂ、その他の画像データを保存するその他フォルダ２２ｃ（図１ではフォルダをＦと表記する）の３つのフォルダが設けられているものとする。その他フォルダ２２ｃは、分類の対象となっていない書類や、分類不可となった書類の画像データを保存する領域である。なお、本実施形態では説明の簡略化のため、フォルダを３つのみとしているが、フォルダの数や種類はこれに限られるものではない。

また、分類後画像ＤＢ２２に保存される画像データには、分類された結果や分類経過を含む分類情報が付加されている。分類された結果は、例えば書類名であったり、書類の種類に対応する識別子であったりする。分類経過は、例えば当該画像データに対して第１分類部３０が出力した第１信頼度Ｒ１や第２分類部３２が出力した第２信頼度Ｒ２の情報が含まれる。

課金額算出部２３は、ユーザに対し書類の分類作業をサービスとして提供する場合において、書類の分類作業量に応じた課金額を算出する機能を有している。この課金額の算出は、例えば、分類処理部２１の調整部３４における第１閾値Ｒａに応じて算出する。つまり、第１閾値Ｒａの値が低いほど、第１分類部３０による分類のみで分類作業が完了することから、書類の分類作業量は少なくなり、課金額も低くなる。一方、第１閾値Ｒａの値が高いほど、第２分類部３２による分類が実行される割合が増え、書類の分類作業量は多くなり、課金額も高くなる。このような課金額の算出方法に基づく場合において、比較的第１閾値Ｒａの値が低く設定された高速モードの課金額と、比較的第１閾値Ｒａが高く設定された精細モードの課金額を予め設定しておき、ユーザが情報端末２を介してモード選択できるようにしてもよい。

会計処理部２４は、分類後画像ＤＢ２２から会計処理の対象となる書類の画像データを取得し、各画像データ内に記載された仕訳要素に応じた勘定科目を出力する機能を有している。この仕訳要素に応じた勘定科目の出力は、例えば仕訳ＡＩにより行う。仕訳ＡＩは、学習システム２５において、予め機械学習により仕訳要素に対する勘定科目を出力することを学習した自動仕訳のＡＩである。当該仕訳部１３において出力された勘定科目は、仕訳要素と共に、仕訳結果としてユーザの情報端末２に送信可能である。

学習システム２５は、上述した第１分類ＡＩ及び第２分類ＡＩや、仕訳ＡＩとしての学習を行い、学習済みのＡＩを供給する機能を有している。詳しくは、学習システム２５は、書類の種類が判明している書類の画像データの文字以外の要素を学習用データとして機械学習させることで第１分類ＡＩを生成し、書類の種類が判明している書類の画像データ内の文字を学習用データとして機械学習させることで第２分類ＡＩを生成する。また、学習システム２５は、仕訳要素と当該仕訳要素に対応する勘定科目からなる学習用データに基づき機械学習させることで、仕訳ＡＩを生成する。

学習用データ生成部２６は、分類後画像ＤＢ２３に保存されている書類の画像データを、学習システム２５に学習用データとして自動的にフィードバックする機能を有している。

詳しくは、学習用データ生成部２６は、分類後書類ＤＢ２２に保存されている書類の画像データ及び当該画像データの分類情報を取得して、分類処理部２１での分類経過に応じて学習用データとするか否かを振り分けた上で、学習用データを生成する。例えば、本実施形態における学習用データ生成部２６は、第１判定部３１において分類が確定せず、第２判定部３３において分類が確定した画像データを学習用データとするよう振り分ける。

また学習用データ生成部２６は、分類後画像ＤＢ２３のその他フォルダ２２ｃに保存されている分類不可であった書類の画像データについては、手動又は別の書類分類システムを用いて正しい書類の種類の情報を付加して学習用データとする。

このように構成された書類分類システム１は、ユーザが情報端末２を用いて送信した書類の画像データを分類前画像ＤＢ２０に蓄積し、分類処理部２１にて分類して分類後画像ＤＢ２２に保存する。分類後画像ＤＢ２２に保存された書類の画像データは会計処理部２４にて会計処理に用いられたり、情報端末２にて閲覧、ダウンロード等することが可能である。また、管理サーバ３がユーザに対し書類の分類作業をサービスとして提供する場合には、課金額算出部２３にて算出された課金額がユーザに請求される。

ここで図２を参照すると、管理サーバ３の分類処理部２１及び課金額算出部２３にて実行される書類分類方法の流れを示したフローチャートが示されており、以下同フローチャートに沿って、電子分類方法について詳しく説明する。

まず、ステップＳ１として、第１分類部３０は、分類前画像ＤＢ２０から書類の画像データを取得し、第１分類ＡＩを用いて書類の画像データの文字以外の要素から書類の種類を分類する（第１分類ステップ）。また、このとき、第１分類部３０は、この分類の信頼度である第１信頼度Ｒ１を出力する。なお、１つの画像データ内に複数の書類が含まれている場合には、第１分類部３０は、書類毎に画像データを分割し、これより先のステップにおいては１つの画像データに１つの書類が対応している状態で処理を行う。

続くステップＳ２において、第１判定部３１は、第１信頼度Ｒ１が第１閾値Ｒａより低いか否かを判定する（第１判定ステップ）。当該判定結果が偽（Ｎｏ）である場合、即ち第１信頼度Ｒ１が第１閾値Ｒａ以上である場合は、ステップＳ３に進む。

ステップＳ３において、第１判定部３１は、第１分類部３０による分類を確定し、確定された書類の画像データを分類後画像ＤＢ２２の分類に応じたフォルダに保存する。

一方、ステップＳ２の判定結果が真（Ｙｅｓ）である場合、即ち第１信頼度Ｒ１が第１閾値Ｒａより低い場合は、ステップＳ４に進む。

ステップＳ４として、第２分類部３２は、第２分類ＡＩを用いて書類の画像データ内の文字を認識して、認識した文字から書類の種類を分類する（第２分類ステップ）。このとき、第２分類部３２は、この分類の信頼度である第２信頼度Ｒ２を出力する。

続くステップＳ５において、第２判定部３３は、第２信頼度Ｒ２が第２閾値Ｒｂより低いか否かを判定する（第２判定ステップ）。当該判定結果が偽（Ｎｏ）である場合、即ち第２信頼度Ｒ２が第２閾値Ｒｂ以上である場合は、上述のステップＳ３に進む。そして、第２判定部３３は、第２分類部３２による分類を確定し、確定された書類の画像データを分類後画像ＤＢ２２の分類に応じたフォルダに保存する。

一方、ステップＳ５の判定結果が真（Ｙｅｓ）である場合、即ち第２信頼度Ｒ２が第２閾値Ｒｂより低い場合は、ステップＳ６に進む。

ステップＳ６では、第２判定部３３が、分類を確定させずに書類の画像データを分類後画像ＤＢ２２のその他フォルダ２２ｃに保存する。

上記ステップＳ３又は上記ステップＳ６にて書類の画像データの保存が完了した後は、ステップＳ７に進む。

ステップＳ７において、課金額算出部２３は、課金額を算出し、当該ルーチンをリターンする。ここでの課金額の算出の一例としては、調整部３４において第１閾値Ｒａに応じて高速モードと精細モードが設けられており、当該モードに応じた課金額を計上する。具体的には、高速モードが選択されている場合には、１つの書類の分類作業に対して第１課金額Ａ１で計上する。一方、精細モードが選択されている場合には、１つの書類の分類作業に対して第１課金額Ａ１よりも高い第２課金額Ａ２で計上する。

分類前画像ＤＢ２０内の画像データごとに上記ルーチンを繰り返すことで、分類後画像ＤＢ２２に書類毎に分類された画像データが蓄積される。

また、学習用データ生成部２６は、分類後画像ＤＢ２２に蓄積された画像データを学習用データとして学習システム２５にフィードバックさせる。

ここで図３を参照すると、学習用データ生成部２６による学習用データ生成ルーチンを示したフローチャートが示されており、以下同フローチャートに沿って、学習システム２５にフィードバックされる学習データの生成方法について詳しく説明する。

まず、ステップＳ１０として、学習用データ生成部２６は、分類後画像ＤＢ２２から分類後の画像データと、当該画像データの分類情報を取得する。

続くステップＳ１１において、学習用データ生成部２６は、分類情報から取得した画像データが、その他フォルダに分類された画像データであるか否かを判定する。当該判定結果が真（Ｙｅｓ）である場合、即ち第１判定部３１及び第２判定部３３にて分類が確定されなかった画像データを取得した場合には、ステップＳ１２に進む。

ステップＳ１２として、学習用データ生成部２６は、手動又は別の書類分類システムを用いて正しい書類の種類の情報を付加して第１分類ＡＩ及び第２分類ＡＩの学習用データを生成する。

一方、上記ステップＳ１１の判定結果が偽（Ｎｏ）である場合、即ち第１判定部３１又は第２判定部３３にて分類が確定した画像データを取得した場合には、ステップＳ１３に進む。

ステップＳ１３において、学習用データ生成部２６は、取得した画像データの第１信頼度Ｒ１が第１閾値Ｒａより低く、且つ第２信頼度Ｒ２が第２閾値Ｒｂ以上であるか否かを判定する。つまり、ステップＳ１３では、取得した画像データが第１判定部３１においては分類が確定せず、第２判定部３３において分類が確定した画像データであるか否かを判定する。当該判定結果が偽（Ｎｏ）である場合、即ち第１判定部３１において分類が確定した画像データである場合は、当該画像データは学習用データとせず、当該ルーチンをリターンする。

一方、ステップＳ１３の判定結果が真（Ｙｅｓ）である場合、即ち第２判定部３３において分類が確定した画像データである場合は、ステップＳ１４に進む。

ステップＳ１４として、学習用データ生成部２６は、取得した画像データにおいて第２判定部３３で確定された第２分類部３２により分類された結果を用いて学習用データを作成し、当該ルーチンをリターンする。なお、ここでの学習用データは、第２分類ＡＩの結果に基づいて生成されるものなので、第１分類ＡＩに対してのみの学習用データとする。

学習用データ生成部２６は、上記ルーチンを繰り返すことで、分類後画像ＤＢ２２から自動的に学習用データに相応しい画像データを振り分けた上で学習システム２５にフィードバックを行うことができる。これにより、人手で学習用データを生成する作業を削減し、第１分類ＡＩ及び第２分類ＡＩの学習を効率的に行うことができ、当該学習により第１分類ＡＩ及び第２分類ＡＩの精度を自動的に向上させることができる。

以上のように、本実施形態における書類分類システム１では、第１分類部３０において文字以外の要素での分類処理を行い、第１判定部３１において分類が確定されなかった書類の画像データのみ第２分類部３２における文字認識による分類を行う。つまり、書類の見た目から容易に種類を判別できる書類の画像データに対しては、低負荷な第１分類部３０により短時間で分類作業を完了させることができる。一方で、容易に種類を判別できない書類の画像データに対しては、第２分類部３２により画像データ内の文字まで考慮して分類を行うことで分類の精度を確保することができる。これにより、書類画像の分類処理の効率を向上させることのできる。

第１判定部３１は、第１閾値Ｒａにより第１分類部３０による分類を確定するか否かを判定しており、当該第１閾値Ｒａを調整部３４により調整可能であることで、分類作業の速度と精度を調整することができる。

また、課金額算出部２３により、第１閾値Ｒａの値に応じて分類作業の課金額を算出することで、分類作業の負荷に応じた適正な課金額を算出することができる。

また、第１分類部３０における分類の判断要素である書類の画像データの文字以外の要素として、画像データ内の書類の形を用いることで少ない処理負荷で容易に書類を分類することができ、且つ１つの画像データ内に複数の書類が含まれる場合に書類毎に画像データを分割することができる。

さらに、分類処理部２１において分類された書類の画像データを用いて会計処理部２４により会計処理を行うことが可能であることで、書類の分類から会計処理まで一貫して処理することができる。

また、第１分類部では書類の画像データの文字以外の要素から書類を分類するための第１分類ＡＩを用い、第２分類部では画像データ内の文字を認識して認識した文字から書類の種類を分類するための第２分類ＡＩを用いていることで、分類処理部２１において複雑な演算処理を行うことなく、書類の分類作業を実行することができる。

以上で本発明の実施形態の説明を終えるが、本発明の態様はこの実施形態に限定されるものではない。

例えば、上記実施形態の課金額算出部２３は、課金額を第１閾値Ｒａに応じて算出しているが、課金額の算出はこれに限られるものではない。例えば、第１判定部及び前記第２判定部により分類が確定された書類の画像データの数と、確定されなかった分類不可の書類の画像データの数に応じて算出してもよい。つまり、分類できた画像データは正規の料金で請求し、分類できなかった画像データは割引いた料金又は無料とする。このように分類できた数と分類できなかった数に応じて課金額を算出することで分類作業の結果に応じた課金額を算出できる。

さらに、分類できなかった画像データについて、ユーザが情報端末を介して正しい分類に修正して、学習システムにフィードバックした場合には、課金算出部において更なる値引きを行うよう設定してもよい。これにより、管理サーバ３による修正作業を軽減しつつ、分類の精度を向上させることができる。

１ 書類分類システム
２ 情報端末
３ 管理サーバ
１０ 読取部
１１ 表示部
１２ 操作部
２０ 分類前画像データベース（画像取得部）
２１ 分類処理部
２２ 分類後画像データベース（記憶部）
２３ 課金額算出部
２４ 会計処理部
２５ 学習システム
２６ 学習用データ生成部
３０ 第１分類部
３１ 第１判定部
３２ 第２分類部
３３ 第２判定部
３４ 調整部

Claims (13)

1. 書類の画像データを取得する画像取得部と、
   前記書類の画像データの文字以外の要素から書類を分類するための第１分類ＡＩにより、前記書類の種類を分類する第１分類部と、
   前記第１分類部による分類の信頼度である第１信頼度に応じて、前記第１分類部による分類を確定するか否かの判定を行う第１判定部と、
   前記第１判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第２分類部と、
   前記第１分類部又は前記第２分類部により分類された画像データと、当該画像データの分類経過を示す分類情報とを取得し、取得した当該分類情報に応じて当該画像データを前記第１分類ＡＩの学習用データとするか否かを判定する学習用データ生成部と、
   を備える書類分類システム。
   
2. 前記第１判定部は、前記第１信頼度が第１閾値以上である場合に、前記第１分類部による分類を確定し、
   前記第１閾値を、操作部を介して調整可能とする調整部を備える請求項１に記載の書類分類システム。
   
3. 前記第２分類部による分類の信頼度である第２信頼度に応じて、前記第２分類部による分類を確定するか否かの判定を行う第２判定部を備える請求項１に記載の書類分類システム。
   
4. 前記第２分類部は、前記画像データ内の文字を認識して、認識した文字から書類の種類を分類するための第２分類ＡＩにより、前記書類の種類を分類する請求項１から３のいずれか一項に記載の書類分類システム。
   
5. 前記学習用データ生成部は、前記第２判定部において分類が確定された画像データを前記第１分類ＡＩの学習用データとする請求項３記載の書類分類システム。
   
6. 前記画像取得部は複数の書類の画像データを取得し、
   前記第１判定部及び前記第２判定部により分類が確定された書類の画像データを書類の種類ごとに保存する記憶部を備える請求項３に記載の書類分類システム。
   
7. 前記第１閾値の値に応じて分類作業の課金額を算出する課金額算出部を備える請求項２に記載の書類分類システム。
   
8. 前記第１判定部及び前記第２判定部により分類が確定された書類の画像データの数と、確定されなかった書類の画像データの数に応じて課金額を算出する課金額算出部を備える請求項３に記載の書類分類システム。
   
9. 前記第１分類部は、前記書類の画像データの文字以外の要素として、画像データ内の書類の形が含まれる請求項１から８のいずれか一項に記載の書類分類システム。
   
10. 前記第１分類部及び前記第２分類部により分類された書類の画像データを用いて会計処理を行う会計処理部を備える請求項１から９のいずれか一項に記載の書類分類システム。
    
11. 書類の画像データを取得する画像取得部と、
    前記書類の画像データの文字以外の要素から書類を分類するための第１分類ＡＩにより、前記書類の種類を分類する第１分類部と、
    前記第１分類部による分類の信頼度である第１信頼度に応じて、前記第１分類部による分類を確定するか否かの判定を行う第１判定部と、
    前記第１判定部により分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第２分類部と、
    前記第１分類部又は前記第２分類部により分類された画像データと、当該画像データの分類経過を示す分類情報とを取得し、取得した当該分類情報に応じて当該画像データを前記第１分類ＡＩの学習用データとするか否かを判定する学習用データ生成部と、
    を備える書類分類装置。
    
12. コンピュータが、
    書類の画像データを取得する画像取得ステップと、
    前記書類の画像データの文字以外の要素から書類を分類するための第１分類ＡＩにより、前記書類の種類を分類する第１分類ステップと、
    前記第１分類ステップによる分類の信頼度である第１信頼度に応じて、前記第１分類ステップによる分類を確定するか否かの判定を行う第１判定ステップと、
    前記第１判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第２分類ステップと、
    前記第１分類ステップ又は前記第２分類ステップにより分類された画像データと、当該画像データの分類経過を示す分類情報とを取得し、取得した当該分類情報に応じて当該画像データを前記第１分類ＡＩの学習用データとするか否かを判定する学習用データ生成ステップと、
    を実行する書類分類方法。
    
13. 書類の画像データを取得する画像取得ステップと、
    前記書類の画像データの文字以外の要素から書類を分類するための第１分類ＡＩにより、前記書類の種類を分類する第１分類ステップと、
    前記第１分類ステップによる分類の信頼度である第１信頼度に応じて、前記第１分類ステップによる分類を確定するか否かの判定を行う第１判定ステップと、
    前記第１判定ステップにより分類が確定されなかった画像データについて、当該画像データ内の文字を認識して、認識した文字から書類の種類を分類する第２分類ステップと、
    前記第１分類ステップ又は前記第２分類ステップにより分類された画像データと、当該画像データの分類経過を示す分類情報とを取得し、取得した当該分類情報に応じて当該画像データを前記第１分類ＡＩの学習用データとするか否かを判定する学習用データ生成ステップと、
    をコンピュータに実行させる書類分類プログラム。

Images