JP7486112B2 - 会計支援装置、会計支援プログラム及び会計支援方法 - Google Patents
会計支援装置、会計支援プログラム及び会計支援方法 Download PDFInfo
- Publication number
- JP7486112B2 JP7486112B2 JP2019115191A JP2019115191A JP7486112B2 JP 7486112 B2 JP7486112 B2 JP 7486112B2 JP 2019115191 A JP2019115191 A JP 2019115191A JP 2019115191 A JP2019115191 A JP 2019115191A JP 7486112 B2 JP7486112 B2 JP 7486112B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- frame image
- frame
- conversion result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 385
- 238000000605 extraction Methods 0.000 claims description 57
- 238000013075 data extraction Methods 0.000 claims description 47
- 239000000284 extract Substances 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 35
- 238000013500 data storage Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 20
- 229940127554 medical product Drugs 0.000 description 14
- 235000008247 Echinochloa frumentacea Nutrition 0.000 description 13
- 240000004072 Panicum sumatrense Species 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 239000003814 drug Substances 0.000 description 12
- 229940079593 drug Drugs 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000000474 nursing effect Effects 0.000 description 10
- 238000012015 optical character recognition Methods 0.000 description 10
- 230000007774 longterm Effects 0.000 description 5
- 238000001467 acupuncture Methods 0.000 description 3
- 238000003287 bathing Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000012567 medical material Substances 0.000 description 3
- 230000001788 irregular Effects 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000003580 polydactyly Diseases 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Character Input (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Description
そこで、従来、税理士、公認会計士等は、医療領収書の記載内容を逐一読み取った上で、手作業でコンピュータに入力していた。
そこで、OCR(光学文字認識、Optical Character Recognition/Reader)ソフトウェアを用いて、所定の証憑の記載内容を自動的に文字コードに変換することを可能としたシステムが知られている(例えば、特許文献1参照)。
しかし、例えば、医療領収書、給与の明細、社会保険の納付書等の証憑については、罫線に囲まれた複数の記載欄(以下、「コマ」という。)が不規則に配置されている場合が多く、このような証憑については、正確な変換が困難であった。
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段と、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成手段と、
を備えることを特徴とする。
請求項2に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信手段と、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信手段と、
を備えることを特徴とする。
請求項3に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段と、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段と、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備え、
前記データ抽出手段は、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする。
請求項4に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備え、
前記データ抽出手段は、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出手段によって抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする。
請求項5に記載の発明は、会計支援装置において、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段と、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、OCRソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備えることを特徴とする。
前記コマ識別手段は、
前記証憑画像データから直線を検出の上、
当該直線によって囲まれた領域を前記コマとして識別することを特徴とする。
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段を備え、
前記変換手段は、OCRソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得することを特徴とする。
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段を備えることを特徴とする。
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段を備えることを特徴とする。
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段を備えることを特徴とする。
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段を備え、
前記項目名コマ抽出手段は、
前記行毎コマ画像データが作成されたコマについては、前記行毎コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記行毎コマ画像データを、前記項目名コマ画像データとして抽出し、
前記行毎コマ画像データが作成されていないコマについては、前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データを、前記項目名コマ画像データとして抽出することを特徴とする。
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段を備え、
前記二コマ画像データ作成手段は、
前記行毎コマ画像データが前記項目名コマ画像データとして抽出された場合には、
当該行毎コマ画像データが含まれるコマと、これと隣接するコマとの行数が一致するかを判定の上、一致する場合に、当該行毎コマ画像データと、右に隣接するコマの同一行の行毎コマ画像データとを合成し、
前記コマ画像データが前記項目名コマ画像データとして抽出された場合には、
当該コマ画像データに係るコマと、下に隣接するコマとの左右方向の幅が一致するかを判定の上、これが一致する場合に、当該コマ画像データと、下に隣接するコマのコマ画像データとを合成することを特徴とする。
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段を備えることを特徴とする。
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段を備え、
前記データ抽出手段は、前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出することを特徴とする。
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成手段、
として機能させることを特徴とする。
請求項16に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信手段、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信手段、
として機能させることを特徴とする。
請求項17に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させ、
前記データ抽出手段は、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする。
請求項18に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させ、
前記データ抽出手段は、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出手段によって抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする。
請求項19に記載の発明は、会計支援プログラムにおいて、
コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、OCRソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換手段、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させることを特徴とする。
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定ステップと、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成ステップと、
を含むことを特徴とする。
請求項21に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信ステップと、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信ステップと、
を含むことを特徴とする。
請求項22に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出ステップと、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成ステップと、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含み、
前記データ抽出ステップにおいては、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする。
請求項23に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含み、
前記データ抽出ステップにおいては、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出ステップにおいて抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする。
請求項24に記載の発明は、会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成ステップと、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、OCRソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含むことを特徴とする。
まず、会計支援システム100の構成につき、図1に基いて説明する。
会計支援システム100は、図1に示すように、医療領収書の画像データ(医療領収書画像データD2)の記載内容の文字コードへの変換等を行う会計支援装置1と、会計支援装置1による変換結果を確認する複数の作業者Wがそれぞれ使用する作業者端末2と、会計支援システム100のユーザUがそれぞれ使用するユーザ端末3と、を備え、会計支援装置1と各作業者端末2との間、及び会計支援装置1と各ユーザ端末3との間は、通信ネットワークNを介して接続されている。
会計支援装置1は、例えば、会計支援システム100を運用する企業や税理士法人等に設置されたPC(Personal Computer)、WS(Work Station)等の情報機器であり、図1に示すように、制御部11と、記憶部12と、通信部13と、表示部14と、操作部15と、を備えて構成されている。
制御部11は、会計支援装置1の動作を制御する部分であり、具体的には、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えて構成され、RAMの作業領域に展開されたROMや記憶部12に記憶されたプログラムとCPUとの協働により、会計支援装置1の各部を統括制御する。
記憶部12は、会計支援装置1の運用に必要となる各種情報が記憶される部分であり、例えば、HDD(Hard Disk Drive)、半導体メモリ等により構成され、プログラムデータ、各種設定データ等のデータを、制御部11から読み書き可能に記憶する。
ユーザデータD1は、例えば、ユーザUの氏名、企業名等の種々の情報が、ユーザU毎に設定されたID及びログインパスワードに紐付けて記憶されたデータである。
変換有無データD3は、医療領収書画像データD2が既に会計支援装置1における文字コードへの変換等の処理がなされたデータであるかを示すデータであり、後述のように変換等の処理が完了する前には未変換である旨が記憶されており、変換等の処理が完了すると、記憶内容が、既変換である旨の記憶に切り替わる。
医療費控除申請用抽出データD21は、日付に係るデータである日付データD21-1と、氏名に係るデータである氏名データD21-2と、支払先に係るデータである支払先データD21-3と、使用医薬品に係るデータである使用医薬品データD21-4と、支払金額に係るデータである支払金額データD21-5と、医療・治療の点数に係るデータである医療・治療点数データD21-6と、医療品購入の点数に係るデータである医療品購入点数データD21-7と、介護保険サービスの点数に係るデータである介護保険サービス点数データD21-8と、を含む。
抽出項目データD4は、日付項目データD4-1と、氏名項目データD4-2と、医療機関データD4-3と、医薬品項目データD4-4と、第一支払項目データD4-5と、第二支払項目データD4-6と、医療・治療項目データD4-7と、医療品購入項目データD4-8と、介護保険サービス項目データD4-9と、を含む。なお、抽出項目データD4の内容はこれらに限られず、医療費控除申請に必要なデータに増減が生じた場合等には、それに対応して、適宜追加又は省略することが可能である。
氏名項目データD4-2は、医療領収書において、氏名の記載を抽出するための記載内容を記憶したデータであり、例えば、「様」という文字が記憶されている。
医療機関データD4-3は、病院、薬局等の医療機関名と、当該医療機関に係る電話番号とが紐づけて記憶されたデータである。
医薬品項目データD4-4は、医療領収書に登場する可能性のある所定の医薬品名が記憶されたデータである。
第一支払項目データD4-5は、医療領収書において、支払金額の記載に付される項目名のリストであり、例えば、「領収金額」、「請求金額」、「支払金額」等の項目名が記憶されている。後述のように、第一支払項目データD4-5は、第二支払項目データD4-6よりも優先的に使用されるデータである。
第二支払項目データD4-6は、医療領収書において、支払金額の記載を抽出するための記載内容を記憶したデータであり、例えば、「¥」、「円」、「計」等の文字が記憶されている。
医療・治療項目データD4-7は、医療領収書において、医療・治療の記載に付される項目名のリストであり、例えば、「診療」、「治療」、「針きゅう」、「検査費用」、「付添人料」等の項目名が記憶されている。
医療品購入項目データD4-8は、医療領収書において、医療品購入の記載に付される項目名のリストであり、例えば、「調剤技術」、「薬学管理」、「薬剤」、「特定保健医療材料」、「医療材料」等の項目名が記憶されている。
介護保険サービス項目データD4-9は、医療領収書において、介護保険サービスの記載に付される項目名のリストであり、例えば、「訪問介護」、「ホームヘルプサービス」、「訪問入浴介護」、「訪問リハビリテーション」、「デイサービス」等の項目名が記憶されている。
抽出項目形式データD5は、日付形式データD5-1と、氏名形式データD5-2と、電話番号形式データD5-3と、支払金額形式データD5-4と、医療・治療点数形式データD5-5と、医療品購入点数形式データD5-6と、介護保険サービス点数形式データD5-7と、を含む。なお、抽出項目形式データD5の内容はこれらに限られず、医療費控除申請に必要なデータに増減が生じた場合等には、それに対応して、適宜追加又は省略することが可能である。
氏名形式データD5-2は、氏名として抽出すべき記載の記載形式に係るデータであり、例えば、算用数字や記号を含まない文字列の形式が記憶されている。
電話番号形式データD5-3は、電話番号として抽出すべき記載の記載形式に係るデータであり、例えば、複数の数字が「-」で区切られた形式や、複数の数字の間に「()」で括られた数字が存在する形式や、複数の数字の間に「-」及び「()」の両者が存在する形式が記憶されている。
支払金額形式データD5-4は、支払金額として抽出すべき記載の記載形式に係るデータであり、例えば、数字の間が「-」、「()」又は「/」で区切られずに記載された形式が記憶されている。
医療・治療点数形式データD5-5は、医療・治療点数として抽出すべき記載の記載形式に係るデータであり、例えば、数字のみ又は数字の後に「点」が続く形式が記憶されている。
医療品購入点数形式データD5-6は、医療品購入点数として抽出すべき記載の記載形式に係るデータであり、例えば、数字のみ又は数字の後に「点」が続く形式が記憶されている。
介護保険サービス点数形式データD5-7は、介護保険サービス点数として抽出すべき記載の記載形式に係るデータであり、例えば、数字のみ又は数字の後に「点」が続く形式が記憶されている。
ただし、上記のように、OCRソフトウェア129そのものが記憶部12内に記憶されていることは必須ではなく、例えばクラウド型のOCRサービスを利用し、OCRソフトウェア129そのものは、所定のクラウドサーバ上に記憶され、記憶部12内には、このようなOCRソフトウェア129を呼び出すための、URL、パスワード等の情報のみ記憶されており、会計支援装置1が、通信ネットワークNを介して、クラウドサーバ上のOCRソフトウェア129にアクセスして、これを使用するようにしてもよい。
通信部13は、会計支援装置1と作業者端末2との間の通信及び会計支援装置1とユーザ端末3との間の通信に用いられる部分であり、例えば、通信用IC(Integrated Circuit)及び通信コネクタなどを有する通信インターフェイスであり、制御部11の制御の元、所定の通信プロトコルを用いて、通信ネットワークNを介したデータ通信を行う。
表示部14は、例えば、LCD(Liquid Crystal Display)等のディスプレイを備え、制御部11から出力された表示制御信号に基づいた画像を表示画面に表示する。
操作部15は、例えば、文字入力キー、数字入力キー、その他各種機能に対応付けられたキーなどを有するキーボード、マウス等のポインティングデバイス等を備え、例えば、会計支援システム100を運用する企業や税理士法人等の従業員からの操作入力を受け付けて、操作入力に応じた操作信号を制御部11へと出力する。なお、操作部15は、例えば、表示部14と一体的に形成されたタッチパネル等であってもよい。
作業者端末2は、会計支援装置1による変換結果を確認する複数の作業者Wがそれぞれ使用するPC、WS(Work Station)等の情報機器であり、例えば、図1に示すように、会計支援装置1と同様に、制御部21と、記憶部22と、通信部23と、表示部24と、操作部25と、を備えて構成されている。
ただし、図1に示すように、記憶部22には、会計支援装置1と異なり、後述のように、会計支援装置1から受信したデータをあてはめた上で、作業者Wに対して表示する画面のデータである表示画面データD6が記憶される表示画面データ記憶部221が備えられている。
なお、表示画面データ記憶部221は、会計支援装置1の記憶部12に備えられ、会計支援装置1においてこれに所定のデータをあてはめて、作業者端末2に表示される画面を完成させた上で、作業者端末2へと送信するようにしてもよい。
ユーザ端末3は、会計支援システム100の複数のユーザUがそれぞれ使用するPC、スマートフォン、タブレット端末等の情報機器であり、例えば、図1に示すように、会計支援装置1と同様に、制御部31と、記憶部32と、通信部33と、表示部34と、操作部35と、を備えて構成されている。
通信ネットワークNは、例えば、インターネット、電話回線網、携帯電話通信網等であり、会計支援装置1と作業者端末2との間でのデータの送受信、及び会計支援装置1とユーザ端末3との間でのデータの送受信を行うことが可能なものであれば特に限定されない。
以下、実施形態に係る会計支援システム100の使用時の流れについて、図2から図18に基づいて説明する。なお、以下においては、図8及び図9に示すように医療領収書の上下及び左右を定め、かつ、医療領収書の横(左右)方向をX軸方向、縦(上下)方向をY軸方向と定めて説明する。
まず、会計支援システム100を使用するユーザUは、以下の事前登録を行う。事前登録の過程は、図4に示すように、ステップS1-1からS1-2の2つのステップからなる。
会計支援システム100を使用するユーザUは、システム使用開始前に、まずユーザデータD1の登録を行う。具体的には、ユーザUは、ユーザ端末3の操作部35を用いて、例えば、氏名、住所、連絡先、システム使用時のID、パスワード等を含む所定の情報からなるユーザデータD1を入力する。
これらのデータが入力されると、ユーザ端末3は、入力されたデータを、通信部33から通信ネットワークNを介して、図2に示すように会計支援装置1に送信し、通信部13によってこれを受信した会計支援装置1においては、制御部11が、受信したユーザデータD1を、記憶部12のユーザデータ記憶部121に記憶する。
会計支援システム100を使用するユーザUは、続いて、医療領収書画像データD2の登録を行う。
具体的には、ユーザUは、任意の方法でスキャンすることで医療領収書画像データD2を作成の上、ユーザ端末3に記憶された医療領収書画像データD2を、通信部33から通信ネットワークNを介して、図2に示すように会計支援装置1に送信する。
通信部13によってこれを受信した会計支援装置1においては、制御部11が、受信した医療領収書画像データD2を、当該ユーザに係るユーザデータD1及び変換有無データD3と紐付けて、記憶部12の変換対象データ記憶部122に記憶する。なお、登録された段階では、変換有無データD3は、全て未変換である旨のデータとなる。
続いて、会計支援装置1において、医療領収書画像データD2に対するOCRソフトウェア129による文字コードへの変換等の処理がなされる。医療領収書の変換の過程は、図5に示すように、ステップS2-1からS2-8の8つのステップからなる。
なお、これらの過程は、医療領収書変換エンジン127に従って、制御部11によって自動的に行われる。
会計支援装置1は、まず、変換対象データ記憶部122から、変換対象となる、未変換の医療領収書画像データD2を抽出する。
具体的には、制御部11が、記憶部12の変換対象データ記憶部122から、変換有無データD3によって、医療領収書画像データD2のそれぞれにつき、既にOCRソフトウェア129による変換等の後述の処理がなされたデータであるかを判別の上、未変換のデータを選択して抽出する。
会計支援装置1において、変換の対象となる未変換の医療領収書画像データD2が抽出されると、制御部11は、続いて、抽出された医療領収書画像データD2につき、コマC、すなわち罫線Lで囲まれた領域ごとに分割し、コマ画像データD7を生成する。具体的には、以下のとおりである。
まず、制御部11は、医療領収書画像データD2から、直線を検出する。直線の検出の手法は特に限定されないが、例えば、モノクロに変換した医療領収書画像データD2からエッジ(明るさの変化が大きい箇所)を抽出することで直線を検出すればよい。
続いて、制御部11は、ステップS2-2-1において検出された直線に基づき、コマCを識別する。具体的には、検出された直線の位置から、四方が直線で囲まれ、長方形が形成された領域を算出の上、当該領域を、罫線Lによって囲まれたコマCと識別する。
なお、図9に示すように、罫線Lによって囲まれた領域には、長方形の一部の角部に曲線部分が存在する領域も存在するが、このような領域についても、例えば、四辺それぞれの少なくとも一部が直線である場合にはコマCとして識別されるようにすることで、コマCとして識別することができる。このような領域についても、上下左右の四辺それぞれの少なくとも一部が直線である限り、本発明においては、直線によって囲まれているものとする。
続いて、制御部11は、ステップS2-2-2において識別されたコマCごとに医療領収書画像データD2から切り出すようにして、図10から図13に示すような、コマ画像データD7を生成する。なお、図10から図13に示したコマ画像データD7は一例に過ぎず、これらの他にステップS2-2-2においてコマCと識別された全ての部分につき、コマ画像データD7が作成される。
医療領収書等の証憑においては、印字の位置が証憑内の表に対してずれた結果として、本来表の枠内に収まるべき印字が表から僅かにはみ出していることがあるが、コマ画像データD7を、各コマCよりも大きく作成することで、印字が表からはみ出した医療領収書に係る医療領収書画像データD2にも対応し易くなる。
コマ画像データD7とコマ位置情報データD8とは、例えば、コマ画像データD7に係る各コマCに番号を振ると共に、コマ画像データD7とこれに対応するコマ位置情報データD8の両者に当該番号を記憶する等の方法によって対応付けられる。
コマ画像データD7が生成されると、会計支援装置1の制御部11は、続いて、ステップS2-2でコマ画像データD7が生成された医療領収書画像データD2につき、コマC、すなわちステップS2-2-2で直線によって囲まれた領域として識別された部分を除いた画像データである枠外画像データD9を生成する。
ステップS2-2においてコマ画像データD7が生成され、ステップS2-3において枠外画像データD9が生成されると、続いて、OCR処理がなされる。
具体的には、会計支援装置1の制御部11は、OCRソフトウェア129を用いて、コマ画像データD7のそれぞれ及び枠外画像データD9につき、個別に文字コードに変換し、コマ画像データD7のそれぞれに対応した、OCRソフトウェア129による変換結果のデータである複数のコマ画像変換結果データD10と、枠外画像データD9に対応した、OCRソフトウェア129による変換結果のデータである枠外画像変換結果データD11と、を作成する。すなわち、制御部11が、コマ画像データD7及び枠外画像データD9の変換手段として機能することとなる。
また、本発明におけるコマ画像変換結果データD10及び枠外画像変換結果データD11の取得には、OCRソフトウェア129を使用して、制御部11自らがコマ画像データD7及び枠外画像データD9を変換する場合と、クラウドサーバ上のOCRソフトウェア129によってコマ画像データD7及び枠外画像データD9が変換されたデータを、通信部13を介して受信する場合の両者が含まれる。
ステップS2-4において、コマ画像変換結果データD10と、枠外画像変換結果データD11とが作成されると、続いて、制御部11は、コマ画像データD7のうち、複数行の文字列が含まれるものにつき分割を行う。
具体的には、以下のステップS2-5-1からステップS2-5-4の4つの過程を経て、分割が行われる。
まず、制御部11は、各コマ画像データD7につき、ステップS2-4において作成されたコマ画像変換結果データD10に、OCRソフトウェア129によって生成された文字コードが含まれているか否かを判定する。
これに対し、ここで、コマ画像変換結果データD10に、OCRソフトウェア129によって生成された文字コードが含まれていないと判定されたコマ画像データD7は、文字列が存在しない空欄となっているコマCに係るデータを意味しており、ステップS2-5におけるこの後の処理から除外され、ステップS2-6に進む。
続いて、制御部11は、各コマ画像データD7と、これに対応したコマ画像変換結果データD10とを用いて、各コマ画像データD7に複数行の文字列が含まれるか否かを判定する。
そして、このようにして行数が複数と判定されたコマ画像変換結果データD10に対応するコマ画像データD7を、図10及び図11に示すような、複数行の文字列を含むコマ画像データD7であると判定し、行数が一行のみとされたコマ画像変換結果データD10に対応するコマ画像データD7を、図12及び図13に示すような、複数行の文字列を含まないコマ画像データD7であると判定する。
ここで複数行の文字列を含まないと判定されたコマ画像データD7は、ステップS2-5におけるこの後の処理から除外され、ステップS2-6に進む。
続いて、制御部11は、複数行の文字列が含まれると判定されたコマ画像データD7につき、当該コマ画像データD7に係るコマCと、その右側に隣接するコマCとの行数が一致するか否かを判定する。
その上で、これが一致する場合に、さらに、これら2つのコマCにつき、ステップS2-5-2において判定された行数を比較し、行数が一致するかを判定する。
続いて、制御部11は、ステップS2-5-2において複数行の文字列が含まれると判定されたコマ画像データD7について、これを行ごとに分割し、図15及び図16に示すような、行毎コマ画像データD12を生成する。なお、図15は図10に係るコマ画像データD7の一行目を切り出したものであり、図16は図11に係るコマ画像データD7の一行目を切り出したものである。
また、行毎コマ画像データD12が生成されたコマCに係るコマ画像変換結果データD10については、行毎コマ画像データD12に合わせて分割され、行毎コマ画像変換結果データD13が生成される。
続いて、制御部11は、各コマ画像データD7又は行毎コマ画像データD12が、所定の項目名を含むかを判定する。
具体的には、項目名に該当する所定の文字列についてのデータを予め記憶部12に記憶しておき、当該データに含まれる文字列と一致する文字列が行毎コマ画像変換結果データD13に含まれるかを判定し、含まれる場合に、当該行毎コマ画像変換結果データD13に対応する行毎コマ画像データD12につき、所定の項目名を含むものと判定する。
この場合も同様に、項目名に該当する所定の文字列についてのデータを記憶部12に記憶しておき、当該データに含まれる文字列と一致する文字列がコマ画像変換結果データD10に含まれるかを判定し、含まれる場合に、当該コマ画像変換結果データD10に対応するコマ画像データD7につき、所定の項目名を含むものと判定する。
なお、項目名を含むものと判定された行毎コマ画像データD12及びコマ画像データD7を、まとめて項目名コマ画像データD14という。また、項目名コマ画像データD14に対応する行毎コマ画像変換結果データD13及びコマ画像変換結果データD10を、項目名コマ画像変換結果データD15という。
ステップS2-6において、項目名コマ画像データD14が抽出されると、続いて、制御部11は、コマ画像の合成を行う。
なお、合成された画像データを、コマ画像データD7同士が合成されたものか、行毎コマ画像データD12同士が合成されたものかを問わず、二コマ画像データD16という。
まず、複数行の文字列を含み、かつ同一行数のコマCが左右に隣接する場合、左右のコマCの同一行目の行毎コマ画像データD12同士が合成される。
具体的には、まず、ステップS2-5-2において複数行の文字列が含まれると判定され、ステップS2-5-3において隣接するコマCと行数が一致するものと判定されたコマ画像データD7が、ステップS2-5-4において分割されて生成された行毎コマ画像データD12を抽出の上、更にその中から、ステップS2-6において、項目名コマ画像データD14に該当すると判定されたものを抽出する。
その上で、当該項目名コマ画像データD14と、ステップS2-5-3において行数が一致する隣接するコマCに係るものと判定されたコマ画像データD7が、ステップS2-5-4において分割されて生成された行毎コマ画像データD12のうち、上から数えて同一行目の行毎コマ画像データD12と、を合成する。
続いて、複数行の文字列を含まないコマCが上下に隣接し、かつこれらのX軸方向の幅が等しい場合、上下に隣接するコマCのコマ画像データD7同士が合成される。
具体的には、まず、ステップS2-5-2において複数行の文字列が含まれると判定されなかったコマ画像データD7を抽出の上、更にその中から、ステップS2-6において、項目名コマ画像データD14に該当すると判定されたものを抽出する。
その上で、当該項目名コマ画像データD14の下に、これと隣接するコマC、すなわち、上に位置するコマCの下の罫線と、下に位置するコマCの上の罫線とが共通するコマCが存在するかを判定の上、存在した場合に、さらにX軸方向の幅並びに左端部及び右端部のX軸方向の位置が一致するかを判定し、これらが一致する場合に、項目名コマ画像データD14に該当するコマ画像データD7と、その下に隣接するコマ画像データD7とを合成する。
ステップS2-7まで完了すると、制御部11は、生成されたデータの保存を行う。
また、ステップS2-5において分割され、ステップS2-7において合成されていないコマCについては、行毎コマ画像データD12につき、これに対応する行毎コマ画像変換結果データD13と紐付けて、記憶部12の変換データ記憶部123に記憶させる。
また、ステップS2-5において分割され、ステップS2-7において合成されたコマCについては、二コマ画像データD16につき、これに対応する行毎コマ画像変換結果データD13と紐付けて、記憶部12の変換データ記憶部123に記憶させる。
また、ステップS2-5において分割されず、ステップS2-7において合成されたコマCについては、二コマ画像データD16につき、これに対応するコマ画像変換結果データD10と紐付けて、記憶部12の変換データ記憶部123に記憶させる。
なお、このようにして記憶された、コマ画像データD7、行毎コマ画像データD12及び二コマ画像データD16を、合わせて分割・合成後コマ画像データD17といい、これらに対応付けて記憶されたコマ画像変換結果データD10及び行毎コマ画像変換結果データD13を、分割・合成後コマ画像変換結果データD18という。
なお、分割・合成後コマ画像データD17は、いずれも、医療領収書画像データD2上での位置を判別できるように、これ対応したコマ位置情報データD8と紐付けて記憶される。また、このうち、行毎コマ画像データD12に該当するものついては、分割前のコマ画像データD7において上から何行目の行のデータであるかについてのデータも記憶される。
続いて、ステップS2における変換結果のクラウドワーカ(作業者W)によるチェックがなされる。クラウドワーカ(作業者W)によるチェックの過程は、図6に示すように、ステップS3-1からS3-5の5つのステップからなる。
なお、これらの過程も、会計支援装置1において行われるものは、制御部11によって医療領収書変換エンジン127に従って、自動的に行われる。
まず、会計支援装置1の制御部11は、チェック対象となるデータの作業者端末2への送信を行う。
会計支援装置1から送信された分割・合成後コマ画像データD17及びこれに対応した分割・合成後コマ画像変換結果データD18を、通信部23によって受信した作業者端末2においては、制御部21が、受信した分割・合成後コマ画像データD17及びこれに対応した分割・合成後コマ画像変換結果データD18を、記憶部22の表示画面データ記憶部221に記憶された表示画面データD6にあてはめた上で、表示部24に表示する。
具体的には、分割・合成後コマ画像データD17と、これに対応した分割・合成後コマ画像変換結果データD18とが、同一の画面上に並べて表示される。この際には、分割・合成後コマ画像変換結果データD18については、作業者Wが、操作部25を用いて修正可能に表示される。
なお二コマ画像データD16については、2つのコマに係るコマ画像データD7又は行毎コマ画像データD12と、これらに係る2つのコマ画像変換結果データD10又は行毎コマ画像変換結果データD13の計4つが同時に表示されることとなる。
具体的には、枠外画像データD9と、これに対応した枠外画像変換結果データD11とが、同一の画面上に並べて表示される。また、この際には、枠外画像変換結果データD11については、作業者Wが、操作部25を用いて修正可能に表示される。
また、上記のように、表示画面データD6を会計支援装置1の記憶部12に記憶し、これに各データをあてはめた画面のデータを会計支援装置1において生成の上、作業者端末2へと送信するようにしてもよい。
続いて、ステップS3-2において分割・合成後コマ画像データD17及びこれに対応した分割・合成後コマ画像変換結果データD18が表示された各作業者端末2を使用する作業者Wは、分割・合成後コマ画像データD17と、これに対応した分割・合成後コマ画像変換結果データD18とを対比の上、変換内容に誤変換がある箇所の分割・合成後コマ画像変換結果データD18について修正を行う。
ステップS3-3において作業者Wによるチェックが行われ、チェック後コマ画像変換結果データD19又はチェック後枠外画像変換結果データD20が生成されると、各作業者端末2の制御部21は、図2に示すように、チェック後コマ画像変換結果データD19又はチェック後枠外画像変換結果データD20を、通信部23から、通信ネットワークNを介して、会計支援装置1へと送信する。
会計支援装置1は、通信部13によってチェック後コマ画像変換結果データD19を受信すると、制御部11が、記憶部12の変換データ記憶部123に記憶された分割・合成後コマ画像変換結果データD18を、チェック後コマ画像変換結果データD19に更新する。
また、会計支援装置1は、通信部13によってチェック後枠外画像変換結果データD20を受信すると、制御部11が、記憶部12の変換データ記憶部123に記憶された枠外画像変換結果データD11を、チェック後枠外画像変換結果データD20に更新する。
続いて、会計支援装置1において、変換結果からの医療費控除申請に必要なデータの抽出がなされる。医療費控除申請用データの抽出過程は、図7に示すように、ステップS4-1からS4-10の10のステップからなり、これらのステップを経て、医療費控除申請用のデータが抽出される。
なお、これらの過程は、医療費控除申請用データ抽出エンジン128に従って、制御部11によって自動的に行われる。
制御部11は、チェック後コマ画像変換結果データD19及びチェック後枠外画像変換結果データD20から、医療費控除申請に必要となる日付に係るデータを抽出する。具体的には以下の通りである。
続いて、制御部11は、抽出された二コマ画像データD16に対応するチェック後コマ画像変換結果データD19のうち、項目名コマ画像変換結果データD15に該当するデータを検索し、その中に、記憶部12の抽出項目データ記憶部125に記憶された抽出項目データD4に含まれる日付項目データD4-1に一致するデータ、すなわち、「診療日」又は「発行日」の文字列がある場合に、二コマ画像データD16において、当該項目名コマ画像変換結果データD15に対応する項目名コマ画像データD14に係るコマCと合成されているコマCに係るチェック後コマ画像変換結果データD19を抽出する。
図9及び図18の例であれば、は「発行日」と記載されたコマCの下のコマCの記載内容が、複数の数字が「年」、「月」及び「日」で区切られた形式であることから、当該コマCの記載内容である「平成30年8月24日」が抽出される。
図8の例であれば、チェック後枠外画像変換結果データD20に、複数の数字が「年」、「月」及び「日」で区切られた形式の記載が存在することから、当該記載の内容である「平成30年01月17日」が抽出される。
制御部11は、チェック後コマ画像変換結果データD19及びチェック後枠外画像変換結果データD20から、医療費控除申請に必要となる氏名に係るデータを抽出する。具体的には以下の通りである。
図8の例であれば、「様」という文字を含むコマCにおいて、「様」の前に記載されている記載内容が、算用数字や記号を含まない文字列の形式であることから、当該コマCの「様」の前の記載内容である「A山A一」が抽出される。
また、図9の例であれば、「様」という文字を含むコマCにおいて、「様」の前に記載されている記載内容が、算用数字や記号でない文字列の形式であることから、当該コマCの「様」の前の記載内容である「B村B子」が抽出される。
なお、例えば、氏名形式データD5-2をアルファベットも除外するように設定してもよいが、ここではアルファベットは除外されないものとして説明する。
[(3)ステップS4-3:支払先の抽出]
制御部11は、チェック後コマ画像変換結果データD19及びチェック後枠外画像変換結果データD20から、医療費控除申請に必要となる支払先に係るデータを抽出する。具体的には以下の通りである。
例えば、複数の数字が「-」で区切られた形式、複数の数字の間に「()」で括られた数字が存在する形式、又は複数の数字の間に「-」及び「()」の両者が存在する形式である場合に、当該記載が抽出されることとなる。
図9の例であれば、「987-654-3210」という記載が電話番号の記載として抽出された上で、医療機関データD4-3に、当該電話番号と、「B眼科」という医療機関名が紐付けて記憶されていた場合に、「B眼科」が抽出される。
制御部11は、チェック後コマ画像変換結果データD19及びチェック後枠外画像変換結果データD20から、医療費控除申請に必要となる医薬品名に係るデータを抽出する。具体的には以下の通りである。
制御部11は、チェック後コマ画像変換結果データD19及びチェック後枠外画像変換結果データD20から、医療費控除申請に必要となる支払金額に係るデータを抽出する。具体的には以下の通りである。
まず、制御部11は、チェック後コマ画像変換結果データD19のうち、二コマ画像データD16に対応するデータを抽出する。
続いて、制御部11は、抽出された二コマ画像データD16に対応するチェック後コマ画像変換結果データD19のうち、項目名コマ画像変換結果データD15に該当するデータを検索し、その中に、記憶部12の抽出項目データ記憶部125に記憶された抽出項目データD4に含まれる第一支払項目データD4-5に一致するデータ、すなわち、「領収金額」、「請求金額」又は「支払金額」の文字がある場合に、二コマ画像データD16において、当該項目名コマ画像変換結果データD15に対応する項目名コマ画像データD14に係るコマCと合成されているコマCに係るチェック後コマ画像変換結果データD19を抽出する。
図9の例であれば、「領収金額」と記載されたコマCの下のコマCの記載内容及び「請求金額」と記載されたコマCの下のコマCの記載内容が、複数桁の数字が「-」、「()」又は「/」で区切られずに記載された形式の記載を含むことから、当該コマCの記載の数字部分である「200」が抽出される。
ステップS4-5-1において支払金額データD21-5が抽出されなかった場合、続いて、制御部11は、全てのチェック後コマ画像変換結果データD19を検索し、その中に、記憶部12の抽出項目データ記憶部125に記憶された抽出項目データD4に含まれる第二支払項目データD4-6に一致するデータ、すなわち、冒頭に「¥」という文字を含む記載、末尾に「円」という文字を含む記載、又は冒頭に「計」という文字を含む記載がある場合に、当該記載の「¥」、「円」又は「計」以外の部分のデータを抽出する。なお、「¥」、「円」、「計」のうち複数を含む記載についても同様に「¥」、「円」又は「計」以外の部分を抽出する。
全てのチェック後コマ画像変換結果データD19から、第二支払項目データD4-6に一致するデータが抽出されなかった場合には、続いて、チェック後枠外画像変換結果データD20から、第二支払項目データD4-6に一致するデータを抽出する。
そこで、本実施形態においては、上記のように、抽出精度の高い第一支払項目データD4-5との対照を行うステップと、抽出精度は劣るものの、何らかの記載を抽出できる可能性の高い第二支払項目データD4-6との対照を行うステップとの2段階を設けることで、抽出精度と、データが抽出されない可能性の低減の両立を図っている。
制御部11は、チェック後コマ画像変換結果データD19から、医療費控除申請に必要となる医療・治療の点数に係るデータを抽出する。具体的には以下の通りである。
続いて、制御部11は、抽出された二コマ画像データD16に対応するチェック後コマ画像変換結果データD19のうち、項目名コマ画像変換結果データD15に該当するデータを検索し、その中に、記憶部12の抽出項目データ記憶部125に記憶された抽出項目データD4に含まれる医療・治療項目データD4-7に一致するデータ、すなわち、「診療」、「治療」、「針きゅう」、「検査費用」又は「付添人料」の文字がある場合に、二コマ画像データD16において、当該項目名コマ画像変換結果データD15に対応する項目名コマ画像データD14に係るコマCと合成されているコマCに係るチェック後コマ画像変換結果データD19を抽出する。
図8及び図17の例であれば、は「放射線治療」と記載された行毎コマ画像データD12の右に位置する行毎コマ画像データD12の記載内容が、数字の後に「点」が続く形式であることから、当該コマCの記載内容の数字部分である「0」が抽出される。
また、図9の例であれば、「放射線治療」と記載されたコマ画像データD7の下に位置するコマ画像データD7の記載内容が、数字の後に「点」が続く形式であることから、当該コマCの記載内容の数字部分である「0」が抽出される。
制御部11は、チェック後コマ画像変換結果データD19から、医療費控除申請に必要となる医療品購入の点数に係るデータを抽出する。具体的には以下の通りである。
続いて、制御部11は、抽出された二コマ画像データD16に対応するチェック後コマ画像変換結果データD19のうち、項目名コマ画像変換結果データD15に該当するデータを検索し、その中に、記憶部12の抽出項目データ記憶部125に記憶された抽出項目データD4に含まれる医療品購入項目データD4-8に一致するデータ、すなわち、「調剤技術」、「薬学管理」、「薬剤」、「特定保健医療材料」又は「医療材料」の文字がある場合に、二コマ画像データD16において、当該項目名コマ画像変換結果データD15に対応する項目名コマ画像データD14に係るコマCと合成されているコマCに係るチェック後コマ画像変換結果データD19を抽出する。
制御部11は、チェック後コマ画像変換結果データD19から、医療費控除申請に必要となる介護保険サービスの点数に係るデータを抽出する。具体的には以下の通りである。
続いて、制御部11は、抽出された二コマ画像データD16に対応するチェック後コマ画像変換結果データD19のうち、項目名コマ画像変換結果データD15に該当するデータを検索し、その中に、記憶部12の抽出項目データ記憶部125に記憶された抽出項目データD4に含まれる介護保険サービス項目データD4-9に一致するデータ、すなわち、「訪問介護」、「ホームヘルプサービス」、「訪問入浴介護」、「訪問リハビリテーション」又は「デイサービス」の文字がある場合に、二コマ画像データD16において、当該項目名コマ画像変換結果データD15に対応する項目名コマ画像データD14に係るコマCと合成されているコマCに係るチェック後コマ画像変換結果データD19を抽出する。
日付データD21-1、氏名データD21-2、支払先データD21-3、使用医薬品データD21-4、支払金額データD21-5、医療・治療点数データD21-6、医療品購入点数データD21-7、介護保険サービス点数データD21-8からなる医療費控除申請用抽出データD21が抽出されると、制御部11は、これを、記憶部12の医療費控除申請用抽出データ記憶部124に、当該データに係るユーザUのユーザデータD1と紐付けて記憶する。
この際には、抽出項目データD4及び抽出項目形式データD5についても、抽出される医療費控除申請用抽出データD21に合わせて、新たな項目についてのデータの追加又は不要な項目についてのデータの削除を行うこととなる。
ステップS4-9まで完了すると、制御部11は、記憶部12の変換対象データ記憶部122の、当該医療領収書画像データD2に対応する変換有無データD3を、未変換から既変換に更新する。
OCRソフトウェアを用いての証憑の記載内容の文字コードへの変換は、通常、証憑の左から右、上から下へと順次変換していくことから、文字が規則的に配置されている証憑であれば変換精度を高め易いが、記載が不規則な証憑については、変換精度を高めることが困難であった。
また、OCRソフトウェアへの入力画像は、ノイズとなる文字列以外の情報が少なく、かつ文字列が記載されている領域が画像全体に対し大きいほど精度が向上するが、複数の記載欄が不規則に配置された証憑については、一般に文字列以外の情報が多く、かつ文字列が記載されている領域が画像全体に対し小さいことから、この点からも変換精度の向上が困難であった。
証憑の画像データ(医療領収書画像データD2)自体は、複数の記載欄が不規則に配置されたものであっても、個々のコマC内の記載は証憑全体と比較して規則的なものとなり、また、個々のコマC内を見れば、証憑全体を見る場合と比較して、ノイズとなる文字列以外の情報が少なく、かつ文字列が記載されている領域が画像全体に対し大きい場合が多い。
したがって、本実施形態によれば、コマ画像データD7毎に文字コードへの変換を行うことで、OCRソフトウェア129による変換精度を高めることができる。
上記実施形態においては、医療領収書画像データD2の記載内容を文字コードに変換する場合について説明したが、本発明の対象となる証憑は、医療領収書に限られない。
複数の記載欄が設けられた証憑であれば、例えば給与の明細、社会保険の納付書等、医療領収書以外の証憑であっても、本発明によって、コマ画像データD7及び枠外画像データD9に分割の上、OCRソフトウェア129による変換を行うことで、その記載内容の文字コードへの変換精度を高めることができる。
1 会計支援装置
11 制御部(コマ識別手段、コマ画像データ作成手段、変換手段、枠外画像データ作成手段、項目名コマ抽出手段、二コマ画像データ作成手段、行数特定手段、行毎コマ画像データ作成手段、データ抽出手段)
12 記憶部
127 医療領収書変換エンジン(会計支援プログラム)
128 医療費控除申請用データ抽出エンジン(会計支援プログラム)
129 OCRソフトウェア
13 通信部(取得手段、送信手段、受信手段)
2 作業者端末
D2 医療領収書画像データ(証憑画像データ)
D4 抽出項目データ
D5 抽出項目形式データ
D7 コマ画像データ
D9 枠外画像データ
D10 コマ画像変換結果データ
D11 枠外画像変換結果データ
D12 行毎コマ画像データ
D14 項目名コマ画像データ
D16 二コマ画像データ
L 罫線
C コマ
W 作業者
Claims (24)
- 変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段と、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成手段と、
を備えることを特徴とする会計支援装置。 - 変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信手段と、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信手段と、
を備えることを特徴とする会計支援装置。 - 変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段と、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段と、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備え、
前記データ抽出手段は、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする会計支援装置。 - 変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備え、
前記データ抽出手段は、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出手段によって抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする会計支援装置。 - 変換対象となる証憑の画像データである証憑画像データを取得する取得手段と、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段と、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段と、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段と、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、OCRソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換手段と、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段と、
を備えることを特徴とする会計支援装置。 - 前記コマ識別手段は、
前記証憑画像データから直線を検出の上、
当該直線によって囲まれた領域を前記コマとして識別することを特徴とする請求項1から5のいずれか一項に記載の会計支援装置。 - 前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段を備え、
前記変換手段は、OCRソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得することを特徴とする請求項1から6のいずれか一項に記載の会計支援装置。 - 前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段を備えることを特徴とする請求項1から7のいずれか一項に記載の会計支援装置。
- 前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段を備えることを特徴とする請求項8に記載の会計支援装置。
- 前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段を備えることを特徴とする請求項1から9のいずれか一項に記載の会計支援装置。
- 前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段を備え、
前記項目名コマ抽出手段は、
前記行毎コマ画像データが作成されたコマについては、前記行毎コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記行毎コマ画像データを、前記項目名コマ画像データとして抽出し、
前記行毎コマ画像データが作成されていないコマについては、前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データを、前記項目名コマ画像データとして抽出することを特徴とする請求項1に記載の会計支援装置。 - 前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段を備え、
前記二コマ画像データ作成手段は、
前記行毎コマ画像データが前記項目名コマ画像データとして抽出された場合には、
当該行毎コマ画像データが含まれるコマと、これと隣接するコマとの行数が一致するかを判定の上、一致する場合に、当該行毎コマ画像データと、右に隣接するコマの同一行の行毎コマ画像データとを合成し、
前記コマ画像データが前記項目名コマ画像データとして抽出された場合には、
当該コマ画像データに係るコマと、下に隣接するコマとの左右方向の幅が一致するかを判定の上、これが一致する場合に、当該コマ画像データと、下に隣接するコマのコマ画像データとを合成することを特徴とする請求項11に記載の会計支援装置。 - 前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段を備えることを特徴とする請求項1から12のいずれか一項に記載の会計支援装置。
- 前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段を備え、
前記データ抽出手段は、前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出することを特徴とする請求項3、9又は12に記載の会計支援装置。 - コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定手段、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成手段、
として機能させる会計支援プログラム。 - コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信手段、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信手段、
として機能させる会計支援プログラム。 - コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出手段、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成手段、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させ、
前記データ抽出手段は、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする会計支援プログラム。 - コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換手段、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させ、
前記データ抽出手段は、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出手段によって抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする会計支援プログラム。 - コンピュータを、
変換対象となる証憑の画像データである証憑画像データを取得する取得手段、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別手段、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成手段、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成手段、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、OCRソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換手段、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出手段、
として機能させる会計支援プログラム。 - 会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データを基に、前記コマ画像データに含まれる文字列の行数を特定する行数特定ステップと、
前記コマ画像データに複数行の文字列が含まれる場合に、前記コマ画像データを行毎に分割した行毎コマ画像データを作成する行毎コマ画像データ作成ステップと、
を含む会計支援方法。 - 会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像データと、前記コマ画像データに対応するコマ画像変換結果データとを、前記コマ画像データ毎に別個の作業者端末へと送信する送信ステップと、
前記作業者端末から、作業者による確認及び修正後の前記コマ画像変換結果データを受信する受信ステップと、
を含む会計支援方法。 - 会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データを用いて前記コマ画像データに所定の項目名が含まれるかを判定し、所定の項目名が含まれる前記コマ画像データである項目名コマ画像データを抽出する項目名コマ抽出ステップと、
前記項目名コマ画像データに、隣接するコマのコマ画像データを合成して二コマ画像データを作成する二コマ画像データ作成ステップと、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含み、
前記データ抽出ステップにおいては、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれる場合に、当該項目名コマ画像データと合成されたコマ画像データに係るコマ画像変換結果データを抽出し、
前記二コマ画像データの項目名コマ画像データに対応するコマ画像変換結果データに、前記抽出項目データと合致する項目名が含まれなかった場合に、全ての前記コマ画像変換結果データから、前記抽出項目データと合致する項目についてのデータを抽出することを特徴とする会計支援方法。 - 会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データから、所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含み、
前記データ抽出ステップにおいては、前記抽出項目データと合致する項目についてのデータのうち、その記載形式が、前記データ抽出ステップにおいて抽出するデータの記載形式に係るデータである抽出項目形式データと合致するデータを抽出することを特徴とする会計支援方法。 - 会計支援装置が実行する会計支援方法において、
変換対象となる証憑の画像データである証憑画像データを取得する取得ステップと、
前記証憑画像データから罫線によって囲まれた領域であるコマを識別するコマ識別ステップと、
前記証憑画像データから、前記コマを抽出した画像データであるコマ画像データを作成するコマ画像データ作成ステップと、
前記証憑画像データから、前記コマの記載を削除した画像データである枠外画像データを作成する枠外画像データ作成ステップと、
OCRソフトウェアを使用して、前記コマ画像データを文字コードに変換し、コマ画像変換結果データを取得し、OCRソフトウェアを使用して、前記枠外画像データを文字コードに変換し、枠外画像変換結果データを取得する変換ステップと、
前記コマ画像変換結果データから所定の抽出項目に係るデータである抽出項目データと合致する項目についてのデータを抽出し、前記コマ画像変換結果データから前記抽出項目データと合致する項目についてのデータが抽出されなかった場合に、前記枠外画像変換結果データから前記抽出項目データと合致する項目についてのデータを抽出するデータ抽出ステップと、
を含む会計支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019115191A JP7486112B2 (ja) | 2019-06-21 | 2019-06-21 | 会計支援装置、会計支援プログラム及び会計支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019115191A JP7486112B2 (ja) | 2019-06-21 | 2019-06-21 | 会計支援装置、会計支援プログラム及び会計支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021002183A JP2021002183A (ja) | 2021-01-07 |
JP7486112B2 true JP7486112B2 (ja) | 2024-05-17 |
Family
ID=73995049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019115191A Active JP7486112B2 (ja) | 2019-06-21 | 2019-06-21 | 会計支援装置、会計支援プログラム及び会計支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7486112B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP1699028S (ja) * | 2021-02-01 | 2021-11-08 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006309611A (ja) | 2005-04-28 | 2006-11-09 | Canon Marketing Japan Inc | 解析装置、プログラム及び記録媒体 |
JP2009003496A (ja) | 2007-06-19 | 2009-01-08 | Data Design Kk | 帳票データ変換装置 |
JP2012003670A (ja) | 2010-06-21 | 2012-01-05 | East Cloud Inc | 領収書情報処理装置、方法、及びコンピュータプログラム |
WO2014103024A1 (ja) | 2012-12-28 | 2014-07-03 | 富士通株式会社 | 表合成装置、および表合成プログラム |
JP2015135576A (ja) | 2014-01-16 | 2015-07-27 | グローリー株式会社 | 帳票項目認識方法、帳票項目認識装置及び帳票項目認識プログラム |
JP2016189174A (ja) | 2015-03-30 | 2016-11-04 | ブラザー工業株式会社 | 情報特定プログラム、及び情報特定方法 |
JP2017228092A (ja) | 2016-06-22 | 2017-12-28 | 大日本印刷株式会社 | 審査業務支援装置および審査業務支援方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3663865B2 (ja) * | 1997-12-19 | 2005-06-22 | カシオ計算機株式会社 | 帳票処理装置及び記憶媒体 |
-
2019
- 2019-06-21 JP JP2019115191A patent/JP7486112B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006309611A (ja) | 2005-04-28 | 2006-11-09 | Canon Marketing Japan Inc | 解析装置、プログラム及び記録媒体 |
JP2009003496A (ja) | 2007-06-19 | 2009-01-08 | Data Design Kk | 帳票データ変換装置 |
JP2012003670A (ja) | 2010-06-21 | 2012-01-05 | East Cloud Inc | 領収書情報処理装置、方法、及びコンピュータプログラム |
WO2014103024A1 (ja) | 2012-12-28 | 2014-07-03 | 富士通株式会社 | 表合成装置、および表合成プログラム |
JP2015135576A (ja) | 2014-01-16 | 2015-07-27 | グローリー株式会社 | 帳票項目認識方法、帳票項目認識装置及び帳票項目認識プログラム |
JP2016189174A (ja) | 2015-03-30 | 2016-11-04 | ブラザー工業株式会社 | 情報特定プログラム、及び情報特定方法 |
JP2017228092A (ja) | 2016-06-22 | 2017-12-28 | 大日本印刷株式会社 | 審査業務支援装置および審査業務支援方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021002183A (ja) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210073531A1 (en) | Multi-page document recognition in document capture | |
USRE47309E1 (en) | System and method for capture, storage and processing of receipts and related data | |
US7886219B2 (en) | Automatic form generation | |
US20190026577A1 (en) | Image data capture and conversion | |
US20160179313A1 (en) | Page-independent multi-field validation in document capture | |
US20190026579A1 (en) | System for dynamic optical character recognition tuning | |
JP2009520246A (ja) | カスタマゼーションによらない書式データ抽出 | |
JP6965761B2 (ja) | 連携システム、情報処理装置、情報登録方法、プログラム | |
US20150178855A1 (en) | Ocr enabled management of accounts payable and/or accounts receivable auditing data | |
JP6134107B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7486112B2 (ja) | 会計支援装置、会計支援プログラム及び会計支援方法 | |
JP2018124705A (ja) | 証憑の管理プログラム | |
JP2010244227A (ja) | 会計入力保存装置 | |
JP2003091696A (ja) | 業務代行システム及び業務代行プログラム | |
JP2001202431A (ja) | 加入手続システム、方法及び記録媒体 | |
JP6707112B2 (ja) | ユーザ情報入力支援システム | |
KR20100013724A (ko) | 문서서식에 미니코드를 생성하는 방법 및 문서서식에생성된 미니코드를 해석하는 방법 | |
JP7480953B2 (ja) | 会計支援装置、会計支援プログラム及び会計支援方法 | |
JP4510371B2 (ja) | 文書・情報入力システム | |
JP6397084B2 (ja) | ユーザ情報入力支援システム | |
JP2007233640A (ja) | 申込書作成支援方法及び申込書作成支援プログラム | |
JP2016031729A (ja) | 伝票処理装置、伝票処理方法、及びプログラム | |
JP7161797B1 (ja) | データ入力支援装置、データ入力支援システム、データ入力支援方法、及びデータ入力支援プログラム | |
JP2019117520A (ja) | 文字認識装置、方法およびプログラム | |
JP2004062351A (ja) | レイアウト情報登録システム、レイアウト情報登録プログラム、およびレイアウト情報登録方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231227 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20231227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20231227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7486112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |