JP6810302B1 - データ処理装置、データ処理方法及びプログラム - Google Patents

データ処理装置、データ処理方法及びプログラム Download PDF

Info

Publication number
JP6810302B1
JP6810302B1 JP2020541623A JP2020541623A JP6810302B1 JP 6810302 B1 JP6810302 B1 JP 6810302B1 JP 2020541623 A JP2020541623 A JP 2020541623A JP 2020541623 A JP2020541623 A JP 2020541623A JP 6810302 B1 JP6810302 B1 JP 6810302B1
Authority
JP
Japan
Prior art keywords
character string
candidate
data
character strings
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020541623A
Other languages
English (en)
Other versions
JPWO2022024262A1 (ja
Inventor
鴻鵬 葛
鴻鵬 葛
顕 松田
顕 松田
智 小俣
智 小俣
啓太郎 森
啓太郎 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fast Accounting Inc
Original Assignee
Fast Accounting Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fast Accounting Inc filed Critical Fast Accounting Inc
Priority to JP2020204810A priority Critical patent/JP2022027399A/ja
Application granted granted Critical
Publication of JP6810302B1 publication Critical patent/JP6810302B1/ja
Publication of JPWO2022024262A1 publication Critical patent/JPWO2022024262A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/12Detection or correction of errors, e.g. by rescanning the pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/28Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Character Discrimination (AREA)

Abstract

データ処理装置1は、証憑データを取得するデータ取得部131と、証憑データに含まれる複数の文字列を特定する文字列特定部132と、文字列特定部132が特定することができなかった文字列である誤認識文字列が存在する場合に、誤認識文字列以外の一以上の認識文字列の内容に基づいて、誤認識文字列の候補である一以上の候補文字列を決定する候補決定部133と、一以上の候補文字列を出力する出力部134と、を有する。

Description

本発明は、証憑データを処理するデータ処理装置、データ処理方法及びプログラムに関する。
従来、文書を文字認識した結果に誤りがある場合に、誤認識された文字列を修正する機能を有する画像処理装置が知られている。特許文献1には、漢字の旧字と新字の違いや漢字の送り仮名の違い等の誤認識パターンに基づいて、誤認識した文字列を修正する技術が開示されている。
特開2019−040467号公報
近年、請求書又は納品書等の証憑に記載された文字列を認識し、認識した文字列を証憑管理用コンピュータで管理するシステムが使用されている。このような証憑に記載された文字列が正しく認識されないと、証憑管理用コンピュータに適切な内容が登録されないので、経理処理に支障が生じてしまう。従来の技術により、誤認識パターンに当てはまる誤認識であれば、文字列が正しく修正される場合があるが、誤認識パターンに当てはまらない誤認識が生じた場合、文字列が正しく修正されないという問題があった。
そこで、本発明はこれらの点に鑑みてなされたものであり、証憑データを管理するコンピュータに登録される証憑データの内容の精度を高めることを目的とする。
本発明の第1の態様のデータ処理装置は、証憑データを取得するデータ取得部と、前記証憑データに含まれる複数の文字列を特定する文字列特定部と、前記文字列特定部が特定することができなかった文字列である誤認識文字列が存在する場合に、前記誤認識文字列以外の一以上の認識文字列の内容に基づいて、前記誤認識文字列の候補である一以上の候補文字列を決定する候補決定部と、前記一以上の候補文字列を出力する出力部と、を有する。
前記候補決定部は、前記誤認識文字列と同じ列又は同じ行に含まれている前記一以上の認識文字列の内容に基づいて前記一以上の候補文字列を決定してもよい。
前記候補決定部は、前記誤認識文字列と同じ行又は同じ列に含まれている前記一以上の認識文字列の少なくとも一つが項目名を示している場合に、前記誤認識文字列と同じ列又は同じ行に含まれている前記一以上の認識文字列の内容に対応する項目名を示す前記一以上の候補文字列を決定してもよい。
前記候補決定部は、前記誤認識文字列と同じ列又は同じ行に含まれている前記一以上の認識文字列の桁数に基づいて前記一以上の候補文字列を決定してもよい。
前記候補決定部は、前記誤認識文字列の前記証憑データにおける位置に基づいて、前記一以上の候補文字列を決定してもよい。
前記候補決定部は、前記誤認識文字列の前記証憑データにおける位置に基づいて前記誤認識文字列が項目を示す文字列であると判定した場合に、項目名に対応する文字列を前記一以上の候補文字列に決定してもよい。
前記候補決定部は、前記誤認識文字列の前記証憑データにおける位置に基づいて前記誤認識文字列が項目を示す文字列であると判定した場合に、それぞれが複数の項目名を示す複数の候補文字列を含むテンプレートを作成してもよい。
前記候補決定部は、前記一以上の認識文字列が示す数値と消費税率とに基づいて、前記一以上の候補文字列を決定してもよい。
前記データ取得部が過去に取得した複数の前記証憑データである複数の過去証憑データと、前記複数の過去証憑データそれぞれに含まれている複数の文字列とを関連付けて記憶する記憶部をさらに有し、前記候補決定部は、前記複数の過去証憑データのうち、前記データ取得部が取得した前記証憑データに類似する類似証憑データにおいて、前記証憑データにおける前記誤認識文字列の位置に対応する位置に含まれている文字列に基づいて前記一以上の候補文字列を決定してもよい。
前記文字列特定部は、証憑データと複数の文字列との組み合わせを教師データとして学習し、入力された前記証憑データに対応する前記複数の文字列を出力する機械学習モデルに前記証憑データを入力することにより、前記複数の文字列を特定し、前記出力部は、前記複数の文字列それぞれに関連付けて、文字列が正しく特定されている確率に対応する信頼度を示す情報を出力してもよい。
前記候補決定部は、証憑データと複数の候補文字列との組み合わせを教師データとして学習し、入力された前記証憑データに含まれている一つの文字列に関連付けて前記一以上の候補文字列を出力する機械学習モデルに前記証憑データを入力することにより、前記一以上の候補文字列を決定し、前記出力部は、前記一以上の候補文字列それぞれに関連付けて、前記候補文字列が正しい文字列である確率に対応する信頼度を示す情報を出力してもよい。
本発明の第2の態様のデータ処理方法は、コンピュータが実行する、証憑データを取得するステップと、前記証憑データに含まれる複数の文字列を特定するステップと、特定することができなかった文字列である誤認識文字列が存在する場合に、前記誤認識文字列以外の一以上の認識文字列の内容に基づいて、前記誤認識文字列の候補である一以上の候補文字列を決定するステップと、前記一以上の候補文字列を出力するステップと、を有する。
本発明の第3の態様のプログラムは、コンピュータに、証憑データを取得するステップと、前記証憑データに含まれる複数の文字列を特定するステップと、特定することができなかった文字列である誤認識文字列が存在する場合に、前記誤認識文字列以外の一以上の認識文字列の内容に基づいて、前記誤認識文字列の候補である一以上の候補文字列を決定するステップと、前記一以上の候補文字列を出力するステップと、を実行させる。
本発明によれば、証憑データを管理するコンピュータに登録される証憑データの内容の精度を高めることができるという効果を奏する。
データ処理システムの構成を説明するための図である。 請求書データの例を示す図である。 請求書データの例を示す図である。 請求書データの例を示す図である。 データ処理装置の構成を示す図である。 候補決定部が桁数に基づいて候補文字列を決定した請求書データを示す図である。 図6に示した請求書データにおけるX5の項目名が税額であることが特定されている請求書データを示す図である。 項目名の候補文字列を含むテンプレートが表示された請求書データを示す図である。 消費税率に基づいて金額を示す候補文字列が表示されている請求書データを示す図である。 データ処理装置の処理の流れを示すフローチャートである。 データ処理装置の処理の流れを示すフローチャートである。
[データ処理システムSの概要]
図1は、データ処理システムSの構成を説明するための図である。データ処理システムSは、証憑の画像を読み取って得られた証憑データを処理するためのシステムである。証憑は、取引内容又は取引条件が記載された書類であり、例えば見積書、注文書、又は請求書である。証憑データは、証憑に含まれる複数の文字列に対応する複数のテキストデータを含むデータである。以下の説明においては証憑が請求書である場合を例示するが、本実施形態は、請求書以外の証憑にも適用することができる。
データ処理システムSは、データ処理装置1と、経理端末2と、従業員端末3と、を備える。データ処理装置1、経理端末2及び従業員端末3は、ネットワークNを介してデータを送受信する。ネットワークNは、例えばインターネット又はイントラネットを含む。
データ処理装置1は、各種の証憑データを管理するコンピュータである。データ処理装置1は、経理端末2又は従業員端末3から証憑の画像データを含むファイルを取得し、取得した画像データにおいて特定された文字列に基づいて、証憑データを作成してもよく、経理端末2又は従業員端末3から証憑データを含むファイルを取得してもよい。
本実施形態に係るデータ処理装置1は、請求先企業が受け取った請求書の内容を示す請求書データを管理する。データ処理装置1は、過去に請求先企業が受け取った請求書の内容、及びそれぞれの請求書に関連する部門を示す複数の過去請求書データを含む請求書データベースを記憶しており、経理端末2からの要求に応じて、記憶している請求書データの内容を経理端末2に提供する。データ処理装置1は、証憑データに含まれている文字列を認識し、証憑データを管理するシステム(例えば経理用の基幹システム)のデータベースに登録されるデータを出力してもよい。
データ処理装置1は、例えば人工知能を用いて請求書データに含まれている文字列を認識するが、文字列を正しく認識できないという場合がある。誤認識された文字列がデータベースに登録されてしまうと、経理処理に支障が生じるので、データ処理装置1は、データベースに文字列が登録される前に、誤認識された文字列を修正できるようにする。データ処理装置1は、データベースに文字列が登録された後に、誤認識された文字列を修正できるようにしてもよい。データ処理装置1は、証憑データを確認する担当者(本明細書においては経理担当者)が、実際に証憑に記載されていた文字列と同一の正しい文字列に修正をしやすくするために、証憑に記載されていた蓋然性が比較的高い文字列の候補を表示することを特徴としている。
経理端末2は、請求書を受領した請求先企業においてデータ処理装置1を利用する従業員(例えば経理担当者)が使用するコンピュータである。経理端末2は、例えばイントラネットを介してデータ処理装置1との間で各種のデータを送受信する。
経理端末2は、例えば経理担当者がスキャナで読み取った請求書の画像データをデータ処理装置1に送信する。また、経理端末2は、経理担当者の指示に応じてデータ処理装置1が記憶している請求書データベースにアクセスして、経理担当者が指定した請求書データを表示する。経理端末2は、例えば、データ処理装置1が特定した部門名又は部門別配賦率を表示する。図1は1台の経理端末2を示しているが、複数の経理端末2がデータ処理装置1にアクセスしてもよい。
従業員端末3は、商品等を請求元企業に発注した請求先企業の従業員が使用するコンピュータである。従業員端末3は、従業員が請求書を受け取った場合に、従業員の操作に応じて請求書の画像データをデータ処理装置1に送信する。
図2から図4は、データ処理装置1が実行する処理の概要を説明するための請求書データの例を示す図であり、例えば経理端末2に表示される画像データである。図2に示す請求書データは、請求書データに記載された全ての文字列が正しく表示されている。図3に示す請求書データは、請求書の明細の各項目(納品日、品名、数量、金額、税額)の名称を示す文字列が適切に認識されなかった状態を示しており、項目欄にX1、X2、X3、X4、X5と表示されている。
図4は、図3の画面が経理端末2に表示された状態で、経理端末2を使用する経理担当者がX1の部分にカーソルを当てた状態の画像データを示している。データ処理装置1は、図4に示すように、経理担当者により選択された位置に記載されていた文字列の候補(以下、「候補文字列」という)を表示する。
図4に示す例において、データ処理装置1(後述する出力部134)は、経理端末2が表示するように、複数の候補文字列それぞれに関連付けて、候補文字列が正しく特定されている確率に対応する信頼度を示す情報を出力している。信頼度は、データ処理装置1が決定した候補文字列が実際に請求書に記載された文字列と同一である蓋然性に対応している。データ処理装置1は、例えば人工知能エンジンを用いて候補文字列を決定する場合、人工知能エンジンが出力した文字列が正しい文字列である確率、又は信頼度を示すテキストデータ(例えば「信頼度高」、「信頼度中」、「信頼度低」)を出力する。
データ処理装置1は、表示された候補文字列のうち1つを選択する操作を経理担当者から受けると、請求書データのX1の位置に記載されていた文字列として、証憑データを管理するコンピュータに選択された候補文字列を登録する。データ処理装置1は、このように動作することで、証憑データを管理するコンピュータに登録される証憑データの内容の精度を高めることができる。また、データ処理装置1は、請求データの内容を確認する経理担当者の業務負荷を減らすことも可能にする。なお、図3及び図4に示した例は、データ処理装置1が候補文字列を出力する各種の態様の一例であり、他の例の詳細については後述する。
[データ処理装置1の構成及び動作]
図5は、データ処理装置1の構成を示す図である。データ処理装置1は、通信部11と、記憶部12と、制御部13とを有する。制御部13は、データ取得部131と、文字列特定部132と、候補決定部133と、出力部134とを有する。
通信部11は、ネットワークNを介して経理端末2及び従業員端末3と各種のデータを送受信するための通信コントローラを有する。通信部11は、例えば経理端末2から受信したデータをデータ取得部131に入力する。また、通信部11は、出力部134から入力されたデータを、例えば経理端末2に送信する。
記憶部12は、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等の記憶媒体を有する。記憶部12は、制御部13が実行するプログラムを記憶している。記憶部12は、通信部11を介して受信した請求書の画像データを一時的に記憶するワークメモリとしても機能する。記憶部12は、過去の請求書の請求書データを記憶してもよい。
制御部13は、例えばCPU(Central Processing Unit)を有する。制御部13は、記憶部12に記憶されたプログラムを実行することにより、データ取得部131、文字列特定部132、候補決定部133及び出力部134として機能する。
データ取得部131は、通信部11を介して各種のデータを取得する。データ取得部131は、例えば経理端末2又は3から送信された証憑データを取得する。データ取得部131は、取得した証憑データを文字列特定部132に入力する。データ取得部131は、証憑データを記憶部12に記憶させてもよい。
また、データ取得部131は、経理端末2における操作内容を示すデータを取得してもよい。指示データは、例えば複数の候補文字列から経理端末2の経理担当者が選択した候補文字列を示す選択データである。データ取得部131は、取得した選択データを候補決定部133に通知する。
文字列特定部132は、証憑データに含まれる複数の文字列を特定する。文字列特定部132は、例えばOCR(Optical Character Recognition)を用いて文字認識することにより複数の文字列を特定する。一例として、文字列特定部132は、証憑データと複数の文字列との組み合わせを教師データとして学習し、入力された証憑データに対応する複数の文字列を出力する機械学習モデル(すなわち人工知能エンジン)に証憑データを入力することにより、複数の文字列を特定する。
文字列特定部132は、さらに、証憑データに含まれる複数の文字列のそれぞれを正しく特定できたか否かを判定する。文字列特定部132は、例えば人工知能エンジンが、文字列を認識することができなかったという結果を出力した場合、又は複数の文字列を出力した場合、当該文字列を正しく特定できなかったと判定する。文字列特定部132は、文字列を正しく特定することができなかった場合、特定できなかった文字列の証憑データにおける位置を候補決定部133に通知する。以下の説明において、正しく特定することができなかった文字列を誤認識文字列という。
候補決定部133は、文字列特定部132が特定することができなかった文字列である誤認識文字列が存在する場合に、誤認識文字列以外の一以上の認識文字列の内容に基づいて、誤認識文字列の候補である一以上の候補文字列を決定する。誤認識文字列以外の一以上の認識文字列は、証憑データに含まれている文字列のうち、正しく認識された文字列である。
候補決定部133は、決定した一以上の候補文字列を出力部134に通知し、出力部134は、一以上の候補文字列を出力する。出力部134は、通信部11を介して、一以上の候補文字列を経理端末2に送信したり、データ処理装置1に接続されたディスプレイに表示したり、データ処理装置1に接続されたプリンタに出力したりする。
また、候補決定部133は、データ取得部131を介して、経理担当者が選択した候補文字列を示す選択データを取得すると、選択データが示す候補文字列を、誤認識文字列に対応する文字列に決定する。候補決定部133は、誤認識文字列が含まれていた請求書データに関連付けて、決定した文字列を記憶部12に記憶させてもよく、出力部134を介して、決定した文字列を外部に出力してもよい。
出力部134は、一以上の候補文字列に対応する誤認識文字列と同じ列又は同じ行に含まれている他の文字列と重ならない位置に一以上の候補文字列が配置されるように一以上の候補文字列を出力してもよい。図2に示す例においては、誤認識文字列がX1である場合に、X1と同じ列の文字列及び同じ行の文字列と重ならないように候補文字列が表示されている。出力部134がこのような態様で候補文字列を出力することにより、経理担当者が、同じ列又は同じ行の他の文字列に基づいて、最適な候補文字列を選択しやすくなる。
[候補文字列の決定方法の詳細]
以下、候補決定部133が候補文字列を決定するための各種の方法を詳細に説明する。
候補決定部133は、例えば、誤認識文字列と同じ列又は同じ行に含まれている一以上の認識文字列の内容に基づいて一以上の候補文字列を決定する。
図3に示した請求書データにおいて誤認識文字列がX1である場合、候補決定部133は、X1と同じ列の文字列である「6/10」、「6/10」、「6/20」、「6/22」に基づいて、X1が含まれている列に日付が記載されているということを特定する。さらに、候補決定部133は、X1が列の最上部に位置していることを特定する。このような場合、候補決定部133は、X1が、請求書データにおいて複数の日付が記載されている列の項目名であると判定し、項目名として記載されている確率が高い「納品日」、「発注日」、「検収日」を候補文字列に決定する。
候補決定部133は、同じ列又は同じ行に含まれている日付に基づいて、誤認識文字列の日付に対応する候補文字列を決定してもよい。例えば、文字列特定部132が特定した文字列が「6/10」、「6/18」、「6/2X」、「6/22」である場合、候補決定部133は、Xが0又は1であると判定し、「6/20」又は「6/21」を候補文字列に決定する。
候補決定部133は、誤認識文字列の証憑データにおける位置に基づいて、一以上の候補文字列を決定してもよい。候補決定部133は、例えば、誤認識文字列の証憑データにおける位置に基づいて誤認識文字列が項目を示す文字列であると判定した場合に、項目名に対応する文字列を一以上の候補文字列に決定する。
一例として、候補決定部133は、誤認識文字列が、類似する文字列が連続している列における最上位の位置、又は類似する文字列が連続している行における左端の位置にある場合に、当該誤認識文字列が項目名を示す文字列であると判定する。類似する文字列とは、例えば図3における納品日に対応する日時を示す文字列、品名に対応する漢字・カタカナ・ひらがな・アルファベットのいずれかを含む文字列、数量に対応する数値の文字列、金額の単位を含む文字列である。候補決定部133が、このように位置に基づいて項目を示す文字列であると判定することにより、項目名が誤認識された場合に、誤認識文字列に対応する候補文字列として項目名を示す文字列が選択される確率が高まる。
候補決定部133は、誤認識文字列と同じ列又は同じ行に含まれている一以上の認識文字列の桁数に基づいて一以上の候補文字列を決定してもよい。候補決定部133は、例えば同じ列又は同じ行に含まれている認識文字列の桁数が閾値(例えば3桁)未満である場合、一以上の候補文字列として、数量を意味する文字列を選択し、同じ列又は同じ行に含まれている認識文字列の桁数が閾値(例えば3桁)以上である場合、一以上の候補文字列として金額を意味する文字列を選択する。
候補決定部133は、品名に基づいて閾値を決定してもよい。候補決定部133は、例えば、10個未満の単位で購入されることが多い商品であることを品名が示している場合、閾値を2桁とし、10個以上の単位で購入されることが多い商品であることを品名が示している場合、閾値を3桁とする。候補決定部133が品名に基づいて閾値を決定することで、項目名が数量を示しているか否かを候補決定部133が判定する精度が向上する。
図6は、候補決定部133が桁数に基づいて候補文字列を決定した請求書データを示す図である。この例において、候補決定部133は、誤認識文字列と同じ行又は同じ列に含まれている一以上の認識文字列の少なくとも一つが項目名を示している場合に、誤認識文字列と同じ列又は同じ行に含まれている一以上の認識文字列の内容に対応する項目名を示す一以上の候補文字列を決定する。項目名は、図2に示した請求書データの場合の「納品日」、「品名」、「数量」、「金額」、「税額」のように、同じ行又は同じ列に含まれている文字列がどのような意味を持つかを示す名称である。
候補決定部133は、図6に示すX4と同じ列に「納品日」、「品名」、「数量」という項目名が記載されていることから、X4の候補文字列として、項目名を示す一以上の候補文字列を決定する。さらに、候補決定部133は、X4と同じ列の文字列の桁数が5桁であることから、X4が金額関連の項目名であると判定し、「金額」、「単価」、「小計」、「税額」、「消費税」を候補文字列に決定している。
図7は、図6に示した請求書データにおけるX5の項目名が税額であることが特定されている請求書データを示す図である。図7においては、X4と同じ列に「税額」という文字列が含まれていることから、候補決定部133は、図6に示した候補文字列のうち「税額」、「消費税」を候補文字列から除外している。このように、候補決定部133は、他の列又は他の行に含まれている文字列を候補文字列から除外することにより、候補文字列の精度を向上させることができる。
候補決定部133は、誤認識文字列の証憑データにおける位置に基づいて誤認識文字列が項目を示す文字列であると判定した場合に、それぞれが複数の項目名を示す複数の候補文字列を含むテンプレートを作成してもよい。
図8は、項目名の候補文字列を含むテンプレートが表示された請求書データを示す図である。図8においては、請求書の明細が表示されている領域と異なる領域に、複数の項目名を示す複数の候補文字列を含む3つのテンプレートが表示されている。
第1のテンプレートには、「納品日 品名 数量 金額 税額」が含まれており、第2のテンプレートにおいては、第1のテンプレートにおける「納品日」の代わりに「注文日」が記載されており、第1テンプレートとの違いを示すための下線が引かれている。第3のテンプレートにおいては、第1のテンプレートにおける「金額」の代わりに「単価」が記載されており、第1テンプレートとの違いを示すための下線が引かれている。経理担当者は、表示されている複数のテンプレートから所望のテンプレートを選択することで、文字列が特定されていなかった項目名X1〜X5の文字列を一度の操作で決定することができる。
候補決定部133は、一以上の認識文字列が示す数値と消費税率とに基づいて、一以上の候補文字列を決定してもよい。図9は、消費税率に基づいて金額を示す候補文字列が表示されている請求書データを示す図である。
消費税率として10%又は8%が想定される場合、候補決定部133は、誤認識文字列X6と同じ行に示されている税額2,000円を消費税率で除算することにより候補となる金額を算出する。具体的には、候補決定部133は、2,000円を消費税率10%で除算することにより算出した20,000円を第1の候補文字列に決定し、2,000円を消費税率8%で除算することにより算出した25,000円を第2の候補文字列に決定する。候補決定部133が、このように税額を示す数値と消費税率に基づいて算出した結果に対応する文字列を候補文字列に決定することで、候補文字列の精度を向上させることができる。
候補決定部133は、品名の列に記載されている文字列が示す商品の種別に基づいて消費税率を推定し、商品の種別に対応する消費税率に基づいて算出した金額の文字列を第1の候補文字列としてもよい。候補決定部133は、例えば、品名が「測定器A用プローブ」である場合、消費税率が10%であると推定し、図9に示すように、「20,000円」を第1の候補文字列に決定する。
候補決定部133は、複数の過去証憑データのうち、データ取得部131が取得した証憑データに類似する類似証憑データにおいて、証憑データにおける誤認識文字列の位置に対応する位置に含まれている文字列に基づいて一以上の候補文字列を決定してもよい。この場合、記憶部12は、データ取得部131が過去に取得した複数の証憑データである複数の過去証憑データと、複数の過去証憑データそれぞれに含まれている複数の文字列とを関連付けて記憶している。記憶部12は、証憑データにおいて各文字列が記載されていた位置を記憶していてもよい。類似証憑データは、例えば、請求書を発行した企業の名称、又は振込先口座情報等が一致する請求書データである。同じ企業が発行した請求書においては、同じ項目名が用いられている蓋然性が高いことから、候補決定部133が過去の類似証憑データに基づいて候補文字列を決定することにより、候補文字列の精度が向上する。
[データ処理装置1における処理の流れ]
図10及び図11は、データ処理装置1の処理の流れを示すフローチャートである。図10に示すフローチャートは、経理端末2を使用する経理担当者が請求書データをデータ処理装置1に送信する操作をした時点から開始している。
データ取得部131が請求書データを取得すると(S11)、文字列特定部132が請求書データに含まれている文字列を特定する(S12)。文字列特定部132は、誤認識した可能性がある文字列があるか否かを判定し(S13)、誤認識した可能性がある文字列がない場合(S13においてNO)、特定した文字列を出力させて(S14)、データ処理装置1が誤認識文字列に対応する候補文字列を出力する処理を終了する。文字列特定部132は、例えば特定した文字列を記憶部12に記憶させたり、通信部11を介して経理端末2に送信したりする。
文字列特定部132は、誤認識した可能性がある文字列がある場合(S13においてYES)、その旨を候補決定部133に通知する。候補決定部133は、誤認識した可能性がある文字列が含まれている列又は行に一般名詞が含まれているか否かを判定する(S15)。候補決定部133は、同じ列又は行に一般名詞が含まれている場合(S15においてYES)、「品名」を候補文字列に決定する(S16)。候補決定部133は、同じ列又は行に一般名詞が含まれていない場合(S15においてNO)、同じ列又は行が数値により構成されているか否かを判定する(S17)。候補決定部133は、同じ列又は行が数値により構成されていないと判定した場合(例えばアルファベットと数字の組み合わせである場合)(S17においてNO)、「品名」を候補文字列に決定する(S16)。
候補決定部133は、同じ列又は行が数値により構成されていると判定した場合(S17においてYES)、数値の種別を判定する処理を実行する(S18)。候補決定部133がS16又はS18により候補文字列を決定すると、出力部134は候補文字列を出力する(S19)。
図11は、候補決定部133が数値の種別を判定する処理のフローチャートである。図11においては、図2に示した請求書データのように、同じ列に一つの項目名(例えば金額)に対応する数値が記載されている場合を例にして説明する。候補決定部133は、同じ列に含まれている数値の桁数が閾値(例えば2桁)未満であるか否かを判定する(S181)。候補決定部133は、数値の桁数が閾値未満である場合(S181においてYES)、数量を示す文字列を候補文字列に決定する(S182)。
候補決定部133は、桁数が閾値以上である場合(S181においてNO)、数値が含まれる複数の列のうち、桁数が最も多い列であるか否かを判定する(S183)。候補決定部133は、桁数が最も多い桁数であると判定した場合(S183においてYES)、金額を示す文字列を候補文字列に決定する(S184)。
候補決定部133は、桁数が最も多い列でないと判定した場合(S183においてNO)、誤認識文字列が含まれる列の数値が、他の列の数値の消費税率(例えば10%)に相当する数値か否かを判定する(S185)。候補決定部133は、他の列の数値の消費税率に相当する数値であると判定した場合(S185においてYES)、税額を示す文字列を候補文字列に決定する(S186)。
候補決定部133は、他の列の数値の消費税率に相当する数値でないと判定した場合(S185においてNO)、他の列の数値の約数であるか否かを判定する(S187)。候補決定部133は、例えば、誤認識文字列に対応する列の数値が、金額の列の数値を数量の列の数値で減算した結果と一致するか否かを判定する。候補決定部133は、他の列の数値の約数であると判定した場合(S187においてYES)、単価を示す文字列を候補文字列に決定する。候補決定部133は、他の列の数値の約数でないと判定した場合(S187においてNO)、候補文字列を決定できないという結果を出力して処理を終了する。
[変形例]
以上の説明においては、候補決定部133が、他の文字列との関係を用いることにより候補文字列を決定する場合を例示したが、候補決定部133が候補文字列を決定する方法はこれに限らない。候補決定部133は、証憑データと複数の候補文字列との組み合わせを教師データとして学習し、入力された証憑データに含まれている一つの文字列に関連付けて一以上の候補文字列を出力する機械学習モデルに証憑データを入力することにより、一以上の候補文字列を決定してもよい。候補決定部133は、上述した各種の方法で決定した複数の候補文字列と、機械学習モデルから出力された一以上の候補文字列とで共通する候補文字列を選択してもよい。候補決定部133が、このように機械学習モデルを使用することにより、候補文字列の精度をさらに向上させることができる。
この場合に、出力部134は、一以上の候補文字列それぞれに関連付けて、候補文字列が正しい文字列である確率に対応する信頼度を示す情報を出力してもよい。出力部134は、例えば機械学習モデルから候補文字列に関連付けて出力される信頼度を出力する。
[データ処理装置1による効果]
以上説明したように、データ処理装置1においては、候補決定部133が、証憑データに含まれている複数の文字列の中に、文字列特定部132が特定することができなかった文字列である誤認識文字列が存在する場合に、誤認識文字列以外の一以上の認識文字列の内容に基づいて、誤認識文字列の候補である一以上の候補文字列を決定する。そして、出力部134が、一以上の候補文字列を出力し、経理担当者が、一以上の候補文字列から候補文字列を選択できるようにする。データ処理装置1がこのように動作することで、誤認識文字列が証憑データを管理するコンピュータに登録されないので、当該コンピュータに登録される証憑データの内容の精度を高めることができる。
以上、実施の形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
1 データ処理装置
2 経理端末
3 従業員端末
4 請求元端末
11 通信部
12 記憶部
13 制御部
131 データ取得部
132 文字列特定部
133 候補決定部
134 出力部

Claims (12)

  1. 証憑データを取得するデータ取得部と、
    前記証憑データに含まれる複数の文字列を特定する文字列特定部と、
    前記文字列特定部が特定することができなかった文字列である誤認識文字列が存在する場合に、入力された前記証憑データに含まれている一つの文字列に関連付けて一以上の候補文字列を出力する機械学習モデルに前記証憑データを入力することにより、前記誤認識文字列以外の一以上の認識文字列の内容に基づいて、前記誤認識文字列の候補を前記一以上の候補文字列決定する候補決定部と、
    前記一以上の候補文字列それぞれに関連付けて、前記候補文字列が正しい文字列である確率に対応する信頼度を示す情報を出力する出力部と、
    を有するデータ処理装置。
  2. 前記候補決定部は、前記誤認識文字列と同じ列又は同じ行に含まれている前記一以上の認識文字列の内容に基づいて前記一以上の候補文字列を決定する、
    請求項1に記載のデータ処理装置。
  3. 前記候補決定部は、前記誤認識文字列と同じ行又は同じ列に含まれている前記一以上の認識文字列の少なくとも一つが項目名を示している場合に、前記誤認識文字列と同じ列又は同じ行に含まれている前記一以上の認識文字列の内容に対応する項目名を示す前記一以上の候補文字列を決定する、
    請求項2に記載のデータ処理装置。
  4. 前記候補決定部は、前記誤認識文字列と同じ列又は同じ行に含まれている前記一以上の認識文字列の桁数に基づいて前記一以上の候補文字列を決定する、
    請求項2又は3に記載のデータ処理装置。
  5. 前記候補決定部は、前記誤認識文字列の前記証憑データにおける位置に基づいて、前記一以上の候補文字列を決定する、
    請求項1から4のいずれか一項に記載のデータ処理装置。
  6. 前記候補決定部は、前記誤認識文字列の前記証憑データにおける位置に基づいて前記誤認識文字列が項目を示す文字列であると判定した場合に、項目名に対応する文字列を前記一以上の候補文字列に決定する、
    請求項5に記載のデータ処理装置。
  7. 前記候補決定部は、前記誤認識文字列の前記証憑データにおける位置に基づいて前記誤認識文字列が項目を示す文字列であると判定した場合に、それぞれが複数の項目名を示す複数の候補文字列を含むテンプレートを作成する、
    請求項5又は6に記載のデータ処理装置。
  8. 前記候補決定部は、前記一以上の認識文字列が示す数値と消費税率とに基づいて、前記一以上の候補文字列を決定する、
    請求項1から7のいずれか一項に記載のデータ処理装置。
  9. 前記データ取得部が過去に取得した複数の前記証憑データである複数の過去証憑データと、前記複数の過去証憑データそれぞれに含まれている複数の文字列とを関連付けて記憶する記憶部をさらに有し、
    前記候補決定部は、前記複数の過去証憑データのうち、前記データ取得部が取得した前記証憑データに類似する類似証憑データにおいて、前記証憑データにおける前記誤認識文字列の位置に対応する位置に含まれている文字列に基づいて前記一以上の候補文字列を決定する、
    請求項1から8のいずれか一項に記載のデータ処理装置。
  10. 前記候補決定部は、証憑データと複数の候補文字列との組み合わせを教師データとして学習した前記機械学習モデルに前記証憑データを入力することにより、前記一以上の候補文字列を決定する、
    請求項1から9のいずれか一項に記載のデータ処理装置。
  11. コンピュータが実行する、
    証憑データを取得するステップと、
    前記証憑データに含まれる複数の文字列を特定するステップと、
    特定することができなかった文字列である誤認識文字列が存在する場合に、入力された前記証憑データに含まれている一つの文字列に関連付けて一以上の候補文字列を出力する機械学習モデルに前記証憑データを入力することにより、前記誤認識文字列以外の一以上の認識文字列の内容に基づいて、前記誤認識文字列の候補を前記一以上の候補文字列決定するステップと、
    前記一以上の候補文字列それぞれに関連付けて、前記候補文字列が正しい文字列である確率に対応する信頼度を示す情報を出力するステップと、
    を有するデータ処理方法。
  12. コンピュータに、
    証憑データを取得するステップと、
    前記証憑データに含まれる複数の文字列を特定するステップと、
    特定することができなかった文字列である誤認識文字列が存在する場合に、入力された前記証憑データに含まれている一つの文字列に関連付けて一以上の候補文字列を出力する機械学習モデルに前記証憑データを入力することにより、前記誤認識文字列以外の一以上の認識文字列の内容に基づいて、前記誤認識文字列の候補を前記一以上の候補文字列決定するステップと、
    前記一以上の候補文字列それぞれに関連付けて、前記候補文字列が正しい文字列である確率に対応する信頼度を示す情報を出力するステップと、
    を実行させるためのプログラム。
JP2020541623A 2020-07-29 2020-07-29 データ処理装置、データ処理方法及びプログラム Active JP6810302B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020204810A JP2022027399A (ja) 2020-07-29 2020-12-10 データ処理装置、データ処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/029063 WO2022024262A1 (ja) 2020-07-29 2020-07-29 データ処理装置、データ処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020204810A Division JP2022027399A (ja) 2020-07-29 2020-12-10 データ処理装置、データ処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6810302B1 true JP6810302B1 (ja) 2021-01-06
JPWO2022024262A1 JPWO2022024262A1 (ja) 2022-02-03

Family

ID=73992880

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020541623A Active JP6810302B1 (ja) 2020-07-29 2020-07-29 データ処理装置、データ処理方法及びプログラム
JP2020204810A Pending JP2022027399A (ja) 2020-07-29 2020-12-10 データ処理装置、データ処理方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020204810A Pending JP2022027399A (ja) 2020-07-29 2020-12-10 データ処理装置、データ処理方法及びプログラム

Country Status (2)

Country Link
JP (2) JP6810302B1 (ja)
WO (1) WO2022024262A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325562A (ja) * 2000-05-17 2001-11-22 Minolta Co Ltd 画像認識装置、画像形成装置、画像認識方法および画像認識プログラムを記憶したコンピュータ読取り可能な記録媒体
JP2019045909A (ja) * 2017-08-29 2019-03-22 株式会社マーケットヴィジョン 画像認識システム
JP2020047138A (ja) * 2018-09-21 2020-03-26 キヤノン株式会社 情報処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325562A (ja) * 2000-05-17 2001-11-22 Minolta Co Ltd 画像認識装置、画像形成装置、画像認識方法および画像認識プログラムを記憶したコンピュータ読取り可能な記録媒体
JP2019045909A (ja) * 2017-08-29 2019-03-22 株式会社マーケットヴィジョン 画像認識システム
JP2020047138A (ja) * 2018-09-21 2020-03-26 キヤノン株式会社 情報処理装置

Also Published As

Publication number Publication date
JP2022027399A (ja) 2022-02-10
JPWO2022024262A1 (ja) 2022-02-03
WO2022024262A1 (ja) 2022-02-03

Similar Documents

Publication Publication Date Title
US7020320B2 (en) Extracting text written on a check
RU2679209C2 (ru) Обработка электронных документов для распознавания инвойсов
CN102591596A (zh) 信息处理装置以及信息处理方法
CN108597565B (zh) 一种基于ocr与命名实体提取技术的临床队列数据协同校验方法
JP2022125220A (ja) 画像処理装置、画像処理方法、プログラム
JP6980927B1 (ja) データ処理装置、データ処理方法及びプログラム
JP6810302B1 (ja) データ処理装置、データ処理方法及びプログラム
JP6506652B2 (ja) 帳票読取装置、帳票読取方法および帳票読取システム
JP6810303B1 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
JP6870159B1 (ja) データ処理装置、データ処理方法及びプログラム
JP7111143B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2019185139A (ja) 画像処理装置、画像処理方法およびプログラム
JP2001005886A (ja) データ処理装置及び記憶媒体
JP6802417B1 (ja) データ処理装置、データ処理方法及びプログラム
JP7293693B2 (ja) 情報処理装置及びプログラム
JP2022008289A (ja) 請求書管理装置、請求書管理方法及びプログラム
JP7160432B2 (ja) 画像処理装置、画像処理方法、プログラム
JPH11219394A (ja) 財務諸表自動入力装置
WO2022038707A1 (ja) データ処理装置、データ処理方法及びプログラム
WO2022102065A1 (ja) データ処理装置、データ処理方法及びプログラム
JP6946595B1 (ja) データ処理装置、データ処理方法及びプログラム
JP6858420B1 (ja) 会計処理装置、会計処理システム、会計処理方法及びプログラム
JP6993032B2 (ja) 会計処理装置、会計処理システム、会計処理方法及びプログラム
WO2022054136A1 (ja) データ処理装置、データ処理方法及びプログラム
WO2023007612A1 (ja) データ処理装置、データ処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200729

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201210

R150 Certificate of patent or registration of utility model

Ref document number: 6810302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250