JP7225548B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP7225548B2
JP7225548B2 JP2018055198A JP2018055198A JP7225548B2 JP 7225548 B2 JP7225548 B2 JP 7225548B2 JP 2018055198 A JP2018055198 A JP 2018055198A JP 2018055198 A JP2018055198 A JP 2018055198A JP 7225548 B2 JP7225548 B2 JP 7225548B2
Authority
JP
Japan
Prior art keywords
character
character recognition
target area
specific
characters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018055198A
Other languages
English (en)
Other versions
JP2019168857A5 (ja
JP2019168857A (ja
Inventor
信久 高林
司 久保田
優 竹田
和輝 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2018055198A priority Critical patent/JP7225548B2/ja
Priority to CN201910212298.5A priority patent/CN110298340A/zh
Priority to US16/360,778 priority patent/US20190294912A1/en
Priority to EP19164669.4A priority patent/EP3543912A1/en
Publication of JP2019168857A publication Critical patent/JP2019168857A/ja
Publication of JP2019168857A5 publication Critical patent/JP2019168857A5/ja
Application granted granted Critical
Publication of JP7225548B2 publication Critical patent/JP7225548B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/12Detection or correction of errors, e.g. by rescanning the pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Description

本発明は、文字認識処理を実行するための画像処理装置、画像処理方法および画像処理プログラムに関する。
イメージ入力装置を通じて読み取ったレシートの文字画像を文字コードデータに変換し、フォーマット記憶部に記憶されたレシートのレイアウト情報であるフォーマットに基づいて、文字コードデータから、日付、品目、価格、消費税等のデータを抽出するデータ処理装置が開示されている(特許文献1参照)。
特開平11‐265409号公報
従来、文献1のようにレシートの読取画像から、例えば日付や金額等の特定の情報の検出を試みる場合に、文字認識結果が適切ではなく、情報を正しく検出できないことがあった。そのため、より適切な文字認識結果を得るための改善が求められていた。
画像処理装置は、レシートまたは請求書の読み取りにより生成された読取画像を取得する取得部と、第1の文字認識処理を実行する第1文字認識部と、前記第1の文字認識処理よりも文字認識精度が高い第2の文字認識処理を実行する第2文字認識部と、特定文字と、前記第2の文字認識処理の対象とする対象領域の位置とを関連付けた関連情報を予め記憶する記憶部と、前記読取画像に対する前記第1文字認識部による前記第1の文字認識処理の結果から前記特定文字を抽出し、前記抽出した特定文字と前記関連情報とに基づいて前記読取画像内に前記対象領域を特定し、前記特定した対象領域に対して前記第2文字認識部による前記第2の文字認識処理を実行させる制御部と、を備える。
システムの構成を簡易的に示す図。 画像処理装置が実行する処理を示すフローチャート。 ステップS110~S130の処理の具体例を説明するための図。 特定文字テーブルの例を示す図。 第3実施形態にかかる処理を示すフローチャート。 第3実施形態にかかるシステムの構成を簡易的に示す図。
以下、各図を参照しながら本発明の実施形態を説明する。なお各図は、本実施形態を説明するための例示に過ぎない。
1.システムの概略説明:
図1は、本実施形態にかかるシステム1の構成を簡易的に示している。システム1は、スキャナー10、通信装置20、メインサーバー30、ストレージサーバー40を含んでいる。メインサーバー30およびストレージサーバー40は、インターネット通信網を通じてユーザーにクラウドサービスを提供可能なサーバーである。
スキャナー10は、原稿を光学的に読み取り、読取結果としての所定のフォーマットの画像データを生成し画像データを外部へ出力可能な読取装置である。スキャナー10は、スキャナーとしての機能に加え、印刷機能やファクシミリ通信機能等の複数の機能を兼ね備えた複合機であってもよい。スキャナー10は、通信装置20と有線または無線により通信可能に接続しており、画像データを通信装置20へ送信する。
通信装置20は、例えば、パーソナルコンピューター(PC)、スマートフォン、タブレット型端末、携帯電話機、或いはそれらと同程度の処理能力を有する情報処理装置によって実現される。通信装置20は、制御部21、通信インターフェイス(IF)23、表示部24、操作受付部25等を備える。制御部21は、プロセッサーとしてのCPU21a、ROM21b、RAM21c等を有する一つ又は複数のICや、その他のメモリー等を含んで構成される。
制御部21では、プロセッサー(CPU21a)が、ROM21bやROM21b以外のメモリー等に保存されたプログラムに従った演算処理を、RAM21c等をワークエリアとして用いて実行することにより、通信装置20を制御する。制御部21はプログラム22を搭載している。プログラム22は、スキャナー10が原稿の読み取りにより生成した画像データをメインサーバー30へアップロードするためのアプリケーションである。
通信IF23は、通信装置20が公知の通信規格を含む所定の通信プロトコルに準拠して有線又は無線で外部と通信を実行するための一つまたは複数のIFの総称である。通信装置20は、スキャナー10と接続しているだけでなく、通信IF23を介して、ネットワークNWに接続する。ネットワークNWは、ローカルエリアネットワーク(LAN)やインターネット通信網やその他の公衆回線等を含む。
表示部24は、視覚的情報を表示するための手段であり、例えば、液晶ディスプレイ(LCD)や、有機ELディスプレイ等により構成される。表示部24は、ディスプレイと、ディスプレイを駆動するための駆動回路とを含む構成であってもよい。操作受付部25は、ユーザーによる操作を受け付けるための手段であり、例えば、物理的なボタンや、タッチパネルや、マウスや、キーボード等によって実現される。むろん、タッチパネルは、表示部24の一機能として実現されるとしてもよい。表示部24および操作受付部25を含めて、通信装置20の操作パネルと呼ぶことができる。
スキャナー10と通信装置20は、図1に例示したように互いに独立した装置であってもよいが、実態としてそれら全体が一つの装置に含まれていてもよい。具体的には、スキャナー10は、通信装置20の構成を含むことにより、ネットワークNWを介した外部との通信機能を兼ね備えた複合機として実現されてもよい。
メインサーバー30は、ネットワークNW上でサーバーとして機能する一台あるいは複数台の情報処理装置によって実現される。メインサーバー30は、制御部31、通信IF33、記憶部34等を備える。制御部31は、プロセッサーとしてのCPU31a、ROM31b、RAM31c等を有する一つ又は複数のICや、その他のメモリー等を含んで構成される。制御部31では、プロセッサー(CPU31a)が、ROM31bや記憶部34等に保存されたプログラムに従った演算処理を、RAM31c等をワークエリアとして用いて実行することにより、メインサーバー30を制御する。制御部31はプログラムの一つとしてプログラム32を搭載している。プログラム32は、メインサーバー30の制御部31が実行する画像処理プログラムに該当する。また、プログラム32を実行するメインサーバー30は、画像処理装置の具体例に該当する。なお、プロセッサーとしては、一つのCPUに限られることなく、複数のCPUやASIC等のハードウェア回路により処理を行う構成としてもよいし、CPUとハードウェア回路とが協働して処理を行うようにしてもよい。
通信IF33は、メインサーバー30が公知の通信規格を含む所定の通信プロトコルに準拠して有線又は無線で外部と通信を実行するための一つまたは複数のIFの総称である。記憶部34は、例えば、ハードディスクドライブや不揮発性のメモリーによって構成される記憶手段であり、本実施形態では、特定文字テーブル35、OCR(Optical Character Recognition)エンジン36のプログラム、DL(Deep Learning)エンジン37のプログラム等を予め記憶している。OCRエンジン36やDLエンジン37はソフトウェアの一種である。プログラム32だけでなくOCRエンジン36やDLエンジン37を含めて画像処理プログラムと呼んでもよい。
メインサーバー30は、図1の例では、ストレージサーバー40と通信可能に接続している。ストレージサーバー40も、ネットワークNW上でサーバーとして機能する一台あるいは複数台の情報処理装置によって実現される。ストレージサーバー40は、メインサーバー30からデータを取得して格納するためのサーバーである。なお、メインサーバー30とストレージサーバー40とは、装置として明確に分かれていても分かれていなくてもよく、例えば、共通のサーバーがメインサーバー30およびストレージサーバー40として機能する構成であってもよい。図1では示していないが、メインサーバー30,40に対して、これらサーバーをオペレーターが操作するために必要な表示部や操作受付部が接続されていてもよい。
メインサーバー30側の構成である制御部31、プログラム32、通信IF33等と、通信装置20側の構成である制御部21、プログラム22、通信IF23等とを判り易く区別するために、便宜上、第1制御部31、第1プログラム32、第1通信IF33、第2制御部21、第2プログラム22、第2通信IF23、等と表現してもよい。
2.文字認識処理:
図2は、メインサーバー30の制御部31がプログラム32に従って実行する画像処理をフローチャートにより示している。当該フローチャートは、スキャナー10による原稿の読取結果から、特定項目の情報を検出し保存する処理である。また、当該フローチャートの少なくとも一部は、画像処理方法を示していると言える。
システム1において、先ず、スキャナー10は、ユーザーが任意にセットした原稿を読み取ることにより画像データを生成する。本実施形態では、ユーザーがスキャナー10に読み取らせる原稿は、店舗等で発行されたレシート等の証憑または請求書であるとする。以下では、ユーザーがスキャナー10に読み取らせるレシートまたは請求書を、単に原稿とも呼ぶ。スキャナー10は、原稿の読み取りにより生成した画像データ(以下、読取画像)を通信装置20へ送信する。通信装置20の制御部21は、通信IF23を介してスキャナー10へ原稿の読取開始を指示し、スキャナー10は、制御部21からの原稿の読取開始の指示に従って原稿の読み取りを開始するとしてもよい。
通信装置20においては、プログラム22を実行する制御部21は、スキャナー10から受信した読取画像を、通信IF23およびネットワークNWを介してメインサーバー30へアップロードする。
メインサーバー30においては、制御部31は、通信装置20から送信された読取画像を、通信IF33を介して取得する(ステップS100)。なお、制御部31は、通信装置20から受信した読取画像を、一旦、記憶部34に保存し、ステップS100では、記憶部34から読取画像を取得してもよい。ステップS100は、レシートまたは請求書の読み取りにより生成された読取画像を取得する取得工程に該当する。また、ステップS100を実行する点において、通信IF33および制御部31は、読取画像を取得する取得部として機能すると言える。
ステップS110では、制御部31は、OCRエンジン36を起動させ、ステップS100で取得した読取画像を対象とした文字認識処理をOCRエンジン36に実行させる。OCRエンジン36は、読取画像から認識した文字を文字データ(テキストデータ)に変換する。本明細書では、文字を認識することを、文字を推測するとも言う。制御部31は、OCRエンジン36による文字認識処理の結果を取得する。OCRエンジン36による文字認識処理を、第1の文字認識処理と呼ぶ。従って、ステップS110は、読取画像に対して第1の文字認識処理を行う第1文字認識工程に該当する。また、OCRエンジン36を記憶する記憶部34や、OCRエンジン36を用いて文字認識処理を実現するプロセッサー(CPU31a)は、第1の文字認識処理を実行する第1文字認識部に該当する。
図3は、主にステップS110~S130の処理を具体例を用いて説明するための図である。図3の最上段には、ステップS100で制御部31が取得した読取画像IMを示している。図3の例では、読取画像IMは、ユーザーが利用した有料駐車場で発行されたレシートをスキャナー10が読み取ったことにより生成された画像データである。
図3において符号IMpで示す範囲は、読取画像IM内の一部領域を示している。
ステップS110において、OCRエンジン36は、読取画像IMに含まれている一文字らしき画像について、当該一文字らしき画像を囲う矩形領域CFを設定する。図3では、紙面の都合上、一部領域IMp内の各文字に対して矩形領域CFが設定された状態を示しているが、OCRエンジン36は、読取画像IMの一部領域IMp以外の領域に含まれている各文字についても矩形領域CFを設定する。
ステップS110において、OCRエンジン36は、矩形領域CF毎の画像から矩形領域CF内の文字を所定のアルゴリズムを用いて推測し、推測した文字(変換結果としての文字データ)を、文字認識処理の結果として出力する。図3において、符号IMp´で示す文字列は、一部領域IMpに対するOCRエンジン36による文字認識処理の結果を示している。OCRエンジン36は、入力した画像から漢字、平仮名、片仮名、数字、アルファベット、その他の記号等、多くの種類の文字を推測可能な汎用的なOCRエンジンであるが、その推測の結果は正確性を欠くことがある。図3において、一部領域IMp内の文字と、一部領域IMpに対するOCRエンジン36による文字認識処理の結果である文字列IMp´とを比較すると、ステップS110では、例えば、漢字の「入」という文字が片仮名の「ス」と認識されている。
ステップS120では、制御部31は、読取画像に対するステップS110の文字認識処理の結果から、予め登録された特定文字を抽出する。特定文字は、特定文字テーブル35に予め登録されている。ステップS120は、第1の文字認識処理の結果からレシートまたは請求書に含まれる特定文字を抽出する抽出工程に該当する。
図4は、特定文字テーブル35の例を示している。特定文字テーブル35は、特定文字と、特定文字に対応して読み取るべき対象領域の位置とを関連付けた情報テーブルである。さらに、特定文字テーブル35は、対象領域において認識すべき文字種類を規定している。特定文字テーブル35は、関連情報の一例である。
特定文字とは、原稿に記載された情報の中で特に正確に検出することが求められる特定項目の情報の、存在を示唆する文字または文字列である。特定項目の情報とは、例えば、原稿の発行元の電話番号(取引相手)、原稿の発行日(取引日)、取引金額、等の内容である。上述したような有料駐車場で発行されたレシートにおいては、取引日時、つまり入庫日時および出庫日時の内容も特定項目の情報に該当する。
図4の例では、特定文字テーブル35には、電話番号の存在を示唆する特定文字として「電話」、「TEL」といった言葉が登録されている。特定文字をキーワードとも呼ぶ。また、特定文字テーブル35には、取引金額の存在を示唆する特定文字として「合計」、「料金」、「金額」といったキーワードが登録されている。また、特定文字テーブル35には、入庫日時や出庫日時の存在を示唆する特定文字として「日時」、「出」、「入」、「庫」、「出庫」、「入庫」といったキーワードが登録されている。
例えば、レシートにおいては、特定文字「電話」や「TEL」が記載された領域と同一行内の右側に電話番号が記載されていることが多い。また、レシートにおいては、特定文字「合計」や「料金」や「金額」が記載された領域と同一行内の右側または次行内の右側に合計金額が記載されていることが多い。そこで、特定文字テーブル35には、特定文字(キーワード)に応じて「キーワードと同一行内の右側」や「キーワードと同一行内及び次行内の右側」等といった対象領域の適切な位置が予め規定されている。すなわち、特定文字テーブル35には、特定文字に対する対象領域の位置関係が規定されている。
特定文字テーブル35に登録される特定文字や、特定文字に対する対象領域の位置関係は、図4の例に限られない。例えば、請求書や領収書の場合、記入された氏名に対して特定の位置(例えば、次行の左側)に合計金額の数値が記入されていることが多い。そこで、特定文字デーブル35では、氏名の敬称を表す文字列(一例として「様」等)が特定文字として登録されており、この特定文字に対して、次行の左側となる領域が対象領域として規定されている、としてもよい。また、図4の例では、特定文字テーブル35では、特定文字に対して行を用いて対象領域の位置関係を規定しているが、例えば、特定文字に対して単に上下左右を対象領域として規定するようにしてもよい。
図3の例によれば、制御部31は、ステップS120では、読取画像IMに対するステップS110の文字認識処理の結果から、特定文字テーブル35を参照することにより「庫日時」および「出庫日時」という文字列をキーワードKWとして抽出することができる。また、読取画像IMと特定文字テーブル35とを参照すれば判るように、制御部31は、ステップS120では、読取画像IMに対するステップS110の文字認識処理の結果から、「料金」という文字列もキーワードとして抽出する。
ステップS130では、制御部31は、ステップS120で抽出した特定文字と特定文字テーブル35とに基づいて、読取画像内に、DLエンジン37を用いた文字認識処理の対象とする対象領域を特定する。ステップS130は、対象領域特定工程に該当する。図3の例によれば、制御部31は、ステップS120では、読取画像IMに対するステップS110の文字認識処理の結果から、「庫日時」および「出庫日時」という文字列をキーワードKW(特定文字)として抽出した。従って、ステップS130では、制御部31は、特定文字テーブル35を参照して、「庫日時」、「出庫日時」というキーワードKWに対応する対象領域が「キーワードと同一行内の右側」であることを認識する。そして、制御部31は、図3に示すように、読取画像IM内における、文字列「庫日時」と同一行で且つ文字列「庫日時」の右側の領域を対象領域SAとして特定し、さらに、読取画像IM内における、文字列「出庫日時」と同一行で且つ文字列「出庫日時」の右側の領域を対象領域SAとして特定する。
ステップS140では、制御部31は、ステップS130で特定した対象領域内から、次のステップS150の処理対象とする文字を一つ取得する。図3を参照すると、制御部31は、対象領域SA内から、ステップS150の処理対象とする文字を一つ取得する。より具体的には、ステップS140では、制御部31は、対象領域SA内の一文字として、ステップS110の文字認識処理において読取画像IM内の各文字に設定した矩形領域CF単位の画像を取得する。
ステップS150では、制御部31は、DLエンジン37を起動させ、ステップS140で取得した処理対象の文字(対象領域SA内のいずれか一つの矩形領域CFの画像)についての文字認識処理をDLエンジン37に実行させる。DLエンジン37は、処理対象の文字を入力し、文字データ(テキストデータ)に変換して文字認識処理の結果として出力する。制御部31は、DLエンジン37による文字認識処理の結果を取得する。
DLエンジン37も、文字認識処理を実行するためのOCRエンジンの一種であるが、機械学習の一つであるDeep Learning技術により作成された文字認識用のモデルである点で、ステップS110で用いられるOCRエンジン36と異なる。DLエンジン37は、例えば、多層構造のニューラルネットワークに大量の学習用画像を入力することで、学習用画像の特徴を自動的に学習し、入力された画像を分類できるように構築されている。具体的には、DLエンジン37は、「0」~「9」の数字および、「年」、「月」、「日」、「時」、「分」の各漢字といった限定された種類の文字について、数万の学習用画像に基づいて学習済みである。従って、DLエンジン37は、入力された画像が、「0」~「9」の数字および「年」、「月」、「日」、「時」、「分」の各漢字のいずれであるかを高い精度(少なくともOCRエンジン36よりも高い正答率)で推測することが可能である。
そのため、DLエンジン37による文字認識処理を、第1の文字認識処理よりも文字認識精度が高い第2の文字認識処理と呼ぶ。また、ステップS150は、ステップS130で特定した対象領域に対して第2の文字認識処理を行う第2文字認識工程に該当する。また、DLエンジン37を記憶する記憶部34や、DLエンジン37を用いて文字認識処理を実現するプロセッサー(CPU31a)は、第2の文字認識処理を実行する第2文字認識部に該当する。
上述したように第1の文字認識処理に用いるOCRエンジン36は、入力した画像から漢字、平仮名、片仮名、数字、アルファベット、その他の記号等、多くの種類の文字を推測可能なOCRエンジンである。OCRエンジン36と第2の文字認識処理に用いるDLエンジン37とを比較すると、DLエンジン37が認識する文字種類(推測可能な文字種類)は、OCRエンジン36が認識する文字種類よりも大幅に少ない。漢字、平仮名、片仮名、数字、アルファベット、その他の記号等の多くの種類の文字について、Deep Learning技術を用いて高精度で文字認識を行うモデルを作成することは、開発費用やコンピューターの能力や時間等の制約を鑑みると現実的ではない。従って、認識させる文字種類を大幅に絞ることで、限定された種類の文字についてDeep Learning技術を用いて文字認識精度をOCRエンジン36よりも高めたOCRエンジンが、DLエンジン37であると言える。
ステップS150について更に説明する。ステップS150では、制御部31は、ステップS120で抽出した特定文字と、特定文字テーブル35とに応じて、DLエンジン37が認識すべき文字種類をDLエンジン37に指定する。図3の例によれば、制御部31は、ステップS120では、読取画像IMに対するステップS110の文字認識処理の結果から、「庫日時」および「出庫日時」という文字列をキーワードKW(特定文字)として抽出した。従って、ステップS150では、制御部31は、特定文字テーブル35を参照し、「庫日時」、「出庫日時」というキーワードKWに対応する文字種類として「0」~「9」の数字および「年」、「月」、「日」、「時」、「分」の各漢字を、DLエンジン37に対して指定する。
DLエンジン37は、上述のように指定された文字種類の範囲内で、対象領域に対する第2の文字認識処理を実行する。つまり、文字種類として「0」~「9」の数字および「年」、「月」、「日」、「時」、「分」の各漢字が指定された場合は、DLエンジン37は、入力した処理対象の文字が、「0」~「9」の数字および「年」、「月」、「日」、「時」、「分」の各漢字のいずれであるかを推測する。仮に、ステップS120で抽出された特定文字に対応する文字種類として「0」~「9」の数字が指定された場合は、DLエンジン37は、入力した処理対象の文字が「0」~「9」の数字のいずれであるかを推測する。
DLエンジン37は、文字認識処理の結果として、入力した処理対象の文字(矩形領域CFの画像)から推測した文字(変換結果としての文字データ)を、確信度とともに出力する。確信度とは、処理対象の文字についての文字認識結果の確からしさを示す数値であり、0%以上、100%以下で表される。つまり、DLエンジン37は、処理対象の文字について、どのような文字であるかを推測して文字データを出力するだけでなく、その推測の確からしさを過去の学習に基づいて自動的に演算して確信度として出力するように構築されている。
ステップS160では、制御部31は、ステップS130で特定した対象領域内の全ての文字(矩形領域CF単位の画像)をステップS150の処理対象としたか否かを判定する。図3では、ステップS130で特定した対象領域としては、二つの対象領域SAのみ示しているが、特定文字テーブル35を参照すれば判るように、例えば、読取画像IM内のキーワード「料金」と同一行で且つキーワード「料金」の右側の領域および、キーワード「料金」の次の行で且つキーワード「料金」の右側の領域も、ステップS130では対象領域の一つとして特定される。制御部31は、ステップS130で特定した対象領域内に、ステップS150の処理対象としていない文字が残っている場合には(ステップS160において“No”)、ステップS140に戻り、ステップS130で特定した対象領域内の文字であって現時点でステップS150の処理対象としていない一つの文字を、次のステップS150の処理対象として取得する。一方、ステップS130で特定した対象領域内の全ての文字をステップS150の処理対象とした場合には(ステップS160において“Yes”)、制御部31は、ステップS170へ進む。
ステップS170では、制御部31は、ステップS150による文字認識処理の結果を、ストレージサーバー40へ保存する。この場合、制御部31は、ステップS100で取得した読取画像とともに、ステップS150による文字認識処理の結果を、ストレージサーバー40へ保存する。この結果、例えば、図3に示した読取画像IMとともに、読取画像IM内の特定項目(入庫日時および出庫日時)の情報を正確に示す文字データ「2017年08月29日 18時40分」および「2017年08月29日 21時04分」が、ストレージサーバー40に保存される。つまり、ストレージサーバー40に保存する文字データの正確性(原稿に記載された文字との一致率)は、DLエンジン37を用いた第2の文字認識処理によって担保される。以上により、図2のフローチャートが終了する。
制御部31は、ステップS170において、ステップS150による文字認識処理の結果をストレージサーバー40へ保存する場合に、文字毎の確信度に応じて保存態様を変更してもよい。制御部31は、確信度に対するしきい値を予め情報として保有している。例えば、制御部31は、DLエンジン37が推測可能な文字種類のうち「0」~「9」の数字の確信度に対するしきい値として、100%(あるいは100%に近い99%程度)といった第1しきい値を保有している。また、制御部31は、DLエンジン37が推測可能な文字種類のうち「年」、「月」、「日」、「時」、「分」の各漢字の確信度に対するしきい値として、例えば、80%といった第2しきい値を保有している。
上述したステップS150による文字認識処理の結果である文字データ「2017年08月29日 18時40分」および「2017年08月29日 21時04分」をストレージサーバー40へ保存する場合を例にして説明を行う。文字データ「2017年08月29日 18時40分」および「2017年08月29日 21時04分」は、文字毎の確信度とともにDLエンジン37により出力された情報である。制御部31は、これら文字データの文字毎の確信度をしきい値と比較する。つまり、ステップS150による文字認識処理の結果である文字データのうちの数字については、文字毎の確信度を第1しきい値と比較し、漢字については文字毎の確信度を第2しきい値と比較する。
そして、制御部31は、ステップS150による文字認識処理の結果である文字データのうち、確信度が比較したしきい値以上である文字についてはストレージサーバー40へ保存する。一方、確信度が比較したしきい値未満である文字については、制御部31は、単にストレージサーバー40へ保存するのではなく、どのような文字であるか不明である旨の情報、例えば、不明な文字であることを示すフラグ(第1フラグ)を付してストレージサーバー40へ保存する。
仮に、ステップS150による文字認識処理の結果である文字データ「2017年08月29日 18時40分」のうちの先頭から7番目の文字「8」についての確信度が第1しきい値に満たない90%である場合、制御部31は、この7番目の文字「8」については、第1フラグを付してストレージサーバー40に保存する。ただし、保存結果において、確信度がしきい値以上であるかしきい値未満であるかが文字毎に判ればよい。そのため、制御部31は、ステップS150による文字認識処理の結果である文字データのうち、確信度が比較したしきい値以上である文字については、正しい文字であることを示すフラグ(第2フラグ)を付してストレージサーバー40へ保存するとしてもよい。
ステップS150による文字認識処理の結果である文字データのうち、DLエンジン37によっても正確に認識されなかった文字、つまり第1フラグが付されている文字あるいは第2フラグが付されていない文字については、人間の目視によってどのような文字であるかを確定することができる。つまり、ストレージサーバー40を操作するオペレーターは、ストレージサーバー40に保存されている読取画像と、読取画像とともに保存されているステップS150による文字認識処理の結果である文字データとを所定の表示部に表示させる。そして、オペレーターは、表示された文字データのうち第1フラグが付されている文字あるいは第2フラグが付されていない文字について、読取画像を目視しながら、何の文字であるかを確定する文字編集作業を実行すればよい。
むろん、オペレーターによる前記文字編集作業は、メインサーバー30が受け付ける構成であってもよい。つまり、制御部31は、ステップS160で“Yes”の判定をした後、ステップS150による文字認識処理の結果である文字データの各文字について、確信度としきい値とを比較し、当該比較の結果に応じて上述のフラグを付す処理を行う。そして、制御部31は、オペレーターの操作に応じて、読取画像と、読取画像に対応するステップS150による文字認識処理の結果である文字データとを所定の表示部に表示させた上で、オペレーターによる前記文字編集作業を受け付ける。そして、制御部31は、前記文字編集作業を経た文字データを、読取画像とともにストレージサーバー40へ保存する(ステップS170)、としてもよい。
ストレージサーバー40に読取画像とともに保存された文字データは、ネットワークNWを通じて外部へ提供される。ストレージサーバー40に保存された文字データは、レシートや請求書といった原稿に記載された取引相手、取引日(取引日時)、取引金額、等の内容を示す文字列である。そのため、ストレージサーバー40に保存された文字データは、例えば、会計処理や税務上の処理を行う会計事務所が操作する端末へ、ネットワークNWを介して送信され、会計処理や税務上の処理の用に供される。また、ストレージサーバー40に保存された文字データは、ネットワークNWに接続したプリンターによって印刷されたり、通信装置20およびスキャナー10のユーザーの求めに応じて、ネットワークNWを通じて通信装置20へ送信されたりする。
3.まとめ:
このように本実施形態によれば、画像処理装置(メインサーバー30)は、レシートまたは請求書の読み取りにより生成された読取画像を取得する取得部と、第1の文字認識処理を実行する第1文字認識部と、第1の文字認識処理よりも文字認識精度が高い第2の文字認識処理を実行する第2文字認識部と、特定文字と、第2の文字認識処理の対象とする対象領域の位置とを関連付けた関連情報(特定文字テーブル35)を予め記憶する記憶部34と、制御部31とを備える。そして、制御部31は、ステップS120では、読取画像に対する第1文字認識部による第1の文字認識処理の結果から特定文字を抽出し、ステップS130では、抽出した特定文字と関連情報(特定文字テーブル35)とに基づいて読取画像内に対象領域を特定し、ステップS150では、特定した対象領域に対して第2文字認識部による第2の文字認識処理を実行させる。
前記構成によれば、画像処理装置は、読取画像を対象とした第1の文字認識処理の結果から特定文字を抽出し、抽出した特定文字に対応する対象領域に絞って第2の文字認識処理を行う。従って、レシートまたは請求書といった原稿において、特定文字に対応して記載されている文字情報を効率よくかつ高い文字認識精度で検出することができる。
また、本実施形態によれば、関連情報(特定文字テーブル35)は、特定文字に対する対象領域の位置関係を、対象領域の位置として規定している。つまり、特定文字テーブル35には、特定文字との相対的な対象領域の位置が規定されているため、制御部31は、正確かつ容易に読取画像内の対象領域を特定することができる。ただし、特定文字テーブル35では、特定文字に対応する対象領域の位置は、例えば、読取画像内の所定の原点を基準とした座標情報等で規定されていてもよい。
また、本実施形態によれば、第2文字認識部は、機械学習により作成された文字認識用のモデル(DLエンジン37)を用いて第2の文字認識処理を実行する。これにより、レシートまたは請求書といった原稿において特定文字に対応して記載されている文字情報に対する文字認識精度を確実に向上させることができる。
また、本実施形態では、第2文字認識部が認識する文字種類は、第1文字認識部が認識する文字種類よりも少ない。つまり、第1の文字認識処理に用いられるOCRエンジン36と比較して、第2の文字認識処理に用いられるDLエンジン37は、認識する文字種類(推測可能な文字種類)が少ない。汎用的なOCRエンジン36と比べて文字認識の対象とする文字種類を大幅に絞ることで、 機械学習により文字認識精度を高めたOCRエンジン(DLエンジン37)が実現されている。
また、本実施形態によれば、制御部31は、ステップS150では、読取画像に対する第1の文字認識処理の結果から抽出した特定文字に応じて、認識すべき文字種類を第2文字認識部に指定し、第2文字認識部は、指定された文字種類の範囲内で、ステップS130で特定された対象領域に対する第2の文字認識処理を実行する。
前記構成によれば、画像処理装置は、読取画像から抽出した特定文字に応じた文字種類の範囲内で、第2の文字認識処理を行う。そのため、第2の文字認識処理を効率良く行うことができる。具体的には、前記抽出した特定文字に応じて、DLエンジン37を用いた文字認識処理において推測結果として出力すべき文字種類の範囲がより限定されるため、DLエンジン37を用いた文字認識処理を高速化することができる。
4.他の実施形態:
本発明の実施形態は上述した態様に限定されず、例えば、以下に説明する種々の態様を含む。これまでに説明した実施形態を、便宜上、第1実施形態とも呼ぶ。各実施形態を組み合わせた構成も本明細書の開示範囲に含まれる。
第2実施形態:
メインサーバー30は、認識する文字種類が互いに異なる複数の第2文字認識部を備えるとしてもよい。つまり、記憶部34には、認識する文字種類が互いに異なる複数のDLエンジン37が記憶されており、ある一つのDLエンジン37を用いて文字認識処理を実現する場合のプロセッサー(CPU31a)が一つの第2文字認識部として機能し、別のDLエンジン37を用いて文字認識処理を実現する場合のプロセッサー(CPU31a)が別の第2文字認識部として機能する。
認識する文字種類を「0」~「9」の数字に限定したDLエンジン37(以下、数字用DLエンジン37)と、認識する文字種類を「年」、「月」、「日」、「時」、「分」の各漢字に限定したDLエンジン37(以下、漢字用DLエンジン37)とが記憶部34に記憶されている場合を想定する。数字用DLエンジン37は、入力された画像が、「0」~「9」の数字のいずれであるかを高い精度(少なくともOCRエンジン36よりも高い正答率)で推測する。漢字用DLエンジン37は、入力された画像が、「年」、「月」、「日」、「時」、「分」の各漢字のいずれであるかを高い精度(少なくともOCRエンジン36よりも高い正答率)で推測する。
制御部31は、ステップS150では、ステップS120で抽出した特定文字に応じて複数の第2文字認識部の中から第2文字認識部を選択し、選択した第2文字認識部に、ステップS130で特定した対象領域に対する第2の文字認識処理を実行させる。つまり、制御部31は、ステップS120で抽出した特定文字と特定文字テーブル35とに応じて、認識すべき文字種類に対応したDLエンジン37を選択する。
制御部31は、上述の例のように、読取画像IMに対するステップS110の文字認識処理の結果から「庫日時」および「出庫日時」という文字列をキーワードKW(特定文字)として抽出した場合は、特定文字テーブル35を参照し、「庫日時」、「出庫日時」というキーワードKWに対応する文字種類が「0」~「9」の数字および「年」、「月」、「日」、「時」、「分」の各漢字であることを把握する。この場合、制御部31は、数字用DLエンジン37および漢字用DLエンジン37の両方を選択し、数字用DLエンジン37および漢字用DLエンジン37をステップS150の文字認識処理に用いる。数字用DLエンジン37および漢字用DLエンジン37をステップS150の文字認識処理に用いる場合、制御部31は、ステップS140で取得した処理対象の文字を、例えば、先ず数字用DLエンジン37に入力させ、数字用DLエンジン37による文字認識処理の結果(文字データおよび確信度)を取得する。そして、数字用DLエンジン37が出力した確信度が第1しきい値以上であれば、ステップS160に進む。一方、数字用DLエンジン37が出力した確信度が第1しきい値未満である場合に、ステップS140で取得した処理対象の文字を漢字用DLエンジン37に入力させ、漢字用DLエンジン37による文字認識処理の結果(文字データおよび確信度)を取得した上でステップS160に進めばよい。
また、制御部31は、読取画像IMに対するステップS110の文字認識処理の結果から、例えば「電話」という文字列をキーワードとして抽出した場合は、特定文字テーブル35を参照し、「電話」というキーワードに対応する文字種類が「0」~「9」の数字であることを把握する。この場合、制御部31は、数字用DLエンジン37を選択し、数字用DLエンジン37をステップS150の文字認識処理に用いる。
このような第2実施形態によれば、制御部31は、読取画像から抽出した特定文字に応じて、複数の第2文字認識部の中から、第2の文字認識処理により適した第2文字認識部を選択することで、第2の文字認識処理を効率良く行うことができる。
言うまでもないが、DLエンジン37が認識する文字種類(推測可能な文字種類)が「0」~「9」の数字や「年」、「月」、「日」、「時」、「分」の各漢字であるという説明は一例に過ぎない。レシートや請求書に記載される文書の実情に鑑みて、DLエンジン37は、認識する文字種類に、例えば、漢字の「円」や、円を表す記号「¥」や、ハイフン「‐」等を含むとしてもよい。また、特定文字テーブル35がキーワードに対応させて規定する文字種類にも「円」、「¥」、「‐」等が含まれていてもよい。
第3実施形態:
第1実施形態または第2実施形態において、メインサーバー30の制御部31は、更に、図5に示す処理を実行するとしてもよい。図5は、図2に示したステップS150の後であって、且つステップS160の前に制御部31が実行する処理をフローチャートにより示している。
制御部31は、ステップS152では、ステップS150による文字認識処理の結果が示す確信度が、予め定められたしきい値以上であるか否かを判定し、確信度がしきい値以上であれば“Yes”と判定してステップS160へ進む。一方、確信度がしきい値未満であれば“No”と判定してステップS154へ進む。ステップS152の判定で用いるしきい値は、上述したように、ステップS150による文字認識処理の結果として出力された文字の種類に応じて異なるしきい値であり、これまでの例に従えば、第1しきい値または第2しきい値である。
ステップS154では、制御部31は、ステップS150による文字認識処理の結果として出力された文字が、予め決められている類似関係文字に該当するか否かを判定する。類似関係文字とは、文字認識処理において識別することが比較的難しい関係にある組み合わせにかかる文字である。一例として、数字の「6」と「8」は文字認識処理において混同されやすい。つまり、本来「6」である文字が「8」と認識されたり、逆に、本来「8」である文字が「6」と認識されたりする。そのため、数字の「6」および「8」は類似関係文字の一種である。制御部31は、ステップS150による文字認識処理の結果として出力された文字が、類似関係文字のいずれかに該当する場合は“Yes”と判定してステップS156へ進み、類似関係文字に該当しない場合は“No”と判定してステップS160へ進む。
ステップS156では、制御部31は、類似関係文字専用のOCRエンジンであるDLエンジン38(図6参照)を起動させ、ステップS140で取得した処理対象の文字についての文字認識処理をDLエンジン38に実行させる。
図6は、第3実施形態にかかるシステム1の構成を簡易的に示している。図6は、記憶部34にDLエンジン38のプログラムが記憶されている点で図1に示した構成と異なる。
DLエンジン38もDeep Learning技術により作成された文字認識用のモデルであり、類似関係文字を識別することに特化した学習により作成されている。例えば、数字の「6」と、数字の「6」との間で類似関係にある数字の「8」とだけを認識するDLエンジン38は、入力された画像が、数字の「6」と「8」のいずれであるかを高い精度(DLエンジン37よりも高い正答率)で推測することが可能である。DLエンジン38も、DLエンジン37と同様に、文字認識処理の結果として文字データと、確信度とを出力する。
例えば、ステップS140で取得した処理対象の文字について、ステップS150の文字認識処理を行った結果、数字の「6」の文字データが得られ、かつ確信度が85%であった場合、制御部31は、ステップS152では確信度がしきい値(この場合、第1しきい値)未満であると判定してステップS154へ進む。そして、数字の「6」は、類似関係文字の一つであるため、制御部31は、ステップS154からステップS156へ進む。ステップS156では、数字の「6」と、数字の「6」との間で類似関係にある数字の「8」とだけを認識するDLエンジン38を用いて、ステップS140で取得した処理対象の文字についての文字認識処理を実行する。ステップS156の結果、制御部31は、DLエンジン38による文字認識処理の結果を取得し、ステップS160へ進む。ステップS140で取得した処理対象の文字について、ステップS150およびステップS156の両方の文字認識処理を行った場合は、制御部31は、ステップS156の文字認識処理の結果を優先して採用し、上述のステップS170の対象とする。ステップS140で取得した処理対象の文字について、ステップS150およびステップS156の文字認識処理のうちステップS150の文字認識処理のみ行った場合は、むろん、制御部31は、ステップS150の文字認識処理の結果を採用して、上述のステップS170の対象とする。なお、DLエンジン38も類似関係文字の組み合わせ(例えば、数字の「6」と「8」の組み合わせ、数字の「1」と「7」の組み合わせ)に応じて記憶部34に複数記憶されており、制御部31は、ステップS154で判定した類似関係文字に対応するDLエンジン38を選択してステップS156の文字認識処理に用いるとしてもよい。
ステップS152の判定とステップS154の判定の実行順序は、逆であってもよい。つまり、制御部31は、ステップS150の後、ステップS154の判定をし、ステップS154で“No”であればステップS160へ、ステップS154で“Yes”であればステップS152へ進み、さらに、ステップS152で“Yes”であればステップS160へ、ステップS152で“No”であればステップS156へ進む、としてもよい。
このような第3実施形態によれば、ステップS130で特定した対象領域に対する第2文字認識部による第2の文字認識処理の結果として、対象領域に含まれる処理対象の文字について所定の文字(類似関係文字のうちの一つ)である旨の認識結果が出力され、かつ前記処理対象の文字についての前記認識結果の確からしさを示す確信度が所定のしきい値未満である場合、制御部31は、認識する文字種類を前記所定の文字と前記所定の文字に類似する所定の類似文字とに制限した文字認識処理を実行する第3文字認識部(DLエンジン38を用いて文字認識処理を実現する場合のプロセッサー(CPU31a))に、前記処理対象の文字の文字認識処理を実行させる。かかる構成によれば、第2の文字認識処理でも正確に認識できなかった(確信度がしきい値未満であった)文字について、類似関係にある組み合わせの文字のいずれの文字であるかを高い精度で推測する第3文字認識部により文字認識処理する。この結果、レシートまたは請求書といった原稿において、特定文字に対応して記載されている文字情報を、高い文字認識精度で検出することができる。
その他の説明:
これまでは、本発明にかかる画像処理装置の具体例として、システム1に含まれるメインサーバー30を挙げて説明を行った。ただし、画像処理装置の具体例はメインサーバー30に限定されない。例えば、スキャナー10から原稿の読取画像を取得する通信装置20が、自身のリソースを用いて本発明の画像処理装置を実現してもよい。つまり、通信装置20において、ROM21bやROM21b以外のメモリー等の記憶手段に特定文字テーブル35、OCRエンジン36、DLエンジン37,38等が記憶されており、制御部21がプログラム22に従って、図2~6により説明した処理を実行する構成であってもよい。この場合、通信装置20は、ステップS170(保存処理)における読取画像や文字データの保存先を、自身が有するメモリー等の記憶手段としてもよいし、外部のサーバー(例えば、ストレージサーバー40)としてもよい。
なお、OCRエンジン36やDLエンジン37,38は、記憶部34やメモリーに記憶されたソフトウェアではなく、ソフトウェアと協働して機能するハードウェアであってもよい。その場合、OCRエンジン36自体を第1文字認識部と呼び、DLエンジン37自体を第2文字認識部と呼び、DLエンジン38自体を第3文字認識部と呼ぶことができる。
第2文字認識部は、第1文字認識部よりも高い文字認識精度で文字認識処理を実現するものであればよい。その意味で、第2文字認識部による第2の文字認識処理は、Deep Learning技術により作成されたDLエンジンを用いた処理に限定されない。第2文字認識部による第2の文字認識処理は、例えば、Deep Learning以外の機械学習の手法により作成されて、OCRエンジン36よりも制限された範囲の文字(例えば、数字等)についての文字認識精度を高めた処理部による文字認識処理であってもよい。
1…システム、10…スキャナー、20…通信装置、21…制御部、21a…CPU、21b…ROM、21c…RAM、22…プログラム、23…通信IF、30…メインサーバー、31…制御部、31a…CPU、31b…ROM、31c…RAM、32…プログラム、33…通信IF、34…記憶部、35…特定文字テーブル、36…OCRエンジン、37,38…DLエンジン、40…ストレージサーバー、IM…読取画像、NW…ネットワーク

Claims (7)

  1. レシートまたは請求書の読み取りにより生成された読取画像を取得する取得部と、
    第1の文字認識処理を実行する第1文字認識部と、
    文字認識の正確性である文字認識精度が前記第1の文字認識処理の前記文字認識精度よりも高い第2の文字認識処理を実行する第2文字認識部であって、認識する文字種類が互いに異なる複数の前記第2文字認識部と、
    情報テーブルを記憶する記憶部と、
    制御部と、を備え、
    前記情報テーブルには、キーワードとしての特定文字と、前記第2の文字認識処理の対象とする対象領域の位置と、文字種類とが関連付けて予め登録されており、
    前記制御部は、
    前記読取画像に対する前記第1文字認識部による前記第1の文字認識処理の結果から、前記情報テーブルを参照して前記特定文字を抽出し、
    抽出した前記特定文字と前記情報テーブルとに基づいて前記読取画像内に前記対象領域を特定し、
    抽出した前記特定文字と前記情報テーブルとに基づいて、抽出した前記特定文字に対応する文字種類を把握して、抽出した前記特定文字に対応する文字種類を認識する前記第2文字認識部を、複数の前記第2文字認識部の中から選択し、
    選択した前記第2文字認識部に、特定した前記対象領域に対する前記第2の文字認識処理を実行させる、ことを特徴とする画像処理装置。
  2. 前記情報テーブルは、前記特定文字に対する前記対象領域の位置関係を、前記対象領域の位置として規定する、ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記対象領域に対する前記第2文字認識部による前記第2の文字認識処理の結果として、前記対象領域に含まれる処理対象の文字について文字認識処理において混同しやすい組み合わせの文字として予め決められている類似関係文字のうちの一つである旨の認識結果が出力され、かつ前記処理対象の文字についての前記認識結果の確からしさを示す確信度が所定のしきい値未満である場合、前記制御部は、認識する前記文字種類を前記類似関係文字に制限した文字認識処理を実行する第3文字認識部に、前記処理対象の文字の文字認識処理を実行させる、ことを特徴とする請求項1または請求項2に記載の画像処理装置。
  4. 前記第2文字認識部は、機械学習により作成された文字認識用のモデルを用いて前記第2の文字認識処理を実行することを特徴とする請求項1~請求項3のいずれかに記載の画像処理装置。
  5. 前記第2文字認識部が認識する前記文字種類は、前記第1文字認識部が認識する前記文字種類よりも少ないことを特徴とする請求項1~請求項4のいずれかに記載の画像処理装置。
  6. 画像処理装置が実行する画像処理方法であって、
    前記画像処理装置は、第1の文字認識処理と、文字認識の正確性である文字認識精度が前記第1の文字認識処理の前記文字認識精度よりも高い第2の文字認識処理であって、認識する文字種類が互いに異なる複数の前記第2の文字認識処理とを実行可能であり、
    レシートまたは請求書の読み取りにより生成された読取画像を取得する取得工程と、
    前記読取画像に対して前記第1の文字認識処理を行う第1文字認識工程と、
    記憶部に記憶された情報テーブルであって、キーワードとしての特定文字と、前記第2の文字認識処理の対象とする対象領域の位置と、文字種類とが関連付けて予め登録された前記情報テーブルを参照して、前記第1の文字認識処理の結果から前記特定文字を抽出する抽出工程と、
    抽出した前記特定文字と、前記情報テーブルと、に基づいて前記読取画像内に前記対象領域を特定する対象領域特定工程と、
    抽出した前記特定文字と前記情報テーブルとに基づいて、抽出した前記特定文字に対応する文字種類を把握して、抽出した前記特定文字に対応する文字種類を認識する前記第2の文字認識処理を、複数の前記第2の文字認識処理の中から選択し、特定した前記対象領域に対して、選択した前記第2の文字認識処理を行う第2文字認識工程と、を備えることを特徴とする画像処理方法。
  7. コンピューターに画像処理を実行させる画像処理プログラムであって、
    第1の文字認識処理と、文字認識の正確性である文字認識精度が前記第1の文字認識処理の前記文字認識精度よりも高い第2の文字認識処理であって、認識する文字種類が互いに異なる複数の前記第2の文字認識処理とを実行可能であり、
    レシートまたは請求書の読み取りにより生成された読取画像を取得する取得機能と、
    前記読取画像に対して前記第1の文字認識処理を行う第1文字認識機能と、
    記憶部に記憶された情報テーブルであって、キーワードとしての特定文字と、前記第2の文字認識処理の対象とする対象領域の位置と、文字種類とが関連付けて予め登録された前記情報テーブルを参照して、前記第1の文字認識処理の結果から前記特定文字を抽出する抽出機能と、
    抽出した前記特定文字と、前記情報テーブルと、に基づいて前記読取画像内に前記対象領域を特定する対象領域特定機能と、
    抽出した前記特定文字と前記情報テーブルとに基づいて、抽出した前記特定文字に対応する文字種類を把握して、抽出した前記特定文字に対応する文字種類を認識する前記第2の文字認識処理を、複数の前記第2の文字認識処理の中から選択し、特定した前記対象領域に対して、選択した前記第2の文字認識処理を行う第2文字認識機能と、を前記コンピューターに実行させることを特徴とする画像処理プログラム。
JP2018055198A 2018-03-22 2018-03-22 画像処理装置、画像処理方法および画像処理プログラム Active JP7225548B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018055198A JP7225548B2 (ja) 2018-03-22 2018-03-22 画像処理装置、画像処理方法および画像処理プログラム
CN201910212298.5A CN110298340A (zh) 2018-03-22 2019-03-20 图像处理装置、图像处理方法以及计算机可读存储介质
US16/360,778 US20190294912A1 (en) 2018-03-22 2019-03-21 Image processing device, image processing method, and image processing program
EP19164669.4A EP3543912A1 (en) 2018-03-22 2019-03-22 Image processing device, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018055198A JP7225548B2 (ja) 2018-03-22 2018-03-22 画像処理装置、画像処理方法および画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2019168857A JP2019168857A (ja) 2019-10-03
JP2019168857A5 JP2019168857A5 (ja) 2021-05-06
JP7225548B2 true JP7225548B2 (ja) 2023-02-21

Family

ID=65910977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018055198A Active JP7225548B2 (ja) 2018-03-22 2018-03-22 画像処理装置、画像処理方法および画像処理プログラム

Country Status (4)

Country Link
US (1) US20190294912A1 (ja)
EP (1) EP3543912A1 (ja)
JP (1) JP7225548B2 (ja)
CN (1) CN110298340A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7031465B2 (ja) * 2018-04-18 2022-03-08 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2020021273A (ja) * 2018-07-31 2020-02-06 京セラドキュメントソリューションズ株式会社 画像読取装置
JP7263721B2 (ja) * 2018-09-25 2023-04-25 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7338158B2 (ja) * 2019-01-24 2023-09-05 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7243409B2 (ja) * 2019-04-17 2023-03-22 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7415433B2 (ja) * 2019-10-24 2024-01-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN111598096A (zh) * 2020-04-03 2020-08-28 维沃移动通信有限公司 一种图像处理方法及电子设备
JP2022091608A (ja) * 2020-12-09 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム
CN112560862B (zh) * 2020-12-17 2024-02-13 北京百度网讯科技有限公司 文本识别方法、装置及电子设备
JP7453731B2 (ja) * 2021-04-15 2024-03-21 ネイバー コーポレーション 半構造化ドキュメントから情報を取り出す方法及びシステム
JP7235995B2 (ja) * 2021-07-01 2023-03-09 ダイキン工業株式会社 文字認識装置、文字認識方法及び文字認識プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183667A (ja) 2000-12-12 2002-06-28 Ricoh Co Ltd 文字認識装置及び記録媒体
JP2015118488A (ja) 2013-12-17 2015-06-25 株式会社日本デジタル研究所 会計データ入力システム、方法、およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6142083A (ja) * 1984-08-03 1986-02-28 Fujitsu Ltd 文字認識装置
CA2052450C (en) * 1991-01-14 1998-08-18 Raymond L. Higgins Ocr system for recognizing user-specified custom fonts in addition to standard fonts
EP0538812A2 (en) * 1991-10-21 1993-04-28 FROESSL, Horst Multiple editing and non-edit approaches for image font processing of records
US5465309A (en) * 1993-12-10 1995-11-07 International Business Machines Corporation Method of and apparatus for character recognition through related spelling heuristics
US5850480A (en) * 1996-05-30 1998-12-15 Scan-Optics, Inc. OCR error correction methods and apparatus utilizing contextual comparison
JPH11265409A (ja) 1998-03-18 1999-09-28 Nec Software Ltd 家計簿処理装置
JP2000187704A (ja) * 1998-12-22 2000-07-04 Canon Inc 文字認識装置及びその方法及び記憶媒体
DE50009493D1 (de) * 2000-10-26 2005-03-17 Mathias Wettstein Verfahren zur Erfassung des vollständigen Datensatzes mit Schriftzeichen versehener Formulare
DE102012102797B4 (de) * 2012-03-30 2017-08-10 Beyo Gmbh Kamerabasiertes Mobilfunkgerät zur Konvertierung eines Dokuments anhand von aufgenommenen Bildern in ein Format zur optimierten Anzeige auf dem kamerabasierten Mobilfunkgerät
JP5831420B2 (ja) * 2012-09-28 2015-12-09 オムロン株式会社 画像処理装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183667A (ja) 2000-12-12 2002-06-28 Ricoh Co Ltd 文字認識装置及び記録媒体
JP2015118488A (ja) 2013-12-17 2015-06-25 株式会社日本デジタル研究所 会計データ入力システム、方法、およびプログラム

Also Published As

Publication number Publication date
EP3543912A1 (en) 2019-09-25
US20190294912A1 (en) 2019-09-26
CN110298340A (zh) 2019-10-01
JP2019168857A (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
JP7225548B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111476227B (zh) 基于ocr的目标字段识别方法、装置及存储介质
US11170248B2 (en) Video capture in data capture scenario
US20140036099A1 (en) Automated Scanning
JP7059624B2 (ja) 画像処理装置および画像処理プログラム
US20090285444A1 (en) Web-Based Content Detection in Images, Extraction and Recognition
US10339373B1 (en) Optical character recognition utilizing hashed templates
JP6357621B1 (ja) 会計処理装置、会計処理システム、会計処理方法及びプログラム
JP2016048444A (ja) 帳票識別プログラム、帳票識別装置、帳票識別システム、および帳票識別方法
JP2009506393A (ja) 混合メディア環境における画像照合方法及びシステム
US9710769B2 (en) Methods and systems for crowdsourcing a task
US11749008B2 (en) Image processing apparatus and image processing program
JP6795195B2 (ja) 文字種推定システム、文字種推定方法、および文字種推定プログラム
JPWO2019008766A1 (ja) 証憑処理システムおよび証憑処理プログラム
US20190279016A1 (en) Image processing device, image processing method, and image processing program
JP2022079352A (ja) 情報処理装置、情報処理システム、及び情報処理プログラム
CN112364857A (zh) 基于数值抽取的图像识别方法、装置及存储介质
CN109544134B (zh) 便捷支付服务方法和系统
JP7032692B2 (ja) 画像処理装置および画像処理プログラム
US9471905B2 (en) Methods and systems for processing electronic documents
CN113034182A (zh) 自动积分方法、系统、服务器和存储介质
JP2019168856A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2019117520A (ja) 文字認識装置、方法およびプログラム
JP2013182459A (ja) 情報処理装置、情報処理方法及びプログラム
WO2023062798A1 (ja) 情報処理システム、項目値抽出方法、モデル生成方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R150 Certificate of patent or registration of utility model

Ref document number: 7225548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150