JP6874729B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP6874729B2 JP6874729B2 JP2018071145A JP2018071145A JP6874729B2 JP 6874729 B2 JP6874729 B2 JP 6874729B2 JP 2018071145 A JP2018071145 A JP 2018071145A JP 2018071145 A JP2018071145 A JP 2018071145A JP 6874729 B2 JP6874729 B2 JP 6874729B2
- Authority
- JP
- Japan
- Prior art keywords
- character string
- feature amount
- image processing
- recorded
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
- G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Description
また、特許文献2には、ニューラルネットワークを用いた機械学習が示されている。帳票の読み取りにおいても機械学習を用いて読み取り精度を向上させることが考えられる。
図1に示す構成で、画像処理システム100は画像処理装置1、画像読取装置2、記録装置3、データベース4、端末装置6−1および端末装置6−2により構成される。
画像処理装置1は画像読取装置2と通信ケーブルにより接続されている。画像読取装置2は光学的に文書帳票などの画像データを取得して画像処理装置1へ出力する。画像処理装置1は文書帳票の画像データをOCR処理し文字認識する。画像処理装置1は文字認識結果を記録装置3に出力し、記録装置3がその文字認識結果をデータベースに記録する。なお、画像処理装置1が処理対象とする文書は、特定の種類のものに限定されない。OCR処理可能ないろいろな文書を、画像処理装置1の処理対象とすることができる。
例えば、画像処理システム100が税関で使用されて輸入申請書類等の書類の文字を読み取る場合、端末装置6−1をキーパンチャーが使用し、端末装置6−2を通関士または審査員(税関職員)等が使用するようにしてもよい。
端末装置6−1と端末装置6−2とを総称して端末装置6と表記する。画像処理システム100が備える端末装置6の数は、2つ以上であればよい。従って、画像処理システム100が備える端末装置6の数は、図1に示す2つに限定されず、3つ以上であってもよい。
作業者を、画像処理装置1のユーザ、または単にユーザとも称する。作業者(画像処理システム100を実運用するための準備を行う者)と、画像処理システム100を実運用してOCR処理結果を取得する者とは、同一人物であってもよいし、異なる人物であってもよい。
画像処理装置1は、CPU(Central Processing Unit)11、IF(Interface)12、通信モジュール13、ROM(Read Only Memory)14、RAM(Random Access Memory)15、HDD(Hard Disk Drive)16などの構成を備えたコンピュータである。通信モジュール13は画像読取装置2、記録装置3、データベース4および端末装置6の各々との間で無線通信を行うものであっても、有線通信を行うものであってもよく、それら2つの機能を有していてもよい。
図3は、第一実施形態に係る画像処理装置1の機能構成を示す概略ブロック図である。
通信部110は、図2の通信モジュールを用いて構成され、他の装置と通信を行う。特に、通信部110は、画像読取装置2、記録装置3、データベース4および端末装置6の各々と通信を行う。
記憶部180は、図2のROM14、RAM15およびHDD16を用いて構成され、各種データを記憶する。
制御部190は、図2のCPU11が、記憶部180(図2のROM14、RAM15およびHDD16)からプログラムを読み出して実行することで構成される。制御部190は、画像処理装置1の各部を制御して各種処理を実行する。
取得部191は、文書帳票の画像データを取得する。
あるいは、信頼度算出部196が、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、文字認識処理対象の文書画像の書式についての特徴量に基づいて、信頼度を算出するようにしてもよい。例えば、信頼度算出部196が、特定項目の文字列に含まれる文字の属性、または、その文字列の範囲の座標など、特定項目の文字列の書式的な特性に関する特徴量に基づいて、画像処理装置1の処理結果の信頼度を算出するようにしてもよい。
ここでいう文字の属性(文字属性)は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。以下、文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。
あるいは、信頼度算出部196が、文字認識そのものの信頼度と、特定項目の文字列の書式的な特性に関する特徴量との両方に基づいて、画像処理装置1の処理結果の信頼度を算出するようにしてもよい。
例えば、信頼度算出部196が、処理済みの文書画像について予め記録された特徴量のばらつき度合いに基づいて信頼度を算出するようにしてもよい。特徴量のばらつき度合いが大きい場合、画像処理装置に与えられる文書の書式が一定していない、あるいは、画像処理装置1が解析した書式の特徴が実際の書式を十分に反映していないといった原因が考えられる。この場合、処理対象の文書画像についても、画像処理装置1が想定している書式と異なる書式である可能性が比較的高い。この点で、処理対象の文書画像に対する画像処理装置1の処理結果の信頼度が低いと考えられる。
偏差の度合いが大きい場合、処理対象の文書画像の書式が、画像処理装置1が想定している書式と異なる、あるいは、想定している書式は合っていても画像処理装置1が解析した書式の特徴が、処理対象の文書画像については適切でないといった原因が考えられる。この場合、処理対象の文書画像に対する画像処理装置1の処理結果の信頼度が比較的低いと考えられる。
一方、信頼度算出部196が算出した信頼度が高いと判定された場合、出力先選択部197は、画像処理装置1の処理結果を端末装置6−2へ送信する。この場合、画像処理装置1は、画像処理装置自らの処理結果について、端末装置6−1での確認・修正を省略して、端末装置6−2での確認修正を受ける。
通信部210は、他の装置と通信を行う。特に、通信部210は、画像処理装置1または他の端末装置6と通信を行い、画像処理装置1による処理対象の文書画像の処理結果、あるいは、その処理結果に対して他の端末装置で修正が加えられた処理結果を取得する。また、通信部210は、得られた処理結果に対して端末装置6で確認・修正が行われた結果を、画像処理装置1または他の端末装置6へ送信する。
記憶部280は、端末装置6が備える記憶デバイスを用いて構成され、各種データを記憶する。
制御部290は、端末装置6が備えるCPUが記憶部280からプログラムを読み出して実行することで構成され、端末装置6の各部を制御して各種処理を実行する。特に、制御部290は、表示部220による画像の表示、および、通信部210による通信を制御する。また、制御部290は、操作入力部230が受け付けるユーザ操作を検出する。
この図が示すように文書帳票には、その文書を作成した企業のマーク、作成日、作成担当者、文書内容が、その文書帳票に特有のフォーマットで記述されている。文書内容は、例えば文書帳票が発注票であれば発注した商品名やその発注個数などの情報の組が1つまたは複数示される。作業者はある1つの文書帳票に基づいて、その文書帳票に記述されている文字列のうち記録すべき特定の文字列(記録文字列)を、記録装置3を用いてデータベース4へ記録する。具体的には作業者は文書帳票を見ながら記録装置3がデータベース4に記録すべき記録文字列を入力する。また作業者は文書帳票の画像データを画像読取装置2に読み込ませる。文書帳票は作業者の操作に基づいて画像読取装置2が読み取り画像処理装置1へ出力する。そして記録装置3は作業者の操作と画像処理装置1の制御とに基づいて、1つの文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けてデータベース4に記録する。図5の例においては、日付51、発注先52、商品名53、数量54、金額55が記録文字列である。文書帳票5には作業者によって記録されない非記録文字列等のその他の情報も印字されている。当該情報は例えば文書帳票を発行した発注者の名称501、発注者のエンブレム画像502、文書帳票のタイトル503、挨拶文504などである。
図6で示すようにデータベース4は文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けて記録テーブルに記憶する。
次に画像処理装置1の処理フローについて順を追って説明する。
まずデータベース4にはある文書帳票についての画像データと、その文書帳票に記述されている記録文字列との組み合わせが、同じ書式の文書帳票複数枚分記録されている。例えば図5で示す文書帳票5の書式の記録文字列情報(記録文字列を示す情報)が複数枚分記録されているとする。
これら画像データと記録文字列情報との組み合わせとして、例えば過去の業務で扱われた文書帳票の画像データおよび記録文字列情報を用いることができる。過去の業務から画像データおよび記録文字列情報を必要量確保できる場合、画像処理装置に第一特徴量を取得させるために画像データおよび記録文字列情報を別途用意する必要はない。
このような状態で作業者が画像処理装置1を起動し、当該画像処理装置1へ処理開始を指示する。
特徴量抽出部192が、1つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか1つを選択することで、記録文字列が一意に特定される。
具体的には、特徴量抽出部192は、記録文字列毎に、複数の文書帳票におけるその記録文字列の文字列属性を解析して、1つの記録文字列に1つの特徴量を抽出する。
特徴量抽出部192が、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する方法は、特定の方法に限定されない。例えば、特徴量抽出部192が、複数の文書帳票から得られた複数の文字列属性について、先頭の文字の座標、末尾の文字の座標、文字の種類、文字の高さ、フォントの種類などの項目毎に最頻値(Mode)を求めるようにしてもよい。また、特徴量抽出部192が、先頭の文字の座標、末尾の文字の座標、文字の高さ、文字間の距離など数値で示される属性について項目毎に平均値(Average)または中央値(Median)を求めるようにしてもよい。また、特徴量抽出部192が、数値で表される項目について、その最大値および最小値を特徴量とするなど、範囲を有する特徴量、あるいは、複数の数値で表される特徴量を用いるようにしてもよい。また、特徴量抽出部192が、文字の種類、フォントの種類など数値以外の属性を数値化して特徴量を求めるようにしてもよい。また、特徴量抽出部192が、公知の機械学習アルゴリズムを用いて特徴量を抽出するようにしてもよい。
特徴量抽出部192が、文書帳票の1つの書式かつ1つの記録文字列について複数の数値を取得した場合、これら複数の数値をベクトル化して1つのベクトルの特徴量を抽出するようにしてもよい。
特徴量抽出部192が、ステップS604で、文書帳票毎かつ文字列毎(例えば記録文字列毎)に特徴量を抽出しておき、信頼度算出部196が信頼度の算出に用いるようにしてもよい。
特徴量抽出部192は、記録文字列毎に得られた第一特徴量を、文書帳票の書式の識別子に紐づけてデータベース4に記録する(ステップS605)。
ステップS605の後、画像処理装置1は、図7の処理を終了する。
作業者は新たな文書帳票を画像読取装置2に読み取らせる操作を行う。これにより画像読取装置2は文書帳票の画像データを生成して画像処理装置1へ出力(送信)する。画像処理装置1の取得部191は、通信部110の受信データから画像データを取得する(ステップS701)。取得部191は画像データを特徴量抽出部192へ出力する。特徴量抽出部192は画像データをOCR処理して、文字列と、その文字列に含まれる文字の特徴(文字属性)と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する(ステップS702)。特徴量抽出部192はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する(ステップS703)。つまり第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。その後、特徴量抽出部192はデータベース4から記録文字列毎の第一特徴量を読み出す(ステップS704)。特徴量抽出部192は記録部193へ第三特徴量と第一特徴量とを出力する。
各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合(ステップS705:YES)には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。
確認画面にはOKまたはNGの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちOKのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちNGのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。
図9の処理で、信頼度算出部196は、画像処理装置1の処理結果の信頼度を算出する(ステップS801)。例えば、信頼度算出部196は、記録部193が特定した記録文字列の信頼度を算出する。記録文字列が複数ある場合、信頼度算出部196は、記録文字列の信頼度の平均値を算出するなど、処理対象の文書帳票全体についての信頼度を算出する。上述したように、信頼度算出部196が信頼度算出に用いる特徴量として、いろいろな特徴量を用いることができる。
ステップS802で信頼度が低いと判定した場合(ステップS802:NO)、画像処理装置1は、画像処理装置1自らの処理結果および文書帳票の画像を端末装置6−1へ送信し、処理結果の確認および修正を受ける(ステップS803)。具体的には、出力先選択部197が、信頼度の判定結果に基づいて、処理結果および文書帳票の画像音送信先を端末装置6−1に決定する。そして、出力先選択部197は、通信部110を制御して、画像処理装置1の処理結果および文書帳票の画像を端末装置6−1へ送信させる。
端末装置6−1は、例えばキーパンチャーなど、業務に関してより形式的な判断を行う者が使用する端末装置である。
端末装置6−2は、例えば通関士または審査員(税関職員)など、業務に関してより実体的な判断を行う者が使用する。端末装置6−2による画像処理装置1の処理結果の表示は、処理結果の確認・修正の意味合いもあるが、端末装置6−2の使用者への情報提供の意味合いが強い。
ステップS805の後、図9の処理を終了する。
端末装置6−1または6−2で記録文字列が修正された場合、記録部193は、修正後の記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する。
ステップS710の後、画像処理装置1は、図8の処理を終了する。
ステップS723の後、記録部193は、帳票画像データの識別子と記録文字列とを対応付けてデータベース4に記録する(ステップS724)。具体的には、記録部193は、ステップS722で入力欄に入力された文字列については、入力された文字列を記録文字列とし、それ以外の記録文字については、第一特徴量と第三特徴量との比較で特定された文字列を記録文字列とする。そして、記録部193は、記録文字列と帳票画像データの識別子とを対応付けてデータベース4に記録する。端末装置6−1または6−2で修正があった場合、記録部193は、修正後の記録文字列と帳票画像データの識別子とを対応付けてデータベース4に記録する。
ステップS724の後、画像処理装置1は、図8の処理を終了する。
画像処理装置1が、図8の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置1が記録文字列を抽出する精度が向上することが期待される。また、図8の処理で記録文字列が追加された場合、画像処理装置1が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置1は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。
第二実施形態では、画像処理装置1が、文書帳票の複数の書式に対応する場合について説明する。
図10は第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。
図10に示すように第二実施形態に係る画像処理装置1は、図3で示した各機能部に加え、さらにグループ分類部194、グループ特定部195の機能を有する。第二実施形態に係る端末装置6の機能構成は図4で示した構成と同様である。
次に第二実施形態に係る画像処理装置1の処理フローについて順を追って説明する。
データベース4には書式が異なる複数の文書帳票についての画像データと、各文書帳票に記述されている記録文字列の組み合わせが、その文書帳票毎に多数記録されている。このような状態で作業者が画像処理装置1を起動し、当該画像処理装置1へ処理開始を指示する。
特徴量抽出部192が、1つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか1つを選択することで、記録文字列が一意に特定される。
特徴量抽出部192は、得られた個別第一特徴量を、文書帳票の識別子および記録文字列の識別子に紐づけてデータベース4に記録する(ステップS906)。記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。
具体的には、特徴量抽出部192は、ステップS904で何れの記録文字列にも対応付けられなかった文字列の各々について、その文字列の属性(文字列属性)を特徴量化する。第一特徴量の場合と同様、文書帳票を書式毎にグループ分けしていないステップS908の時点では、同じ書式の文書帳票に共通の特徴量を生成することはできない。そこで、特徴量抽出部192は、グループ毎の第二特徴量を抽出する準備として、文書帳票毎かつ非記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ非記録文字列毎の特徴量を個別第二特徴量と称する。
特徴量抽出部192が、文書帳票毎、かつ、複数の非記録文字列を纏めた個別第二特徴量を生成するようにしてもよい。例えば、特徴量抽出部192が、1つの文書帳票につき1つの個別第二特徴量を生成するようにしてもよい。
例えば特徴量抽出部192は、図5の文書帳票5の書式に含まれる非記録文字列である発注者の名称501、発注者のエンブレム画像、文書帳票のタイトル503、挨拶文504などを示す個別第二特徴量を、文書帳票5の識別子および非記録文字列の識別子に紐づけてデータベース4に記録する。
グループ分類部194は、全ての文書帳票のグループ分けが完了した場合(ステップS922:YES)、文書帳票の識別子とその文書帳票に付与されたグループ識別子とを対応付けてデータベース4のグループテーブル(記録テーブル)に記録する(ステップS923)。
例えば、特徴量抽出部192がステップS924で、同一グループに属する複数の文書帳票から記録文字列毎に文字列属性を抽出して(直接的に)グループ第一特徴量を生成するようにしてもよい。この場合、特徴量抽出部192が、ステップS905およびステップS906での個別第一特徴量の抽出および記録をパスする(特に何も処理を行わない)。
一方、個別第二特徴量については、ステップS921でのグループ分けで使用できるように、特徴量抽出部192がステップS908で抽出しておく。但し、ステップ921で、グループ分類部194が、個別第二特徴量を用いず非記録文字列を用いて文書帳票のグループ分けを行うようにしてもよい。この場合、特徴量抽出部192がステップS924で、同一グループに属する複数の文書帳票の非記録文字列の文字列属性から(直接的に)グループ第二特徴量を抽出するようにしてもよい。この場合、特徴量抽出部192は、ステップS907〜ステップS909では特に何も処理を行わない。
特徴量抽出部192は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース4に記録する(ステップS925)。
ステップS925の後、画像処理装置1は、図11の処理を終了する。
作業者は新たな文書帳票を画像読取装置2に読み取らせる操作を行う。これにより画像読取装置2は文書帳票の画像データを生成して画像処理装置1へ出力(送信)する。画像処理装置1の取得部191は、通信部110の受信データから画像データを取得する(ステップS1001)。取得部191は画像データを特徴量抽出部192へ出力する。特徴量抽出部192は画像データをOCR処理して、文字列と、その文字列に含まれる文字の特徴(文字属性)と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する(ステップS1002)。特徴量抽出部192はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する(ステップS1003)。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。
確認画面にはOKまたはNGの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちOKのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちNGのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。
ステップS1010の後、記録部193は、記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する(ステップS1011)。
ステップS1011の後、画像処理装置1は、図12の処理を終了する。
次に、画像処理装置1は、画像処理装置1自らの処理結果として得られた記録文字列について、端末装置6にて確認・修正を行わせるための処理を行う(ステップS1023)。ステップS1023は、ステップS1010と同様である。
ステップS1023の後、記録部193は帳票画像データの識別子と記録文字列とを対応付けてデータベース4に記録する(ステップS1024)。具体的には、記録部193は、ステップS1022で入力欄に入力された文字列については、入力された文字列を記録文字列とし、それ以外の記録文字については、第一特徴量と第三特徴量との比較で特定された文字列を記録文字列とする。そして、記録部193は、記録文字列と帳票画像データの識別子とを対応付けてデータベース4に記録する。端末装置6−1または6−2で修正があった場合、記録部193は、修正後の記録文字列と帳票画像データの識別子とを対応付けてデータベース4に記録する。
ステップS1024の後、画像処理装置1は、図12の処理を終了する。
画像処理装置1が、図12の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置1が記録文字列を抽出する精度が向上することが期待される。また、図12の処理で記録文字列が追加された場合、画像処理装置1が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置1は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。
なお、画像処理装置1の処理の他の例としては、作業者が予め文書帳票のグループを画像処理装置1に登録しておいてもよい。例えば作業者は、過去において文書帳票の画像データを登録する際、文書帳票の種類に合わせてグループ識別子を入力しておき文書帳票の画像データと紐づけてデータベース4に登録しておく。これにより、同一グループ内に画像処理装置1の処理誤り等により異種の帳票が混じることがなくなり、精度のよい第一特徴量を抽出することができる。なおこの場合、登録時は作業者が文書帳票のグループを入力するが、新たな帳票に対しては、ステップS1004と同じく、第二特徴量を用いてグループ特定する。
また、画像処理装置1の処理の他の例としては、画像処理装置1は第二特徴量を用いて文書帳票をグループ分けするだけでなく、第一特徴量を用いて、また第二特徴量と共に第一特徴量を用いて、文書帳票をグループ分けするようにしてもよい。第一特徴量は記録文字列の特徴量であるが、同じ種類の文書帳票であれば、記録文字列の座標やその文字属性は同じであると考えられ、第一特徴量を用いて帳票をグループ分けすることが可能となる。最初のグループ分けを第四実施形態で示すように作業者が行い、新たな文書帳票に対してはステップS1004の処理により第一特徴量を用いてグループ分けすることにより、OCR処理において精度よく記録文字列を読み取ることが可能となる。
この場合、取得部191が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そしてグループ分類部194が第一特徴量に基づいて帳票画像データをグループ分けする。そして、特徴量抽出部192は、グループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。
第二実施形態においてはステップS1004において第二特徴量に基づいて新たな帳票のグループを特定している。しかしながら、別の処理態様として、画像処理装置1はグループを特定する処理を行わずに、作業者により設定された全グループに対して、1グループごとに順に特定して第一特徴量を読み出し、第三特徴量と一致する個数をカウントする。正しいグループの場合には最も多く第一特徴量と第三特徴量とが一致するはずなので、画像処理装置1は一致個数が最も多いときの特定グループの第三特徴量それぞれに含まれる文字列をステップS1008において記録する。これにより、グループを特定しなくても記録文字列を記録することができる。
この場合、取得部191が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そして、特徴量抽出部192は、取得部191の取得した帳票画像データを認識処理した結果に基づいて、記録文字列の特徴を示す第一特徴量または記録文字列以外の認識情報を示す第二特徴量を抽出する。特徴量抽出部192は、予め設定された所定のグループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。
これにより、画像処理装置1は、文字認識処理結果の信頼度が低いと判定された場合には、例えばキーパンチャーに処理結果の確認・修正を受けた後、通関士または審査員に処理結果を提示することができる。また、画像処理装置1は、文字認識処理結果の信頼度が高いと判定された場合には、例えばキーパンチャーによる確認・修正を省略して、通関士または審査員に処理結果を提示することができる。
このように、画像処理装置1によれば、帳票の読み取り結果の確認および修正を行う者が複数いる場合に、読み取り結果の確認および修正を効率よく行えるように、読み取り結果を振り分けることができる。
このように、信頼度算出部196が、文字認識処理対象の文書画像の書式についての特徴量に基づいて信頼度を算出することで、信頼度を比較的高精度に算出できることが期待される。例えば、信頼度算出部196が、文字認識そのものの信頼度と、文字認識処理対象の文書画像の書式についての特徴量に基づいて信頼度を算出することで文字認識そのものの信頼度のみに基づく場合よりも、信頼度を高精度に算出できることが期待される。
また、信頼度算出部196は、記録部193が記録文字列の特定に用いる第一特徴量に基づいて信頼度を算出することができる。記録部193が記録文字列の特定に用いる特徴量に基づいて信頼度を算出する点で、信頼度算出部196が、精度の高い信頼度を算出できることが期待される。
特徴量のばらつき度合いが大きい場合、画像処理装置に与えられる文書の書式が一定していない、あるいは、画像処理装置1が解析した書式の特徴が実際の書式を十分に反映していないといった原因が考えられる。この場合、処理対象の文書画像についても、画像処理装置1が想定している書式と異なる書式である可能性が比較的高い。この点で、処理対象の文書画像に対する画像処理装置1の処理結果の信頼度が低いと考えられる。
この点で、信頼度算出部196が、予め記録された特徴量のばらつき度合いに基づいて信頼度を算出することで、高精度に信頼度を算出できる。
偏差の度合いが大きい場合、処理対象の文書画像の書式が、画像処理装置1が想定している書式と異なる、あるいは、想定している書式は合っていても画像処理装置1が解析した書式の特徴が、処理対象の文書画像については適切でないといった原因が考えられる。この場合、処理対象の文書画像に対する画像処理装置1の処理結果の信頼度が比較的低いと考えられる。
この点で、信頼度算出部196が、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いに基づいて信頼度を算出することで、高精度に信頼度を算出できる。
図13は、実施形態に係る画像処理装置の構成の例を示す図である。図13に示す画像処理装置600は、信頼度算出部601と、出力先選択部602とを備える。
かかる構成にて、信頼度算出部601は、文書画像に含まれる特定項目の文字列の特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する。出力先選択部602は、信頼度算出部601が算出した信頼度に応じて前記文字認識処理結果の出力先を選択する。
これにより、画像処理装置600は、文字認識処理結果の信頼度が低いと判定された場合には、例えばキーパンチャーに処理結果の確認・修正を受けた後、通関士または審査員に処理結果を提示することができる。また、画像処理装置600は、文字認識処理結果の信頼度が高いと判定された場合には、例えばキーパンチャーによる確認・修正を省略して、通関士または審査員に処理結果を提示することができる。
このように、画像処理装置600によれば、帳票の読み取り結果の確認および修正を行う者が複数いる場合に、読み取り結果の確認および修正を効率よく行えるように、読み取り結果を振り分けることができる。
2 画像読取装置
3 記録装置
4 データベース
6、6−1、6−2 端末装置
110 通信部
180 記憶部
190 制御部
191 取得部
192 特徴量抽出部
193 記録部
194 グループ分類部
195 グループ特定部
196 信頼度算出部
197 出力先選択部
Claims (5)
- 複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、文字認識処理対象の文書画像の書式についての特徴量、かつ、前記文字列に含まれる文字の種類と、前記文書画像における前記文字列の位置との少なくとも一つに関する特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する信頼度算出部と、
前記信頼度に応じて前記文字認識処理結果の出力先を選択する出力先選択部と、
を備える画像処理装置。 - 前記信頼度算出部は、予め記録された前記特徴量のばらつき度合いに基づいて前記信頼度を算出する、
請求項1に記載の画像処理装置。 - 前記信頼度算出部は、文字認識対象の文書画像における前記特徴量の、予め記録された前記特徴量における偏差の度合いに基づいて前記信頼度を算出する、
請求項1または請求項2に記載の画像処理装置。 - 複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、文字認識処理対象の文書画像の書式についての特徴量、かつ、前記文字列に含まれる文字の種類と、前記文書画像における前記文字列の位置との少なくとも一つに関する特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する工程と、
前記信頼度に応じて前記文字認識処理結果の出力先を選択する工程と、
を含む画像処理方法。 - コンピュータに、
複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、文字認識処理対象の文書画像の書式についての特徴量、かつ、前記文字列に含まれる文字の種類と、前記文書画像における前記文字列の位置との少なくとも一つに関する特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する工程と、
前記信頼度に応じて前記文字認識処理結果の出力先を選択する工程と、
を実行させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018071145A JP6874729B2 (ja) | 2018-04-02 | 2018-04-02 | 画像処理装置、画像処理方法およびプログラム |
EP19781603.6A EP3779782A4 (en) | 2018-04-02 | 2019-03-26 | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND STORAGE MEDIA FOR STORING A PROGRAM |
US17/043,361 US11328504B2 (en) | 2018-04-02 | 2019-03-26 | Image-processing device for document image, image-processing method for document image, and storage medium on which program is stored |
PCT/JP2019/012888 WO2019194028A1 (ja) | 2018-04-02 | 2019-03-26 | 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体 |
SG11202009548UA SG11202009548UA (en) | 2018-04-02 | 2019-03-26 | Image-processing device, image-processing method, and storage medium on which program is stored |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018071145A JP6874729B2 (ja) | 2018-04-02 | 2018-04-02 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019185141A JP2019185141A (ja) | 2019-10-24 |
JP6874729B2 true JP6874729B2 (ja) | 2021-05-19 |
Family
ID=68100533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018071145A Active JP6874729B2 (ja) | 2018-04-02 | 2018-04-02 | 画像処理装置、画像処理方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11328504B2 (ja) |
EP (1) | EP3779782A4 (ja) |
JP (1) | JP6874729B2 (ja) |
SG (1) | SG11202009548UA (ja) |
WO (1) | WO2019194028A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6791191B2 (ja) * | 2018-04-02 | 2020-11-25 | 日本電気株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN114270800A (zh) * | 2019-08-29 | 2022-04-01 | 富士胶片株式会社 | 摄像装置、摄像装置的动作方法及程序 |
JP2021043775A (ja) * | 2019-09-12 | 2021-03-18 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
US11275934B2 (en) * | 2019-11-20 | 2022-03-15 | Sap Se | Positional embeddings for document processing |
JP7459635B2 (ja) | 2020-04-17 | 2024-04-02 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
JP2021179747A (ja) * | 2020-05-12 | 2021-11-18 | 京セラドキュメントソリューションズ株式会社 | 帳票データ取得システムおよび帳票データ取得プログラム |
JP7086361B2 (ja) * | 2020-06-30 | 2022-06-20 | Arithmer株式会社 | 帳票情報生成装置、方法及びプログラム |
JP2022097259A (ja) * | 2020-12-18 | 2022-06-30 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1793338A3 (en) | 1996-11-15 | 2007-12-19 | Toho Business Management Center | Business management system |
JP2003242441A (ja) * | 2002-02-15 | 2003-08-29 | Glory Ltd | 帳票処理方法および装置並びにプログラム |
JP2004152115A (ja) * | 2002-10-31 | 2004-05-27 | Toshiba Corp | 入力修正方法および入力修正支援システム |
JP4356716B2 (ja) | 2006-08-03 | 2009-11-04 | パナソニック電工株式会社 | 異常監視装置 |
US8175394B2 (en) * | 2006-09-08 | 2012-05-08 | Google Inc. | Shape clustering in post optical character recognition processing |
CA2677714C (en) * | 2007-03-09 | 2014-12-23 | Cummins-Allison Corp. | Document imaging and processing system |
US8385593B2 (en) * | 2010-06-18 | 2013-02-26 | Google Inc. | Selecting representative images for establishments |
US8494273B2 (en) * | 2010-09-05 | 2013-07-23 | International Business Machines Corporation | Adaptive optical character recognition on a document with distorted characters |
JP6100532B2 (ja) * | 2013-01-15 | 2017-03-22 | 株式会社富士通マーケティング | レシート定義データ作成装置およびそのプログラム |
DK2779138T3 (en) * | 2013-03-13 | 2016-02-29 | Kapsch Trafficcom Ag | Method for reading the vehicle registration plate |
JP5715219B2 (ja) * | 2013-11-14 | 2015-05-07 | 沖電気工業株式会社 | 帳票処理システム、サーバ、プログラムおよび帳票処理方法 |
JP6066108B2 (ja) * | 2014-04-16 | 2017-01-25 | コニカミノルタ株式会社 | 電子文書生成システムおよびプログラム |
JP2016048444A (ja) | 2014-08-27 | 2016-04-07 | 沖電気工業株式会社 | 帳票識別プログラム、帳票識別装置、帳票識別システム、および帳票識別方法 |
US10210384B2 (en) * | 2016-07-25 | 2019-02-19 | Intuit Inc. | Optical character recognition (OCR) accuracy by combining results across video frames |
JP6900164B2 (ja) * | 2016-09-27 | 2021-07-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6791720B2 (ja) | 2016-10-27 | 2020-11-25 | 三井住友建設株式会社 | 手摺装置 |
JP2020067959A (ja) * | 2018-10-26 | 2020-04-30 | キヤノン株式会社 | 画像処理装置、その制御方法及びプログラム |
-
2018
- 2018-04-02 JP JP2018071145A patent/JP6874729B2/ja active Active
-
2019
- 2019-03-26 US US17/043,361 patent/US11328504B2/en active Active
- 2019-03-26 EP EP19781603.6A patent/EP3779782A4/en active Pending
- 2019-03-26 SG SG11202009548UA patent/SG11202009548UA/en unknown
- 2019-03-26 WO PCT/JP2019/012888 patent/WO2019194028A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
SG11202009548UA (en) | 2020-10-29 |
US11328504B2 (en) | 2022-05-10 |
EP3779782A4 (en) | 2021-05-05 |
US20210049394A1 (en) | 2021-02-18 |
WO2019194028A1 (ja) | 2019-10-10 |
EP3779782A1 (en) | 2021-02-17 |
JP2019185141A (ja) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6874729B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6859977B2 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
JP6791191B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20190294912A1 (en) | Image processing device, image processing method, and image processing program | |
JP2007109118A (ja) | 入力指示処理装置および入力指示処理プログラム | |
KR20040078046A (ko) | 전표정의데이터 작성방법 및 전표처리장치 | |
JP2014137605A (ja) | レシート定義データ作成装置およびそのプログラム | |
JP6784273B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2019008775A (ja) | 画像処理装置、画像処理システム、画像処理方法、プログラム | |
JP6784274B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7111143B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20180067916A1 (en) | Analysis apparatus, analysis method, and recording medium | |
JP4104617B2 (ja) | 成果物情報管理システムおよび成果物情報管理プログラム | |
JP7160432B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2020095374A (ja) | 文字認識システム、文字認識装置、プログラム及び文字認識方法 | |
US20210065212A1 (en) | Date generation apparatus, control method, and program | |
JP3732254B2 (ja) | フォーマット情報生成方法及びフォーマット情報生成装置 | |
JP2023081564A (ja) | 情報表現パターン生成装置および方法 | |
JP2021101304A (ja) | 画像処理装置、システム、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200622 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200629 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200923 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210208 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210208 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210218 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6874729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |