JP7338135B2 - 認識処理装置及びプログラム - Google Patents

Description

本発明は、認識処理装置及びプログラムに関する。

運転免許証、健康保険証、住民票等といった定型文書をスキャンしてＯＣＲ（光学文字認識）することで、その文書中の各記載事項の値を認識し、認識結果を表示したり、データベースに登録したり、認識結果に応じて各種の制御を行ったりすることが行われている。

特許文献１には、正確な認識のために、運転免許証画像が上下、左右、表裏を逆さにした状態で入力されても、短時間で精度よく正立画像であるかどうかを判定する装置が開示されている。この装置は、運転免許証画像を多階調で入力する画像入力部と、前記画像入力部で入力された運転免許証画像が正立画像であるかどうかを判定する画像方向判定部と、を有し、画像方向判定部は、運転免許証画像の下左側領域内に縦方向の罫線を検出した場合に、入力された運転免許証画像が正立画像であると判定する。

特許文献２に開示された装置は、画像入力部で入力された運転免許証画像から、項目選択部で選択された項目の画像を項目画像抽出部で抽出し、文字座標検出部で、各項目の文字座標を求め、氏名項目に対しては、姓名分離部で姓と名とを分離し、日付項目に対しては、年月日分離部で元号、年、月、日および交付番号部分（交付領域のみ）に分離する。文字画像抽出部は、各文字の文字画像を切り出し、姓、名、元号、本籍、住所、公安委員会の漢字混じり項目の文字は、一般文字認識部で、年月日、交付番号、免許証番号の数字項目の文字は、数字認識部で認識を行ない、結果を表示部に表示する。

特開２０１４－７１７８４号公報 特開平７－５７０４５号公報

同種の文書であっても、発行者等といった属性の違いに基づく分類ごとに、文書内の要素の表示形態が異なる場合がある。例えば、運転免許証の場合、発行者の都道府県公安委員会が異なると、有効期限や免許番号等の要素に重畳されるシェードの色が異なる場合がある。このため、文書内の要素の表示内容（例えば文字列）の認識するシステムをある分類の文書に最適化した場合、別の分類の文書については誤認識が多くなるといった事態が生じる。

本発明は、同種ではあるが分類の異なる複数の文書の画像に対して一律の認識処理を行う方式と比べて、文書の分類の違いに起因する誤認識を低減することを目的とする。

請求項１に係る発明は、文書の画像から、同種の文書中でのその文書の分類を示す特徴を認識する手段と、文書の分類ごとに当該分類に対応する地色又は地紋を示す地情報と、地情報に対応する認識処理設定を保存する保存手段と、前記保存手段に保存された地情報群から、認識された前記特徴に対応する地情報を特定する手段と、前記画像中の認識対象要素に対して、特定された前記地情報に対応する認識処理設定を適用して、前記認識対象要素の認識を行う認識手段と、を含む認識処理装置である。

請求項２に係る発明は、前記分類による前記地情報に対応する認識処理設定は、前記文書中の認識対象要素ごとに規定されている、請求項１に記載の認識処理装置である。

請求項３に係る発明は、前記分類は、前記文書の発行者又は発行時期又はその組合せによる分類である請求項１又は２に記載の認識処理装置である。

請求項４に係る発明は、前記分類による前記地情報に対応する認識処理設定は、前記認識対象要素の領域内の文字列を、その領域の前記分類に対応する地色又は地紋から分離して認識する処理を規定する設定である、請求項１～３のいずれか１項に記載の認識処理装置である。

請求項５に係る発明は、前記分類による前記地情報に対応する認識処理設定は、前記認識対象要素の領域内の文字列が前記分類に対応するフォントが用いられているものとして、前記文字列を認識する処理を規定する設定である、請求項１～４のいずれか１項に記載の認識処理装置である。

請求項６に係る発明は、コンピュータを、文書の画像から、同種の文書中でのその文書の分類を示す特徴を認識する手段、文書の分類ごとに当該分類に対応する地色又は地紋を示す地情報と、地情報に対応する認識処理設定を保存する保存手段、前記保存手段に保存された地情報群から、認識された前記特徴に対応する地情報を特定する手段、前記画像中の認識対象要素に対して、特定された前記地情報に対応する認識処理設定を適用して、前記認識対象要素の認識を行う認識手段、として機能させるためのプログラムである。

請求項１又は６に係る発明によれば、同種ではあるが分類の異なる複数の文書の画像に対して一律の認識処理を行う方式と比べて、文書の分類の違いに起因する誤認識を低減することができる。

請求項２に係る発明によれば、文書中の認識対象要素ごとに異なる認識処理が必要な場合に対処することができる。

請求項３に係る発明によれば、文書の発行者又は発行時期によって認識対象要素に必要な認識処理が異なる場合に対応することができる。

請求項４に係る発明によれば、文書の分類に応じて認証対象要素の領域の地紋や地色が異なる場合に、分類によらず一律の認識処理によりその要素を認識する場合よりも、より精度のよい認識を行うことができる。

請求項５に係る発明によれば、認識対象要素の文字に用いられるフォントが文書の分類に応じて異なる場合に、分類によらず一律の認識処理によりその要素を認識する場合よりも、より精度のよい認識を行うことができる。

実施形態のシステムの機能構成を例示する図である。 システムの処理手順を例示する図である。

図１に、本発明に係る認識処理装置を含んだデータ登録システムの機能構成を例示する。このシステムの読取りの対象となるのは、運転免許証、健康保険証、住民票等の定型文書である。典型的な利用シーンでは、このシステムは、予め定められた種類の定型文書を読み取り、その文書中の予め設定された各記載事項の値を認識する。

このシステムは、スキャナ１０、認識制御部２０、ＯＣＲ（光学文字認識部）３０、データ登録部４０、データベース５０を含む。このうち認識制御部２０及びＯＣＲ部３０からなる部分が認識処理装置を構成する。

スキャナ１０は、紙やプラスティック等の各種材質で形成された媒体上に印刷又は手書き記入等で形成された画像を読み取り、読み取った画像のデータ（スキャン画像と呼ぶ）を認識制御部２０に渡す。

認識制御部２０は、スキャナ１０の読取りにより得られたスキャン画像を受け取り、そのスキャン画像から、予め設定された認識対象の各記載事項を認識するための制御を行う。画像に対する文字認識処理自体はＯＣＲ部３０が行い、認識制御部２０はそのＯＣＲ部３０による文字認識の制御を行う。認識制御部２０は、画像保持部２２、分類判定部２４、及び分類別設定保持部２６を含む。

画像保持部２２は、スキャナ１０から受け取ったスキャン画像を保持する。また、認識精度を上げるために、そのスキャン画像に対して、定型文書の範囲のみを切り出す処理、自動正立処理等の前処理が施される場合があるが、画像保持部２２には、そのような前処理後のスキャン画像を保持してもよい。

分類判定部２４は、スキャン画像（前処理後のものでもよい）に対するＯＣＲ処理により得られた認識結果から、その文書の分類を判定する。ここでいう文書の分類は、同一種類の文書の中での、その文書中の特定の属性項目の値（又は複数の属性項目の値の組合せ）の違いに基づく分類である。この特定の属性項目は、後述する分類特徴を含む項目のことである。

例えば、以下に示す例では、運転免許証という１つの種類に属する文書群を、運転免許証を発行した発行者（すなわち都道府県の公安委員会）によって分類する。

例えば、運転免許証の場合、有効期限の記載欄の背景（地）の色が優良運転者の場合は金色（ゴールド）、初めて免許を取得した者の場合は薄い緑色（グリーン）、それらいずれにも該当しない通常の者の場合は薄い青色（ブルー）、となっている。また、運転免許番号の一部の桁、及び免許の種類の表には、赤色の斜線群からなるシェードが地紋として施されている。このような有効期限記載欄の背景色（地色）の金、緑、青のそれぞれの色味、及び運転免許番号等のシェードの赤色の色味は、その運転免許証を発行した発行者ごとに異なることが知られている。また、運転免許証の各記載欄（例えば氏名、住所、有効期限）の文字に用いられるフォントの種類も、発行者に応じて異なることがある。

例えば、運転免許証の有効期限を認識する場合、有効期限記載欄の背景色を除去する処理を施した上で、その記載欄内の画像に対して文字認識を行うことになる。この場合、背景色の除去が適切でないと、ＯＣＲ部３０の文字認識において、背景の一部が文字部分として取り扱われ、これにより誤認識を招くおそれがある。発行者によって色味が異なるゴールド免許証の有効期限のゴールドの背景色を、同じ除去パラメータを用いて除去したのでは、一部の発行者が発行したゴールド免許証については、その背景色が十分に除去できず、有効期限の文字列を誤認識してしまう可能性がある。

運転免許番号等にかけられる赤色のシェードの除去についても同様であり、発行者によらず一律の除去パラメータを用いて除去を行うと、適切なシェード除去ができず、ＯＣＲ部３０においてシェードの一部が文字部分と認識され、誤認識を招くおそれがある。また、印刷文字の文字認識は、用いられているフォントが分かっていると非常に高い認識精度が得られる。しかし、運転免許証の記載項目の中には、用いられるフォントが発行者により異なるものもあり、同じ一つのフォントを想定してその記載項目の文字認識を行うと、その項目に異なるフォントを用いている発行者の運転免許証については、その項目の文字認識の精度が落ちる。

以上に例示した事情から、本実施形態では、分類判定部２４により、スキャンした文書の分類を判定する。運転免許証の例では、分類判定部２４は、読み取った運転免許証の発行者がどの都道府県の公安委員会であるかを判定する。

分類判定部２４による分類の判定は、一つの例では、スキャン画像中の分類特徴部位の画像に対する文字認識又はパターンマッチング等で行う。分類特徴部位とは、文書の画像面内で、その文書の分類を示す特徴となる文字列や図形（マーク等）が含まれる領域である。分類判定部２４は、各分類に対応する特徴（文字列又は図形等）の情報を有しており、対象の文書の分類特徴部位から認識された文字列又は図形がどの分類の特徴に合致するかを求めることで、その文書の分類を判定する。

スキャン画像中のどの位置の領域が分類特徴部位であるかは、運転免許証、健康保険証等といった文書の種類ごとに決まっている。分類判定部２４には、文書の種類ごとに、その種類に対応する分類対象部位の文書の画像中での位置の情報が登録されている。運転免許証の場合、免許証のおもて面の本人の顔写真の下にある発行者表示欄、又は住所欄の先頭の領域が、分類特徴部位である。

なお、健康保険証の場合、分類判定部２４は保健者（例えば健康保険組合）ごとの分類を行うが、分類特徴部位である保険者名の表示欄の位置は保険者によって異なる。このように分類特徴部位が一つに定まらない文書の場合は、システムが対応するすべての分類の分類特徴部位をすべてカバーする範囲を判定対象範囲とし、文書中の判定対象範囲をＯＣＲ部３０（又はパターンマッチング部）に認識させる。そして、その認識結果の分類の特徴である文字列や図形が見つかった場合、その特徴に対応する分類をその文書の分類と判定する。

分類別設定保持部２６は、認識対象の種類の文書の分類ごとに、当該分類に対応する認識処理の設定情報を保持する。例えば上述の運転免許証の例の場合、分類別設定保持部２６は、発行者（都道府県の公安委員会）ごとに、有効期限記載欄の３つの背景色（ゴールド、グリーン、ブルー）のそれぞれの色味の値（例えばＣＩＥ（国際照明委員会）のＬ*ａ*ｂ*色空間での当該背景色の色値）、運転免許番号等の赤色のシェードの色味の値、記載項目ごとのフォント、等の情報を保持する。

認識制御部２０は、分類判定部２４が判定した分類に対応する設定情報を分類別設定保持部２６から読み出してＯＣＲ部３０に供給する。ＯＣＲ部３０は、供給された設定情報に従って、ＯＣＲのための前処理（例えば背景色やシェードの除去）、及びＯＣＲ処理を行う。

ＯＣＲ部３０は、入力された画像に対して公知のＯＣＲ処理を行う。また、文書の分類特徴部位が含む特徴が文字列ではなく図形である場合には、ＯＣＲ部３０に、予め設定されている各分類の特徴の図形と、文書の分類特徴部位に含まれる図形とのパターンマッチングを行うパターンマッチング機能を設けてもよい。

データ登録部４０は、文書から認識された各記載項目の値を、（例えばその文書から読み出した、又はその文書のシステムが付与した）その文書の一意な識別情報に対応付けて、データベース５０に登録する。

次に、図２を参照して、このシステムの処理手順を例示する。

オペレータが、文書（例えば運転免許証）をスキャナ１０の読取り面にセットして、処理開始を指示すると、スキャナ１０によりその文書の画像が読み取られ、得られたスキャン画像が認識制御部２０に送られる。認識制御部２０は、このスキャン画像に対して、公知の自動正立処理（例えば特許文献１に示されたもの）等を行い、処理後のスキャン画像を画像保持部２２に保持する（Ｓ１０）。

次に認識制御部２０は、画像保持部２２内のスキャン画像全体、又はそのスキャン画像中の分類特徴部位を切り出した画像、をＯＣＲ部３０に送ってＯＣＲ処理を実行させ、これに応じてＯＣＲ部３０から返されてきた認識結果から、その分類特徴部位の認識結果を取得する（Ｓ１２）。上述の運転免許証の例では、例えば顔写真の下の発行者表示欄、又は住所欄、が分類特徴部位である。スキャン画像全体をＯＣＲ部３０に渡した場合は、認識制御部２０は、ＯＣＲ部３０から返ってきた認識結果の中から、分類特徴部位に該当する領域の認識結果を抽出する。

次に、分類判定部２４が、その分類特徴部位の認識結果に基づき、その文書の分類を判定する（Ｓ１４）。

次に認識制御部２０は、分類判定部２４が判定した分類に対応する認識処理の設定情報を分類別設定保持部２６から読み出し、その設定情報をＯＣＲ部３０に設定し、その設定に従ってＯＣＲ部３０に対してスキャン画像を処理させる（Ｓ１６）。例えば、運転免許証の場合、氏名欄、住所欄、有効期限記載欄、運転免許番号欄、（免許の）種類の欄といった認識対象の部位ごとに、その部位に適用する設定情報を認識制御部２０からＯＣＲ部３０に通知する。認識制御部２０は、例えば有効期限記載欄のスキャン画像内での位置情報に対応付けて、その欄の背景色のゴールド、グリーン、ブルーのそれぞれの色情報と、その欄のフォントの情報とをＯＣＲ部３０に通知する。また、運転免許番号欄の位置情報に対応付けて、その欄内でシェードがかけられている桁群の位置情報に対応付けて、運転免許番号の特定桁に施されているシェードの色情報を、ＯＣＲ部３０に設定する。

ＯＣＲ部３０は、認識制御部２０から設定された設定情報に従って、ＯＣＲのための画像の前処理、及び前処理結果の画像に対するＯＣＲ処理を行う。設定情報がスキャン画像内の認識対象領域ごとに設定されている場合には、ＯＣＲ部３０は、認識対象領域ごとに、当該領域の設定情報に従って前処理及びＯＣＲ処理を行う。

例えば、運転免許証の有効期限記載欄の文字認識を行う場合、ＯＣＲ部３０は、その欄の背景色がゴールド、グリーン、ブルーのどれであるかを判定する。そして、判定した背景色（ゴールド、グリーン又はブルー）についての設定値（すなわち当該分類の免許証におけるその背景色の色値）に従い、有効期限記載欄内の画像に前処理として公知の背景色除去処理を行う。そして、背景色が除去された同欄の画像に対して、その欄内の文字列がその設定情報に示されるフォントで表記されているとの前提で、ＯＣＲ処理を実行する。また、運転免許番号欄については、同欄の設定情報に含まれるシェード色の情報に従い、同欄内の特定桁の範囲からその色のシェードを除去する前処理を行い、この前処理結果の画像に対してＯＣＲを行う。

認識制御部２０は、ＯＣＲ部３０から各認識対象部位のＯＣＲ結果の値を取得し、それらをデータ登録部４０に渡す。データ登録部４０は、１つの文書に含まれる確認式対象部位のＯＣＲ結果の値を、その文書の識別情報（この識別情報は文書の１つの認識対象部位の認識結果であってもよい。例えば免許証番号）に対応付けて、データベース５０に登録する（Ｓ１８）。

図２の手順では、文書から認識した情報をデータベース５０に登録したが、これは認識結果の情報に対する処理の一例に過ぎない。データベース登録の他に、例えば認識結果を画面表示したり、認識結果が所定のアラーム条件（例えば運転免許証の有効期限が切れている）を満たす場合にアラームを発したりするというように、認識結果を他の装置の制御に用いてもよい。

以上では、文書の分類を文書内の単一の特徴により規定したが、複数の特徴の組合せに分類を規定してもよい。例えば、文書のある項目の背景色が、その文書の発行者により異なり、同じ発行者でも発行時期が属する期間が異なれば異なるといった事実がある場合、発行者と発行時期の組み合わせでその文書の分類を決定してもよい。

また、以上では運転免許証を代表例にとって説明したが、健康保険証や住民票等といった他の種類の定型文書の認識にも、上記実施形態の方式は適用可能である。例えば健康保険証の場合、分類の特徴としては保険者の番号や名称の文字列を用いればよい。保険証カードの背景パターン（地紋）や色は保険者ごとに異なる。分類特徴から判定した保険者の背景パターンを保険証の画像から除去した後、記載事項の文字認識を行う。住民票の場合は、例えば住所欄の住所や、発行者（市区町村長）の表記などから分かる発行自治体を分類とし、その分類に応じて背景パターンの除去等、分類に応じて各項目の認識のための設定を行えばよい。

また、以上の例では、判定した分類に応じてＯＣＲ部３０の前処理やＯＣＲの設定を切り替えたが、この方式も一例に過ぎない。この代わりに、ＯＣＲ部３０として、例えば分類ごとにその分類に属する文書の文字認識を学習したＡＩ（人工知能）を用意した場合を考える、この場合、認識制御部２０は、まず分類によらないＯＣＲを用いて認識対象の文書の分類特徴を認識し、その分類特徴が示す分類に対応する文字認識用ＡＩにスキャン画像を認識させることで、目的とする各部位の認識結果を得る。

以上に例示した認識処理装置は、例えば、コンピュータに上述の各機能を表すプログラムを実行させることにより実現される。ここで、コンピュータは、例えば、ハードウエアとして、ＣＰＵ等のマイクロプロセッサ、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）等のメモリ（一次記憶）、フラッシュメモリやＳＳＤ（ソリッドステートドライブ）、ＨＤＤ（ハードディスクドライブ）や等の固定記憶装置を制御するコントローラ、各種Ｉ／Ｏ（入出力）インタフェース、ローカルエリアネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバス等を介して接続された回路構成を有する。それら各機能の処理内容が記述されたプログラムがネットワーク等の経由でフラッシュメモリ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがＲＡＭに読み出されＣＰＵ等のマイクロプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。

１０ スキャナ、２０ 認識制御部、２２ 画像保持部、２４ 分類判定部、２６ 分類別設定保持部、３０ ＯＣＲ部、４０ データ登録部、５０ データベース。

Claims (6)

1. 文書の画像から、同種の文書中でのその文書の分類を示す特徴を認識する手段と、
   文書の分類ごとに当該分類に対応する地色又は地紋を示す地情報と、地情報に対応する認識処理設定を保存する保存手段と、
   前記保存手段に保存された地情報群から、認識された前記特徴に対応する地情報を特定する手段と、
   前記画像中の認識対象要素に対して、特定された前記地情報に対応する認識処理設定を適用して、前記認識対象要素の認識を行う認識手段と、
   を含む認識処理装置。
2. 前記分類による前記地情報に対応する認識処理設定は、前記文書中の認識対象要素ごとに規定されている、請求項１に記載の認識処理装置。
3. 前記分類は、前記文書の発行者又は発行時期又はその組合せによる分類である請求項１又は２に記載の認識処理装置。
4. 前記分類による前記地情報に対応する認識処理設定は、前記認識対象要素の領域内の文字列を、その領域の前記分類に対応する地色又は地紋から分離して認識する処理を規定する設定である、請求項１～３のいずれか１項に記載の認識処理装置。
5. 前記分類による前記地情報に対応する認識処理設定は、前記認識対象要素の領域内の文字列が前記分類に対応するフォントが用いられているものとして、前記文字列を認識する処理を規定する設定である、請求項１～４のいずれか１項に記載の認識処理装置。
6. コンピュータを、
   文書の画像から、同種の文書中でのその文書の分類を示す特徴を認識する手段、
   文書の分類ごとに当該分類に対応する地色又は地紋を示す地情報と、地情報に対応する認識処理設定を保存する保存手段、
   前記保存手段に保存された地情報群から、認識された前記特徴に対応する地情報を特定する手段、
   前記画像中の認識対象要素に対して、特定された前記地情報に対応する認識処理設定を適用して、前記認識対象要素の認識を行う認識手段、
   として機能させるためのプログラム。

Images