JP6620038B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理技術に関し、光学文字認識（ＯＣＲ：Optical Character RecognitionまたはOptical Character Reader）等のために画像を補正する技術に関する。

従来の文字認識装置（以下、ＯＣＲ装置と記載する場合がある）は、帳票等の用紙からスキャンにより画像読み取りを行う。文字認識装置は、画像読み取りにより成立した矩形の画像を前提として、予め登録されている読み取り位置で、文字認識を行っている。

会社や役所等における各種の申込受付業務では、受付者は、申込者から、身分証等の画像の記載を含む申込書等の帳票を受け付ける。そして、受付者は、スキャナ装置やＯＣＲ装置を用いて、申込書を画像データまたは文字データの形式として登録する場合がある。

身分証等の記載を含む帳票の文字認識や画像処理に関する先行技術例としては、特許第４３０９８８１号公報（特許文献１）が挙げられる。特許文献１には、身分証認識装置として、以下の旨が記載されている。その装置は、帳票の画像から文字認識を行って身分証の特徴文字を検出する。その装置は、検出した特徴文字の位置と、予め設定されている身分証の特徴文字の基準位置とに基づいて、身分証の画像の伸縮率や方向を求め、帳票の画像から身分証の画像を抽出する。

特許第４３０９８８１号公報

従来、身分証等の記載を含む申込書等の帳票の処理に文字認識装置等を用いる場合において、申込書の所定欄に記載される身分証画像が歪んでいる場合がある。例えば、所定欄に身分証を配置して画像読み取りを行う際に、所定欄の枠線方向に対して身分証の外形の線が傾いている場合がある。また、身分証を俯瞰で撮影した際に、撮影方向が面垂直方向に対して傾いていることにより、身分証画像が台形状に歪んでいる場合がある。それらの場合、その身分証画像等を用いて画像処理装置で文字認識を行うと、画像に歪みがあるため、文字に変換できない部分が生じる等、文字認識の精度が低下してしまう場合がある。

なお、特許文献１に記載の装置では、身分証の「年月日」等の文字の位置に基づいて、画像補正を行っている。しかし、領域に対して文字のサイズが小さいので、その分、文字の抽出はしにくい。また、身分証画像に歪みがある場合、「年月日」等の文字にも歪みが生じるので、その文字の読み取りが難しくなり、結果、画像補正が難しくなる。仮にその文字の読み取りができた場合でも、俯瞰画像等の場合には画像領域内の上下左右の位置に応じて異なる伸縮率等になっているため、適切な画像補正が難しい。

本発明の目的は、ＯＣＲ等のために画像を補正する画像処理に関して、身分証等の画像に歪みがある場合でも、その歪みを修正して、文字認識や視認に適した画像が得られ、文字認識の精度や作業効率を高めることができる技術を提供することである。

本発明のうち代表的な実施の形態は、画像処理装置及び画像処理プログラムであって、以下に示す構成を有することを特徴とする。

一実施の形態の画像処理装置は、身分証または帳票の画像データを入力して、前記画像データに画像補正処理を行って、文字認識または視認に適した補正後画像データを出力する画像補正部を備え、前記画像補正部は、前記画像データの領域である第１領域から、前記身分証または前記帳票の領域である第２領域内にある罫線を検出し、前記第２領域内にある前記罫線から、前記身分証または前記帳票の基本レイアウトの罫線の情報との比較に基づいて、特定の罫線を含む第１罫線部を選択し、前記第１罫線部に基づいて、前記第２領域の位置を表す四点を決定し、前記四点を用いて、前記画像データに射影変換を行って、前記補正後画像データを得る。

一実施の形態の画像処理プログラムは、画像処理装置に画像処理を実行させる画像処理プログラムであって、身分証または帳票の画像データを入力して、前記画像データに画像補正処理を行って、文字認識または視認に適した補正後画像データを出力する画像補正部を実現するプログラムを備え、前記画像補正部は、前記画像データの領域である第１領域から、前記身分証または前記帳票の領域である第２領域内にある罫線を検出し、前記第２領域内にある前記罫線から、前記身分証または前記帳票の基本レイアウトの罫線の情報との比較に基づいて、特定の罫線を含む第１罫線部を選択し、前記第１罫線部に基づいて、前記第２領域の位置を表す四点を決定し、前記四点を用いて、前記画像データに射影変換を行って、前記補正後画像データを得る。

本発明のうち代表的な実施の形態によれば、ＯＣＲ等のために画像を補正する画像処理に関して、身分証等の画像に歪みがある場合でも、その歪みを修正して、文字認識や視認に適した画像が得られ、文字認識の精度や作業効率を高めることができる。

本発明の実施の形態の画像処理装置である文字認識装置の構成を示す図である。 実施の形態で、身分証の構成例を示す図である。 実施の形態で、申込書の構成例を示す図である。 実施の形態で、申込書作成の第１の例を示す図である。 実施の形態で、申込書作成の第２の例を示す図である。 実施の形態の画像処理装置の機能ブロック構成を示す図である。 実施の形態の画像処理装置の全体の処理フローを示す図である。 実施の形態の画像処理装置の画像補正処理のフローを示す図である。 実施の形態で、入力画像の例を示す図である。 実施の形態で、横罫線情報検出を示す図である。 実施の形態で、縦罫線情報検出を示す図である。 実施の形態で、格子点情報検出を示す図である。 実施の形態で、罫線データ及び格子点データを示す図である。 実施の形態で、身分証領域位置検出を示す図である。 実施の形態で、罫線選択の詳細を示す図である。 実施の形態で、回転処理を示す図である。 実施の形態で、選択罫線チェックの詳細を示す図である。 実施の形態で、選択外枠罫線及び四点検出を示す図である。 実施の形態で、射影変換を示す図である。 実施の形態で、拡大及び位置合わせを示す図である。 実施の形態の第１変形例の画像処理装置における、向き誤りの場合の身分証画像の例を示す図である。 実施の形態の第２変形例の画像処理装置における、身分証画像の例を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。

図１〜図２２を用いて、本発明の実施の形態の画像処理装置及び画像処理プログラムについて説明する。実施の形態の画像処理装置は、文字認識装置であり、スキャナ機能、ＯＣＲ機能、及び所定の画像補正機能等を備える。実施の形態の画像処理プログラムは、実施の形態の画像処理装置で実行されるプログラムであり、実施の形態の画像処理装置に所定の画像処理を実行させるプログラムである。その画像処理は、所定の画像補正処理を含む。

［画像処理装置］
図１は、実施の形態の画像処理装置である文字認識装置１の構成を示す。申込者であるユーザは、自分の身分証２を持っている。申込者は、会社や役所等に対して、所定の申込の手続きを行う。この手続きは、所定の申込書３に、文字の記入や、身分証２の画像の記載が必要である。受付者であるユーザは、申込者に申込書３を提供する。例えば、申込者は、申込書３の所定欄に身分証２の画像を記載した形として申込書３を作成し、受付者へ提出する。受付者は、その申込書３を受領して、会社等のシステムに登録する。実施の形態の画像処理装置は、例えば、会社等の受付者であるユーザにより操作されて使用される。これにより、受付者は、申込書３の受付及び登録の業務を行う。なお、申込者であるユーザが、実施の形態の画像処理装置を操作して使用してもよい。

実施の形態の画像処理装置である文字認識装置１は、演算装置１０１、記憶装置１０２、通信インタフェース装置１０３、入出力インタフェース装置１０４、入力装置１０５、表示装置１０６、スキャナ装置１０７、外部記憶装置１０８等を備える。

演算装置１０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現され、画像処理装置の全体を制御する制御部を実現する。演算装置１０１は、ソフトウェアプログラム処理により実現される処理部として、画像読み取り部１１、画像データ入力部１２、画像補正部１３、文字認識部１４、文字データ出力部１５、画像データ出力部１６、設定部１７を有する。演算装置１０１は、記憶装置１０２から画像処理プログラム１２１を読み出して実行することにより、画像補正部１３等の各処理部を実現する。

記憶装置１０２には、実施の形態の画像処理プログラムである画像処理プログラム１２１、画像データ１２２、文字データ１２３、設定情報１２４等が格納されている。画像データ１２２は、身分証２または申込書３からの読み取り画像データや、その画像処理後の画像データ等である。文字データ１２３は、画像データ１２２に基づいてＯＣＲ処理により得た文字データ等である。設定情報１２４は、設定部１７を通じて設定された情報である。

通信インタフェース装置１０３は、外部装置との間で、所定の通信インタフェースで、通信処理を行う。画像処理装置は、例えば、外部装置であるサーバと通信網を介して通信し、サーバから画像データ１２２等を受信して入力してもよいし、サーバへ文字データ１２３等を送信して登録してもよい。

入出力インタフェース装置１０４は、入出力インタフェースを有し、入力装置１０５、表示装置１０６、スキャナ装置１０７、外部記憶装置１０８等が接続されている。入力装置１０５及び表示装置１０６は、例えば操作パネルが挙げられる。ユーザは、入力装置１０５を通じて操作指示やユーザ設定等を入力可能である。ユーザは、表示装置１０６を通じて装置状態等を認識可能である。外部記憶装置１０８は、例えばディスク装置やメモリカード装置等が挙げられる。外部記憶装置１０８には、演算装置１０１からの制御に基づいて、画像データ１２２や文字データ１２３等のデータを格納可能である。また、画像処理装置は、入出力インタフェース装置１０４に接続された外部記憶装置１０８に格納されている画像データを、画像データ１２２として入力することも可能である。

スキャナ装置１０７は、セットされた申込書３等の紙をスキャンして画像を読み取る画像読み取り装置である。スキャナ装置１０７は、読み取った画像データを、画像データ１２２として、記憶装置１０２に格納する。

画像読み取り部１１は、スキャナ装置１０７を制御して、紙から画像を読み取り、画像データ１２２として得る処理を行う。画像データ入力部１２は、通信インタフェース装置１０３や入出力インタフェース装置１０４等を制御して、外部装置から画像データを入力して画像データ１２２として得る処理を行う。画像補正部１３は、画像データ１２２に対し、特徴的な画像補正処理を行う部分である。文字認識部１４は、画像補正処理後の画像データ１２２に対し、ＯＣＲ処理を行って、文字データ１２３を得る部分である。文字データ出力部１５は、ＯＣＲ処理後の文字データ１２３を、外部装置やユーザへ出力する処理を行う。画像データ出力部１６は、画像補正処理後の画像データ１２２を、外部装置やユーザへ出力する処理を行う。

設定部１７は、管理者等のユーザの操作に基づいて、画像補正処理やＯＣＲ処理等に係わる設定処理を行う部分である。設定部１７は、予め、処理対象とする身分証２の基本レイアウトや、基本レイアウトに基づいた条件の情報を、設定情報１２４として設定する。基本レイアウトの情報は、後述の罫線や格子点の情報を含む。条件の情報は、画像補正処理の際の判定条件等を含む。なお、設定情報１２４は、画像処理装置及び画像処理プログラムの設計情報として固定としてもよい。設定情報１２４に応じて、複数の種類の身分証２等に対応可能である。画像処理プログラム１２１は、設定情報１２４に従って処理を実行させる。

実施の形態の画像処理装置である文字認識装置１は、身分証２またはそれを含む申込書３の画像を得て、その画像にＯＣＲ処理を行う前に、その画像がＯＣＲ処理に適した内容となるように、その画像に画像補正処理を行う。文字認識装置１は、画像補正処理として、身分証２の画像の歪みが無くなるように、その画像の傾き、サイズ、位置等を補正する。文字認識装置１は、補正後の画像を用いて、ＯＣＲ処理を行う。これにより、ＯＣＲ処理では、文字認識の精度が高くなる。また、実施の形態の画像処理装置は、文字認識を行わずに、画像補正までを行い、画像データとして出力する場合でも、身分証２の画像の歪みが無く内容を視認しやすい状態として出力することができる。

文字認識装置１は、身分証２における基本レイアウトに含まれている罫線や罫線の交点の情報を利用して、身分証２の画像から、身分証２の領域の位置等を検出し、射影変換等を行う。文字認識装置１は、身分証２の画像から、身分証２の領域内にある罫線を抽出し、また、罫線同士が交わるまたは接続される点である格子点を抽出する。文字認識装置１は、抽出した罫線及び格子点を用いて、身分証２の基本レイアウトの罫線及び格子点の位置関係等に基づいて、身分証２の領域の位置、形状や傾き等を検出する。文字認識装置１は、身分証２の領域の位置等を表す、４本の外枠罫線や四点を検出する。文字認識装置１は、その４本の外枠罫線や四点を用いて、身分証２の画像に射影変換を行う。これにより、文字認識装置１は、身分証２の画像の歪みを修正して、文字認識や視認に適した矩形の画像を得る。

なお、実施の形態の画像処理装置は、文字認識装置に限らず適用可能であり、文字認識機能を持たないスキャナ装置や、印刷機能等の各種機能を持つ複合機、等にも適用可能である。変形例として、画像処理装置がスキャナ装置である場合の構成は、図１の構成のうちで、文字認識部１４、文字データ出力部１５、文字データ１２３等を持たない構成に相当する。そのスキャナ装置は、身分証２等の入力画像に対し、画像補正部１３により画像補正処理を行い、その結果の画像データ１２２を得て出力する機能を有する。

［身分証］
図２は、身分証２の構成例として、運転免許証の場合の表面の基本レイアウトを示す。この身分証２は、概略的には矩形のカード媒体であり、矩形の角部は曲線となっている。身分証２の主面において、上から、氏名、生年月日、住所、交付、有効期限、番号、等の文字情報が記載されている。また、身分証２の主面において、右側に、本人写真画像領域も設けられている。

［申込書］
図３は、申込書３の構成例を示す。この申込書３は、文字入力欄３０１と、所定欄３０２とを含む。文字入力欄３０１は、住所、氏名等の文字情報が記載される欄である。所定欄３０２は、本人確認証貼付欄、言い換えると身分証配置欄である。所定欄３０２は、申込者の本人確認のための身分証２等の画像を記載及び配置するための欄である。図３では、所定欄３０２には、身分証２に対応する身分証画像３０３が貼り付け等により配置されている。図３の例では、所定欄３０２の中で、身分証画像３０３が、欄の線に対して少し傾いて角度を持つ状態で配置されている。なお、申込書３や他の書類によっては、身分証２ではなく、他のカードや帳票等の画像が記載される場合もある。

［申込書の作成方式］
実施の形態の画像処理装置の用途や前提、ＯＣＲの入力画像を得るための紙の画像読み取りや画像データ入力、申込書３の作成方式、等について以下である。申込者は、申込書３の文字入力欄３０１に、文字を記載する。申込者または受付者は、所定欄３０２内に、申込者の身分証２の画像を記載する。申込書３の作成方式として、以下のようにいくつかの方式がある。

（１） 申込者または受付者は、身分証２のみを、スキャナ装置等により画像読み取りを行い、紙に印刷出力する。申込者または受付者は、その身分証２の画像を含む紙を、切り貼りや拡大縮小等して、申込書３の所定欄３０２の中に配置する。

（２） 申込者または受付者は、申込書３の所定欄３０２の中に身分証２を配置した状態で、その申込書３を、スキャナ装置等により画像読み取りを行い、紙に印刷出力する。

（３） 申込者または受付者は、デジタルカメラ等を用いて、身分証２のみを撮影して、その撮影画像データを得る。申込者または受付者は、その身分証２の撮影画像データを、紙に印刷出力する。そして、申込者または受付者は、その身分証２の画像を含む紙を、切り貼りや拡大縮小等して、申込書３の所定欄３０２の中に配置する。

（４） 申込者は、デジタルカメラ等を用いて、身分証２のみを撮影し、その撮影画像データを得る。申込者は、受付者へ、その身分証２の画像データを提供する。この際、インターネットを介した電子的な手続きが可能である場合、申込者の端末から、受付者の端末へ、その身分証２の画像データを送信してもよい。また、インターネット上で、デジタル形式の申込書３が提供される場合、申込者は、端末の画面で、デジタル形式の申込書３に記入し、所定欄３０２に身分証２の画像データを貼り付けしてもよい。

受付者は、申込者から、上記身分証２の撮影画像データを取得した場合、その画像データを用いて、申込書３のデータを作成して登録する。受付者は、申込者から、上記身分証２の画像データを含む申込書３のデータを取得した場合、その申込書３のデータを登録する。

図４及び図５は、申込書３や身分証２に係わる、紙や画像データ等のいくつかの形態を示す。図４は第１の例、図５は第２の例を示す。

図４で、紙４０１は、物である身分証２のみをスキャナ装置等でスキャンして印刷した形態の身分証の紙を示す。この紙４０１は、紙面内で身分証画像の配置の傾きが有る場合を示す。紙４０２は、文字が未記載または記入済みの申込書３の紙を示す。紙４０３は、申込書３の紙４０２の所定欄内に、身分証の紙４０１を貼り付け等で配置した状態の申込書３の紙を示す。あるいは、紙４０３は、申込書３の紙４０２の所定欄内に、身分証の紙４０１を配置した状態で、スキャナ装置等でスキャンして印刷した形態の申込書３の紙を示す。この紙４０３では、所定欄内で身分証画像が傾いて配置されている。身分証画像の外形を構成するふちの線は、所定欄の枠線に対して傾きの角度がある。また、画像データ４０４は、申込書３の紙４０３を更にスキャナ装置等でスキャンして画像読み取りした形態の申込書３の画像データを示す。

図５で、画像データ４０５は、物である身分証２のみをデジタルカメラ等で撮影して画像読み取りした形態の身分証２の画像データを示す。この身分証２の画像データ４０５は、俯瞰画像であり、撮影による傾きが有る場合を示す。この例では、撮影時の撮影方向は、身分証２の表面の垂直方向に対して少し手前に傾いた方向である。これにより、画像データ４０５内の身分証領域は、台形状になっており、外形の左右辺は、画像データ４０５の外形の線に対して傾きの角度がある。また、デジタル形式の申込書データ４０６を示す。申込書データ４０６に文字等が記入され、所定欄には例えば身分証２の画像データ４０５が貼り付け等により配置される。これにより、申込書データ４０７が作成される。申込書データ４０７は、文字データ及び画像データを含んでいる。

上記例のように、受付者は、申込者から、身分証２の紙または画像データ、あるいは、身分証２の記載を含む申込書３の紙または画像データを取得する。受付者は、取得した紙または画像データを用いて、申込書３を得る。受付者は、スキャナ装置またはＯＣＲ装置を用いて、その申込書３の画像データまたは文字データを取得し、そのデータを会社等のシステムに登録する。会社等のシステムは、申込書３を、データの形態で管理することができる。

上記例のように、申込書３の作成方式、身分証２の画像を得る手段等の違いから、身分証２の画像には、傾き等、様々な歪みが発生し得る。例えば、紙４０１に示す歪みや、画像データ４０５に示す歪みが挙げられる。文字認識装置１は、それらの画像の歪みを解消するように画像補正を行う。文字認識装置１は、画像補正後の画像データから、ＯＣＲ処理により文字データを得る。

なお、従来では、作成された申込書の所定欄の身分証画像に歪みがある場合、ＯＣＲ処理で文字が認識しにくくなり、また、ＯＣＲ処理を行わない場合でも内容の視認がしにくくなる。そのように身分証画像が不適切である場合、ユーザは修正作業が必要となる。即ち、申込者または受付者は、身分証画像を含む申込書を、再度作成する必要があり、手間がかかる。それに対し、実施の形態の画像処理装置では、身分証画像に歪みがある場合でも、自動的に画像補正処理を行って、ＯＣＲ処理に適した内容にすることができる。そのため、ユーザの作業の手間が削減される。

［機能ブロック構成］
図６は、実施の形態の画像処理装置である文字認識装置１の機能ブロック構成を示す。図６では、図４及び図５のような各形態の紙や画像データの入力に対応可能である装置の場合の機能ブロック構成を示す。文字認識装置１は、身分証２の紙または画像データ、あるいは申込書３の紙または画像データを入力する。文字認識装置１は、例えば、申込書３の紙４０３、身分証２の紙４０１、申込書３の画像データ４０４、身分証２の画像データ４０５、デジタル形式の申込書データ４０７、等を入力可能である。

図６で、文字認識装置１は、図１の画像読み取り部１１から画像データ出力部１６までを有する。画像読み取り部１１は、図１のスキャナ装置１０７に入力される申込書３の紙４０３または身分証２の紙４０１から画像を読み取り、読み取り画像データ６０１を、画像補正部１３や画像データ出力部１６へ出力する。出力先は、設定や指示入力に基づいて制御される。読み取り画像データ６０１は、図１の記憶装置１０２の画像データ１２２の一部として格納される。

画像データ入力部１２は、図１の通信インタフェース装置１０３や入出力インタフェース装置１０４等を通じて、申込書３の画像データ４０４、身分証２の画像データ４０５、またはデジタル形式の申込書データ４０７を入力し、それらに対応する画像データ６０２を取得し、画像補正部１３へ出力する。画像データ６０２は、図１の記憶装置１０２の画像データ１２２の一部として格納される。

画像補正部１３は、入力される読み取り画像データ６０１または画像データ６０２を対象として、後述の画像補正処理を行い、その結果である補正後画像データ６０３を得て、文字認識部１４や画像データ出力部１６へ出力する。出力先は、設定や指示入力に基づいて制御される。補正後画像データ６０３は、図１の記憶装置１０２の画像データ１２２の一部として格納される。補正後画像データ６０３は、ＯＣＲ処理や視認に適した内容となっている。

文字認識部１４は、入力される補正後画像データ６０３から文字を認識し、その結果を文字データ６０４として出力する。文字データ６０４は、図１の記憶装置１０２の文字データ１２３として格納される。

文字データ出力部１５は、文字データ６０４を、通信インタフェース装置１０３や入出力インタフェース装置１０４等を通じて、外部装置やユーザに対して出力する。文字データ出力部１５は、設定や指示入力に応じて、文字データ６０４を出力する。文字データ出力部１５は、例えば、文字データ６０４の内容を、表示装置１０６の画面に表示する。文字データ出力部１５は、例えば、文字データ６０４を、所定のシステムへ送信する。

画像データ出力部１６は、読み取り画像データ６０１や補正後画像データ６０３を、通信インタフェース装置１０３や入出力インタフェース部１０４等を通じて、外部装置やユーザに対して出力する。画像データ出力部１６は、設定や指示入力に応じて、読み取り画像データ６０１や補正後画像データ６０３、あるいは画像データ６０２を出力する。画像データ出力部１６は、例えば、補正後画像データ６０３を、表示装置１０６の画面に表示する。画像データ出力部１６は、例えば、補正後画像データ６０３を、所定のシステムへ送信する。

なお、変形例の画像処理装置としては、紙の入力のみに対応した形態としてもよいし、画像データの入力のみに対応した形態としてもよい。

［全体処理フロー］
図７は、文字認識装置１における全体の処理フローを示す。図７のフローは、ステップＳ１〜Ｓ６を有する。このフローは、ユーザの操作や作業の手順も含む。以下、ステップの順に説明する。

（Ｓ１） 文字認識装置１は、処理対象の画像を入力する。文字認識装置１は、図６の例のように、対象の身分証画像を含む紙または画像データを入力する。文字認識装置１は、紙４０１等の入力の場合、画像読み取り部１１により画像読み取りを行い、読み取り画像データ６０１を得る。文字認識装置１は、画像データ４０５等の入力の場合、画像データ入力部１２により入力して画像データ６０２を得る。

図９は、Ｓ１の入力画像の例として、図５の身分証２の画像データ４０５に対応した身分証画像を示す。図９の身分証画像は、前述のように、撮影方向に応じた歪みがあり、身分証領域９０２が台形状になっている。図９の身分証画像は、外形が矩形の領域９００であり、背景９０１の上に身分証領域９０２がある。領域９００は、申込書３の所定欄３０２に対応した領域の場合もあるし、任意の領域の場合もある。背景９０１は、例えば白色とするが、撮影時の状況によっては他の色や模様の場合もある。

身分証領域９０２において、物としての身分証２の外形や輪郭の線を示す四辺のふち９０３がある。図９の例では、上辺及び下辺のふち９０３はＸ方向に平行である。左辺及び右辺のふち９０３は、領域９００のＹ方向の直線に対して傾き９１０の角度がある。この傾き９１０は、撮影方向に応じたものである。この身分証画像では、身分証領域９０２の上下左右辺の位置の伸縮率が、紙からの読み取り画像の場合の伸縮率とは異なっている。身分証領域９０２は、台形の上辺が相対的に縮小、下辺が拡大されている。台形の左辺は、領域９００の縦線に対して右に少し傾く角度があり、台形の右辺は、領域９００の縦線に対して左に少し傾く角度がある。

身分証領域９０２内には、直線や曲線、文字９０８、本人写真画像領域９０９等の画像、等が含まれている。図９の身分証画像の例は、白黒の２値による画像を示す。身分証領域９０２内には、罫線として、横罫線９０４や縦罫線９０５がある。横罫線９０４は、身分証２の表面内においてＸ方向に平行な線である。縦罫線９０５は、身分証２の表面内においてＹ方向に平行な線である。図９では歪みがあるので、縦罫線９０５は、Ｙ方向に対して傾きの角度を持つ線となっている。

身分証領域９０２内には、外枠罫線９０６がある。外枠罫線９０６は、身分証領域９０２内で、ふち９０３よりも内側にある複数の罫線のうち、最もふち９０３に近く、最外にあり、外枠を形成する罫線である。図９の例では、上下左右辺のふち９０３に対して内側に所定距離の位置に、上下左右辺の４本の外枠罫線９０６がある。

（Ｓ２） 文字認識装置１は、Ｓ１で得た入力画像の画像データに対し、画像補正部１３により画像補正処理を行い、補正後画像データ６０３を得る。実施の形態の画像処理装置は、設定に基づいて自動的にＳ２の画像補正処理を行う。文字認識装置１は、Ｓ２の画像補正により、入力画像を、ＯＣＲ処理等に適した内容となるように補正する。

（Ｓ３） Ｓ３では、実施の形態の画像処理装置が、ＯＣＲ装置である文字認識装置１であるか、スキャナ装置であるか等によって、もしくは、ＯＣＲ処理を行うか否かによって、処理を分岐する。スキャナ装置の場合、ＯＣＲ機能を持たないので、ＯＣＲ処理を行わない。ＯＣＲ装置の場合またはＯＣＲ処理を行う場合（Ｓ３−Ｙ）にはＳ４へ進み、スキャナ装置の場合またはＯＣＲ処理を行わない場合（Ｓ３−Ｎ）にはＳ５へ進む。

（Ｓ５） 実施の形態の画像処理装置は、画像データ出力部１６により、補正後画像データ６０３を出力する。Ｓ５の後、Ｓ６へ進む。

（Ｓ４） 文字認識装置１は、補正後画像データ６０３に対して、文字認識部１４により、ＯＣＲ処理を行い、文字データ６０４を得る。Ｓ４は、ステップＳ４１〜Ｓ４４を含む。

（Ｓ４１） 文字認識部１４は、補正後画像データ６０３について、ＯＣＲ対象領域に対応する読み取り位置を検出する。例えば、申込書３の文字入力欄３０１から文字を認識する場合、Ｘ−Ｙ平面で、文字入力欄３０１に対応する矩形の左上の開始点及び右下の終了点の位置座標が指定される。また、所定欄３０２の身分証画像から文字を認識する場合、Ｘ−Ｙ平面で、所定欄３０２に対応する矩形の開始点及び終了点の位置座標が指定される。ＯＣＲ対象領域は、申込書３の全体領域にもできるし、所定欄３０２に限定することもできる。文字認識装置１は、設定機能の１つとして、ＯＣＲ対象領域に対応する読み取り位置を指定する機能がある。

なお、実施の形態の画像処理装置では、後述の画像補正の結果、図１９のように、身分証領域の位置を表す四点が得られる。その四点を、ＯＣＲ対象領域の指定に用いることもできる。

（Ｓ４２） 文字認識部１４は、Ｓ４１の読み取り位置に基づいて、文字認識を行う。即ち、文字認識部１４は、ＯＣＲ対象領域内の画像から文字へ変換する。例えば、氏名等の文字が得られる。

（Ｓ４３） 文字認識部１４は、Ｓ４２で得た認識結果の文字について、後処理として補正等を行う。文字認識部１４は、例えば、認識できない箇所を、類推処理により文字へ変換する。

（Ｓ４４） 文字認識部１４は、結果出力として、文字認識結果の文字データ６０４を出力する。文字認識装置１は、文字データ出力部１５により、その文字データ６０４を出力する。

（Ｓ６） ユーザは、出力チェックを行う。実施の形態の画像処理装置は、Ｓ４の文字データあるいはＳ５の画像データを、例えば表示装置１０６の画面に表示する。ユーザは、出力された文字データあるいは画像データの内容を見て、適切な内容かをチェック、確認する。ユーザは、内容に問題が無い場合には、その文字データあるいは画像データを受領とし、システムに登録する。ユーザは、内容に問題が有る場合には、その文字データあるいは画像データを却下とし、作業をやり直す。あるいは、ユーザは、文字データ内の文字を、対応する申込書３に記載の文字と見比べて、誤っている文字等を正しい文字に修正する。

［画像補正処理フロー］
図８は、図７のうち、Ｓ２の画像補正処理の詳細のフローを示す。図８のフローは、ステップS101〜S112を有する。以下、ステップの順に説明する。なお、図８のフローは、図９のような身分証２の画像データを対象とする場合で説明するが、申込書３の画像を対象とする場合も同様に実現できる。

（S101） 画像補正部１３は、入力画像の領域から、すべての罫線を、罫線情報として検出して出力する。画像補正部１３は、検出した罫線情報を、罫線データとして、演算装置１０１または記憶装置１０２等の記憶領域に格納する。画像補正部１３は、その罫線情報を、以降の処理のために出力する。画像補正部１３は、入力画像の領域を、原点からＸ方向及びＹ方向で探索する。画像補正部１３は、画像の画素の階調値を白黒の２値に区分し、例えば白領域と黒領域とに区分することにより、連続する黒領域として構成される罫線を検出する。

図１０は、図９の画像からの横罫線の検出、及び横罫線情報の例を示す。図１０で、太線は、横罫線を示す。例えば、横罫線１００１は、上辺のふち９０３に対応した罫線である。横罫線１００２は、下辺のふち９０３に対応した罫線である。なお、菱形の点は、罫線の端点である始点及び終点を示す。なお、画像補正部１３は、曲線の部分については安定していないので、罫線としては検出しない。横罫線１００１等は、ふち９０３の線であるが、最初は罫線として検出される。

横罫線１００１の下には、上部５本の横罫線部１０００がある。横罫線部１０００には、上から順に、横罫線Ｈ１〜Ｈ５がある。例えば、横罫線Ｈ１は、上辺の外枠罫線に相当する罫線である。横罫線Ｈ１及び横罫線Ｈ２は、氏名及び生年月日の項目を構成している。横罫線Ｈ３〜Ｈ５は、住所及び交付の項目を構成している。横罫線１００２の上には、横罫線Ｈ６がある。横罫線Ｈ６は、下辺の外枠罫線に相当する罫線である。また、他の横罫線としては、右側にある本人写真画像領域を構成する横罫線Ｈ７，Ｈ８や、左下にある番号等の項目を構成する横罫線Ｈ９〜Ｈ１１がある。

図１１は、図９の画像からの縦罫線の検出、及び縦罫線情報の例を示す。図１１で、太線は、縦罫線を示す。例えば、縦罫線１１０１は、左辺のふち９０３に対応した罫線である。縦罫線１１０２は、右辺のふち９０３に対応した罫線である。横罫線部１０００では、氏名等の項目を構成する縦罫線Ｖ１，Ｖ２，Ｖ４がある。縦罫線１１０１の右には、外枠罫線となる縦罫線Ｖ３がある。縦罫線１１０２の左には、外枠罫線となる縦罫線Ｖ５がある。他の縦罫線としては、本人写真画像領域を構成する縦罫線Ｖ７，Ｖ８や、番号等の項目を構成する縦罫線Ｖ６がある。縦罫線１１０１等は、ふち９０３の線であるが、最初は罫線として検出される。

（S102） 画像補正部１３は、入力画像の領域から、すべての格子点を、格子点情報として検出して出力する。画像補正部１３は、S101で検出した罫線と罫線の交点を、格子点として検出する。画像補正部１３は、検出した格子点情報を、格子点データとして、演算装置１０１または記憶装置１０２等の記憶領域に格納する。画像補正部１３は、その格子点情報を、以降の処理のために出力する。

図１２は、図９の画像からの格子点の検出、及び格子点情報の例を示す。図１２の格子点は、図１０の横罫線と図１１の縦罫線との交点に相当する。図１２で、丸点は格子点を示す。格子点として、格子点Ｐ１〜Ｐ２２がある。例えば、横罫線Ｈ１と縦罫線Ｖ１との交点が、格子点Ｐ１である。

図１３は、罫線や格子点の定義、罫線データ及び格子点データの構成例を示す。画像補正部１３は、罫線データ及び格子点データを作成及び管理する。１つの罫線は、２つの端点である始点及び終点の間を接続する直線として規定される。Ｘ−Ｙ平面で、端点は、位置座標（ｘ，ｙ）を有する。格子点は、２つの罫線が交わるまたは接続される点として規定される。１つの格子点は、２つの罫線に属している。罫線の端点は、他の罫線と交わらない場合には格子点にはならず、他の罫線と交わる場合には格子点となる。端点での交わり方が、折れ曲がりの角点になる場合にも、その端点は格子点となる。罫線は、直線とし、曲線を除く。独立した端点は、検出の際に安定していないので、格子点には含めない。

罫線データとして、罫線ＩＤ、始点位置座標、終点位置座標を有する。罫線ＩＤは、その罫線を一意に識別する情報であり、例えばＫ１で示す。始点位置座標は始点の位置座標であり、例えば（ｘ１，ｙ１）で示す。終点位置座標は終点の位置座標であり、例えば（ｘ２，ｙ２）で示す。

格子点データとして、格子点ＩＤ、位置座標、関係罫線ＩＤ、タイプを有する。格子点ＩＤは、その格子点を一意に識別する情報であり、例えばｋ１で示す。位置座標は、その格子点の位置座標であり、例えば（ｘ３，ｙ３）で示す。関係罫線ＩＤは、その格子点に関係付けられた、その格子点が属する２つの罫線の罫線ＩＤを示す。例えば、格子点ＩＤ＝ｋ１の格子点は、罫線ＩＤ＝Ｋ１の横罫線と、罫線ＩＤ＝Ｋ２の縦罫線との交点であり、関係罫線ＩＤ＝Ｋ１，Ｋ２である。

タイプは、その格子点の交わり方のタイプを表す値であり、後述の図１７に示すタイプＴ１〜Ｔ９がある。タイプＴ１〜Ｔ４は、角点に相当する４つのタイプであり、１本の横罫線の端点と１本の縦罫線の端点とが９０度で交わるタイプである。タイプＴ５〜Ｔ８は、Ｔ字形に相当する４つのタイプであり、１本の横罫線の途中の点に１本の縦罫線の端点が９０度で交わるタイプ、または、１本の縦罫線の途中の点に１本の横罫線の端点が９０度で交わるタイプである。タイプＴ９は、Ｘ字形に相当する１つのタイプであり、１本の横罫線の途中の点に１本の縦罫線の途中の点が９０度で交わるタイプである。図１３の例では、タイプＴ５を示す。

（S103） 画像補正部１３は、S101の罫線情報及びS102の格子点情報を用いながら、身分証領域位置検出を行う。S103は、ステップS104〜S110を含む。身分証領域位置とは、所定欄３０２等に対応する図９の領域９００内における身分証領域９０２の位置である。身分証領域位置とは、身分証画像の歪みによる傾きや形状を含めた、身分証領域を表す位置である。身分証領域位置とは、後述の図１９のように、身分証領域の外枠罫線に基づいた四点｛点Ｑ１〜Ｑ４｝で示される位置である。

図１４は、図９の画像を対象とした身分証領域位置検出の概要を示す。画像補正部１３は、領域９００の原点１４００からＸ方向及びＹ方向で探索する。幅１４２１は領域９００のＸ方向の幅を示す。幅１４２２は領域９００のＹ方向の幅を示す。画像補正部１３は、まず、上側の領域１４１１を探索する。画像補正部１３は、その領域１４１１で、罫線情報のうち、上部５本の横罫線部１０００の横罫線Ｈ１〜Ｈ５を選択する。また、画像補正部１３は、領域１４１１で、罫線情報のうち、横罫線Ｈ１〜Ｈ５に関係している縦罫線Ｖ１も選択し、格子点情報のうち、横罫線Ｈ１〜Ｈ５に関係している格子点Ｐ１等も選択する。

次に、画像補正部１３は、横罫線部１０００の横罫線Ｈ１〜Ｈ５、縦罫線Ｖ１等、格子点Ｐ１等の情報に基づいて、上辺の外枠罫線１４０１を選択する。次に、画像補正部１３は、横罫線部１０００の情報に基づいて、左辺の外枠罫線１４０２、及び右辺の外枠罫線１４０３を選択する。次に、画像補正部１３は、左辺の外枠罫線１４０２及び右辺の外枠罫線１４０３の情報に基づいて、下側の領域１４１２を探索し、下辺の外枠罫線１４０４を選択する。画像補正部１３は、各外枠罫線の選択の際、ふち９０３に対応する罫線を除外する。

画像補正部１３は、選択した４本の外枠罫線１４０１〜１４０４に基づいて、後述の図１８のように、身分証領域位置を表す四点｛点Ｑ１〜Ｑ４｝を検出する。外枠罫線は、身分証領域内の複数の罫線のうちで、相対的に長く、安定して抽出しやすい罫線である。

（S104） 画像補正部１３は、S101で検出した横罫線について、Ｙ方向で上から順に調べることにより、身分証２の基本レイアウトの設定情報に対応した所定の横罫線を選択する。画像補正部１３は、所定の横罫線として、例えば図１０の上部５本の横罫線部１０００の横罫線Ｈ１〜Ｈ５を選択する。画像補正部１３は、ふち９０３に対応する横罫線１００１を除外して、横罫線Ｈ１〜Ｈ５を選択する。

図１５は、S104の横罫線選択等の罫線選択の詳細を示す。処理概要としては、画像補正部１３は、検出罫線を、身分証２の基本レイアウトの罫線の位置関係と比較し、所定の条件を満たす罫線を選択する。画像補正部１３は、基本レイアウトの罫線に対し、十分に近い罫線、ずれが許容範囲である罫線を選択する。

S104の詳細処理例は以下である。画像補正部１３は、原点１４００からＹ方向で上から順に、複数の横罫線を調べ、複数の横罫線の関係として以下の条件を満たすものを選択する。

（１） 画像補正部１３は、第１条件として、複数の横罫線におけるそれぞれの横幅Ｈｘが、所定の長さ以上であるかを判断する。即ち、第１条件は、横罫線の最小長さの条件である。画像補正部１３は、入力画像の領域９００の横幅１４２１に対して、着目する横罫線の横幅Ｈｘが、所定の長さ以上であるものを、横罫線として選択する。例えば、横罫線Ｈ１〜Ｈ５の横幅をＨｘ１〜Ｈｘ５とし、所定の長さをＨｘ０とすると、Ｈｘ１≧Ｈｘ０，……，Ｈｘ５≧Ｈｘ０である。所定の長さ未満である横罫線の場合、正しい横罫線である可能性が低く、文字認識にも適さないので、非選択とする。これにより、処理効率を高めることができる。なお、この横幅の判断については、絶対値での判定としてもよいし、全体の横幅１４２１に対する比率での判定としてもよい。

なお、身分証領域９０２以外の背景９０１では、単一色とは限らず、短い線による模様等が存在する場合もあり得る。画像補正部１３は、そのような背景の線を、罫線と混同して検出しないように、基本レイアウト及び条件に基づいて判定する。第１条件により、そのような模様も除外できる。

（２） 画像補正部１３は、第２条件として、複数の横罫線の始点の位置が所定の関係を満たすかを判断する。画像補正部１３は、まず、横罫線Ｈ１に対応する第１横罫線を、一旦選択する。第１横罫線の始点ｐ１の位置座標を（Ｘ１，Ｙ１）とする。画像補正部１３は、次の横罫線Ｈ２に対応する第２横罫線を調べる。第２横罫線の始点ｐ２の位置座標を（Ｘ２，Ｙ２）とする。画像補正部１３は、始点ｐ２の位置座標（Ｘ２，Ｙ２）を、始点ｐ１の位置座標（Ｘ１，Ｙ１）と比べる。画像補正部１３は、位置Ｘ２が、位置Ｘ１を中心としたＸ方向の所定の範囲１５０１内に含まれている場合には、その位置Ｘ２の始点ｐ２に対応する第２横罫線を許容し、含まれない場合には却下する。範囲１５０１は、条件判定のためのズレ許容範囲である。画像補正部１３は、その始点ｐ２の第２横罫線を一旦選択する。

画像補正部１３は、第３横罫線、第４横罫線、第５横罫線についても、上記と同様に、第１横罫線との比較で、それぞれの始点が、範囲１５０１内に含まれるかを判定し、第５横罫線までを選択する。なお、第１横罫線を基準とする以外にも、変形例としては、Ｙ方向で隣り合う横罫線同士での比較判定としてもよい。例えば、最初は第１横罫線と第２横罫線との比較であり、次は第２横罫線と第３横罫線との比較である。横罫線の終点についても、上記と同様に判定が可能である。なお、横罫線Ｈ５に対応する第５横罫線の終点については、所定位置の範囲内かで判定される。

第１横罫線から第５横罫線までが選択できない場合、最初に選択した第１横罫線が誤りである可能性がある。その場合、画像補正部１３は、その第１横罫線を却下し、第２横罫線を新たな第１横罫線として処理をやり直す。

（３） 画像補正部１３は、第３条件として、複数の横罫線のＸ方向の横幅Ｈｘが所定の関係を満たすかを判断する。画像補正部１３は、第１横罫線から第５横罫線までの横幅を、基本レイアウトの横幅の関係と比べて、所定の許容範囲内であるかを判断する。例えば、上部５本の横罫線Ｈ１〜Ｈ５は、基本レイアウトでは、横幅の比が、Ｘａ：Ｘｂ：Ｘｃ：Ｘｄ：Ｘｅ、と規定されている。Ｘａは、横罫線Ｈ１の横幅である。例えば、Ｘａ：Ｘｂ：Ｘｃ：Ｘｄ：Ｘｅ＝１：１：１：Ａ：Ｂ、Ａは１より大きい所定値、Ｂは１より小さい所定値、である。画像補正部１３は、各横罫線の横幅Ｈｘ１〜Ｈｘ５が、所定の横幅の比に対して、許容範囲内であるかどうかを確認する。画像補正部１３は、第１横罫線を基準とした各横罫線との間で、あるいは隣接する横罫線同士で、横幅の比率が、所定の許容範囲内である場合には、その横罫線を許容する。画像補正部１３は、許容範囲外である場合には、その横罫線を却下し、別の横罫線を選択し直して、判定をやり直す。

（４） 画像補正部１３は、第４条件として、複数の横罫線のＹ方向の配置間隔が、所定の関係を満たすかを判断する。画像補正部１３は、第１横罫線から第５横罫線までのＹ方向の配置間隔を、基本レイアウトの配置間隔の関係と比べて、所定の許容範囲内であるかを判断する。第１横罫線から第５横罫線のＹ方向の配置間隔をＫａ〜Ｋｄで示す。Ｋａは、第１横罫線と第２横罫線との配置間隔を示す。例えば、上部５本の横罫線Ｈ１〜Ｈ５は、基本レイアウトでは、Ｙ方向の配置間隔の比が、Ｙａ：Ｙｂ：Ｙｃ：Ｙｄ、と規定されている。例えば、Ｙａは、横罫線Ｈ１と横罫線Ｈ２との間の配置間隔である。例えば、Ｙａ：Ｙｂ：Ｙｃ：Ｙｄ＝１：Ｃ：１：１、Ｃは１より小さい所定値、である。画像補正部１３は、各横罫線の配置間隔が、所定の配置間隔の比に対して、許容範囲内であるかを確認する。画像補正部１３は、第１横罫線を基準とした各横罫線との間で、あるいは隣接する横罫線同士で、配置間隔の比率が、所定の許容範囲内である場合には、その横罫線を許容する。画像補正部１３は、許容範囲外である場合には、その横罫線を却下し、別の横罫線を選択し直して、判定をやり直す。

（S105） 画像補正部１３は、S104の結果、所定の罫線、例えば上部５本の横罫線Ｈ１〜Ｈ５、を選択できた場合（S105−Ｙ）にはS107へ進み、選択できない場合（S105−Ｎ）にはS106へ進む。

（S106） 基本レイアウトに対応した所定の罫線が選択できない場合、その理由としては、以下が挙げられる。即ち、図４の例のように、所定欄３０２等の領域内に、身分証領域が傾いて配置されている場合がある。そのために、横罫線が、領域のＸ方向の基準線に対して斜めになる角度を持っている場合がある。そのため、S106では、画像補正部１３は、身分証領域の回転処理を行う。これにより、身分証領域の横罫線が、領域９００のＸ方向の線に対して平行になるようにする。画像補正部１３は、S106の後、S101へ戻り、回転後の画像データを用いて、処理をやり直す。

図１６は、回転処理を示す。図１６の上側は、入力画像の回転前の状態であり、画像データの全体である矩形の領域９００内において、身分証領域９０２の横罫線は、Ｘ方向の基準線に対して、約５度、傾き１６０１が有る。画像補正部１３は、入力画像を、例えば領域９００のＸ方向及びＹ方向の中心点１６００に基づいて、所定の角度単位で回転させる。図１６の下側は、入力画像の回転後の状態であり、約−５度で回転させた状態である。結果、領域９００内において、身分証領域９０２の横罫線は、Ｘ方向の基準線に対して、傾きが無く、平行になっている。

なお、S101で横罫線がうまく抽出できなかった場合にも、S106のような回転処理を行うようにしてもよい。

（S107） 画像補正部１３は、S104で選択した所定の罫線、例えば上部５本の横罫線Ｈ１〜Ｈ５が、基本レイアウトに合った正しい罫線であるかを、縦罫線及び格子点情報を利用してチェックする。

図１７は、S107に対応した選択罫線チェックの詳細を示す。基本レイアウトにおいて、複数の横罫線とそれに関係する縦罫線及び格子点は、所定の関係を持っている。各格子点は、所定の位置及びタイプを持っている。図１７では、上部５本の横罫線部１０００の横罫線Ｈ１〜Ｈ５におけるＸ方向右側一部を拡大で示し、関係する縦罫線Ｖ１，Ｖ２，Ｖ３、及び格子点Ｐ１〜Ｐ７を示す。

画像補正部１３は、選択した横罫線Ｈ１〜Ｈ５について、関係する縦罫線及び格子点を、S101の罫線情報及びS102の格子点情報に基づいて参照する。まず、横罫線Ｈ１〜Ｈ５における格子点Ｐ１〜Ｐ５がある。基本レイアウトでは、格子点Ｐ１〜Ｐ５のタイプが｛Ｔ５，Ｔ７，Ｔ５，Ｔ９，Ｔ７｝となっている。縦罫線Ｖ１は、格子点Ｐ１と格子点Ｐ２とを接続する部分１７１から成る。縦罫線Ｖ２は、格子点Ｐ３，Ｐ４，Ｐ５を接続しており、格子点Ｐ３と格子点Ｐ４とを接続する部分１７２と、格子点Ｐ４と格子点Ｐ５とを接続する部分１７３とから成る。

画像補正部１３は、条件として、関係する格子点が、所定のタイプであることを確認する。画像補正部１３は、まず、横罫線Ｈ１の始点ｐ１からＸ方向で右方にある第１格子点である格子点Ｐ１を参照する。格子点Ｐ１は、タイプＴ５であり、横罫線の途中から下に縦罫線が出るタイプである。画像補正部１３は、参照した格子点がタイプＴ５であることを確認する。画像補正部１３は、参照した格子点のタイプが正しい場合、その横罫線を許容し、タイプが正しくない場合、その横罫線を誤りとして却下する。

画像補正部１３は、次に、横罫線Ｈ２の始点ｐ２からＸ方向で右方にある第２格子点である格子点Ｐ２を参照する。格子点Ｐ２は、タイプＴ７であり、横罫線の途中から上に縦罫線が出るタイプである。画像補正部１３は、同様に、参照した格子点のタイプがタイプＴ７であることを確認する。

また、画像補正部１３は、条件として、隣接する横罫線における、隣接する格子点を接続する縦罫線の関係を判断する。画像補正部１３は、横罫線Ｈ１の格子点Ｐ１から出る縦罫線の部分１７１と、横罫線Ｈ２の格子点Ｐ２から出る縦罫線の部分１７１とが、縦罫線Ｖ１を構成する共通の線であることを確認する。画像補正部１３は、それらが縦罫線Ｖ１として共通である場合、それらの横罫線Ｈ１，Ｈ２及び縦罫線Ｖ１を、正しいものと判定し、共通でない場合、それらの横罫線及び縦罫線を、誤りと判定して却下する。画像補正部１３は、同様に、横罫線Ｈ３〜Ｈ５における格子点Ｐ３〜Ｐ５及び縦罫線Ｖ２について、条件を判定して正しいか確認する。

（S108） 画像補正部１３は、S107のチェック結果が正しい場合（S108−Ｙ）、S109へ進み、正しくない場合（S108−Ｎ）、S104へ戻り、別の罫線を選択するように、処理をやり直す。

（S109） 画像補正部１３は、S104〜S108で選択した所定の罫線に基づいて、外枠罫線を選択する。画像補正部１３は、身分証画像における、選択した横罫線、縦罫線、及び格子点の分布、位置関係に基づいて、身分証領域９０２の複数の罫線から、４本の外枠罫線を選択する。画像補正部１３は、前述の図１４のように、横罫線部１０００から上辺の外枠罫線１４０１を選択する。画像補正部１３は、横罫線部１０００から縦罫線への接続の判断に基づいて、左辺の外枠罫線１４０２及び右辺の外枠罫線１４０３を選択する。画像補正部１３は、左辺の外枠罫線１４０２及び右辺の外枠罫線１４０３から下側の領域の探索に基づいて、下辺の外枠罫線１４０４を選択する。S109の詳細処理例は以下である。

（１） 画像補正部１３は、まず、領域９００のうち上側の領域１４０１における、上部５本の横罫線部１０００の横罫線Ｈ１〜Ｈ５のうち、横罫線Ｈ１を、上辺の外枠罫線１４０１として選択する。

（２） 画像補正部１３は、次に、左辺の外枠罫線１４０２を探索する。図１４、図１５、図１７に示すように、左辺の外枠罫線１４０２は、横罫線部１０００の始点に接続されている縦罫線Ｖ３が相当する。画像補正部１３は、横罫線の始点と縦罫線との交わりの格子点について、基本レイアウトの関係と比較して確認することにより、条件を満たす縦罫線を、左辺の外枠罫線１４０２として選択する。

図１７で、横罫線Ｈ４の始点は、縦罫線Ｖ３と交わる格子点Ｐ６となっている。横罫線Ｈ５の始点は、縦罫線Ｖ３と交わる格子点Ｐ７となっている。その縦罫線Ｖ３が、左辺の外枠罫線１４０２に相当する。横罫線Ｈ４の始点の格子点Ｐ６はタイプＴ８を持つ。横罫線Ｈ４の始点からＸ方向で右方にある格子点Ｐ４はタイプＴ９を持つ。横罫線Ｈ５の始点の格子点Ｐ７はタイプＴ８を持つ。横罫線Ｈ５の始点からＸ方向で右方にある格子点Ｐ５はタイプＴ７を持つ。縦罫線Ｖ３は、始点ｐ６からＹ方向で下方の位置に格子点Ｐ６があり、更に下方の位置に格子点Ｐ７がある。縦罫線Ｖ３は、部分１７４、部分１７５、部分１７６等から構成される。

画像補正部１３は、横罫線Ｈ４と縦罫線Ｖ３との格子点Ｐ６がタイプＴ８であることを確認し、横罫線Ｈ５と縦罫線Ｖ３との格子点Ｐ７がタイプＴ８であることを確認する。また、画像補正部１３は、縦罫線Ｖ３の長さが、領域９００のＹ方向の幅１４２２に対して、所定の長さ以上であることを確認する。画像補正部１３は、それらが確認できた縦罫線Ｖ３を、左辺の外枠罫線１４０２として選択する。

（３） 画像補正部１３は、次に、同様に、右辺の外枠罫線１４０３を探索する。図１４、図１５に示すように、右辺の外枠罫線１４０３は、横罫線部１０００の終点に接続されている縦罫線Ｖ５が相当する。画像補正部１３は、横罫線の終点と縦罫線との交わりの格子点について、基本レイアウトの関係と比較して確認することにより、条件を満たす縦罫線を、右辺の外枠罫線１４０３として選択する。

図１５で、横罫線Ｈ４の終点は、縦罫線Ｖ５と交わる格子点Ｐ１０となっている。その縦罫線Ｖ５が、右辺の外枠罫線１４０３に相当する。横罫線Ｈ４の終点の格子点Ｐ１０はタイプＴ６を持つ。縦罫線Ｖ５は、始点からＹ方向で下方の位置に格子点Ｐ１０がある。

画像補正部１３は、横罫線Ｈ４と縦罫線Ｖ５との格子点Ｐ１０がタイプＴ６であることを確認する。また、画像補正部１３は、縦罫線Ｖ５の長さが、領域９００のＹ方向の幅１４２２に対して、所定の長さ以上であることを確認する。画像補正部１３は、それらが確認できた縦罫線Ｖ５を、右辺の外枠罫線１４０３として選択する。

（４） 画像補正部１３は、次に、下辺の外枠罫線１４０４を探索する。図１４で、画像補正部１３は、左辺の外枠罫線１４０２の終点よりもＹ方向で下方の領域１４１２を探索する。基本レイアウトに基づいて、その領域１４１２内には、横罫線Ｈ６が存在する。画像補正部１３は、横罫線Ｈ６の長さが、領域９００のＸ方向の幅１４２１に対して、所定の長さ以上であることを確認する。画像補正部１３は、その横罫線Ｈ６を、下辺の外枠罫線１４０４として選択する。

なお、外枠罫線の選択に関する他の処理例として、以下としてもよい。図９〜図１２のように、基本レイアウトで、身分証領域９０２の左下付近には、複数の横罫線として横罫線Ｈ９，Ｈ１０，Ｈ１１がある。また、１本の縦罫線Ｖ６があり、複数の格子点として格子点Ｐ１６〜Ｐ２２がある。複数の横罫線は、比較的短い長さである。画像補正部１３は、身分証領域９０２から、それらの罫線及び格子点を検出して利用する。画像補正部１３は、それらの罫線及び格子点の近くに接続されている罫線を判定することにより、左辺の外枠罫線１４０２や下辺の外枠罫線１４０４を選択する。

（S110） 画像補正部１３は、S109で選択した４本の外枠罫線に基づいて、身分証領域位置を表す四点を検出する。

図１８は、S110に対応した選択外枠罫線及び四点検出を示す。S109で選択した４本の外枠罫線１４０１〜１４０４を太実線で示す。画像補正部１３は、それぞれの外枠罫線を、当該罫線の延在方向において延長する。外枠罫線１４０１〜１４０４をそれぞれ延長した線である延長線１８０１〜１８０４を、点線で示す。外枠罫線の延長により、延長線同士の交点が生じる。画像補正部１３は、外枠罫線の延長線の交点を、身分証領域位置を表す四点｛点Ｑ１〜Ｑ４｝として検出する。例えば、上辺の外枠罫線１４０１の延長線１８０１と、左辺の外枠罫線１４０２の延長線１８０２との交点が、点Ｑ１である。同様に、各延長線の交点が、点Ｑ２〜Ｑ４である。それらの点Ｑ１〜Ｑ４が、身分証領域位置を表す四点である。四点の各点Ｑ１〜Ｑ４は、位置座標を有する。例えば、点Ｑ１の位置座標が（Ｘｑ１，Ｙｑ１）である。

（S111） 画像補正部１３は、S110で得た身分証領域位置を表す四点｛点Ｑ１〜Ｑ４｝を、射影変換用の入力値及び基準値として用いて、射影変換処理を行う。これにより、画像補正部１３は、射影変換後の画像として、歪みが解消された矩形の画像を得る。射影変換は、公知の数学的処理であるため、説明を省略する。実施の形態の画像処理装置は、このS111の射影変換を、自動的に実行する。

図１９は、射影変換を示す。図１９の上側は、図１８の結果に基づいた射影変換前の身分証画像である。直線１９０１〜１９０４は、外枠罫線に対応した、身分証領域位置を表す四点｛点Ｑ１〜Ｑ４｝の間を接続する四辺を示す。四点｛点Ｑ１〜Ｑ４｝及び四辺｛直線１９０１〜１９０４｝により構成される領域の形状は台形である。

図１９の下側は、射影変換後の身分証画像である。四点｛点Ｑ１〜Ｑ４｝は、射影変換後、四点｛点Ｒ１〜Ｒ４｝になっている。四点の各点Ｒ１〜Ｒ４は、位置座標を有する。例えば、点Ｒ１の位置座標を（Ｘｒ１，Ｙｒ１）で示す。直線１９１１〜１９１４は、射影変換後の身分証領域位置を表す四点｛点Ｒ１〜Ｒ４｝の間を接続する四辺を示す。四点｛点Ｒ１〜Ｒ４｝及び四辺｛直線１９１１〜１９１４｝により構成される領域の形状は矩形であり、四点での角度は９０度になっている。

なお、前述のように、四点｛点Ｒ１〜Ｒ４｝を、ＯＣＲ対象領域の指定に用いることもできる。これにより、ＯＣＲ処理をより効率化できる。

（S112） 画像補正部１３は、S111で得た身分証画像について、必要の判断に応じて、拡大縮小処理、及び、所定欄３０２に対する位置合わせ処理を行う。画像補正部１３は、例えば、S111の身分証領域９０２のＸ方向及びＹ方向のサイズと、所定欄３０２のＸ方向及びＹ方向のサイズとを比較する。そして、画像補正部１３は、所定欄３０２のサイズに対する身分証領域９０２のサイズが、所定の比率以上で所定の比率以下の範囲に含まれるように、拡大または縮小を行う。また、画像補正部１３は、例えば、拡大後の身分証領域９０２の中心位置を、所定欄３０２の中心位置に合わせるように、位置合わせとして身分証領域９０２の移動を行う。

図２０は、拡大及び位置合わせの例を示す。図２０の上側は、所定欄３０２に対応する領域２０００に、射影変換後の身分証画像の領域９００をそのまま配置した例を示す。身分証領域９０２のＸ方向及びＹ方向のサイズは、領域２０００のＸ方向及びＹ方向のサイズに比べて小さい。身分証領域９０２の中心点２００１は、領域２０００の中心点２００２からズレがある。

図２０の下側は、身分証領域９０２を、Ｘ方向及びＹ方向のサイズ比を保ちながら拡大し、また、拡大後の身分証領域９０２の中心点２００１を、領域２０００の中心点２００２に合わせるように平行移動した場合を示す。

身分証画像は、コピー機等を用いて拡大縮小等されている場合がある。所定欄３０２の大きさに比べて身分証画像の大きさが適切ではない場合、ＯＣＲ処理等に適していない場合がある。そのため、S111では、身分証画像の拡大縮小や位置合わせにより、よりＯＣＲ処理等に適したサイズになるようにしている。

［効果等］
上述したように、実施の形態の画像処理装置によれば、ＯＣＲ等のために画像を補正する画像処理に関して、身分証等の画像に歪みがある場合でも、その歪みを修正して、文字認識や視認に適した画像が得られ、文字認識の精度や作業効率を高めることができる。受付者は、申込書から画像データまたは文字データを取得する作業の際に、修正等の手間が削減される。

従来技術は、特許文献１の例のように、身分証画像から文字を検出して画像補正を行うが、それに比べ、実施の形態の画像処理装置では、身分証画像内にある比較的サイズが大きい罫線及び交点を検出して画像補正を行う。カメラで撮影した俯瞰画像等の歪みがある画像の場合においても、文字よりも罫線及び交点の方が、検出が容易であるため、身分証画像から身分証領域位置等を検出しやすい。そして、身分証領域位置等に基づいて、射影変換を含む変換により、好適な画像補正が可能である。

前述のように、実施の形態の画像処理装置は、身分証領域のうち、外形のふちの線を基本的に用いずに、ふちよりも内側にある罫線を用いて、身分証領域位置を表す四点を検出し、画像補正を行っている。ふちではなく罫線を用いる理由は以下である。身分証等の物には厚みがある。スキャナやカメラ等によって身分証の画像読み取りを行った場合に、ふちの線は明確に出る場合と出ない場合とがあり、安定していない。例えば、照明状態に応じて、厚さが影となる場合には、ふちの線が出る。ふちの線に比べて、面内にある罫線は、比較的安定して出る。

実施の形態の画像処理装置は、安定して出る罫線を用いて、画像補正を行う。実施の形態の画像処理装置は、ふちと罫線とを区別して両者を混同しないように、基本レイアウトに基づいて罫線を判定して検出する。実施の形態の画像処理装置は、横罫線、縦罫線、及び格子点の関係、特徴に基づいて、正しい外枠罫線を検出する。実施の形態の画像処理装置は、例えば、運転免許証における目立つ特徴である上部５本の横罫線等を利用して、外枠罫線を検出する。これにより、実施の形態の画像処理装置は、ＯＣＲ処理等に適した身分証画像を得ることができる。

実施の形態では、処理対象の身分証２として運転免許証を用いる場合で説明した。処理対象としては、身分証２に限らず、罫線を含むカードや帳票等の物であれば、適用可能である。処理対象の身分証の基本レイアウトに応じて、罫線等の特徴を設定情報としておき、条件等を設定しておくことにより、各種の帳票等に対応可能である。例えば、面内の下部に特徴的な罫線が存在する帳票の場合、その帳票領域内の下部の特徴的な罫線を利用する形態とすればよい。

［第１変形例］
実施の形態の画像処理装置の変形例として以下も可能である。図２１は、第１変形例として、画像補正の回転処理に関する他の処理例を示す。図２１は、所定欄３０２に対応する領域９００に、身分証２が、誤った向き、例えば逆さ向きで配置されている場合の画像を示す。図２１の画像では、身分証領域９０２の罫線は、Ｘ方向及びＹ方向の基準線に平行になっている。画像補正部１３は、Ｘ方向及びＹ方向の原点１４００から前述のように探索して横罫線等を検出する。図２１の画像の場合、領域９００の上側で、基本レイアウトにあるような上部５本の横罫線は検出できない。また、検出できた罫線は、基本レイアウトの罫線の条件を満たさない。よって、その場合、画像補正部１３は、身分証２が誤った向きで配置されている可能性があると判断できる。その場合、画像補正部１３は、向きを変換するための回転処理を行う。

前述の図８のステップS106の回転処理では、罫線の斜めの傾きが基準線に平行になるように回転を行った。一方、第１変形例では、画像補正部１３は、例えば、ステップS108のチェック結果が正しくない場合、向きを変換するための回転処理を行う。即ち、画像補正部１３は、身分証領域９０２を、例えば、９０度や１８０度の単位で回転させる。そして、画像補正部１３は、回転後の画像を用いて、処理をやり直す。

［第２変形例］
実施の形態の画像処理装置では、身分証領域内の４本の外枠罫線を用いて、身分証領域位置を表す四点を検出した。これに限らず、第２変形例として、身分証領域内にある所定の複数の罫線を用いて、身分証領域位置を表す四点を検出してもよい。例えば、本人写真画像領域の４本の線及び四点を用いてもよい。身分証のふちに近接した罫線が無い場合でも、そのような線及び四点を用いて射影変換が可能である。

図２２は、第２変形例に関する身分証画像の例を示す。所定欄３０２に対応する領域９００内に、所定の身分証が配置された画像を示す。身分証領域２２０２とそのふち２２０３を示す。図２２では、傾きが無い状態を示し、文字は省略して示す。身分証領域２２０２において、基本レイアウトでは、図示するような縦横の線が存在する。例として、横罫線２２０４、縦罫線２２０５、矩形の枠線２２０６、枠線２２０７、枠線２２０８がある。この身分証の例では、ふち２２０３の付近には、目立つ罫線が無い。

横罫線２２０４及び縦罫線２２０５は、例えば、色が異なる領域の間の境界線である。画像補正部１３は、明確に罫線として引かれた線を検出するだけでなく、領域の色、即ち階調値の違いに基づいて、境界線を罫線として検出してもよい。

枠線２２０６は、例えばＩＣチップ等の配置領域に相当する。枠線２２０７は、例えば本人写真画像領域に相当する。枠線２２０８は、例えばコードや番号等の記載領域を囲む線に相当する。画像補正部１３は、身分証領域２２０２内で、上記のような枠線を含む罫線を検出し、格子点も検出する。例えば、枠線２２０７の四辺の罫線と、その四隅の格子点（点ｆ１〜ｆ４とする）の位置座標等が把握される。基本レイアウトにおいて、枠線２２０７及び格子点の位置は、他の罫線及び格子点の位置と所定の関係を持つ。画像補正部１３は、その位置関係の判断に基づいて、所定の罫線及び格子点を検出する。画像補正部１３は、所定の罫線に基づいて、身分証領域位置を表す四点を選択する。画像補正部１３は、例えば、枠線２２０７の４つの格子点（点ｆ１〜ｆ４）を、その四点として選択する。画像補正部１３は、その四点を用いて、身分証領域２２０２の全体に対する射影変換を行う。

また、変形例として、身分証領域２２０２内の複数の枠線を、身分証領域位置を表す点として選択してもよい。例えば、枠線２２０７の四点と、枠線２２０６の四点との合計八点を、身分証領域位置を表す点として選択してもよい。

また、変形例として、身分証領域２２０２内の所定の罫線及び格子点に基づいて、身分証領域２２０２の外枠罫線に相当する四辺及びその四隅の四点を、基本レイアウトに基づいた類推により決定してもよい。例えば、上記枠線２２０７の４つの格子点（点ｆ１〜ｆ４）に基づいて、外枠罫線に相当する四辺及び四点が決定される。そして、その四点が、身分証領域２２０２の全体に対する射影変換に用いられる。

以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

１…文字認識装置、２…身分証、３…申込書、１１…画像読み取り部、１２…画像データ入力部、１３…画像補正部、１４…文字認識部、１５…文字データ出力部、１６…画像データ出力部、１７…設定部、１０７…スキャナ装置、１２１…画像処理プログラム、１２２…画像データ、１２３…文字データ、１２４…設定情報、６０１…読み取り画像データ、６０２…画像データ、６０３…補正後画像データ、６０４…文字データ。

Claims (10)

1. 画像処理装置であって、
   身分証または帳票の画像データを入力して、前記画像データに画像補正処理を行って、文字認識または視認に適した補正後画像データを出力する画像補正部を備え、
   前記画像補正部は、
   前記画像データの領域である第１領域から、前記身分証または前記帳票の領域である第２領域内にある罫線を検出し、
   前記第２領域内にある前記罫線から、前記身分証または前記帳票の基本レイアウトの罫線の情報との比較に基づいて、特定の罫線を含む第１罫線部を選択し、
   前記第１罫線部に基づいて、前記第２領域の位置を表す四点を決定し、
   前記四点を用いて、前記画像データに射影変換を行って、前記補正後画像データを得る、
   画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記画像補正部は、前記第１領域から、前記第２領域内にある前記罫線同士が交わる点である格子点を検出し、前記検出した前記格子点を用いて、前記基本レイアウトの格子点の情報との比較に基づいて、特定の格子点に関係する前記特定の罫線を含む前記第１罫線部を選択する、
   画像処理装置。
3. 請求項２記載の画像処理装置において、
   前記画像補正部は、前記第２領域から、前記罫線として、第１方向に延在する横罫線と、前記第１方向に交差する第２方向に延在する縦罫線とを検出し、前記第２領域から、前記横罫線と前記縦罫線とが交わる点である前記格子点を検出し、前記検出した前記格子点の交わり方のタイプを、前記基本レイアウトの前記格子点の交わり方のタイプを含む情報との比較に基づいて確認して、前記第１罫線部を選択する、
   画像処理装置。
4. 請求項１記載の画像処理装置において、
   前記画像補正部は、前記第１罫線部として、前記第２領域内にある前記罫線のうち、前記身分証または前記帳票の外形を示すふちよりも内側にあり、前記ふちに最も近い位置にある外枠罫線を選択し、前記外枠罫線に基づいて、前記四点として、前記第２領域の四隅にある四点を決定する、
   画像処理装置。
5. 請求項１記載の画像処理装置において、
   前記画像補正部は、前記第１領域の矩形の形状に対して、前記第２領域の形状に傾きを含む歪みがある場合に、前記第２領域の形状が矩形になるように、前記射影変換を行う、
   画像処理装置。
6. 請求項１記載の画像処理装置において、
   前記画像補正部は、前記第１罫線部が選択できない場合、前記第２領域の画像を面内で回転させて、処理をやり直す、
   画像処理装置。
7. 請求項１記載の画像処理装置において、
   前記画像補正部は、前記第２領域のサイズが所定のサイズ範囲内になるように前記第２領域の画像を拡大または縮小し、前記第１領域内での前記第２領域の位置を移動する、
   画像処理装置。
8. 請求項１記載の画像処理装置において、
   前記画像補正部は、前記第１罫線部として、前記第２領域内にある前記罫線のうち、前記身分証または前記帳票の外形を示すふちよりも内側にあり、枠を構成する４本の罫線を選択し、前記４本の罫線に基づいて、前記四点として、前記枠の四隅にある四点を決定する、
   画像処理装置。
9. 請求項１記載の画像処理装置において、
   文字変換部を備え、
   前記文字変換部は、前記補正後画像データを入力して、前記補正後画像データの領域内の画像から変換により文字を認識し、認識結果の文字データを出力する、
   画像処理装置。
10. 画像処理装置に画像処理を実行させる画像処理プログラムであって、
    身分証または帳票の画像データを入力して、前記画像データに画像補正処理を行って、文字認識または視認に適した補正後画像データを出力する画像補正部を実現するプログラムを備え、
    前記画像補正部は、
    前記画像データの領域である第１領域から、前記身分証または前記帳票の領域である第２領域内にある罫線を検出し、
    前記第２領域内にある前記罫線から、前記身分証または前記帳票の基本レイアウトの罫線の情報との比較に基づいて、特定の罫線を含む第１罫線部を選択し、
    前記第１罫線部に基づいて、前記第２領域の位置を表す四点を決定し、
    前記四点を用いて、前記画像データに射影変換を行って、前記補正後画像データを得る、
    画像処理プログラム。

Images