JP4163211B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

本発明は、帳票のイメージからＯＣＲ用画像データを生成する画像処理方法及びその装置に関し、特に、カラー画像データからＯＣＲ用画像データを生成する画像処理方法及びその装置に関する。

金融機関、郵便局等において、新規預金、預金引出し、振込み等の帳票の自動処理が文字認識（ＯＣＲ）技術により可能となってきた。このような帳票の自動処理のため、帳票のイメージからＯＣＲ用画像データを作成する必要がある。

図２０は、ＯＣＲ帳票の説明図であり、ＯＣＲ帳票の一例としての振込み依頼書４を示す。記入文字の周囲は、赤色枠４０で囲われている。又、押印４１は、ご依頼人の右側個所の「検印欄」になされている。ここでの印影は、システム処理する上で、銀行支店の担当者の検印である。押印４１も赤色である。

上位アプリケーションの文字認識エンジンは、この記入枠４０内の手書き又は活字文字を認識する。このため、赤色系をドロップアウトし、ＯＣＲ帳票の記入枠等の赤色系を落した、黒文字のみが残る文字認識用画像が必要である。

この文字認識用画像を得る方法として、次の方法が知られている。
（１）ドロップアウトカラー特性バンドの光源で帳票を読み取るＯＣＲ用イメージリーダを使用する。例えば、文字認識用の帳票イメージデータを取得するため、赤色光源（又は赤色フィルタ）を照射して、赤系の記入枠をドロップアウトして、帳票を読み取る。
（２）ＯＣＲ文字認識向けイメージリーダに、フルカラーＣＣＤセンサを搭載したカラーイメージリーダを使用する。このイメージリーダでは、一般のフルカラー読み取りやプレーン画像を読み取ることなどの多目的に利用できるメリットがある。この場合、ＯＣＲにて従来使用されている赤ドロップアウトカラーを読み取る場合には、低解像度であるＲプレーンを使用する。（例えば、特許文献１参照）。
特開平６−２４３２９０号公報

しかしながら、従来技術では、次の問題がある。
（１）ＯＣＲ用イメージリーダを使用する方法では、ＯＣＲに用途が限られ、例えば、印影の抽出等他の用途に利用できない。
（２）カラーイメージリーダを使用する方法は、１画素をＲＧＢで構成しているため、ドロップアウトカラー色を利用すると、解像度が低下し、文字認識のエラーレートが高くなる。特に、手書きの漢字を認識することが困難である。

従って、本発明の目的は、多用途のカラーイメージリーダを利用しても、高精度の文字認識を可能とするＯＣＲ用画像データを生成するための画像処理方法及びその装置を提供するにある。

本発明の他の目的は、カラー画像データから高解像度のＯＣＲ用画像データを生成するための画像処理方法及びその装置を提供するにある。

本発明の更に他の目的は、カラー画像データから簡易に文字認識できるＯＣＲ用画像データを生成するための画像処理方法及びその装置を提供するにある。

この目的の達成のため、本発明の帳票イメージをカラーセンサで読み取ったカラー画像データからＯＣＲ用画像データを生成する画像処理方法は、前記カラー画像データから輝度データを生成するステップと、前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出するステップと、前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記ＯＣＲ用画像データを作成するステップとを有し、前記生成ステップは、前記カラー画像データから２値化された輝度データを生成するステップであり、前記抽出ステップは、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成するステップと、前記プレーンデータを２値化処理して、前記色の画像データを作成するステップとからなり、前記色の画像データを作成するステップは、前記プレーンデータのプレーンを縮小し、前記縮小されたプレーンデータの濃度平均に基づいて、２値化閾値を算出するステップと、前記縮小されたプレーンデータを前記２値化閾値で２値化し、前記２値化されたプレーンデータのプレーンを拡大して、前記色の画像データを作成するステップとを有する。

本発明の画像処理装置は、帳票イメージを読み取り、カラー画像データを生成するイメージリーダと、前記カラー画像データから輝度データを生成し、且つ前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出し、前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記ＯＣＲ用画像データを作成する画像処理ユニットとを有し、前記画像処理ユニットは、前記カラー画像データから２値化された輝度データを生成し、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成し、前記プレーンデータを２値化処理して、前記色の画像データを作成し、前記画像処理ユニットは、前記色の画像データを作成するため、前記プレーンデータのプレーンを縮小し、前記縮小されたプレーンデータの濃度平均に基づいて、２値化閾値を算出し、前記縮小されたプレーンデータを前記２値化閾値で２値化し、前記２値化されたプレーンデータのプレーンを拡大して、前記色の画像データを作成する。

本発明は、カラー画像データの輝度データを使用する。輝度データは、各ＲＧＢの輝度であり、解像度は高い。しかし、輝度データは、特定色をドロップアウトできない。そこで、カラー画像データからドロップアウトカラー色の画像データを抽出し、この画像データで、高解像度の輝度データをフィルタリングすることにより、輝度データからドロップアウトカラーの部分を除去する。これにより、ドロップアウトカラーを除去した高解像度の輝度データをＯＣＲ用画像データとして、生成できる。これにより、高精度の文字認識が可能となる。

又、本発明の画像処理方法では、前記生成ステップは、前記カラー画像データから２値化された輝度データを生成するステップであり、前記抽出ステップは、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成するステップと、前記プレーンデータを２値化処理して、前記色の画像データを作成するステップとからなることにより、２値データのフィルタリング処理が可能となり、フィルタリング処理が容易且つ高速となる。

更に、本発明の画像処理方法では、前記生成ステップは、多値の前記カラー画像データから多値の輝度データを生成するステップと、前記多値の輝度データに対し、設定された矩形フィルタ内の濃度分散値から２値化処理するステップとを有することにより、局所的に最適な２値化ができ、情報部分である文字の欠落を防止できる。

更に、本発明の画像処理方法では、前記色の画像データを作成するステップは、前記プレーンデータの濃度平均に基づいて、２値化閾値を算出するステップと、前記プレーンデータを２値化閾値で２値化するステップとを有することにより、輝度データの文字部分の欠落のないマスクデータを生成できる。

更に、本発明の画像処理方法では、前記２値化閾値を算出するステップは、前記プレーンデータのプレーンを縮小するステップと、前記縮小されたプレーンデータの濃度平均に基づいて、２値化閾値を算出するステップとを有し、前記２値化するステップは、前記縮小されたプレーンデータを２値化閾値で２値化するステップと、前記２値化されたプレーンデータのプレーンを拡大するステップとを有することにより、高速にマスクデータを生成できる。

以下、本発明を、帳票認識装置、ＯＣＲ画像生成処理、他の実施の形態に分けて、説明する。

［帳票認識装置］
図１は、本発明の一実施の形態の帳票認識装置のブロック図、図２は、図１のカラーイメージリーダの外観図、図３は、図１の画像処理機構のブロック図、図４乃至図７は、図３の各プレーンの生成処理の説明図、図８は、図１の画像処理フロー図である。

図１に示すように、帳票処理装置は、カラーイメージリーダ１と処理装置２とからなる。カラーイメージリーダ１は、図２に示すように、読み取るべき帳票４をセットするベット（帳票台座）１０と、ベット１０の帳票のイメージを読み取るオーバーヘッド１５とを有する。図１に示すように、オーバーヘッド１５には、２次元カラーＣＣＤ（Charge Coupled Device)１１が設けられている。読み取り回路１２は、カラーＣＣＤ１１の読み取り動作を制御する。増幅回路１３は、カラーＣＣＤ１１の読み取り出力を増幅する。Ａ／Ｄ（アナログ／デジタル）変換器１４は、増幅されたアナログ読み取り信号をデジタル信号に変換する。このイメージリーダ１は、カラー読み取りが出来、且つ非接触である。又、２次元センサを用いているため、読み取り速度も速い。尚、図２では、通番印字器１６が、オプションとして設けられている。

処理装置２は、デスクトップ型パーソナルコンピュータで構成され、ホストコンピュータに接続されている。処理装置２は、データ処理ユニット（ＣＰＵ）２０と、画像メモリ２２と、画像処理機構２１と、表示装置と、ファイルとを有する。データ処理ユニット２０は、ＣＰＵ，メモリ等で構成され、帳票イメージ処理を実行する。ＣＰＵ２０内に、ＣＰＵ２０が実行するソフトウェアを、ブロック３０〜３２で示す。上位アプリケーション３１は、帳票処理プログラムである。制御部３０は、上位アプリケーション３１の要求した画像処理を行うため、イメージリーダ１、画像処理機構２１を制御する。ＯＣＲエンジン３２は、上位アプリケーション３１により起動され、文字認識処理を行う。

図３乃至図７を用いて、画像処理機構２１を説明する。図３に示すように、カラーＣＣＤ１１からＲＧＢデータが出力され、画像メモリ２２で、１画面（帳票）のＲＧＢデータが保持される。画像生成部５０は、画像メモリ２２のＲＧＢデータから各々Ｙプレーン画像、Ｒプレーン画像、Ｇプレーン画像、Ｂプレーン画像を生成する。

図４に示すように、カラーＣＣＤ１１は、通常ＣＣＤ上に、各々ＲＧＢのフィルタ（オンチップフィルタ）を被せたものであり、市松構造をなしている。１画素は、Ｒ，Ｇ（Ｇｒ，Ｇｂ），Ｂの４つの素子で構成されている。そのＲＧＢフィルタを経由して取得した画像が、ＲＧＢ画像として、ＣＣＤ１１から出力される。解像度は、２４０ｄｐｉである。

レッドフィルタＲは、ピーク波長が６５０ｎｍ，グリーンフィルタＧは、ピーク波長が５４０ｎｍ、ブルーフィルタＢは、ピーク波長が４７０ｎｍの帯域でフィルタリングを行い、カラー画像として、ＲＧＢで構成される。

画像生成部５０は、市松模様のＣＣＤの配列構造から、カラーＣＣＤ１１の出力ＲＧＢからＲ，Ｇ，Ｂの各プレーンの画像（多値）を生成して、Ｙプレーンの画像Ｙを生成する。

Ｒ画像は、レッドフィルタＲを経由しており、赤色系をドロップアウトする特徴がある。例えば、赤系の色で記入枠がプレプリントされているＯＣＲ帳票では、赤記入枠が除去され、黒記入文字等の赤以外の色のみがＲ画像として生成される。

Ｇ画像は、グリーンフィルタＧを経由しており、グリーン系色をドロップアウトする特徴がある。ドロップアウトする能力は低い。例えば、印影の朱肉は、赤色で押印されているため、印影を読み取る確実な方法として、Ｇ画像を使用する場合が多い。

Ｂ画像は、ブルーフィルタＢを経由しており、ブルー系色をドロップアウトする特徴がある。単独で利用するよりは、カラー画像ＲＧＢのＢプレーンとして利用される。

前述のように、１画素は、４つの素子で構成されるため、入力原画２４０ｄｐｉと同一の解像度２４０ｄｐｉのプレーン画像を得るには、プレーン分割し、画素補完処理を行う。図４は、Ｒプレーンの補完処理を示し、画素Ｒの周囲の８画素Ｒ１〜Ｒ８は、以下の式により作成する。

Ｒ１＝（Ｒａ×０．２５）＋（Ｒｂ×０．２５）＋（Ｒｄ×０．２５）
＋（Ｒ×０．２５）
Ｒ２＝（Ｒｂ×０．５０）＋（Ｒ×０．５０）
Ｒ３＝（Ｒｂ×０．２５）＋（Ｒｃ×０．２５）＋（Ｒ×０．２５）
＋（Ｒｅ×０．２５）
Ｒ４＝（Ｒｄ×０．５０）＋（Ｒ×０．５０）
Ｒ５＝（Ｒｅ×０．５０）＋（Ｒ×０．５０）
Ｒ６＝（Ｒｄ×０．２５）＋（Ｒｆ×０．２５）＋（Ｒ×０．２５）
＋（Ｒｇ×０．２５）
Ｒ７＝（Ｒｇ×０．５０）＋（Ｒ×０．５０）
Ｒ８＝（Ｒ×０．２５）＋（Ｒｇ×０．２５）＋（Ｒｅ×０．２５）
＋（Ｒｈ×０．２５）
次に、図５は、Ｇプレーンの補完処理を示し、画素Ｇの周囲の４画素Ｇ１〜Ｇ４は、以下の式により作成する。

Ｇ１＝（Ｇａ×０．２５）＋（Ｇｂ×０．２５）＋（Ｇｃ×０．２５）
＋（Ｇ×０．２５）
Ｇ２＝（Ｇｂ×０．２５）＋（Ｇｄ×０．２５）＋（Ｇｆ×０．２５）
＋（Ｇ×０．２５）
Ｇ３＝（Ｇｃ×０．２５）＋（Ｇ×０．２５）＋（Ｇｇ×０．２５）
＋（Ｇｅ×０．２５）
Ｇ４＝（Ｇ×０．２５）＋（Ｇｆ×０．２５）＋（Ｇｈ×０．２５）
＋（Ｇｇ×０．２５）
更に、図６は、Ｂプレーンの補完処理を示し、画素Ｂの周囲の８画素Ｂ１〜Ｂ８は、以下の式により作成する。

Ｂ１＝（Ｂａ×０．２５）＋（Ｂｂ×０．２５）＋（Ｂｄ×０．２５）
＋（Ｂ×０．２５）
Ｂ２＝（Ｂｂ×０．５０）＋（Ｂ×０．５０）
Ｂ３＝（Ｂｂ×０．２５）＋（Ｂｃ×０．２５）＋（Ｂ×０．２５）
＋（Ｂｅ×０．２５）
Ｂ４＝（Ｂｄ×０．５０）＋（Ｂ×０．５０）
Ｂ５＝（Ｂｅ×０．５０）＋（Ｂ×０．５０）
Ｂ６＝（Ｂｄ×０．２５）＋（Ｂ×０．２５）＋（Ｂｆ×０．２５）
＋（Ｂｇ×０．２５）
Ｂ７＝（Ｂｇ×０．５０）＋（Ｂ×０．５０）
Ｂ８＝（Ｂ×０．２５）＋（Ｂｅ×０．２５）＋（Ｂｇ×０．２５）
＋（Ｂｈ×０．２５）
次に、Ｙプレーン画像（２４０ｄｐｉ）の生成を図７により、説明する。Ｙ画像は、モノクロ画像と称されている。各ＲＧＢ画像がそれぞれ固有のフィルタを経由して読まれた画像であるため、特定の色成分をドロップアウトしているのに対し、Ｙ画像は、各色の成分をそのまま出力する輝度データである。このＹプレーン画像は、ＲＧＢプレーン画像から生成できる。即ち、以下の比率計算式により、ＲＧＢからＹを生成する。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
上記式から、明らかなように、Ｇプレーン画像の比率が高いのは、Ｇプレーン内に色成分が多く含まれるためである。このように、各ＲＧＢを個々に分離し、結合することにより、モノクロ画像を生成できる。

図３に戻り、２値化処理部５１は、多値のＹ，Ｒ，Ｇ画像を２値化し、Ｙ，Ｒ，Ｇ画像（２値化）を生成する。前述のＹ，Ｒ，Ｇプレーン画像は、２５６階調を保有した多値イメージデータで構成されている。文字認識や印鑑照合等のコンピュータで認識、照合処理する場合は、性能等を考慮する必要があり、２値化処理部５１は、２５６階調の多値イメージデータを「０又は１」の２値化イメージデータに変換する。

ＯＣＲ画像生成部５２は、後述するように、以下の手順で、ＯＣＲ画像データを生成する。先ず、それぞれのプレーン画像はそれぞれの受光センサでフィルタされているので、赤ドロップアウトカラーであればＲプレーンを使用する。Ｒプレーン上では、ドロップアウトカラー部分はドロップアウトしており文字部分は低解像度（１２０ｄｐｉ相当）となっている。このＲプレーン画像を文字部分の情報欠落がないようにＯＲ間引き演算にて、１／４の大きさに縮小を行う。縮小されたプレーン画像中の背景部と文字部分でダイナミックな２階調分離（大津法２値化処理）を行う。大津法２値化されたプレーン画像を縮小前の大きさに画像を戻す。文字部分を潰れぎみにすることで後のＹ信号（輝度信号）とのフィルタで高精細な画像が取得できる。

文字部分を高精細にするためにＹ信号（輝度信号）を使用する。Ｙ信号は、全てのプレーン画像の演算合成であるので、もともと高精細（２４０ｄｐｉ相当）である。このＹ信号に対しては浮動的２値化処理（Niblack法２値化）を行い、なるべく情報（文字カスレ）を出すように２値化を行う。この場合、ドロップアウトカラー部分は浮動的２値化処理で黒画素（ドロップアウトしない）となるが、後でプレーン画像とフィルタ合成することで不必要な情報は消すことができる。Ｒプレーン２値とＹ信号（輝度信号）２値をフィルタすることで高精細なドロップアウトカラー画像を生成する。この場合、単純なＡＮＤマスク演算で画像生成が可能である。

尚、大津法２値化処理については、文献、大津展之："判別および最小２乗基準に基づく自動しきい値選定法", 電子情報通信学会論文誌, J63-D, vol.4, pp.349-356(1980)により詳細に開示されている。又、Ｎｉｂｌａｃｋ法２値化処理については、文献、W.Niblack:"An Introduction to Digital Image Processing",pp.115-116,Englewood Cliffs, N.J.:Prentice Hall(1986)により、詳細に示されている。

図８に沿い、帳票イメージ処理を説明する。
（Ｓ１００）上位アプリケーション３１は、制御部３０に読み取りを指示する。読み取り指示は、読み取り指示と、要求画像で構成されている。要求画像は、文字認識画像２値、印影画像２値のように指定される。勿論、この読み取り指示は、イメージリーダ１のベッド１０に帳票を搭載した後である。
（Ｓ１１０）制御部３０は、イメージリーダ１の読み取り回路１２にカラーＣＣＤ１１の読み取りを指示する。これにより、カラーＣＣＤ１１は、読み取りを開始し、アンプ１３、Ａ／Ｄ変換器１４を介しＲＧＢデータを出力する。
（Ｓ１２０）このＲＧＢデータは、画像メモリ２２に格納される。これにより、読み取りは終了し、オペレータは、帳票を取り外すことができる。
（Ｓ１３０）この格納後、制御部３０の指示により、画像処理部２１は、上位の要求した画像を生成する前述の画像処理を行う。これにより、画像処理部２１の図示しないメモリに各プレーン画像が格納される。
（Ｓ１４０）制御部３０は、上位の要求画像をプレーンメモリから上位アプリケーション３１に通知する。ＯＣＲ画像は、ＯＣＲエンジン３２で文字認識処理される。

このように、高解像度の輝度データを用いて、ドロップアウトカラーのＯＣＲ用画像データを生成できる。ドロップアウトカラーのため、文字枠等が除去され、高解像度の文字画像が得られる。従って、文字認識が正確となり、特に手書き漢字のような複雑な文字認識を正確にできる。
［ＯＣＲ画像生成］
以下、実施例として２４０ｄｐｉ赤ドロップアウトカラー画像作成の例で説明する。

図９は、ＯＣＲ画像処理のフロー図、図１０は、Ｒ（２値）データ生成動作の説明図、図１１は、大津法２値化処理の説明図、図１２は、輝度信号の２値化処理のフロー図、図１３は、そのＮｉｂｌａｃｋ２値化処理の説明図、図１４は、その文字のカスレ部分の推定処理の説明図、図１５は、そのフィルタ処理の説明図、図１６は、フィルタ処理の動作説明図である。

図９に示すように、原画像を入力して画素補完処理（プレーン毎に分割，輝度信号の作成）を行っても、Ｒプレーン５９は情報量が少ないため画素数では２４０ｄｐｉであるが解像度的には低解像度（１２０ｄｐｉ相当）である。

Ｒプレーン画像５９に対して１／４相当にＯＲ演算間引き６０を行う。ＯＲ演算間引きをする目的は、後の輝度信号画像とフィルタマスクする際に、輝度信号の情報（文字）を欠落させないためと、高速にＲプレーン５９を２値化するためである。図１０に示すように、１／４プレーンの画素Ｒａは、Ｒプレーンの画素Ｒ１〜Ｒ４の矩形マトリクス中で２番目に濃度が濃いものをセレクトする。

次に、１／４縮尺されたＲプレーン画像に対して大津法２値化処理６１を行う。Ｒプレーン画像は、ドロップアウトしているので、背景部と文字部とのダイナミックスライス（閾値）で２値化を行う。大津法２値化は、図１１に示すように、イメージ中のヒストグラム（各濃度値の画素数）を計算し、ヒストグラム（濃度分布）から、以下の式で、生起確率分布と全体濃度平均を求める。生起確率分布からクラス間分散を求めて２値化閾値を算出する。
１）生起確率(ｉ)＝ 濃度分布(ｉ) ÷ 全体画素数
２）濃度平均(ｉ)＝ 生起確率(ｉ) × ｉ
３）全体濃度平均＝ 濃度平均(０) ＋ ．．．．．．＋濃度平均(255)
４）生起確率xi ＝ 生起確率xi＋生起確率(ｉ)
５）濃度平均xi ＝ 濃度平均xi＋濃度平均(ｉ)
６）分母 ＝ 生起確率xi×（1.0−生起確率xi）
７）クラス間分散(ｉ)＝ （(全体濃度平均×生起確率xi−濃度平均xi)
×(全体濃度平均×生起確率xi−濃度平均xi)) ÷
分母
尚、ｉ：０〜２５５である。

このクラス間分散値が最大である濃度値を２値化スライスレベルとして決定し、各画素の濃度値をこのスライスレベルでスライスして、２値化する。
更に、２値化されたＲプレーン画像を元の大きさに戻す。即ち、４倍拡大処理６２して、２４０ｄｐｉ輝度信号とフィルタマスクするために元の大きさ２４０ｄｐｉの画像データ６３に戻す。

一方、図９及び図１２に示すように、輝度信号Ｙ多値６４に対してＮｉｂｌａｃｋ法２値化６５を行う。輝度信号は、２４０ｄｐｉの高精細画像であるため、浮動的に２値化をおこない情報をすべて出力する。但し、Ｎｉｂｌａｃｋ法２値化は、ソフトウェア上で処理するには時間がかかる処理であるので、文字のカスレ部分のみを推定（図１４）して、その部分のみＮｉｂｌａｃｋ法２値化を行う。

図１３に示すように、Ｎｉｂｌａｃｋ法２値化は、矩形フィルタ（フィルタの大きさは任意）を設定し、フィルタ内の濃度分散値ｇ２から背景部か情報部を判別する。濃度分散値ｇ２が分散閾値（σmin）以上であれば，注目画素［ｋ］の濃度の閾値Ｓを求め、注目画素の濃度値と閾値Ｓとを比較して、その白画素か黒画素かを判定する。局所領域に対して閾値を設定していくので、情報の欠落が少ない。

今回の実施例では、ＯＣＲ向け手書き文字認識画像の生成しているので７×７のフィルタを設定している（手書き文字のストローク幅は３ドット程度であるので７×７のフィルタが望ましい）。

又、 閾値を求めたい注目画素（ｋ）に対して、上下左右３画素ずつ矩形領域を設定するため、注目画素が背景（フィルタ内も背景のみ）であれば、図１３の背景閾値σｍｉｎで、判定式（１）により、背景と判断される。また、濃度絶対値を見ていないので、７×７フィルタ内に文字ストロークがすべて被ってしまった場合にも、背景と見なされてしまうが、後で述べる「文字カスレの推定」で文字ストローク部分内は黒に補完できる。フィルタ内に文字ストロークと背景が入っている場合には、濃度分散値ｇ２が、背景閾値σmin以上となり、図１３の注目画素ｋの閾値Ｓを図１３の式（２）から求める。注目画素が求まった閾値Ｓ以下の濃度であれば黒画素となり、以上であれば白画素と判断する。

更に、求まった図１３の（２）式のｒｏｏｔ（g²）に対して係数(-0.1)を乗算する。閾値Ｓをアンダーぎみにして，文字周辺のノイズを抑えるようにすることもできる。

次に、輝度信号の文字のカスレ部分を推定するために、Ｒプレーン２値化で使用した大津法２値化閾値算出方法を摘要する。図１４に示すように、輝度信号全体画像を大津法でダイナミックな２階調分離閾値Ｏｔを求め、その閾値Ｏｔを中心として低い濃度方向（黒となる濃度）と高い濃度方向（白となる濃度）に対して比率ａ，ｂを設定する。 即ち、文字カスレ部分推定エリアの算出は、下記の式による。

カスレ範囲の係数：a= 0.10 〜 0.90 b= 0.10 〜 0.90
黒領域の濃度平均：b＃ave= 濃度分布0 〜 Ｏtの濃度平均
白領域の濃度平均：w＃ave= 濃度分布Ｏt 〜 255の濃度平均
かすれ範囲の下限bt= （（1.0-a）× ot）＋（a×b＃ave）
かすれ範囲の上限wt= （（1.0-b）× ot）＋（b×w＃ave）
上記の推定エリア（ｗｔ〜ｂｔ）の濃度値の注目画素に対して、Ｎｉｂｌａｃｋ２値化を行い、それ以外のb＃aveのエリアの画素は黒，w#aveエリアの画素は白と判断することにより、大幅な高速処理が可能である。ａ,ｂの比率は大きくすれば局所２値化の部分が多くなるが、あまり大きくしてしまうと手書き文字を２値化する場合には無駄な処理になってしまう。今回の実施例では、カスレ範囲の係数をa=0.35，b=0.62（全体の５〜８％をＮｉｂｌａｃｋ処理：文字記入数により比率は変動する）にすることで、１００パーセント処理を行った画像と同等レベルの結果が得られた。

そして、図９及び図１５、図１６に示すように、輝度信号２値データ６６とＲプレーン２値データ６３に対してマスクフィルタ合成処理６７する。即ち、それぞれ２値化された画像を単純ＡＮＤマスク合成することで、図１６の合成画像６８に示すように、ドロップアウト部分はＲプレーンの画像６３から、文字部分（情報部分）は輝度信号の画像６６から情報を取り出すことができる。

このように、各ＲＧＢの輝度であり、解像度が高い輝度データを使用する。しかし、輝度データは、特定色をドロップアウトできない。そこで、カラー画像データからドロップアウトカラー色の画像データを抽出し、この画像データで、高解像度の輝度データをフィルタリングすることにより、輝度データからドロップアウトカラーの部分を除去する。これにより、ドロップアウトカラーを除去した高解像度の輝度データをＯＣＲ用画像データとして、生成できる。これにより、高精度の文字認識が可能となる。

又、カラー画像データから２値化された輝度データを生成し、カラー画像データからドロップアウトした色の画像データを抽出し、補完処理して、色のプレーンデータを作成した後、プレーンデータを２値化処理して、色の画像データを作成することにより、２値データのフィルタリング処理が可能となり、フィルタリング処理が容易且つ高速となる。

更に、多値の前記カラー画像データから多値の輝度データを生成し、多値の輝度データに対し、設定された矩形フィルタ内の濃度分散値から２値化処理するＮｉｂｌａｃｋ法により、局所的に最適な２値化ができ、情報部分である文字の欠落を防止できる。

更に、プレーンデータの濃度平均に基ずいて、２値化閾値を算出し、プレーンデータを２値化閾値で２値化する大津法等の２値化処理により、輝度データの文字部分の欠落のないマスクデータを生成できる。

更に、２値化閾値を算出するステップは、プレーンデータのプレーンを縮小するステップと、縮小されたプレーンデータの濃度平均に基ずいて、２値化閾値を算出するステップからなり、２値化するステップは、縮小されたプレーンデータを２値化閾値で２値化するステップと、２値化されたプレーンデータのプレーンを拡大するステップとを有することにより、高速にマスクデータを生成できる。

実施例として、図２０の前述のＯＣＲ帳票の一例としての振込み依頼書４の画像データで、図１７及び図１８により、説明する。このＯＣＲ帳票４では、記入文字の周囲は、赤色枠４０で囲われている。又、押印４１は、ご依頼人の右側個所の「検印欄」になされている。ここでの印影は、システム処理する上で、銀行支店の担当者の検印である。押印４１も赤色である。

図１７に示すように、前述のＯＣＲ帳票４のＹ信号２値データ６６は、記入枠４０、記入文字、押印４１が現れている。一方、Ｒプレーン２値画像データ６３は、赤色の記入枠４０、押印４１がドロップアウトされ、記入文字が現れている。Ｙ信号２値データ６６を、Ｒプレーン２値データ６３でマスク合成処理６７を行い、ＯＣＲ用画像データ６８を得る。このＯＣＲ用画像データ６８の拡大図が図１８である。即ち、高解像度のＹ信号から、ドロップアウト色の部分が除去されていることがわかる。

このＯＣＲ用画像データの特徴を、図１９により、説明する。図１９は、記入枠に囲まれた「北海道拓殖」の手書き文字の、Ｙ信号２値画像６６を、Ｒプレーン２値画像６３、ＯＣＲ用画像６８を示す。Ｙ信号２値画像６６は、高解像度であるが、記入枠が残る。Ｒプレーン画像６３は、記入枠は除去されるが、文字は低解像度である。ＯＣＲ用画像６８は、高解像度であり、記入枠も除去されている。

前述の図１のシステムでは、上位アプリケーション３１は、読み取り指示に順序読みモードを指定し、要求画像に、１回目は、文字認識画像２値を、２回目は、印影画像２値を指定する。

制御部３０は、要求「文字認識画像２値」に対し、ＯＣＲ処理部５２で２値化されたＯＣＲ画像（２値）を上位に転送する。このＯＣＲ画像（２値）は、赤色系をドロップアウトするので、ＯＣＲ帳票の記入枠等の赤色系を落し、黒文字のみが残る。このため、文字認識画像として、最適な画像である。前述のように、ＯＣＲ画像（２値）は、高解像度の文字画像を表し、且つ文字認識の記入枠４０が全てドロップアウトされ、且つ押印４１もドロップアウトされている。

続いて、「印影画像２値」の画像要求に対し、２値化処理部５１で２値化されたＧ画像（２値）を上位に転送する。このＧ画像（２値）は、印影朱肉の赤色系を最も感度良く画像として表現する特徴を持つ。このため、印影画像として、最適な画像である。Ｇ画像（２値）は、印影４１が明確に画像として現れている。勿論、この時は、赤色系を画像出力するため、文字認識の記入枠４０等も画像に残る。上位３１は、Ｇ画像から、印影領域を切り出し、ホストへ転送する。ホストでは、この印影画像により、検印の確認を行う。

［他の実施の形態］
上述の実施の態様の他に、本発明は、次のような変形が可能である。
（１）ＯＣＲ帳票を、振込み依頼書を例に説明したが、預金引出し、新規預金等の他のＯＣＲ帳票に適用できる。更に、ＯＣＲ帳票に限らず、他の画像処理用帳票に適用できる。
（２）カラー読み取り素子を、ＣＣＤで説明したが、ＣＭＯＳセンサ等他の読み取り素子を利用できる。
（３）ドロップアウトカラーを赤色系で説明したが、他の色であっても良い。

以上、本発明を実施の形態により説明したが、本発明の主旨の範囲内で種々の変形が可能であり、これらを本発明の範囲から排除するものではない。

（付記１）帳票イメージをカラーセンサで読み取ったカラー画像データからＯＣＲ用画像データを生成する画像処理方法において、前記カラー画像データから輝度データを生成するステップと、前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出するステップと、前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記ＯＣＲ用画像データを作成するステップとを有することを特徴とする画像処理方法。

（付記２）付記１の画像処理方法において、前記生成ステップは、前記カラー画像データから２値化された輝度データを生成するステップであり、前記抽出ステップは、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成するステップと、前記プレーンデータを２値化処理して、前記色の画像データを作成するステップとからなることを特徴とする画像処理方法。

（付記３）付記２の画像処理方法において、前記生成ステップは、多値の前記カラー画像データから多値の輝度データを生成するステップと、前記多値の輝度データに対し、設定された矩形フィルタ内の濃度分散値から２値化処理するステップとを有することを特徴とする画像処理方法。

（付記４）付記２の画像処理方法において、前記色の画像データを作成するステップは、前記プレーンデータの濃度平均に基づいて、２値化閾値を算出するステップと、前記プレーンデータを２値化閾値で２値化するステップとを有することを特徴とする画像処理方法。

（付記５）付記４の画像処理方法において、前記２値化閾値を算出するステップは、前記プレーンデータのプレーンを縮小するステップと、前記縮小されたプレーンデータの濃度平均に基づいて、２値化閾値を算出するステップとを有し、前記２値化するステップは、前記縮小されたプレーンデータを２値化閾値で２値化するステップと、前記２値化されたプレーンデータのプレーンを拡大するステップとを有することを特徴とする画像処理方法。

（付記６）帳票イメージを読み取り、カラー画像データを生成するイメージリーダと、前記カラー画像データから輝度データを生成し、且つ前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出し、前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記ＯＣＲ用画像データを作成する画像処理ユニットとを有することを特徴とする画像処理装置。

（付記７）付記６の画像処理装置において、前記処理ユニットは、前記カラー画像データから２値化された輝度データを生成し、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成して、前記プレーンデータを２値化処理して、前記色の画像データを作成することを特徴とする画像処理装置。

（付記８）付記７の画像処理装置において、前記処理ユニットは、多値の前記カラー画像データから多値の輝度データを生成し、前記多値の輝度データに対し、設定された矩形フィルタ内の濃度分散値から２値化処理することを特徴とする画像処理装置。

（付記９）付記７の画像処理装置において、前記処理ユニットは、前記プレーンデータの濃度平均に基ずいて、２値化閾値を算出し、前記プレーンデータを２値化閾値で２値化することを特徴とする画像処理装置。

（付記１０）付記９の画像処理装置において、前記処理ユニットは、前記プレーンデータのプレーンを縮小し、前記縮小されたプレーンデータの濃度平均に基ずいて、２値化閾値を算出し、前記縮小されたプレーンデータを２値化閾値で２値化した後、前記２値化されたプレーンデータのプレーンを拡大することを特徴とする画像処理装置。

以上説明したように、本発明によれば、各ＲＧＢの輝度であり、解像度が高い輝度データを使用するが、輝度データは、特定色をドロップアウトできないため、カラー画像データからドロップアウトカラー色の画像データを抽出し、この画像データで、高解像度の輝度データをフィルタリングすることにより、輝度データからドロップアウトカラーの部分を除去する。これにより、ドロップアウトカラーを除去した高解像度の輝度データをＯＣＲ用画像データとして、生成できる。これにより、高精度の文字認識が可能となる。

本発明の一実施の形態の帳票処理装置のブロック図である。 図１のイメージリーダの外観図である。 図１の画像処理機構のブロック図である。 図３の画像生成部のＲプレーン生成処理の説明図である。 図３の画像生成部のＧプレーン生成処理の説明図である。 図３の画像生成部のＢプレーン生成処理の説明図である。 図３の画像生成部のＹプレーン生成処理の説明図である。 本発明の一実施の形態の読み取り処理フロー図である。 本発明の一実施の形態のＯＣＲ画像生成処理フロー図である。 図９のＲ（２値）生成処理フロー図である。 図１０の大津法２値化処理の説明図である。 図９のＹ（２値）生成処理の説明図である。 図１２のＮｉｂｌａｃｋ法の説明図である。 図１２の文字カスレ推定処理の説明図である。 図９のマスク合成処理のフロー図である。 図１５のマスク合成処理の説明図である。 図９の処理によるＯＣＲ画像生成動作の説明図である。 図１７のＯＣＲ画像の拡大図である。 図９の処理によるＯＣＲ画像の説明図である。 従来技術を説明するためのＯＣＲ帳票の説明図である。

符号の説明

１ イメージリーダ
２ 処理装置
２０ ＣＰＵ
２１ 画像メモリ
２２ 画像処理機構
３０ 制御部
３１ 上位アプリケーション
４ 帳票
１１ カラーＣＣＤ

Claims (3)

1. 帳票イメージをカラーセンサで読み取ったカラー画像データからＯＣＲ用画像データを生成する画像処理方法において、
   前記カラー画像データから輝度データを生成するステップと、
   前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出するステップと、
   前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記ＯＣＲ用画像データを作成するステップとを有し、
   前記生成ステップは、
   前記カラー画像データから２値化された輝度データを生成するステップであり、前記抽出ステップは、
   前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成するステップと、
   前記プレーンデータを２値化処理して、前記色の画像データを作成するステップとからなり、
   前記色の画像データを作成するステップは、
   前記プレーンデータのプレーンを縮小し、前記縮小されたプレーンデータの濃度平均に基づいて、２値化閾値を算出するステップと、
   前記縮小されたプレーンデータを前記２値化閾値で２値化し、前記２値化されたプレーンデータのプレーンを拡大して、前記色の画像データを作成するステップとを有する
   ことを特徴とする画像処理方法。
2. 請求項１の画像処理方法において、
   前記生成ステップは、
   多値の前記カラー画像データから多値の輝度データを生成するステップと、
   前記多値の輝度データに対し、設定された矩形フィルタ内の濃度分散値から２値化処理するステップとを有することを
   特徴とする画像処理方法。
3. 帳票イメージを読み取り、カラー画像データを生成するイメージリーダと、
   前記カラー画像データから輝度データを生成し、且つ前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出し、前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記ＯＣＲ用画像データを作成する画像処理ユニットとを有し、
   前記画像処理ユニットは、
   前記カラー画像データから２値化された輝度データを生成し、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成し、前記プレーンデータを２値化処理して、前記色の画像データを作成し、
   前記画像処理ユニットは、前記色の画像データを作成するため、
   前記プレーンデータのプレーンを縮小し、前記縮小されたプレーンデータの濃度平均に基づいて、２値化閾値を算出し、前記縮小されたプレーンデータを前記２値化閾値で２値化し、前記２値化されたプレーンデータのプレーンを拡大して、前記色の画像データを作成する
   ことを特徴とする画像処理装置。

Images