JP4163211B2 - 画像処理方法及び画像処理装置 - Google Patents

画像処理方法及び画像処理装置 Download PDF

Info

Publication number
JP4163211B2
JP4163211B2 JP2005380121A JP2005380121A JP4163211B2 JP 4163211 B2 JP4163211 B2 JP 4163211B2 JP 2005380121 A JP2005380121 A JP 2005380121A JP 2005380121 A JP2005380121 A JP 2005380121A JP 4163211 B2 JP4163211 B2 JP 4163211B2
Authority
JP
Japan
Prior art keywords
data
color
image
image data
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005380121A
Other languages
English (en)
Other versions
JP2006134355A (ja
Inventor
克美 井出
英夫 鎌田
保直 伊崎
俊司 坂根
芳明 北村
達史 片岡
一正 小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Fujitsu Frontech Ltd
Original Assignee
Fujitsu Ltd
Fujitsu Frontech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Fujitsu Frontech Ltd filed Critical Fujitsu Ltd
Priority to JP2005380121A priority Critical patent/JP4163211B2/ja
Publication of JP2006134355A publication Critical patent/JP2006134355A/ja
Application granted granted Critical
Publication of JP4163211B2 publication Critical patent/JP4163211B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)

Description

本発明は、帳票のイメージからOCR用画像データを生成する画像処理方法及びその装置に関し、特に、カラー画像データからOCR用画像データを生成する画像処理方法及びその装置に関する。
金融機関、郵便局等において、新規預金、預金引出し、振込み等の帳票の自動処理が文字認識(OCR)技術により可能となってきた。このような帳票の自動処理のため、帳票のイメージからOCR用画像データを作成する必要がある。
図20は、OCR帳票の説明図であり、OCR帳票の一例としての振込み依頼書4を示す。記入文字の周囲は、赤色枠40で囲われている。又、押印41は、ご依頼人の右側個所の「検印欄」になされている。ここでの印影は、システム処理する上で、銀行支店の担当者の検印である。押印41も赤色である。
上位アプリケーションの文字認識エンジンは、この記入枠40内の手書き又は活字文字を認識する。このため、赤色系をドロップアウトし、OCR帳票の記入枠等の赤色系を落した、黒文字のみが残る文字認識用画像が必要である。
この文字認識用画像を得る方法として、次の方法が知られている。
(1)ドロップアウトカラー特性バンドの光源で帳票を読み取るOCR用イメージリーダを使用する。例えば、文字認識用の帳票イメージデータを取得するため、赤色光源(又は赤色フィルタ)を照射して、赤系の記入枠をドロップアウトして、帳票を読み取る。
(2)OCR文字認識向けイメージリーダに、フルカラーCCDセンサを搭載したカラーイメージリーダを使用する。このイメージリーダでは、一般のフルカラー読み取りやプレーン画像を読み取ることなどの多目的に利用できるメリットがある。この場合、OCRにて従来使用されている赤ドロップアウトカラーを読み取る場合には、低解像度であるRプレーンを使用する。(例えば、特許文献1参照)。
特開平6−243290号公報
しかしながら、従来技術では、次の問題がある。
(1)OCR用イメージリーダを使用する方法では、OCRに用途が限られ、例えば、印影の抽出等他の用途に利用できない。
(2)カラーイメージリーダを使用する方法は、1画素をRGBで構成しているため、ドロップアウトカラー色を利用すると、解像度が低下し、文字認識のエラーレートが高くなる。特に、手書きの漢字を認識することが困難である。
従って、本発明の目的は、多用途のカラーイメージリーダを利用しても、高精度の文字認識を可能とするOCR用画像データを生成するための画像処理方法及びその装置を提供するにある。
本発明の他の目的は、カラー画像データから高解像度のOCR用画像データを生成するための画像処理方法及びその装置を提供するにある。
本発明の更に他の目的は、カラー画像データから簡易に文字認識できるOCR用画像データを生成するための画像処理方法及びその装置を提供するにある。
この目的の達成のため、本発明の帳票イメージをカラーセンサで読み取ったカラー画像データからOCR用画像データを生成する画像処理方法、前記カラー画像データから輝度データを生成するステップと、前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出するステップと、前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記OCR用画像データを作成するステップとを有し、前記生成ステップは、前記カラー画像データから2値化された輝度データを生成するステップであり、前記抽出ステップは、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成するステップと、前記プレーンデータを2値化処理して、前記色の画像データを作成するステップとからなり、前記色の画像データを作成するステップは、前記プレーンデータのプレーンを縮小し、前記縮小されたプレーンデータの濃度平均に基づいて、2値化閾値を算出するステップと、前記縮小されたプレーンデータを前記2値化閾値で2値化し、前記2値化されたプレーンデータのプレーンを拡大して、前記色の画像データを作成するステップとを有する。
本発明の画像処理装置は、帳票イメージを読み取り、カラー画像データを生成するイメージリーダと、前記カラー画像データから輝度データを生成し、且つ前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出し、前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記OCR用画像データを作成する画像処理ユニットとを有し、前記画像処理ユニットは、前記カラー画像データから2値化された輝度データを生成し、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成し、前記プレーンデータを2値化処理して、前記色の画像データを作成し、前記画像処理ユニットは、前記色の画像データを作成するため、前記プレーンデータのプレーンを縮小し、前記縮小されたプレーンデータの濃度平均に基づいて、2値化閾値を算出し、前記縮小されたプレーンデータを前記2値化閾値で2値化し、前記2値化されたプレーンデータのプレーンを拡大して、前記色の画像データを作成する。
本発明は、カラー画像データの輝度データを使用する。輝度データは、各RGBの輝度であり、解像度は高い。しかし、輝度データは、特定色をドロップアウトできない。そこで、カラー画像データからドロップアウトカラー色の画像データを抽出し、この画像データで、高解像度の輝度データをフィルタリングすることにより、輝度データからドロップアウトカラーの部分を除去する。これにより、ドロップアウトカラーを除去した高解像度の輝度データをOCR用画像データとして、生成できる。これにより、高精度の文字認識が可能となる。
又、本発明の画像処理方法では、前記生成ステップは、前記カラー画像データから2値化された輝度データを生成するステップであり、前記抽出ステップは、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成するステップと、前記プレーンデータを2値化処理して、前記色の画像データを作成するステップとからなることにより、2値データのフィルタリング処理が可能となり、フィルタリング処理が容易且つ高速となる。
更に、本発明の画像処理方法では、前記生成ステップは、多値の前記カラー画像データから多値の輝度データを生成するステップと、前記多値の輝度データに対し、設定された矩形フィルタ内の濃度分散値から2値化処理するステップとを有することにより、局所的に最適な2値化ができ、情報部分である文字の欠落を防止できる。
更に、本発明の画像処理方法では、前記色の画像データを作成するステップは、前記プレーンデータの濃度平均に基づいて、2値化閾値を算出するステップと、前記プレーンデータを2値化閾値で2値化するステップとを有することにより、輝度データの文字部分の欠落のないマスクデータを生成できる。
更に、本発明の画像処理方法では、前記2値化閾値を算出するステップは、前記プレーンデータのプレーンを縮小するステップと、前記縮小されたプレーンデータの濃度平均に基づいて、2値化閾値を算出するステップとを有し、前記2値化するステップは、前記縮小されたプレーンデータを2値化閾値で2値化するステップと、前記2値化されたプレーンデータのプレーンを拡大するステップとを有することにより、高速にマスクデータを生成できる。
以下、本発明を、帳票認識装置、OCR画像生成処理、他の実施の形態に分けて、説明する。
[帳票認識装置]
図1は、本発明の一実施の形態の帳票認識装置のブロック図、図2は、図1のカラーイメージリーダの外観図、図3は、図1の画像処理機構のブロック図、図4乃至図7は、図3の各プレーンの生成処理の説明図、図8は、図1の画像処理フロー図である。
図1に示すように、帳票処理装置は、カラーイメージリーダ1と処理装置2とからなる。カラーイメージリーダ1は、図2に示すように、読み取るべき帳票4をセットするベット(帳票台座)10と、ベット10の帳票のイメージを読み取るオーバーヘッド15とを有する。図1に示すように、オーバーヘッド15には、2次元カラーCCD(Charge Coupled Device)11が設けられている。読み取り回路12は、カラーCCD11の読み取り動作を制御する。増幅回路13は、カラーCCD11の読み取り出力を増幅する。A/D(アナログ/デジタル)変換器14は、増幅されたアナログ読み取り信号をデジタル信号に変換する。このイメージリーダ1は、カラー読み取りが出来、且つ非接触である。又、2次元センサを用いているため、読み取り速度も速い。尚、図2では、通番印字器16が、オプションとして設けられている。
処理装置2は、デスクトップ型パーソナルコンピュータで構成され、ホストコンピュータに接続されている。処理装置2は、データ処理ユニット(CPU)20と、画像メモリ22と、画像処理機構21と、表示装置と、ファイルとを有する。データ処理ユニット20は、CPU,メモリ等で構成され、帳票イメージ処理を実行する。CPU20内に、CPU20が実行するソフトウェアを、ブロック30〜32で示す。上位アプリケーション31は、帳票処理プログラムである。制御部30は、上位アプリケーション31の要求した画像処理を行うため、イメージリーダ1、画像処理機構21を制御する。OCRエンジン32は、上位アプリケーション31により起動され、文字認識処理を行う。
図3乃至図7を用いて、画像処理機構21を説明する。図3に示すように、カラーCCD11からRGBデータが出力され、画像メモリ22で、1画面(帳票)のRGBデータが保持される。画像生成部50は、画像メモリ22のRGBデータから各々Yプレーン画像、Rプレーン画像、Gプレーン画像、Bプレーン画像を生成する。
図4に示すように、カラーCCD11は、通常CCD上に、各々RGBのフィルタ(オンチップフィルタ)を被せたものであり、市松構造をなしている。1画素は、R,G(Gr,Gb),Bの4つの素子で構成されている。そのRGBフィルタを経由して取得した画像が、RGB画像として、CCD11から出力される。解像度は、240dpiである。
レッドフィルタRは、ピーク波長が650nm,グリーンフィルタGは、ピーク波長が540nm、ブルーフィルタBは、ピーク波長が470nmの帯域でフィルタリングを行い、カラー画像として、RGBで構成される。
画像生成部50は、市松模様のCCDの配列構造から、カラーCCD11の出力RGBからR,G,Bの各プレーンの画像(多値)を生成して、Yプレーンの画像Yを生成する。
R画像は、レッドフィルタRを経由しており、赤色系をドロップアウトする特徴がある。例えば、赤系の色で記入枠がプレプリントされているOCR帳票では、赤記入枠が除去され、黒記入文字等の赤以外の色のみがR画像として生成される。
G画像は、グリーンフィルタGを経由しており、グリーン系色をドロップアウトする特徴がある。ドロップアウトする能力は低い。例えば、印影の朱肉は、赤色で押印されているため、印影を読み取る確実な方法として、G画像を使用する場合が多い。
B画像は、ブルーフィルタBを経由しており、ブルー系色をドロップアウトする特徴がある。単独で利用するよりは、カラー画像RGBのBプレーンとして利用される。
前述のように、1画素は、4つの素子で構成されるため、入力原画240dpiと同一の解像度240dpiのプレーン画像を得るには、プレーン分割し、画素補完処理を行う。図4は、Rプレーンの補完処理を示し、画素Rの周囲の8画素R1〜R8は、以下の式により作成する。
R1=(Ra×0.25)+(Rb×0.25)+(Rd×0.25)
+(R×0.25)
R2=(Rb×0.50)+(R×0.50)
R3=(Rb×0.25)+(Rc×0.25)+(R×0.25)
+(Re×0.25)
R4=(Rd×0.50)+(R×0.50)
R5=(Re×0.50)+(R×0.50)
R6=(Rd×0.25)+(Rf×0.25)+(R×0.25)
+(Rg×0.25)
R7=(Rg×0.50)+(R×0.50)
R8=(R×0.25)+(Rg×0.25)+(Re×0.25)
+(Rh×0.25)
次に、図5は、Gプレーンの補完処理を示し、画素Gの周囲の4画素G1〜G4は、以下の式により作成する。
G1=(Ga×0.25)+(Gb×0.25)+(Gc×0.25)
+(G×0.25)
G2=(Gb×0.25)+(Gd×0.25)+(Gf×0.25)
+(G×0.25)
G3=(Gc×0.25)+(G×0.25)+(Gg×0.25)
+(Ge×0.25)
G4=(G×0.25)+(Gf×0.25)+(Gh×0.25)
+(Gg×0.25)
更に、図6は、Bプレーンの補完処理を示し、画素Bの周囲の8画素B1〜B8は、以下の式により作成する。
B1=(Ba×0.25)+(Bb×0.25)+(Bd×0.25)
+(B×0.25)
B2=(Bb×0.50)+(B×0.50)
B3=(Bb×0.25)+(Bc×0.25)+(B×0.25)
+(Be×0.25)
B4=(Bd×0.50)+(B×0.50)
B5=(Be×0.50)+(B×0.50)
B6=(Bd×0.25)+(B×0.25)+(Bf×0.25)
+(Bg×0.25)
B7=(Bg×0.50)+(B×0.50)
B8=(B×0.25)+(Be×0.25)+(Bg×0.25)
+(Bh×0.25)
次に、Yプレーン画像(240dpi)の生成を図7により、説明する。Y画像は、モノクロ画像と称されている。各RGB画像がそれぞれ固有のフィルタを経由して読まれた画像であるため、特定の色成分をドロップアウトしているのに対し、Y画像は、各色の成分をそのまま出力する輝度データである。このYプレーン画像は、RGBプレーン画像から生成できる。即ち、以下の比率計算式により、RGBからYを生成する。
Y=0.299×R+0.587×G+0.114×B
上記式から、明らかなように、Gプレーン画像の比率が高いのは、Gプレーン内に色成分が多く含まれるためである。このように、各RGBを個々に分離し、結合することにより、モノクロ画像を生成できる。
図3に戻り、2値化処理部51は、多値のY,R,G画像を2値化し、Y,R,G画像(2値化)を生成する。前述のY,R,Gプレーン画像は、256階調を保有した多値イメージデータで構成されている。文字認識や印鑑照合等のコンピュータで認識、照合処理する場合は、性能等を考慮する必要があり、2値化処理部51は、256階調の多値イメージデータを「0又は1」の2値化イメージデータに変換する。
OCR画像生成部52は、後述するように、以下の手順で、OCR画像データを生成する。先ず、それぞれのプレーン画像はそれぞれの受光センサでフィルタされているので、赤ドロップアウトカラーであればRプレーンを使用する。Rプレーン上では、ドロップアウトカラー部分はドロップアウトしており文字部分は低解像度(120dpi相当)となっている。このRプレーン画像を文字部分の情報欠落がないようにOR間引き演算にて、1/4の大きさに縮小を行う。縮小されたプレーン画像中の背景部と文字部分でダイナミックな2階調分離(大津法2値化処理)を行う。大津法2値化されたプレーン画像を縮小前の大きさに画像を戻す。文字部分を潰れぎみにすることで後のY信号(輝度信号)とのフィルタで高精細な画像が取得できる。
文字部分を高精細にするためにY信号(輝度信号)を使用する。Y信号は、全てのプレーン画像の演算合成であるので、もともと高精細(240dpi相当)である。このY信号に対しては浮動的2値化処理(Niblack法2値化)を行い、なるべく情報(文字カスレ)を出すように2値化を行う。この場合、ドロップアウトカラー部分は浮動的2値化処理で黒画素(ドロップアウトしない)となるが、後でプレーン画像とフィルタ合成することで不必要な情報は消すことができる。Rプレーン2値とY信号(輝度信号)2値をフィルタすることで高精細なドロップアウトカラー画像を生成する。この場合、単純なANDマスク演算で画像生成が可能である。
尚、大津法2値化処理については、文献、大津展之:"判別および最小2乗基準に基づく自動しきい値選定法", 電子情報通信学会論文誌, J63-D, vol.4, pp.349-356(1980)により詳細に開示されている。又、Niblack法2値化処理については、文献、W.Niblack:"An Introduction to Digital Image Processing",pp.115-116,Englewood Cliffs, N.J.:Prentice Hall(1986)により、詳細に示されている。
図8に沿い、帳票イメージ処理を説明する。
(S100)上位アプリケーション31は、制御部30に読み取りを指示する。読み取り指示は、読み取り指示と、要求画像で構成されている。要求画像は、文字認識画像2値、印影画像2値のように指定される。勿論、この読み取り指示は、イメージリーダ1のベッド10に帳票を搭載した後である。
(S110)制御部30は、イメージリーダ1の読み取り回路12にカラーCCD11の読み取りを指示する。これにより、カラーCCD11は、読み取りを開始し、アンプ13、A/D変換器14を介しRGBデータを出力する。
(S120)このRGBデータは、画像メモリ22に格納される。これにより、読み取りは終了し、オペレータは、帳票を取り外すことができる。
(S130)この格納後、制御部30の指示により、画像処理部21は、上位の要求した画像を生成する前述の画像処理を行う。これにより、画像処理部21の図示しないメモリに各プレーン画像が格納される。
(S140)制御部30は、上位の要求画像をプレーンメモリから上位アプリケーション31に通知する。OCR画像は、OCRエンジン32で文字認識処理される。
このように、高解像度の輝度データを用いて、ドロップアウトカラーのOCR用画像データを生成できる。ドロップアウトカラーのため、文字枠等が除去され、高解像度の文字画像が得られる。従って、文字認識が正確となり、特に手書き漢字のような複雑な文字認識を正確にできる。
[OCR画像生成]
以下、実施例として240dpi赤ドロップアウトカラー画像作成の例で説明する。
図9は、OCR画像処理のフロー図、図10は、R(2値)データ生成動作の説明図、図11は、大津法2値化処理の説明図、図12は、輝度信号の2値化処理のフロー図、図13は、そのNiblack2値化処理の説明図、図14は、その文字のカスレ部分の推定処理の説明図、図15は、そのフィルタ処理の説明図、図16は、フィルタ処理の動作説明図である。
図9に示すように、原画像を入力して画素補完処理(プレーン毎に分割,輝度信号の作成)を行っても、Rプレーン59は情報量が少ないため画素数では240dpiであるが解像度的には低解像度(120dpi相当)である。
Rプレーン画像59に対して1/4相当にOR演算間引き60を行う。OR演算間引きをする目的は、後の輝度信号画像とフィルタマスクする際に、輝度信号の情報(文字)を欠落させないためと、高速にRプレーン59を2値化するためである。図10に示すように、1/4プレーンの画素Raは、Rプレーンの画素R1〜R4の矩形マトリクス中で2番目に濃度が濃いものをセレクトする。
次に、1/4縮尺されたRプレーン画像に対して大津法2値化処理61を行う。Rプレーン画像は、ドロップアウトしているので、背景部と文字部とのダイナミックスライス(閾値)で2値化を行う。大津法2値化は、図11に示すように、イメージ中のヒストグラム(各濃度値の画素数)を計算し、ヒストグラム(濃度分布)から、以下の式で、生起確率分布と全体濃度平均を求める。生起確率分布からクラス間分散を求めて2値化閾値を算出する。
1)生起確率(i)= 濃度分布(i) ÷ 全体画素数
2)濃度平均(i)= 生起確率(i) × i
3)全体濃度平均= 濃度平均(0) + ......+濃度平均(255)
4)生起確率xi = 生起確率xi+生起確率(i)
5)濃度平均xi = 濃度平均xi+濃度平均(i)
6)分母 = 生起確率xi×(1.0−生起確率xi)
7)クラス間分散(i)= ((全体濃度平均×生起確率xi−濃度平均xi)
×(全体濃度平均×生起確率xi−濃度平均xi)) ÷
分母
尚、i:0〜255である。
このクラス間分散値が最大である濃度値を2値化スライスレベルとして決定し、各画素の濃度値をこのスライスレベルでスライスして、2値化する。
更に、2値化されたRプレーン画像を元の大きさに戻す。即ち、4倍拡大処理62して、240dpi輝度信号とフィルタマスクするために元の大きさ240dpiの画像データ63に戻す。
一方、図9及び図12に示すように、輝度信号Y多値64に対してNiblack法2値化65を行う。輝度信号は、240dpiの高精細画像であるため、浮動的に2値化をおこない情報をすべて出力する。但し、Niblack法2値化は、ソフトウェア上で処理するには時間がかかる処理であるので、文字のカスレ部分のみを推定(図14)して、その部分のみNiblack法2値化を行う。
図13に示すように、Niblack法2値化は、矩形フィルタ(フィルタの大きさは任意)を設定し、フィルタ内の濃度分散値g2から背景部か情報部を判別する。濃度分散値g2が分散閾値(σmin)以上であれば,注目画素[k]の濃度の閾値Sを求め、注目画素の濃度値と閾値Sとを比較して、その白画素か黒画素かを判定する。局所領域に対して閾値を設定していくので、情報の欠落が少ない。
今回の実施例では、OCR向け手書き文字認識画像の生成しているので7×7のフィルタを設定している(手書き文字のストローク幅は3ドット程度であるので7×7のフィルタが望ましい)。
又、 閾値を求めたい注目画素(k)に対して、上下左右3画素ずつ矩形領域を設定するため、注目画素が背景(フィルタ内も背景のみ)であれば、図13の背景閾値σminで、判定式(1)により、背景と判断される。また、濃度絶対値を見ていないので、7×7フィルタ内に文字ストロークがすべて被ってしまった場合にも、背景と見なされてしまうが、後で述べる「文字カスレの推定」で文字ストローク部分内は黒に補完できる。フィルタ内に文字ストロークと背景が入っている場合には、濃度分散値g2が、背景閾値σmin以上となり、図13の注目画素kの閾値Sを図13の式(2)から求める。注目画素が求まった閾値S以下の濃度であれば黒画素となり、以上であれば白画素と判断する。
更に、求まった図13の(2)式のroot(g2)に対して係数(-0.1)を乗算する。閾値Sをアンダーぎみにして,文字周辺のノイズを抑えるようにすることもできる。
次に、輝度信号の文字のカスレ部分を推定するために、Rプレーン2値化で使用した大津法2値化閾値算出方法を摘要する。図14に示すように、輝度信号全体画像を大津法でダイナミックな2階調分離閾値Otを求め、その閾値Otを中心として低い濃度方向(黒となる濃度)と高い濃度方向(白となる濃度)に対して比率a,bを設定する。 即ち、文字カスレ部分推定エリアの算出は、下記の式による。
カスレ範囲の係数:a= 0.10 〜 0.90 b= 0.10 〜 0.90
黒領域の濃度平均:b#ave= 濃度分布0 〜 Otの濃度平均
白領域の濃度平均:w#ave= 濃度分布Ot 〜 255の濃度平均
かすれ範囲の下限bt= ((1.0-a)× ot)+(a×b#ave)
かすれ範囲の上限wt= ((1.0-b)× ot)+(b×w#ave)
上記の推定エリア(wt〜bt)の濃度値の注目画素に対して、Niblack2値化を行い、それ以外のb#aveのエリアの画素は黒,w#aveエリアの画素は白と判断することにより、大幅な高速処理が可能である。a,bの比率は大きくすれば局所2値化の部分が多くなるが、あまり大きくしてしまうと手書き文字を2値化する場合には無駄な処理になってしまう。今回の実施例では、カスレ範囲の係数をa=0.35,b=0.62(全体の5〜8%をNiblack処理:文字記入数により比率は変動する)にすることで、100パーセント処理を行った画像と同等レベルの結果が得られた。
そして、図9及び図15、図16に示すように、輝度信号2値データ66とRプレーン2値データ63に対してマスクフィルタ合成処理67する。即ち、それぞれ2値化された画像を単純ANDマスク合成することで、図16の合成画像68に示すように、ドロップアウト部分はRプレーンの画像63から、文字部分(情報部分)は輝度信号の画像66から情報を取り出すことができる。
このように、各RGBの輝度であり、解像度が高い輝度データを使用する。しかし、輝度データは、特定色をドロップアウトできない。そこで、カラー画像データからドロップアウトカラー色の画像データを抽出し、この画像データで、高解像度の輝度データをフィルタリングすることにより、輝度データからドロップアウトカラーの部分を除去する。これにより、ドロップアウトカラーを除去した高解像度の輝度データをOCR用画像データとして、生成できる。これにより、高精度の文字認識が可能となる。
又、カラー画像データから2値化された輝度データを生成し、カラー画像データからドロップアウトした色の画像データを抽出し、補完処理して、色のプレーンデータを作成した後、プレーンデータを2値化処理して、色の画像データを作成することにより、2値データのフィルタリング処理が可能となり、フィルタリング処理が容易且つ高速となる。
更に、多値の前記カラー画像データから多値の輝度データを生成し、多値の輝度データに対し、設定された矩形フィルタ内の濃度分散値から2値化処理するNiblack法により、局所的に最適な2値化ができ、情報部分である文字の欠落を防止できる。
更に、プレーンデータの濃度平均に基ずいて、2値化閾値を算出し、プレーンデータを2値化閾値で2値化する大津法等の2値化処理により、輝度データの文字部分の欠落のないマスクデータを生成できる。
更に、2値化閾値を算出するステップは、プレーンデータのプレーンを縮小するステップと、縮小されたプレーンデータの濃度平均に基ずいて、2値化閾値を算出するステップからなり、2値化するステップは、縮小されたプレーンデータを2値化閾値で2値化するステップと、2値化されたプレーンデータのプレーンを拡大するステップとを有することにより、高速にマスクデータを生成できる。
実施例として、図20の前述のOCR帳票の一例としての振込み依頼書4の画像データで、図17及び図18により、説明する。このOCR帳票4では、記入文字の周囲は、赤色枠40で囲われている。又、押印41は、ご依頼人の右側個所の「検印欄」になされている。ここでの印影は、システム処理する上で、銀行支店の担当者の検印である。押印41も赤色である。
図17に示すように、前述のOCR帳票4のY信号2値データ66は、記入枠40、記入文字、押印41が現れている。一方、Rプレーン2値画像データ63は、赤色の記入枠40、押印41がドロップアウトされ、記入文字が現れている。Y信号2値データ66を、Rプレーン2値データ63でマスク合成処理67を行い、OCR用画像データ68を得る。このOCR用画像データ68の拡大図が図18である。即ち、高解像度のY信号から、ドロップアウト色の部分が除去されていることがわかる。
このOCR用画像データの特徴を、図19により、説明する。図19は、記入枠に囲まれた「北海道拓殖」の手書き文字の、Y信号2値画像66を、Rプレーン2値画像63、OCR用画像68を示す。Y信号2値画像66は、高解像度であるが、記入枠が残る。Rプレーン画像63は、記入枠は除去されるが、文字は低解像度である。OCR用画像68は、高解像度であり、記入枠も除去されている。
前述の図1のシステムでは、上位アプリケーション31は、読み取り指示に順序読みモードを指定し、要求画像に、1回目は、文字認識画像2値を、2回目は、印影画像2値を指定する。
制御部30は、要求「文字認識画像2値」に対し、OCR処理部52で2値化されたOCR画像(2値)を上位に転送する。このOCR画像(2値)は、赤色系をドロップアウトするので、OCR帳票の記入枠等の赤色系を落し、黒文字のみが残る。このため、文字認識画像として、最適な画像である。前述のように、OCR画像(2値)は、高解像度の文字画像を表し、且つ文字認識の記入枠40が全てドロップアウトされ、且つ押印41もドロップアウトされている。
続いて、「印影画像2値」の画像要求に対し、2値化処理部51で2値化されたG画像(2値)を上位に転送する。このG画像(2値)は、印影朱肉の赤色系を最も感度良く画像として表現する特徴を持つ。このため、印影画像として、最適な画像である。G画像(2値)は、印影41が明確に画像として現れている。勿論、この時は、赤色系を画像出力するため、文字認識の記入枠40等も画像に残る。上位31は、G画像から、印影領域を切り出し、ホストへ転送する。ホストでは、この印影画像により、検印の確認を行う。
[他の実施の形態]
上述の実施の態様の他に、本発明は、次のような変形が可能である。
(1)OCR帳票を、振込み依頼書を例に説明したが、預金引出し、新規預金等の他のOCR帳票に適用できる。更に、OCR帳票に限らず、他の画像処理用帳票に適用できる。
(2)カラー読み取り素子を、CCDで説明したが、CMOSセンサ等他の読み取り素子を利用できる。
(3)ドロップアウトカラーを赤色系で説明したが、他の色であっても良い。
以上、本発明を実施の形態により説明したが、本発明の主旨の範囲内で種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
(付記1)帳票イメージをカラーセンサで読み取ったカラー画像データからOCR用画像データを生成する画像処理方法において、前記カラー画像データから輝度データを生成するステップと、前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出するステップと、前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記OCR用画像データを作成するステップとを有することを特徴とする画像処理方法。
(付記2)付記1の画像処理方法において、前記生成ステップは、前記カラー画像データから2値化された輝度データを生成するステップであり、前記抽出ステップは、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成するステップと、前記プレーンデータを2値化処理して、前記色の画像データを作成するステップとからなることを特徴とする画像処理方法。
(付記3)付記2の画像処理方法において、前記生成ステップは、多値の前記カラー画像データから多値の輝度データを生成するステップと、前記多値の輝度データに対し、設定された矩形フィルタ内の濃度分散値から2値化処理するステップとを有することを特徴とする画像処理方法。
(付記4)付記2の画像処理方法において、前記色の画像データを作成するステップは、前記プレーンデータの濃度平均に基づいて、2値化閾値を算出するステップと、前記プレーンデータを2値化閾値で2値化するステップとを有することを特徴とする画像処理方法。
(付記5)付記4の画像処理方法において、前記2値化閾値を算出するステップは、前記プレーンデータのプレーンを縮小するステップと、前記縮小されたプレーンデータの濃度平均に基づいて、2値化閾値を算出するステップとを有し、前記2値化するステップは、前記縮小されたプレーンデータを2値化閾値で2値化するステップと、前記2値化されたプレーンデータのプレーンを拡大するステップとを有することを特徴とする画像処理方法。
(付記6)帳票イメージを読み取り、カラー画像データを生成するイメージリーダと、前記カラー画像データから輝度データを生成し、且つ前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出し、前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記OCR用画像データを作成する画像処理ユニットとを有することを特徴とする画像処理装置。
(付記7)付記6の画像処理装置において、前記処理ユニットは、前記カラー画像データから2値化された輝度データを生成し、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成して、前記プレーンデータを2値化処理して、前記色の画像データを作成することを特徴とする画像処理装置。
(付記8)付記7の画像処理装置において、前記処理ユニットは、多値の前記カラー画像データから多値の輝度データを生成し、前記多値の輝度データに対し、設定された矩形フィルタ内の濃度分散値から2値化処理することを特徴とする画像処理装置。
(付記9)付記7の画像処理装置において、前記処理ユニットは、前記プレーンデータの濃度平均に基ずいて、2値化閾値を算出し、前記プレーンデータを2値化閾値で2値化することを特徴とする画像処理装置。
(付記10)付記9の画像処理装置において、前記処理ユニットは、前記プレーンデータのプレーンを縮小し、前記縮小されたプレーンデータの濃度平均に基ずいて、2値化閾値を算出し、前記縮小されたプレーンデータを2値化閾値で2値化した後、前記2値化されたプレーンデータのプレーンを拡大することを特徴とする画像処理装置。
以上説明したように、本発明によれば、各RGBの輝度であり、解像度が高い輝度データを使用するが、輝度データは、特定色をドロップアウトできないため、カラー画像データからドロップアウトカラー色の画像データを抽出し、この画像データで、高解像度の輝度データをフィルタリングすることにより、輝度データからドロップアウトカラーの部分を除去する。これにより、ドロップアウトカラーを除去した高解像度の輝度データをOCR用画像データとして、生成できる。これにより、高精度の文字認識が可能となる。
本発明の一実施の形態の帳票処理装置のブロック図である。 図1のイメージリーダの外観図である。 図1の画像処理機構のブロック図である。 図3の画像生成部のRプレーン生成処理の説明図である。 図3の画像生成部のGプレーン生成処理の説明図である。 図3の画像生成部のBプレーン生成処理の説明図である。 図3の画像生成部のYプレーン生成処理の説明図である。 本発明の一実施の形態の読み取り処理フロー図である。 本発明の一実施の形態のOCR画像生成処理フロー図である。 図9のR(2値)生成処理フロー図である。 図10の大津法2値化処理の説明図である。 図9のY(2値)生成処理の説明図である。 図12のNiblack法の説明図である。 図12の文字カスレ推定処理の説明図である。 図9のマスク合成処理のフロー図である。 図15のマスク合成処理の説明図である。 図9の処理によるOCR画像生成動作の説明図である。 図17のOCR画像の拡大図である。 図9の処理によるOCR画像の説明図である。 従来技術を説明するためのOCR帳票の説明図である。
符号の説明
1 イメージリーダ
2 処理装置
20 CPU
21 画像メモリ
22 画像処理機構
30 制御部
31 上位アプリケーション
4 帳票
11 カラーCCD

Claims (3)

  1. 帳票イメージをカラーセンサで読み取ったカラー画像データからOCR用画像データを生成する画像処理方法において、
    前記カラー画像データから輝度データを生成するステップと、
    前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出するステップと、
    前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記OCR用画像データを作成するステップとを有し、
    前記生成ステップは、
    前記カラー画像データから2値化された輝度データを生成するステップであり、前記抽出ステップは、
    前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成するステップと、
    前記プレーンデータを2値化処理して、前記色の画像データを作成するステップとからなり、
    前記色の画像データを作成するステップは、
    前記プレーンデータのプレーンを縮小し、前記縮小されたプレーンデータの濃度平均に基づいて、2値化閾値を算出するステップと、
    前記縮小されたプレーンデータを前記2値化閾値で2値化し、前記2値化されたプレーンデータのプレーンを拡大して、前記色の画像データを作成するステップとを有する
    ことを特徴とする画像処理方法。
  2. 請求項1の画像処理方法において、
    前記生成ステップは、
    多値の前記カラー画像データから多値の輝度データを生成するステップと、
    前記多値の輝度データに対し、設定された矩形フィルタ内の濃度分散値から2値化処理するステップとを有することを
    特徴とする画像処理方法。
  3. 帳票イメージを読み取り、カラー画像データを生成するイメージリーダと、
    前記カラー画像データから輝度データを生成し、且つ前記カラー画像データから認識すべき文字以外の色をドロップアウトした色の画像データを抽出し、前記ドロップアウトした色の画像データで前記輝度データをフィルタリングして、前記OCR用画像データを作成する画像処理ユニットとを有し、
    前記画像処理ユニットは、
    前記カラー画像データから2値化された輝度データを生成し、前記カラー画像データから前記ドロップアウトした色の画像データを抽出し、補完処理して、前記色のプレーンデータを作成し、前記プレーンデータを2値化処理して、前記色の画像データを作成し、
    前記画像処理ユニットは、前記色の画像データを作成するため、
    前記プレーンデータのプレーンを縮小し、前記縮小されたプレーンデータの濃度平均に基づいて、2値化閾値を算出し、前記縮小されたプレーンデータを前記2値化閾値で2値化し、前記2値化されたプレーンデータのプレーンを拡大して、前記色の画像データを作成する
    ことを特徴とする画像処理装置。
JP2005380121A 2005-12-28 2005-12-28 画像処理方法及び画像処理装置 Expired - Fee Related JP4163211B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005380121A JP4163211B2 (ja) 2005-12-28 2005-12-28 画像処理方法及び画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005380121A JP4163211B2 (ja) 2005-12-28 2005-12-28 画像処理方法及び画像処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000174170A Division JP3785306B2 (ja) 2000-06-09 2000-06-09 画像処理方法及びその装置

Publications (2)

Publication Number Publication Date
JP2006134355A JP2006134355A (ja) 2006-05-25
JP4163211B2 true JP4163211B2 (ja) 2008-10-08

Family

ID=36727777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005380121A Expired - Fee Related JP4163211B2 (ja) 2005-12-28 2005-12-28 画像処理方法及び画像処理装置

Country Status (1)

Country Link
JP (1) JP4163211B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7445364B2 (ja) * 2019-07-04 2024-03-07 富士通フロンテック株式会社 画像処理プログラム、画像処理方法、及び画像処理装置

Also Published As

Publication number Publication date
JP2006134355A (ja) 2006-05-25

Similar Documents

Publication Publication Date Title
US10455117B2 (en) Image processing apparatus, method, and storage medium
US8761511B2 (en) Preprocessing of grayscale images for optical character recognition
CN101860653B (zh) 图像处理装置、图像形成装置以及图像处理方法
JP2007507802A (ja) デジタル画像におけるテキスト状エッジの強調
JP5701181B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2003228712A (ja) イメージからテキスト状のピクセルを識別する方法
CN105407251B (zh) 图像处理装置及图像处理方法
US5388167A (en) Document image processing system and document image processing method
JP2003152995A (ja) 画像処理装置
US8229214B2 (en) Image processing apparatus and image processing method
CN108877030B (zh) 图像处理方法、装置、终端和计算机可读存储介质
JP4441300B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体
CN110807747B (zh) 一种基于前景蒙版的文档图像降噪方法
JP4163211B2 (ja) 画像処理方法及び画像処理装置
US6983071B2 (en) Character segmentation device, character segmentation method used thereby, and program therefor
US20120141022A1 (en) Electronic document generation system, electronic document generation method, and program
JP3785306B2 (ja) 画像処理方法及びその装置
US6750986B1 (en) Color image processing method with thin-line detection and enhancement
Murguia Document segmentation using texture variance and low resolution images
JP4383429B2 (ja) 帳票イメージ処理方法及びその装置
JP3839221B2 (ja) 帳票イメージ処理方法及びその装置
JP4008715B2 (ja) 帳票読取装置および帳票読取処理用プログラム
JP4228905B2 (ja) 画像処理装置及びプログラム
JP3949954B2 (ja) ドロップアウトカラー識別処理プログラム、方法、および装置
JP3020293B2 (ja) 属性判別方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080722

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080723

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130801

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees