JP3842992B2

JP3842992B2 - 文字列読み取り装置及び文字列読み取り方法

Info

Publication number: JP3842992B2
Application number: JP2001287646A
Authority: JP
Inventors: 昭柳川; 千明森田; 宏毅中野; 敦小早瀬; 淳一赤羽
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2001-09-20
Filing date: 2001-09-20
Publication date: 2006-11-08
Anticipated expiration: 2021-09-20
Also published as: JP2003108922A

Description

【０００１】
【発明の属する技術分野】
本発明は、定型定数の文字データを含む画像データから、文字位置の検出及び文字認識を行う、文字列読み取り装置及び文字列読み取り方法に関する。
【０００２】
【従来の技術】
従来から工業用に使用される文字列読み取り装置は、ＣＣＤカメラ等から得た文字データを含む画像データの中から、読み取り対象の文字位置を検出することで文字領域を確定した後に文字認識処理を行っている。
【０００３】
この文字位置を検出する方法、いわゆる位置決めには、濃度投影法による位置決めや、２値化・ラベリングによる位置決め、エッジを検出する方法等による位置決めがある。一方、近年注目されている位置決めの方法に、ＤＰマッチング（動的計画法）がある。
【０００４】
従来、このＤＰマッチングを文字の位置決め等に使用して文字の読み取りを行っているものに、特開平７−２３９９１２や特開平８−１４７４１４がある。特開平７−２３９９１２では、文字位置の推定と文字の認識において、各文字のテンプレートを用いた相互相関による高相関位置の検出と相関度の計算を行っている。そして、文字列の長さ、文字隙間の知識等の規則基準値、相関値及び高相関位置検出結果を使ったＤＰマッチングにより各文字位置の推定と文字種類の認識を同時に行っている。また、特開平８−１４７４１４では、文字数仮説発生装置により、仮説文字数を最小可能文字数から最大可能文字数＋１まで変化させ、その仮説文字数を前提として、ＤＰマッチングにより文字列の認識を行っている。
【０００５】
しかし、これら従来の方法に共通することは、読み取り対象の文字列範囲全体について、その文字列を構成する個々の文字位置を正規化相互相関法により推定している。つまり、文字でないキズ、ゴミ等のノイズも文字位置に推定している可能性が高い。そして、その推定した各文字位置の相関値及び高相関位置データ等を使ってＤＰマッチングを行っている。つまり、誤認された文字位置についてもＤＰマッチングを行っていることから、ＤＰマッチングによる演算回数が非常に多いのが特徴である。この方法によると、検出する画像データにキズ、ゴミ等のノイズが多い場合に、認識率が低下し、加えて認識スピードの低下を招くことになる。
【０００６】
【発明が解決しようとする課題】
本発明では、定型定数の文字列等の文字データを含む画像データから、正確に文字位置を検出し、文字認識を行う文字列読み取り装置及び文字列読み取り方法に関する。
【０００７】
【課題を解決するための手段】
本発明の要旨は、文字列を含む画像データの中から文字列を読み取る装置において、画像データの中から文字領域を算出する文字領域算出手段と、認識対象文字の標本であるテンプレートを設定するテンプレート設定手段と、前記テンプレートの文字列に関するデータを設定する文字列データ設定手段と、前記文字領域算出手段によって得られた文字領域から文字データを検出する文字検出手段と、前記文字領域算出手段によって得られた文字領域に隣接する次文字領域を算出する次文字領域算出手段と、前記文字検出手段から検出された文字データを記憶する読み取り結果記憶手段を含む文字列読み取り装置を含むことを特徴とする。
【０００８】
文字列読み取り方法の要旨は、文字列を含む画像データの中から、文字列を読み取る方法において、文字列を含む画像データの中から読み取り対象の文字列領域を求めるステップと、前記文字列領域から読み取り対象の文字列の端である１文字目の文字領域を算出するステップと、前記テンプレート記憶装置からテンプレートを読みだすステップと、前記１文字目領域算出装置で得られた文字領域と、前記テンプレート読み出し装置から読み出されたテンプレートとの相関値を算出するステップと、前記相互相関計算装置で算出された相関値の中で、最も高い相関値を持つテンプレートの文字と、該最も高い相関値を検出するステップと、前記文字列データ記憶装置に記憶されたデータに基づいて、読み取り対象となる文字列に関する規則基準値を設定するステップと、前記ＤＰ定式化装置により設定された値と、前記高相関文字テンプレート検出装置により求められた値を使用してＤＰマッチングを行うステップと、前記ＤＰマッチング装置で得られた値から、１文字目に隣接する次文字領域を算出するステップを含むことを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。図１は、本実施形態における文字列読み取り装置１０の構成を示したブロック図である。本実施形態における文字列読み取り装置１０は、文字領域算出手段１２と、テンプレート設定手段１４と、文字列データ設定手段１６と、文字検出手段１８と、次文字領域算出手段２０と、読み取り結果記憶手段２２で構成される。具体的には、
（ａ）文字列を含む画像データの中から、文字領域算出手段１２によって文字領域を算出する。
（ｂ）テンプレート設定手段１４で設定されたテンプレートと（ａ）によって算出された文字領域の相関値を計算する。
（ｃ）文字列データ設定手段１６によって設定された値と（ｂ）によって得られた相関値を使ってＤＰマッチングを行う。これにより、文字位置が決定され、文字認識が行われる。この（ｂ）と（ｃ）は文字検出手段１８によって実現される。
（ｄ）次文字領域算出手段２０によって、（ｃ）で得られた値を使って次文字領域を算出し、その次文字領域において一連の演算処理（後述する）を規定回数行う指示を出す。
（ｅ）読み取り結果記憶手段２２によって、（ｃ）で得られた文字位置データと認識された文字が一時記憶され、一連の演算処理（後述する）が規定回数に至った後、一時記憶された文字列が読み取り結果として出力される。
【００１０】
ところで、一般にＤＰマッチング法は、最適パス（距離の最小値）を探索するために、読み取り対象のパターン全ての点に対し、参照パターンの全ての点との距離を演算している。よって、演算回数が多くなり、文字列読み取り処理スピードが低下する。この問題を解決するために本実施形態においては、文字列を構成する文字の間にほぼ一定の間隔が存在していることを利用して、文字が存在しない領域はＤＰマッチングによる演算処理を行わないという方法を採用した。
【００１１】
本発明の実施形態では、コンピュータのハードディスクのヘッド部分にレーザーマーキングされた、１０個の文字からなる文字列の読み取りを例に挙げる。文字のフォントは定型のものが使われている。１０個の文字は水平方向にほぼ同一の高さで配置されている。読み取りはＣＣＤカメラによる濃淡（グレースケール）の２５６階調の画像データとして読み込まれる。
【００１２】
文字領域算出手段１２は、文字列領域算出装置２４と１文字目領域算出装置２６で構成される。文字列領域算出装置２４は、ＣＣＤカメラから読み込んだ文字列を含む画像データから、図２に示される文字列領域５０を求めるための装置である。１文字目領域算出装置２６は、文字列領域算出装置２４により算出された文字列領域５０から射影演算法（プロジェクション）を用いて、読み取り対象の文字列の端である１文字目領域を算出する装置である。
【００１３】
テンプレート設定手段１４は、テンプレート記憶装置２８とテンプレート読み出し装置３０で構成される。テンプレート記憶装置２８は、コンピュータのハードディスク等のメモリ装置で構成される。このテンプレート記憶装置２８には、読み取り対象となる文字列の全文字種類の標本画像であるテンプレートが記憶されている。本実施形態においては、アラビア数字の０から９まで、０（文字誤認防止のための認識記号として通常は０にアンダーバーを付ける）、１（文字誤認防止のための認識記号として通常は１にアンダーバーを付ける）、アルファベット文字のＡからＦまでの計１８種類の文字の読み取りを行う。このテンプレートは、グレースケールの２５６階調の画像データで構成されている。テンプレート読み出し装置３０はテンプレート記憶装置２８からテンプレートを読み出す装置である。
【００１４】
文字列データ設定手段１６は、文字列データ記憶装置３２と、規則基準値設定装置３４と、ＤＰ定式化装置３６で構成される。文字列データ記憶装置３２は読み取り対象の文字列に関するデータ（文字数ｎ、文字幅ｗ、文字間隔の平均ａ）が記憶されている装置である。具体的にはハードディスク等のメモリ装置により構成されている。規則基準値設定装置３４は文字列データ記憶装置３２に記憶されたデータに基づいて、読み取り対象となる文字列に関する規則基準値を設定する装置である。ＤＰ定式化装置３６は、規則基準値設定装置３４で設定された規則基準値を用いてＤＰマッチングを行うための設定をする装置である。
【００１５】
文字検出手段１８は、相互相関計算装置３８と、高相関文字テンプレート検出装置４０と、ＤＰマッチング装置４２で構成される。相互相関計算装置３８は、テンプレート読み出し装置３０から読み出された全文字種類のテンプレートと、１文字目領域算出装置２６で得られた図２によって示される文字列領域５０内の１文字目領域における漸化式との相関値を算出する装置である。また、この相互相関計算装置３８は、全文字種類のテンプレートと後述する次文字領域算出装置４４から得られた次文字領域における漸化式との相関値を算出する。この次文字領域の算出は１文字目が読み取られた後に行われる。高相関文字テンプレート検出装置４０は、相互相関計算装置３８で算出された相関値の中で、最も高い相関値を持つテンプレートの文字の種類と、その最も高い相関値を検出する装置である。ＤＰマッチング装置４２は、ＤＰ定式化装置により設定された漸化式と、高相関文字テンプレート検出装置４０により求められた相関値を用いて、ＤＰマッチングを行う装置である。
【００１６】
次文字領域算出手段２０は、次文字領域算出装置４４と、検出回数計算装置４６で構成される。次文字領域算出装置４４は、ＤＰマッチング装置４２より得られた文字位置データより、位置決めが終了した文字領域に隣接する次文字領域を算出する装置である。検出回数計算装置４６は、ＤＰマッチング装置４２で読み出された文字数が規定の文字数ｎになるまでカウントし、相互相関計算装置３８から次文字領域算出装置４４までの一連の演算処理をｎ−１回分カウントされるまで繰り返す装置である。この一連の演算処理とは、文字領域を算出して、その文字領域においてテンプレートとの相関値を求める。そして、その相関値と、ＤＰ定式化装置３６で設定された値を使用してＤＰマッチングを行う。これにより、文字位置を確定し、文字を認識する処理のことを示す。
【００１７】
読み取り結果記憶手段２２は、認識文字記憶装置４８で構成される。認識文字記憶装置４８はＤＰマッチング装置４２より得られた相関値の最も高い文字を一時的に記憶する装置である。この認識文字記憶装置４８は、全ての文字の認識が終了した後、読み取り結果としての文字列を出力する。
【００１８】
文字列読み取りの行程を順に説明する。図２はＣＣＤカメラより得られる読み取り画像の概略図である。図２に示すように、文字列領域５０となる長方形の白地部分の４角をテンプレートとして登録し、文字列領域算出装置２４において、パターンマッチングにより長方形の文字列領域５０を求める。次に１文字目領域算出装置２６で、文字列領域５０と、文字列データ記憶装置３２から得た文字幅ｗ、文字数ｎ等のデータを使って、１文字目領域を射影演算法により算出する。このとき、射影演算法では１文字目の位置に多少誤差が生じている可能性があるため、図３（ａ）に示すように、最初の検索幅ｄ_０は大きく取る。このときの漸化式は式１のようになる。
【００１９】
【数１】

【００２０】
この式１は１文字目の周辺±ｄ_０における相関値の算出結果である。ｍは演算領域における仮説の文字中心位置、Ｐ_０は１文字目の中心位置を示す。
【００２１】
一方、文字列データ記憶装置３２に記憶されている文字列に関するデータは、文字数ｎ、文字の幅ｗ、文字間隔の平均ａである。この文字列に関するデータを用いて規則基準値設定装置３４により、検索幅ｄ、ｉ番目の文字位置Ｐ_iを設定する。検索幅ｄは読み取り対象の個々の文字が存在する文字領域の横方向の長さである。次に、ＤＰ定式化装置３６で、これらの文字幅ｗ、文字数ｎ、検索幅ｄを用いて、ＤＰマッチングを行うための漸化式を作成する。この漸化式を式２によって示す。
【００２２】
【数２】

【００２３】
次に、相互相関計算装置３８で、テンプレート読み出し装置３０から読み出された全文字種類のテンプレートと、１文字目領域算出装置２６で得られた１文字目領域の漸化式（式１）との相関値を正規化相互相関法により求める。この正規化相互相関法は、読み出し対象の輝度が大きく変化しても輝度の変化の影響をほとんど受けないという特徴を有する。続いて、高相関文字テンプレート検出装置４０により、相互相関計算装置３８において得られた相関値より、標本となるテンプレートの中で最も相関値の高い文字種と、その相関値が検出される。
【００２４】
次に、ＤＰマッチング装置４２においてＤＰマッチングを行う。このＤＰマッチング装置４２では、ＤＰ定式化装置３６によって設定された式２の漸化式と、高相関文字テンプレート検出装置４０により検出された相関値を用いてＤＰマッチングを行っている。このＤＰマッチングにより、最適パスを求めることで正確な文字位置Ｐ₀を決定できる。このとき、同時にどの文字であるかも決定される。これは、高相関文字テンプレート検出装置４０において、最も高い相関を示す文字種が判明しているからである。つまり、１０個の文字のうち、１文字目の文字位置検出とその文字認識である、いわゆる読み取りがこの段階で終了することになる。
【００２５】
この１文字目の読み取りが終了したのち、その読み出された文字位置Ｐ₀と文字種が認識文字記憶装置４８に一時記憶される。続いて、図３（ｂ）に示すように、次文字領域算出装置４４が１文字目に隣接する２文字目の文字領域を算出する。この次文字領域算出装置４４は、ＤＰマッチング装置４２により得られた１文字目の文字位置Ｐ₀、文字幅ｗ、検索幅ｄのデータより、２文字目の文字位置Ｐ_１を決定する。このときの漸化式は式３のようになる。
【００２６】
【数３】

【００２７】
再び、相互相関計算装置３８において、テンプレート読み出し装置３０から読み出された全文字種類のテンプレートと、次文字領域算出装置４４より得られた２文字目領域の漸化式（式３）との相関値を正規化相互相関法により求める。このとき、検出回数計算装置４６によって２文字目の文字を検出していることがカウントされる。
【００２８】
次に、高相関文字テンプレート検出装置４０が、相互相関計算装置３８によって算出された２文字目領域の相関値を使用して、全文字種類の中で最も相関値の高い文字とその相関値を検出する。そして、１文字目と同様に、ＤＰマッチング装置４２により、ＤＰマッチングが行われ、この段階で２文字目の文字位置Ｐ_１と、文字種が認識される。この２文字目の文字位置Ｐ_１と文字種が認識文字記憶装置４８に一時記憶される。
【００２９】
同様に、検出回数計算装置４６により、ＤＰマッチング装置４２が検出した文字数が規定の文字数−１回分である９文字分になるまで、相互相関計算装置３８から次文字領域算出装置４４に至るまでの一連の演算処理が繰り返される。
【００３０】
このとき、次文字領域算出装置４４において使用される漸化式は、文字幅ｗ、文字数ｎ、ｉ番目の文字位置をＰ_ｉとすると、式２において示される漸化式となる。読み取る文字列には文字間隔ａがあるので、相関値の極大点が連続して生じることはない。そこで、前に位置する文字位置Ｐ_ｉ _-1を元に、演算処理範囲をｉ番目の文字の周辺に限定したものである。この式２はＤＰ定式化装置３６においても、文字位置を決定するためのデータとして使用されている。
【００３１】
この相互相関計算装置３８から次文字領域算出装置４４までの一連の演算処理が、規定の文字数−１回分である９文字分に達すると、認識文字記憶装置４８に記憶された文字が認識された順に並べられる。この並べられたものが文字列となり、読み取り結果として出力される。
【００３２】
本発明は上記の実施形態に限定されない。本発明はその趣旨を逸脱しない範囲で当業者の知識に基づき種々なる改良、修正、変形を加えた態様で実施できるものである。例えば、テンプレート記憶装置にひらがな、片仮名、漢字、記号を登録することにより、これらの文字の読み取りも可能となる。
【００３３】
【発明の効果】
以上実施形態で説明したように、本発明においては、１文字づつ文字位置を確定させているので、読み取り対象の画像データにキズ、ゴミ等のノイズが多い場合でも、正確に文字位置を検出することができる。また、その検出された正確な文字位置において演算処理回数が多いＤＰマッチングを行うので、文字認識率も向上する。加えて、認識処理スピードも速くなる。更に、本発明はＤＰマッチングを行う値に正規化相互相関値を使用している。よって、読み取り対象の文字列の輝度変化が大きくても相関値は０から１の間に収まることから、正確な読み取り位置の検出を行うことができる。また、本発明は１文字ごとに位置検出をして、その検出された位置を基準に次の文字位置を検出する方法を採用している。これにより、読み出し対象の文字列の文字が間隔に多少ばらつきがあっても、正確に文字位置を検出することができる。
【図面の簡単な説明】
【図１】本発明の構成を表すブロック図である。
【図２】本実施形態の読み取り画像の概略図である。
【図３】本実施形態の読み取り位置を示す説明図である。
【符号の説明】
１０：文字列読み取り装置
１２：文字領域算出手段
１４：テンプレート設定手段
１６：文字列データ設定手段
１８：文字検出手段
２０：次文字領域算出手段
２２：読み取り結果記憶手段
２４：文字列領域算出装置
２６：１文字目領域算出装置
２８：テンプレート記憶装置
３０：テンプレート読み出し装置
３２：文字列データ記憶装置
３４：規則基準値設定装置
３６：ＤＰ定式化装置
３８：相互相関計算装置
４０：高相関文字テンプレート検出装置
４２：ＤＰマッチング装置
４４：次文字領域算出装置
４６：検出回数計算装置
４８：認識文字記憶装置
５０：文字列領域

Claims

文字列を含む画像データの中から文字列領域を算出し、該文字列領域に含まれる文字列を読み取る装置において、
認識対象文字の標本であるテンプレートを設定するテンプレート設定手段と、
前記テンプレートの文字列に関するデータを記憶し、該データからＤＰマッチングをおこなうための式を作成する文字列データ設定手段と、
画像データの中から文字列領域を算出し、該文字列領域から読み取り対象の文字を含む文字領域を、前記テンプレートの文字列に関するデータを利用した射影演算法により算出する文字領域算出手段と、
前記文字領域算出手段によって得られた文字領域と前記テンプレートから、該テンプレートごとの相関値を算出し、算出された相関値の中から最も高い相関値を検出し、前記ＤＰマッチングをおこなうための式と該最も高い相関値とでＤＰマッチングをおこなって文字データを検出する文字検出手段と、
前記文字データを検出された前記文字領域に隣接する文字領域を算出する次文字領域算出手段と、
前記文字検出手段から検出された文字データを記憶する読み取り結果記憶手段と、
を含み、
前記文字検出手段が前記隣接する文字領域における文字データの検出し、前記隣接する文字領域の算出と該隣接する文字領域での前記文字データの検出を規定回数おこない、
前記文字領域算出手段が文字領域を算出するときの文字列領域に対する最初の検索幅が、前記次文字領域算出手段で文字領域を算出するときの検索幅よりも大きい文字列読み取り装置。
前記文字領域算出手段が、
文字列を含む画像データの中から読み取り対象の文字列領域を算出する文字列領域算出装置と、
前記文字列領域算出装置で得られた文字列領域から、読み取り対象の文字列の端である１文字目の文字領域を算出する１文字目領域算出装置とを含み、
前記テンプレート設定手段が、
認識対象文字の標本であるテンプレートが記憶されているテンプレート記憶装置と、
前記テンプレート記憶装置からテンプレートを読み出すテンプレート読み出し装置とを含み、
前記文字列データ設定装置が、
読み取り対象の文字列に関するデータを記憶する文字列データ記憶装置と、
前記文字列データ記憶装置に記憶されたデータに基づいて、読み取り対象となる文字列に関する規則基準値を設定する規則基準値設定装置と、
前記規則基準値設定装置で設定された規則基準値を用いてＤＰ（Dynamic Programming）マッチングを行うための設定をするＤＰ定式化装置とを含み、
前記文字検出手段が、
前記文字領域と、前記テンプレート読み出し装置から読み出されたテンプレートとの相関値を算出する相互相関計算装置と、
前記相互相関計算装置で算出された相関値の中で、最も高い相関値を持つテンプレートの文字と、該最も高い相関値を検出する高相関文字テンプレート検出装置と、
前記ＤＰ定式化装置により設定された値と、前記高相関文字テンプレート検出装置により求められた値を使用してＤＰマッチングを行うＤＰマッチング装置とを含み、
前記次文字領域算出手段が、
前記ＤＰマッチング装置で得られた文字の位置からから、該文字を有する文字領域に隣接する文字領域を算出する次文字領域算出装置と、
前記次文字領域算出装置で得られた文字領域と、前記テンプレート読み出し装置から読み出されたテンプレートとの相関値を算出する前記相互相関計算装置に、規定回数の計算を指示する検出回数計算装置とを含み、
前記読み取り結果記憶手段が、
前記ＤＰマッチング装置より得られた文字データを記憶する認識文字記憶装置を含む請求項１に記載の文字列読み取り装置。
前記テンプレート記憶装置に記憶されているテンプレートが、パターンとして認識することができる文字または記号である請求項２に記載の文字列読み取り装置。
前記テンプレート記憶装置に記憶されているテンプレートが、アラビア数字、およびアルファベット文字である請求項３に記載の文字列読み取り装置。
前記テンプレート記憶されている標本文字データが濃淡多階調の画像データである請求項２乃至４に記載の文字列読み取り装置。
前記相互相関計算装置が正規化相互相関法を使用している請求項２乃至５に記載の文字列読み取り装置。
前記ＤＰ定式化装置が漸化式を使用している請求項２乃至６に記載の文字列読み取り装置。
前記ＤＰマッチング装置が、前記ＤＰ定式化装置より得られた漸化式と、前記高相関文字テンプレート検出装置より得られた相関値を使用している請求項２乃至７に記載の文字列読み取り装置。
前記文字列データ記憶装置に記憶されている文字列データが、文字数ｎ、文字幅ｗ、文字間隔の平均ａである請求項２乃至８に記載の文字列読み取り装置。
前記検出回数計算装置において計算される規定回数が文字数ｎ−１回である請求項２乃至９に記載の文字列読み取り装置。
請求項２乃至１０に記載された装置を使って、文字列を含む画像データの中から文字列を読み取る方法において、
文字列を含む画像データの中から読み取り対象の文字列領域を求めるステップと、
前記文字列領域から読み取り対象の文字列の端である１文字目の文字領域を算出するステップと、
前記テンプレート記憶装置からテンプレートを読みだすステップと、
前記１文字目領域算出装置で得られた文字領域と、前記テンプレート読み出し装置から読み出されたテンプレートとの相関値を算出するステップと、
前記相互相関計算装置で算出された相関値の中で、最も高い相関値を持つテンプレートの文字と、該最も高い相関値を検出するステップと、
前記文字列データ記憶装置に記憶されたデータに基づいて、読み取り対象となる文字列に関する規則基準値を設定するステップと、
前記ＤＰ定式化装置により設定された値と、前記高相関文字テンプレート検出装置により求められた値を使用してＤＰマッチングを行うステップと、
前記ＤＰマッチング装置で得られた文字の位置から、該文字を有する文字領域に隣接する文字領域を算出するステップと、
を含む文字列読み取り方法。
前記次文字領域算出装置で得られた文字領域と、前記テンプレート読み出し装置から読み出されたテンプレートとの相関値を算出するステップを含む請求項１１に記載の文字列読み取り方法。
前記次文字領域算出装置で得られた文字領域と、前記テンプレート読み出し装置から読み出されたテンプレートとの相関値を算出する前記相互相関計算装置に、文字数ｎ−１回の計算を指示するステップを含む請求項１１及び１２に記載の文字列読み取り方法。
前記検出回数計算装置が、文字数ｎ−１回の計算が終了した後、前記認識文字記憶装置に記憶された文字列を出力するステップを含む請求項１１乃至１３に記載の文字列読み取り方法。