JP6493559B2

JP6493559B2 - 文字認識装置及び文字認識方法

Info

Publication number: JP6493559B2
Application number: JP2017553564A
Authority: JP
Inventors: 裕介伊谷
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-12-03
Filing date: 2015-12-03
Publication date: 2019-04-03
Anticipated expiration: 2035-12-03
Also published as: JPWO2017094156A1; WO2017094156A1

Description

本発明は、文字認識装置及び文字認識方法に関するものである。

紙で作成されていた文書等を、例えばスキャナで読み込むことにより画像データとして電子化し保存する需要があり、これらの電子化された文書を活用する際には、キーワードで文書を検索することができるようにした文書検索及び管理システムがある。このようなシステムにおいて文書等を電子化する際に、文書内の文字を自動的に認識してキーワード化するため、文字認識技術が使用される。従来の文字認識技術においては、まず、画像データのどこに文字列が存在するかを大まかな範囲で特定し、その範囲の中で異なる行があるか否かを判別し、複数の行がある場合に適切に行を切り分ける処理を行うことにより文字認識の精度を向上させていた。

特許文献１の文字認識装置では、二値化された画像データから行方向に黒画素の頻度を示すヒストグラムを作成し、ヒストグラムの谷となる位置を行の境目の候補である行間位置として推定する。また、文字認識装置は予め１文字と認識されると思われる文字の領域を矩形で示す文字矩形領域を推定し、それぞれの文字矩形領域内の画像の文字らしさを示す確信度Ｃを算出する。そして、上記のように推定した行間位置が上記確信度Ｃの高い文字矩形を分断しなければその行間位置を行の境目と判定することで、複数の行がある場合に行を切り分けている。

特開２００９−２１１４３２号公報

上記のような行の切り分け方法では、行の境目を決定する際に推定した文字矩形領域内の画像の文字らしさを示す確信度Ｃを用いているが、行間が狭い場合などに確信度Ｃの高い文字矩形領域が行間を跨いでいると、行間位置を行の境目として判定できず、適切に行を分断することができない。

本発明は、上記課題を解決するためになされたものであり、精度よく行を切り分けられる文字認識装置１を得ることを目的とする。

この発明に係る文字認識装置は、入力された画像データから文字列領域を抽出する文字列領域抽出部と、文字列領域抽出部で抽出された文字列領域の行方向の黒画素の頻度を示すヒストグラムを生成するヒストグラム生成部と、ヒストグラム生成部で生成されたヒストグラムから行判定閾値を算出する閾値算出部と、閾値算出部で算出された行判定閾値に基づいて文字列領域における異なる行の境界を判定する行境界判定部と、文字列領域抽出部で抽出された文字列領域と行境界判定部で判定された行の境界に基づいて文字列領域の文字を認識する文字認識部とを備え、閾値算出部により前記ヒストグラムから算出される行判定閾値は、ヒストグラムの傾きに対する閾値、または、ヒストグラムのピーク値の差に対する閾値であることを特徴とする。

本発明によれば、画像データから文字列領域を抽出し、行方向の黒画素の頻度を示すヒストグラムから行判定閾値を設定するので、行の境目を判断するための閾値を行方向全体から得られる特徴を踏まえて適切に設定され、文字列領域内の文字列を適切な行に分離することができる。

実施の形態１に係る文字認識装置の構成図である。本実施の形態１にかかる文字認識装置の文字列領域抽出部が文字列領域を抽出する動作の例を示す説明図である。（ａ）は実施の形態１に係る文字式領域の例を示す説明図、（ｂ）は実施の形態１に係る文字認識装置のヒストグラム生成部が生成するヒストグラムの例を示す説明図である。実施の形態１に係る文字認識装置が領域ごとに重み係数ρを変更することが有用である場合の画像の例の説明図である。実施の形態１に係る文字認識装置の動作を示すフローチャートである。実施の形態１に係る文字認識装置の閾値算出部が行判定閾値を算出する動作を示す詳細フローチャートである。実施の形態１に係る文字認識装置の行境界判定部における行の境目を推定する動作を示す詳細フローチャートである。実施の形態２に係る文字認識装置の行境界判定部における行の境目を推定する動作を示す詳細フローチャートである。実施の形態３に係る２行の長さが異なる場合の文字列領域のヒストグラムを生成した場合の画像及びヒストグラムの例の説明図である。実施の形態３に係る文字認識装置の行境界判定部における行の境目を推定する動作を示す詳細フローチャートである。実施の形態４に係る文字認識装置の行境界判定部における行の境目を推定する動作を示す詳細フローチャートである。実施の形態１に係る文字認識装置をハードウェアで実現するためのハードウェア構成図である。実施の形態１に係る文字認識装置をソフトウェアで実現する場合のハードウェア構成図である。

実施の形態１．
図１は、実施の形態１に係る文字認識装置１の構成図である。文字認識装置１は、画像データを二値化処理して二値化データを生成する二値化処理部２と、前記二値化データをもとに文字列領域を抽出して文字列領域データを生成する文字列領域抽出部３と、前記二値化データと前記文字列領域データから行方向の黒画素の頻度を示すヒストグラムを生成するヒストグラム生成部４と、前記ヒストグラムから行判定閾値を算出する閾値算出部５と、前記行判定閾値を用いて前記文字列領域における異なる行の境界を判定する行境界判定部６と、前記行境界判定部６が判定した行の境界に基づいて文字列領域の文字を認識する文字認識部７とを有して構成されている。

ここで、二値化処理部２は、スキャナやカメラなどの画像取り込み装置から送られてくる画像データの二値化処理を行い二値化データを生成する。二値化処理とは、濃淡のある画像を白と黒の２階調の画像に変換する処理であり、例えば二値化データのあるビット位置の画素値をα（ｘ，ｙ）とすると、α（ｘ，ｙ）は黒画素である場合に１、白画素である場合に０と変換する。具体的にはある閾値を定めて、各画素の値が閾値を上回っていれば白、下回っていれば黒に置き換えるという処理を行う。二値化処理の方法については上述したように１つの閾値を設定する方法に限らず、画像を輝度の範囲に応じて複数に分け、領域ごとに異なる閾値を設けることで二値化する等してもよい。文字認識のために、背景を含む画像データの余白を白画素に変換し、余白以外の文字、罫線、シンボル図形などを黒画素に変換する二値化処理も存在する。なお、二値化処理部２に入力する二値化対象の画像データは、画像や文字を表す種々のフォーマットで表されているものであればよく、例えばＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）、ＴＩＦＦ（ＴａｇｇｅｄＩｍａｇｅＦｉｌｅＦｏｒｍａｔ）、ＢＭＰ（ＢｉｔＭａＰ）などの画像や文字に関するデータフォーマットで表される画像である。

文字列領域抽出部３では、二値化処理部２で生成された二値化データから文字列領域を抽出する。文字列とは、文字があると推定される二値化データの黒画素の集合を指すものである。また、文字列領域を抽出するとは、二値化データの中で黒画素の集合が検出された場合にその辺りに文字が存在すると推定し、検出した黒画素の集合を含む範囲であるｘ軸上の最初ｘｓｔａｒｔから最後ｘｅｎｄまでとｙ軸上の最初ｙｓｔａｒｔから最後ｙｅｎｄまでの位置情報を含む矩形状の領域を文字列領域として抽出することである。文字列領域抽出部３は文字列領域を抽出し、抽出した文字列領域の位置情報を含む矩形状の範囲を示すデータ、すなわち前記ｘｓｔａｒｔ、ｘｅｎｄ、ｙｓｔａｒｔ、ｙｅｎｄの座標データ及び二値化データを文字列領域データとして生成する。

図２は、本実施の形態１にかかる文字認識装置１の文字列領域抽出部３が文字列領域３ｂを抽出する動作の例を示す説明図である。二値化処理部２で生成された二値化データが図２に示すような二値化画像３ａを表している場合、文字列領域抽出部３は、この二値化画像３ａの中で黒画素の集合を検出し、検出した黒画素の集合を含む矩形状の範囲を文字列領域３ｂとして抽出し、抽出した文字列領域３ｂの矩形状の範囲を示すデータを文字領域データとして生成する。文字列領域データは、例えば二値化画像３ａにおける文字列領域３ｂのｘ軸上の最初の座標ｘｓｔａｒｔから最後の座標ｘｅｎｄ及びｙ軸上の最初の座標ｙｓｔａｒｔから最後の座標ｙｅｎｄを示すデータである。上述した文字列領域３ｂの抽出方法は一例であり、文字列領域が抽出されるものであれば他の方法を用いてもよい。
また、文字列領域抽出部３は、抽出した文字列領域３ｂの形状、あるいは二値化画像の属性情報等から、抽出した文字列領域内の行の方向を推定する。

ヒストグラム生成部４では、文字列領域抽出部３で抽出された文字列領域を用いてヒストグラムを生成する。具体的には、ヒストグラム生成部４は、二値化処理部２で生成された二値化データと文字列領域抽出部３で生成された文字列領域データから、文字列領域を抽出する際に推定した行の方向において黒画素が出現する頻度を示すヒストグラムを生成する。図３（ａ）は文字式領域の例を示す説明図、図３（ｂ）は実施の形態１に係る文字認識装置１のヒストグラム生成部４が生成するヒストグラムの例を示す説明図である。図３（ａ）では、二値化データのｘ軸と文字列領域３ｂのｘ軸の方向は一致しているが、文字式領域の推定した行の方向は二値化データのｘ軸と合わせるようにしてもよい。ヒストグラム生成部４はｙ軸の画素単位の座標ごとにｘ軸方向の黒画素数の合計を求め、ヒストグラムを生成する。このヒストグラムＨ（ｙ）を生成する式の例を以下に示す。α（ｘ，ｙ）は座標（ｘ，ｙ）における二値化データの値を表しており、黒画素である場合に１、白画素である場合に０となっている。座標ｙの関数であるＨ（ｙ）は、各座標ｙにおいて、文字列領域の行方向（＝ｘ軸方向）の座標の最初ｘｓｔａｒｔから最後ｘｅｎｄまでの範囲における黒画素の合計である。

図３の例では、図３（ａ）に示す文字列領域３ｂ内において文字が存在する部分では図（ｂ）のヒストグラムにおいてｙ軸方向の黒画素頻度が多く、点線で挟まれる行境界領域４ａでは、ｙ軸方向の黒画素頻度が２０程度と小さい様子がわかる。

閾値算出部５は、ヒストグラム生成部４で生成された文字列領域内におけるヒストグラムから、行の境目を判断するための閾値を算出する。文字が存在する場合はＨ（ｙ）の値は大きく、行の境目ではＨ（ｙ）は小さくなるため、Ｈ（ｙ）の値をもって行の境目を判定することができる。この判定のための閾値を個別の認識対象画像それぞれのヒストグラムから求めることで、画像ごとの特徴を踏まえた閾値、特に文字単位のような微視的な判断基準でない、行方向全体から得られる特徴に基づいた閾値を設定することができる。この実施の形態１では、ヒストグラム生成部４で生成されたヒストグラムのピーク値Ｐを検出し、ピーク値Ｐから行判定閾値ｔｈ１を算出する。閾値算出部５が、行判定閾値ｔｈ１を算出する際に使用する式を以下に示す。ここでρは重み係数を示すパラメータである。

重み係数ρは、ユーザまたは自動的に設定されるパラメータである。処理対象の画像における文字列の行間が狭い場合は、文字が存在する箇所と行の境目と推定される箇所との間でＨ（ｙ）の値の差が小さく、行の境目付近のＨ（ｙ）の値が十分小さくならない可能性があるため、適切な判定のために閾値を高めに設定する必要があり、このために重み係数ρを大きくする。一方、行間が広い場合は、文字が存在する箇所でＨ（ｙ）のばらつきにより多少Ｈ（ｙ）が低くなる部分があっても、そこを行の境目とみなしてしまわないよう閾値を低めに設定する必要があり、このために重み係数ρを小さくする。重み係数ρの設定は、画像全体で一定でも良いし、画像を領域に分割し、領域ごとに変更させてもよい。重み係数ρを領域ごとに変更する場合の領域の分け方としては、例えば、罫線で囲まれた領域や空白で囲まれた領域などがある。これらの領域を自動的に検出するために、罫線検出や空白検出、およびシンボル検出等をすることも可能であり、その手法は、従来より種々の方法が存在する。例えば、罫線検出及び空白検出には下記参考文献１の手法が、シンボル検出には下記参考文献２の手法がある。
参考文献１：平野敬、岡田康裕、依田文夫、“文書画像からの罫線抽出方式”、電子情報通信学会総合大会、１９９８年３月
参考文献２：米山昇吾、平野敬、岡田康裕、“図面画像内シンボル抽出方式の検討”、電子情報通信学会総合大会、２００６年３月

領域ごとに重み係数ρを変更することが有用である場合の画像の例を図４に示す。図４のような画像の場合、行間が狭くなり行境界の行判定が難しいと推定される行判定難領域５ａと、行間は広く行境界の行判定が容易であると推定される行判定容易領域５ｂがある。この場合、ユーザが予め行判定難領域５ａの重み係数ρを大きくし、行判定容易領域５ｂの重み係数ρを小さく設定する。このような重み係数ρの設定により、文字の行間の広さによって行の境界を判定しやすい領域と判定しにくい領域など領域に合わせて適切な行判定閾値を設定することができる。なお、重み係数ρの設定は領域における黒画素の頻度や分布の傾向から自動的に設定されても良い。
上述した図３の例では、ヒストグラムのピーク値Ｐが１０２であり、重み係数ρを０．２２とした結果、行判定閾値ｔｈ１が２２となった場合を示している。

行境界判定部６では、閾値算出部５によって算出された行判定閾値ｔｈ１をもとに文字列領域における異なる行の境界を判定する。判定した行の境界は、行の境界が存在すると判定された行の位置情報を示すものである。行境界判定部６が行の境界とする判定条件は、以下の式である。Ｈ（ｙ）が行判定閾値ｔｈ１よりも小さい場合は座標ｙに行の境界があると推定し、Ｈ（ｙ）が行判定閾値ｔｈ１以上である場合は座標ｙに行の境界がないと推定する。

そして、行の境界があると推定された座標ｙが１つの場合はその座標ｙを、また推定された座標が複数隣り合って存在する場合は、複数の座標ｙのうち中央に位置する座標ｙを行の境界であると判定する。行の境界があると判定された隣り合う複数の座標ｙのどこを行の境界と判定するかについては、中央に限らず、隣り合う複数の座標ｙの中から選定されれば良い。また、行の境界があると判定された座標ｙが隣り合わない場合にはその座標ｙを行境界であると判定する。行境界は１つの文字列領域に１つとは限らず複数存在する場合がある。
文字認識部７では、行境界判定部６が判定した行の境界判定と文字列領域抽出部３が抽出した文字列領域に基づいて文字列領域内の文字認識処理を行う。文字認識を行う方法として、従来より種々の方法が存在する。例えばランレングス補正を用いて画像劣化に対するロバスト性を向上させた下記参考文献の手法がある。
参考文献３：森稔、澤木美奈子、萩田紀博、村瀬洋、武川直樹、“ランレングス補正を用いた画像劣化にロバストな特徴抽出”、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８６−Ｄ２、Ｎｏ．７、ｐｐ．１０４９−１０５７、２００３年７月
文字認識部７は文字認識処理が完了すると、文字認識結果を出力する。以上が文字認識装置１に係る構成である。

次に、本実施の形態１に係る文字認識装置１の動作について説明する。図５は、本実施の形態に係る文字認識装置１の動作を示すフローチャートである。

まず、ステップＳ１にて、二値化処理部２は画像データの二値化処理を行い二値化データを生成する。生成された二値化データは、文字列領域抽出部３に送られる。

ステップＳ２にて、文字列領域抽出部３はステップＳ１で生成された二値化データから文字列領域を抽出し、抽出した文字列領域を示す文字列領域データを生成する。また、文字列領域抽出部３は、抽出した文字列領域の形状、あるいは二値化画像の属性情報から、抽出した文字列領域内の行の方向を推定する。文字列領域抽出部３で生成された文字列領域データは入力した二値化データ及び推定した行方向を示すデータとともに文字認識部７に送られる。ここで、文字列領域は一つの二値化データに対して１つのみとは限らず、複数抽出される場合もある。以下のステップでは、ステップＳ２で抽出された文字列領域のうちの１つの文字認識処理について記載する。

ステップＳ３にて、ヒストグラム生成部４はステップＳ２で抽出された文字列領域を用いてヒストグラムを生成する。ヒストグラム生成部４は、ステップＳ１にて生成された二値化データとステップＳ２にて抽出された文字列領域データから、文字列領域を抽出する際に推定した行の方向において黒画素が出現する頻度を示すヒストグラムを生成する。図３（ａ）は推定した行の方向をｘ軸として正規化した画像の例であり、この画像に基づいて生成されるヒストグラムの例が図３（ｂ）に示したものである。
ヒストグラム生成部４で生成されたヒストグラムを示すデータは、ステップＳ２にて生成された文字列領域データと共に閾値算出部５に送られる。

ステップＳ４にて、閾値算出部５はステップＳ３にて生成されたヒストグラムを用いて、行の境目を判断するための行判定閾値ｔｈ１を算出する。算出された行判定閾値ｔｈ１は、ステップＳ２にて生成された文字列領域データ及びステップＳ３で生成されたヒストグラムデータと共に行境界判定部６へ送られる。
ここで、この行判定閾値ｔｈ１を算出するためのステップＳ４の詳細の動作について説明する。図６は、閾値算出部５が行判定閾値を算出する動作を示す詳細フローチャートである。

ステップＳ４１にて、閾値算出部５はステップＳ３のヒストグラム生成部４で生成されたヒストグラム内のピーク値Ｐを検出する。
ステップＳ４２にて、閾値算出部５はステップＳ４１にて算出したピーク値Ｐと重み係数ρを用いて行判定閾値ｔｈ１を算出する。
図３に示した例では、ヒストグラムのピーク値Ｐが１０２であり、重み係数ρを０．２２とした結果、行判定閾値ｔｈ１が２２となった場合を示している。図３（ｂ）においてＨ（ｙ）がｔｈ１としての２２より小さい行境界領域４ａに対応して、図３（ａ）に示す文字領域の行境界領域４ａのあたりに行の境界がある様子がわかる。重み係数ρは、上述したとおり、画像の種類ごと、あるいは画像内の領域ごとに適した値に調整することで、より適切な行判定を行うことができる。

ステップＳ５にて、行境界判定部６はステップＳ４で算出した行判定閾値ｔｈ１を用いて文字列領域内における異なる行の境界を判定する。行境界判定部６は、行境界閾値ｔｈ１とヒストグラムの値Ｈ（ｙ）の値を比較することにより行の境目であると推定される座標ｙを１つまたは複数記憶する。

この行境界判定部６における行の境目を推定する動作を示す詳細フローチャートを図７に示す。
まず、ステップＳ５１−１にて文字列領域データに含まれるｙｓｔａｒｔすなわち文字列領域が始まる座標ｙを初期値として設定する。
次に、ステップＳ５１−２にて行判定閾値ｔｈ１と現在の座標ｙに対応するヒストグラムの値Ｈ（ｙ）とを比較する。Ｈ（ｙ）が行判定閾値ｔｈ１よりも小さい場合（Ｈ（ｙ）＜ｔｈ１）はこの座標ｙに行の境目がある可能性が高く、この場合はステップＳ５１−３に進む。一方、Ｈ（ｙ）が行判定閾値ｔｈ１以上（Ｈ（ｙ）≧ｔｈ１）の場合はこの座標ｙには文字列が存在する可能性が高く、この場合はステップＳ５４に進む。
ステップＳ５１−３では、座標ｙを行の境界が存在すると推定される座標として記憶して、ステップＳ５１−４に進む。
ステップＳ５１−３終了後あるいはステップＳ５１−２でＨ（ｙ）が行判定閾値ｔｈ１以上である場合は、ステップＳ５１−４に進み、ｙをインクリメントして次の座標ｙとし、ステップＳ５１−５でｙが文字列領域３２が終わる座標ｙｅｎｄと判定されるまで、ステップＳ５１−２からステップＳ５１−５までの動作を繰り返す。
このような動作により、文字列領域内において行の境目と推定される座標ｙが１つまたは複数抽出され、記憶される。
そして、行境界判定部６はステップＳ５１−６で、行の境目があると推定された座標ｙが１つの場合はその座標ｙを、また推定された座標が複数隣り合って存在する場合は、複数の座標ｙのうち中央に位置する座標ｙを行の境界であると判定する。
行の境界であると判定したｙ座標は行境界データとして、ステップＳ２にて生成された文字列領域データと共に文字認識部７に送られる。

ステップＳ６にて、文字列認識部はステップＳ２にて生成された文字列領域データ及びステップＳ５にて判定した行境界データに基づいて文字認識処理を行う。文字認識部７は文字認識処理が完了すると、文字認識結果を出力する。以上のようにして本実施の形態に係る文字認識装置１により、行の境界の判定、文字認識が行われる。

以上のように、実施の形態１に係る文字認識装置１によれば、入力された画像データから抽出した文字列領域抽出部３で抽出された文字列領域の行方向の黒画素の頻度を示すヒストグラムを生成し、生成されたヒストグラムから行判定閾値を算出し、算出された行判定閾値に基づいて文字列領域における異なる行の境界を判定する。これにより、行の境目を判断するための閾値を行方向全体から得られる特徴を踏まえて適切に設定され、文字列領域内の文字列を適切な行に分離することができる。

実施の形態２．
次に、実施の形態２に係る文字認識装置１について説明する。実施の形態１では、行境界判定部６の判定基準として、黒画素の頻度を対象とした行判定閾値ｔｈ１を用いて行判定を行ったが、実施の形態２では黒画素の頻度に加え、ヒストグラムの傾きｇ（ｙ）を行判定基準として用いることで行境界判定を行う。
この実施の形態２では、閾値算出部５と行境界判定部６の詳細構成及び動作が実施の形態１と異なり、他の部分は実施の形態１と同様である。

閾値算出部５は、実施の形態１と同様にしてヒストグラム生成部４で生成された文字列領域内におけるヒストグラムから、行の境目を判断するための行判定閾値ｔｈ１を算出する。また、閾値算出部５には、ヒストグラムの傾きｇ（ｙ）に関する行判定閾値ｔｈ２があらかじめ記憶されている。ヒストグラムの傾きｇ（ｙ）は、ｄＨ（ｙ）／ｄｙである。ヒストグラムの傾きｇ（ｙ）は、行の境目では急になるので数値が大きくなり、文字が存在する領域では緩やかになるので数値が小さくなるため、ヒストグラムの傾きに関する閾値を設定することにより行の境目を判定することができる。

個別の認識対象画像それぞれのヒストグラムから求めた行判定閾値ｔｈ１を用いるとともに、ヒストグラムの傾きｇ（ｙ）に関する行判定閾値ｔｈ２をも用いることで、画像ごとの特徴を踏まえた閾値、特に文字単位のような微視的な判断基準でない、行方向全体から得られる特徴に基づいた閾値を設定するとともに、黒画素の頻度によって行の境目であると推定される座標ｙについて、さらにヒストグラムの傾きｇ（ｙ）を対象とした行判定閾値ｔｈ２を用いることにより、行の境界でない可能性が高い座標ｙを除去し、より精度のよい行の境目を推定することができる。

行境界判定部６では、閾値算出部５によって算出された行判定閾値ｔｈ１に加え、行判定閾値ｔｈ２をもとに文字列領域における異なる行の境界を判定する。
行境界判定部６では、閾値算出部５によって算出された行判定閾値ｔｈ１に基づいて行境界があると推定された座標ｙについて、さらに以下の式による判断を行い、この式が成り立つ場合、座標ｙに行境界があると推定し、これ以外の場合は座標ｙに行の境界がないと推定する。

Ｈ（ｙ）が行判定閾値ｔｈ１よりも小さい、かつ、Ｈ（ｙ）―Ｈ（ｙ―１）が行判定閾値ｔｈ２よりも大きい場合は座標ｙに行の境界があると推定し、それ以外の場合は位置ｙに行の境界がないと推定する。なお、ここではヒストグラムの傾きｇ（ｙ）は、以下の式により、Ｈ（ｙ）とＨ（ｙ―１）の差分値を準用している。

そして、行境界判定部６は行の境目があると推定された座標ｙが１つの場合はその座標ｙを、行の境界があると推定された座標ｙが複数隣り合って存在する場合は、複数の座標ｙのうち中央の位置を行の境界であると判定する。行の境界があると判定された隣り合う複数の座標ｙのどこを行の境界と判定するかについては、中央に限らず、隣り合う複数の座標ｙの中から選定されれば良い。また、行の境界があると判定された座標ｙが隣り合わない場合にはその座標ｙを行の境界であると判定する。行の境界は１つの文字列領域に１つとは限らず複数存在する場合がある。
判定した行の境界は、行の境界が存在すると判定された行の位置情報を示すものであり、行境界データとして、文字列領域データと共に文字認識部７に送られる。
その他の構成については実施の形態１と同様である。

次に、本実施の形態２に係る文字認識装置１の動作について説明する。動作についてはステップＳ４とステップＳ５の詳細動作が実施の形態１と異なる。

ステップＳ４では、閾値算出部５はステップＳ３にて生成されたヒストグラムを用いて、行の境目を判断するための行判定閾値ｔｈ１を算出する。行判定閾値ｔｈ１の算出方法については実施の形態１と同様である。閾値算出部５は、行判定閾値ｔｈ１の他に行判定閾値ｔｈ２を持つ。行判定閾値ｔｈ２は、ユーザによって予め設定された固定値であり、閾値算出部５に予め記憶されている。閾値算出部５は、行判定閾値ｔｈ１及びｔｈ２を行境界判定部６に送る。

この行境界判定部６における行の境目を推定する動作を示す詳細フローチャートを図８に示す。
まず、ステップＳ５２−１にて文字列領域データに含まれるｙｓｔａｒｔすなわち文字列領域が始まる座標ｙを初期値として設定する。
次に、ステップＳ５２−２にて行判定閾値ｔｈ１と現在の座標ｙに対応するヒストグラムの値Ｈ（ｙ）とを比較する。Ｈ（ｙ）が行判定閾値ｔｈ１よりも小さい場合（Ｈ（ｙ）＜ｔｈ１）はこの座標ｙに行の境目がある可能性が高く、この場合はステップＳ５２−３に進む。一方、Ｈ（ｙ）が行判定閾値ｔｈ１以上（Ｈ（ｙ）≧ｔｈ１）の場合はこの座標ｙには文字列が存在する可能性が高く、この場合はステップＳ５２−５に進む。
ステップＳ５２−３にて行判定閾値ｔｈ２と現在の座標ｙに対応するヒストグラムの傾きＨ（ｙ）―Ｈ（ｙ―１）とを比較する。Ｈ（ｙ）―Ｈ（ｙ―１）が行判定閾値ｔｈ２よりも大きい場合（Ｈ（ｙ）―Ｈ（ｙ―１）＞ｔｈ２）は、ヒストグラムの傾きが急であることからこの座標ｙに行の境目がある可能性が高いと推定でき、この場合はステップＳ５２−４に進む。一方、Ｈ（ｙ）―Ｈ（ｙ―１）が行判定閾値ｔｈ２以下（Ｈ（ｙ）―Ｈ（ｙ―１）≦ｔｈ２）の場合は、この座標ｙには行判定閾値ｔｈ１より黒画素数が少ないものの、ヒストグラムの傾きが緩やかであることから行の境目ではない可能性が高く、この場合はステップＳ５２−５に進む。
ステップＳ５２−４では、座標ｙを行の境界が存在すると推定される座標として記憶して、ステップＳ５２−５に進む。
ステップＳ５２−４終了後、あるいはステップＳ５２−２でＨ（ｙ）が行判定閾値ｔｈ１以上と判断、あるいはステップＳ５２−３でＨ（ｙ）―Ｈ（ｙ―１）が行判定閾値ｔｈ２以下と判断された場合は、ステップＳ５２−５に進み、ｙをインクリメントして次の座標ｙとし、ステップＳ５２−６でｙの文字列領域３２が終わる座標ｙｅｎｄと判定されるまで、ステップＳ５２−２からステップＳ５２−５までの動作を繰り返す。
このような動作により、文字列領域内において行の境目と推定される座標ｙが１つまたは複数抽出され、記憶される。
そして、行境界判定部６はステップＳ５２−７で、行の境目があると推定された座標ｙが１つの場合はその座標ｙを、また推定された座標が複数隣り合って存在する場合は、複数の座標ｙのうち中央に位置する座標ｙを行の境界であると判定する。
なお、ステップＳ５２−２で行った黒画素数による推定と、ステップＳ５２−３で行ったヒストグラムの傾きによる推定は、入れ替えて行っても良い。この場合、まずヒストグラムの傾きにより行の境目の候補の座標を推定し、その推定された候補についてさらに黒画素数による推定を行うことで、行の境目の候補の座標が決まる。
また、ステップＳ５２−２で行った黒画素数による推定と、ステップＳ５２−３で行ったヒストグラムの傾きによる推定とを統合し、以下のコスト関数Ｃの式を判定用の式として用いることも可能である。

以上のように、実施の形態２に係る文字認識装置１によれば、入力された画像データから抽出した文字列領域抽出部３で抽出された文字列領域の行方向の黒画素の頻度を示すヒストグラムを生成し、生成されたヒストグラムから行判定閾値を算出し、算出された行判定閾値ｔｈ１に基づいて文字列領域における異なる行の境界を推定する。さらに、ヒストグラムの傾きに基づいて行の境界を推定することにより、より行の境目を判断するための閾値を行方向全体から得られる特徴を踏まえて適切に設定され、文字列領域内の文字列を適切な行に分離することができる。

実施の形態３．
次に、実施の形態３に係る文字認識装置１について説明する。実施の形態１では、行境界判定部６の判定基準として、黒画素の頻度を対象とした行判定閾値ｔｈ１を用いて行判定を行ったが、実施の形態３では黒画素の頻度に加え、ヒストグラムから検出されるピーク値Ｐ（ｎ）を行判定基準として用いることで行境界判定を行う。
この実施の形態３では、閾値算出部５と行境界判定部６の詳細構成及び動作が実施の形態１と異なり、他の部分は実施の形態１と同様である。

閾値算出部５は、実施の形態１と同様にしてヒストグラム生成部４で生成された文字列領域内におけるヒストグラムから、行の境目を判断するための行判定閾値ｔｈ１を算出する。また、閾値算出部５には、ヒストグラムのピーク値の差Ｐ（ｎ）−Ｐ（ｎ−１）に関する行判定閾値ｔｈ３があらかじめ記憶されている。
図９に、２行の長さが異なる場合の文字列領域のヒストグラムを生成した場合の画像及びヒストグラムの例を示す。複数の行が存在し、かつ、その長さが異なる場合、ヒストグラムのピーク値の差Ｐ（ｎ）−Ｐ（ｎ−１）が大きくなる。この性質を利用して、ヒストグラムのピーク値の差に関する閾値を設定することにより、異なる長さの複数の行が存在する場合に行の境目を判定することができる。

個別の認識対象画像それぞれのヒストグラムから求めた行判定閾値ｔｈ１を用いるとともに、ヒストグラムのピーク値の差Ｐ（ｎ）―Ｐ（ｎ−１）に関する行判定閾値ｔｈ３をも用いることで、画像ごとの特徴を踏まえた閾値、特に文字単位のような微視的な判断基準でない、行方向全体から得られる特徴に基づいた閾値を設定するだけでなく、複数行の長さがそれぞれ異なる場合にも精度のよい行の境目を推定することができる。

行境界判定部６では、閾値算出部５によって算出された行判定閾値ｔｈ１に加え、行判定閾値ｔｈ３をもとに文字列領域における異なる行の境界を判定する。
まず、行境界判定部６は、Ｈ（ｙ）が行判定閾値ｔｈ１よりも小さい場合は座標ｙに行の境界があると推定し、Ｈ（ｙ）が行判定閾値ｔｈ１以上である場合は座標位置ｙに行の境界がないと推定する。
そして、行境界判定部６は、行境界判定部６は行の境目があると推定された座標ｙが1つの場合はその座標ｙを、行の境目があると推定された座標ｙが１つの場合は、複数の座標ｙのうち中央の位置を行の境界であると判定する。行の境界があると判定された隣り合う複数の座標ｙのどこを行の境界と判定するかについては、中央に限らず、隣り合う複数の座標ｙの中から選定されれば良い。また、行の境界があると判定された座標ｙが隣り合わない場合にはその座標ｙを行の境界であると判定する。行の境界は１つの文字列領域に１つとは限らず複数存在する場合がある。

一方、行境界判定部６は、ピーク差Ｐ（ｎ）―Ｐ（ｎ−１）を算出する。図９に示すように、行境界判定部６は生成したヒストグラムのピークを全て検出し、ピーク値Ｐ（ｎ）と隣り合うピーク値Ｐ（ｎ−１）との差を算出する。そして、行境界判定部６は以下の式により、ピーク値の差Ｐ（ｎ）―Ｐ（ｎ−１）が行判定閾値ｔｈ３よりも大きい場合はそのＰ（ｎ）とＰ（ｎ−１）をとるそれぞれのｙ座標の間に行の境界があると推定し、差Ｐ（ｎ）―Ｐ（ｎ−１）が行判定閾値ｔｈ３よりも小さい場合はそのＰ（ｎ）とＰ（ｎ−１）をとるそれぞれのｙ座標の間に行の境界がないと推定する。ピーク値の差Ｐ（ｎ）―Ｐ（ｎ−１）が行判定閾値ｔｈ３よりも大きい場合は、Ｐ（ｎ）とＰ（ｎ−１）の間に行の境界があると推定されるため、ピーク値Ｐ（ｎ）をとる座標ｙ_ｎとピーク値Ｐ（ｎ−１）をとる座標ｙ_ｎ−１の中央の位置を行の境界であると判定する。Ｐ（ｎ）の座標ｙ_ｎとＰ（ｎ−１）の座標ｙ_ｎ−１との間でどこを行の境界と判定するかについては、中央に限らず、隣り合う複数の座標ｙの中から選定されれば良い。

判定した行の境界は、行の境界が存在すると判定された行の位置情報を示すものであり、行境界データとして、文字列領域データと共に文字認識部７に送られる。
その他の構成については実施の形態１と同様である。

ステップＳ４では、閾値算出部５はステップＳ３にて生成されたヒストグラムを用いて、行の境目を判断するための行判定閾値ｔｈ１を算出する。行判定閾値ｔｈ１の算出方法については実施の形態１と同様である。閾値算出部５は、行判定閾値ｔｈ１の他に行判定閾値ｔｈ３を持つ。行判定閾値ｔｈ３は、ユーザによって予め設定された固定値であり、閾値算出部５に予め記憶されている。閾値算出部５は、行判定閾値ｔｈ１及びｔｈ３を行境界判定部６に送る。

この行境界判定部６における行の境目を推定する動作を示す詳細フローチャートを図１０に示す。
行境界閾値ｔｈ１を用いた行境界判定は、実施の形態１と同様である。行境界判定部は実施の形態１で説明した図７のフローチャートによる動作を終えると、図１０に記載したフローチャートによる動作を行う。
まず、ステップＳ５３−１にて文字列領域データに含まれるピーク値のカウント初期値としてｎ＝１を設定する。
次に、ステップＳ５３−２にて行判定閾値ｔｈ３と隣り合うピーク値の差Ｐ（ｎ）−Ｐ（ｎ−１）とを比較する。ピーク値の差Ｐ（ｎ）−Ｐ（ｎ−１）が行判定閾値ｔｈ３よりも大きい場合（Ｐ（ｎ）−Ｐ（ｎ−１）＞ｔｈ３）はピーク値Ｐ（ｎ）、Ｐ（ｎ−１）をとるそれぞれのｙ座標の間に行の境目がある可能性が高く、この場合はステップＳ５３−３に進む。一方、ピーク値の差Ｐ（ｎ）−Ｐ（ｎ−１）が行判定閾値ｔｈ３以下（Ｐ（ｎ）−Ｐ（ｎ−１）≦ｔｈ３）の場合はピーク値の差Ｐ（ｎ）―Ｐ（ｎ−１）からは行の有無を判断できず、この場合はステップＳ５３−４に進む。
ステップＳ５３−３では、ピーク値Ｐ（ｎ）、Ｐ（ｎ−１）をとるそれぞれのｙ座標の間を、行の境界が存在すると推定される座標として記憶して、ステップＳ５３−４に進む。
ステップＳ５３−３終了後、あるいはステップＳ５３−２でＰ（ｎ）−Ｐ（ｎ−１）が行判定閾値ｔｈ３以下と判断された場合は、ステップＳ５３−４に進んで、ｎをインクリメントし、ステップＳ５３−５でｎがヒストグラムの最後のピーク値Ｐ（ｎｅｎｄ）のカウント値であるｎｅｎｄと判定されるまで、ステップＳ５３−２からステップＳ５３−５までの動作を繰り返す。
このような動作により、文字列領域内において行の境目と推定される座標ｙが１つまたは複数抽出され、記憶される。
そして、行境界判定部６はステップＳ５３−６にて、行の境目があると推定された座標ｙが１つの場合はその座標ｙを、またピーク値Ｐ（ｎ）からピーク値Ｐ（ｎ−１）までの座標ｙが複数存在する場合は、複数の座標ｙのうち中央に位置する座標ｙを行の境界であると判定する。
以上のようにして、図７のフローチャートにより行境界閾値ｔｈ１に基づいた判定で得られた行境界データと、図１０のフローチャートにより行境界閾値ｔｈ３に基づいた判定で得られた行境界データは、文字認識部７に送られる。文字認識部７では、これら両方の行境界データを用いて、実施の形態１と同様に文字認識を行う。
なお、行判定閾値ｔｈ１を用いる図７のフローチャートの動作と行判定閾値ｔｈ３を用いる図１０のフローチャートの動作の順序は逆でも良い。
このほかの動作については実施の形態１と同様である。

以上のように、実施の形態３に係る文字認識装置１によれば、入力された画像データから抽出した文字列領域抽出部３で抽出された文字列領域の行方向の黒画素の頻度を示すヒストグラムを生成し、生成されたヒストグラムから行判定閾値を算出し、算出された行判定閾値ｔｈ１に基づいて文字列領域における異なる行の境界を推定する。さらに、ヒストグラムの隣り合うピーク値の差に基づいて行の境界を推定することにより、行の長さが異なる場合に、より明確に、文字列領域内の文字列を適切な行に分離することができる。

なお、本実施の形態では行判定閾値ｔｈ３とピーク値の差Ｐ（ｎ）−Ｐ（ｎ−１）を比較して行の境界を判定した。しかし、行判定閾値ｔｈ３を用いる図１０のフローチャートの動作から得られた行境界データは、座標のみを示すのではなく、その座標に行の境界がある確率を示す情報も含めたデータとしてもよい。この確率は、例えば、行判定閾値ｔｈ３からピーク値の差Ｐ（ｎ）−Ｐ（ｎ−１）を引いて行判定閾値ｔｈ３で割ることによって算出する。文字認識部７では、この確率に基づいて、行境界データに示された座標を行の境目として採用するか否かを選択することが可能となる。

実施の形態４．
次に、実施の形態４に係る文字認識装置１について説明する。実施の形態２では、行境界判定部６の判定基準として、黒画素の頻度を対象とした行判定閾値ｔｈ１及びヒストグラムの傾きｇ（ｙ）を行判定基準として用いることで行境界判定を行ったが、本実施の形態ではヒストグラムの傾きｇ（ｙ）のみを行判定基準として行の境界を判定する。
この実施の形態４では、閾値算出部５と行境界判定部６の詳細構成及び動作が実施の形態２と異なり、他の部分は実施の形態２と同様である。

閾値算出部５は、ヒストグラムの傾きｇ（ｙ）に関する行判定閾値ｔｈ２があらかじめ記憶されている。ヒストグラムの傾きｇ（ｙ）は、ｄＨ（ｙ）／ｄｙである。ヒストグラムの傾きｇ（ｙ）は、行の境目では急になるので数値が大きくなり、文字が存在する領域では緩やかになるので数値が小さくなるため、ヒストグラムの傾きに関する閾値を設定することにより行の境目を判定することができる。

行境界判定部６では、行判定閾値ｔｈ２をもとに文字列領域における異なる行の境界を判定する。
まず、行境界判定部６では、Ｈ（ｙ）−Ｈ（ｙ−１）がｔｈ２よりも大きい場合に座標ｙに行境界があると推定し、Ｈ（ｙ）−Ｈ（ｙ−１）がｔｈ２よりも小さい場合は座標ｙに行の境界がないと推定する。

ヒストグラムの傾きｇ（ｙ）は、Ｈ（ｙ）とＨ（ｙ―１）の差分値として仮定して算出することができる。

そして、行境界判定部６は行の境目があると推定された座標ｙが１つの場合はその座標ｙを、行の境界があると推定された座標ｙが複数隣り合って存在する場合は、複数の座標ｙのうち中央の位置を行の境界であると判定する。行の境界があると判定された隣り合う複数の座標ｙのどこを行の境界と判定するかについては、中央に限らず、隣り合う複数の座標ｙの中から選定されれば良い。また、行の境界があると判定された座標ｙが隣り合わない場合にはその座標ｙを行の境界であると判定する。行の境界は１つの文字列領域に１つとは限らず複数存在する場合がある。
判定した行の境界は、行の境界が存在すると判定された行の位置情報を示すものであり、行境界データとして、文字列領域データと共に文字認識部に送られる。
その他の構成については実施の形態１と同様である。

次に、本実施の形態４に係る文字認識装置１の動作について説明する。動作についてはステップＳ４とステップＳ５の詳細動作が実施の形態１と異なる。

ステップＳ４では、閾値算出部５は、行判定閾値ｔｈ２を行境界判定部６に送る。行判定閾値ｔｈ２は、ユーザによって予め設定された固定値であり、閾値算出部５に予め記憶されている。

この行境界判定部６における行の境目を推定する動作を示す詳細フローチャートを図１１に示す。
まず、ステップＳ５４−１にて文字列領域データに含まれるｙｓｔａｒｔすなわち文字列領域が始まる座標ｙを初期値として設定する。
次に、ステップＳ５４−２にて行判定閾値ｔｈ２と現在の座標ｙに対応するヒストグラムの傾きＨ（ｙ）―Ｈ（ｙ―１）とを比較する。Ｈ（ｙ）―Ｈ（ｙ―１）が行判定閾値ｔｈ２よりも大きい場合（Ｈ（ｙ）―Ｈ（ｙ―１）＞ｔｈ２）は、ヒストグラムの傾きが急であることからこの座標ｙに行の境目がある可能性が高いと推定でき、この場合はステップＳ５４−３に進む。一方、Ｈ（ｙ）―Ｈ（ｙ―１）が行判定閾値ｔｈ２以下（Ｈ（ｙ）―Ｈ（ｙ―１）≦ｔｈ２）の場合は、この座標ｙには行判定閾値ｔｈ２より黒画素数が少ないものの、ヒストグラムの傾きが緩やかであることから、行の境目ではない可能性が高く、この場合はステップＳ５４−４に進む。
ステップＳ５４−３では、座標ｙを行の境界が存在すると推定される座標として記憶して、ステップＳ５４−４に進む。
ステップＳ５４−３終了後、あるいはステップＳ５４−２でＰ（ｎ）―Ｐ（ｎ−１）が行判定閾値ｔｈ２以下と判断された場合は、ステップＳ５４−４に進み、ｙをインクリメントして次の座標ｙとし、ステップＳ５４−５でｙの文字列領域３２が終わる座標ｙｅｎｄと判定されるまで、ステップＳ５４−２からステップＳ５４−５までの動作を繰り返す。
このような動作により、文字列領域内において行の境目と推定される座標ｙが１つまたは複数抽出され、記憶される。
そして、行境界判定部６はステップＳ５４−６にて、行の境目があると推定された座標ｙが１つの場合はその座標ｙを、また推定された座標が複数隣り合って存在する場合は、複数の座標ｙのうち中央に位置する座標ｙを行の境界であると判定する。
このほかの動作については実施の形態１と同様である。

以上のように、実施の形態４に係る文字認識装置１によれば、入力された画像データから抽出した文字列領域抽出部３で抽出された文字列領域の行方向の黒画素の頻度を示すヒストグラムを生成し、生成されたヒストグラムからヒストグラムの傾きに基づいて行の境界を推定することにより、行の境目を判断するための閾値を行方向全体から得られる特徴を踏まえて適切に設定され、文字列領域内の文字列を適切な行に分離することができる。

なお、上記実施の形態はいずれも、二値化処理部２にて二値化データを生成して用いているが、対象データは二値化データに限らず、文字部分と行の境界部分が区別できるデータであれば、例えば画素を多値で表す多値化データ、あるいは色度を示すデータを用いることも可能である。

また、上記実施の形態はいずれも、文字式領域抽出部にて文字列領域データは二値化データを含むものとした。しかし、二値化データは二値化処理部２からそれぞれ二値化データを必要とする各部へ直接送ってもよい。二値化データに限らず、他のデータも各部からそのデータを必要とする各部へ直接送ってよい。

また、上記実施の形態はいずれも、行境界判定部６にて行の境目があると推定された座標ｙが複数隣り合って存在する場合のみ、複数の座標ｙのうち中央の位置を行の境界であると判定した。しかし、一定の範囲を設け、行の境目があると推定された座標ｙが一定の範囲内であるならば座標ｙが隣り合って存在すると推定し、中央の位置を行の境界であると判定してもよい。

なお、上記実施の形態はいずれも、図１２及び図１３に示す構成において実現される。図１２は、実施の形態１に係る文字認識装置をハードウェアで実現するためのハードウェア構成図である。スキャナやカメラで構成される画像取り込み装置８で画像の入力が行われる。二値化処理部２、文字列抽出部３、ヒストグラム生成部４、閾値算出部５、行境界判定部６及び文字認識部７は処理回路９により実現される。処理回路９は、例えば単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサまたはこれらを組み合わせた各種電子回路で実現してもよい。ディスプレイ１０は処理の途中経過などを表示するものである。また、それぞれのプログラムはハードディスク１１に格納される。
図１３は、実施の形態１に係る文字認識装置をソフトウェアで実現する場合のハードウェア構成図である。このように文字認識装置１をコンピュータで構成した場合は、プロセッサ１２を二値化処理部２、文字列抽出部３、ヒストグラム生成部４、閾値算出部５、行境界判定部６及び文字認識部７として機能させる。プロセッサ１２は、ソフトウェアやファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。これらのソフトウェアやファームウェアはハードディスク１１に格納され、実行する際にはハードディスク１１からメモリ１３に取り出されることにより機能する。

１．文字認識装置
２．二値化処理部
３．文字列領域抽出部
３ａ．二値化画像
３ｂ文字列領域
４．ヒストグラム生成部
４ａ．行境界領域
５．閾値算出部
５ａ．行判定難領域
５ｂ．行判定容易領域
６．行境界判定部
７．文字認識部
８．画像取り込み装置
９．処理回路
１０．ディスプレイ
１１．ハードディスク

Claims

入力された画像データから文字列領域を抽出する文字列領域抽出部と、
前記文字列領域抽出部で抽出された前記文字列領域の行方向の黒画素の頻度を示すヒス
トグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部で生成された前記ヒストグラムから行判定閾値を算出する閾値
算出部と、
前記閾値算出部で算出された前記行判定閾値に基づいて前記文字列領域における異なる
行の境界を判定する行境界判定部と、
前記文字列領域抽出部で抽出された前記文字列領域と前記行境界判定部で判定された行
の境界に基づいて前記文字列領域の文字を認識する文字認識部とを備え、
前記閾値算出部により前記ヒストグラムから算出される前記行判定閾値は、前記ヒストグラムの傾きに対する閾値、または、前記ヒストグラムのピーク値の差に対する閾値である文字認識装置。
入力された画像データから文字列領域を抽出する文字列領域抽出ステップと、
前記文字列領域抽出ステップで抽出された前記文字列領域の行方向の黒画素の頻度を示
すヒストグラムを生成するヒストグラム生成ステップと、
前記ヒストグラム生成ステップで生成された前記ヒストグラムから行判定閾値を算出す
る閾値算出ステップと、
前記閾値算出ステップで算出された前記行判定閾値に基づいて前記文字列領域における
異なる行の境界を判定する行境界判定ステップと、
前記文字列領域抽出ステップで抽出された前記文字列領域と前記行境界判定ステップで
判定された行の境界に基づいて前記文字列領域の文字を認識する文字認識ステップとを備
え、
前記閾値算出ステップにより前記ヒストグラムから算出される前記行判定閾値は、前記ヒストグラムの傾きに対する閾値、または、前記ヒストグラムのピーク値の差に対する閾値である文字認識方法。