JPH05128307A - 文字認識装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、不定ピッチで印字され分離有意文字
や接触文字の混在する文字列であっても高精度で各文字
を切り出すことを可能にしている。 【構成】画像入力部２により原稿１より読み取られた画
像信号を文字行切出し部３に与え文字行を切り出し、こ
れを文字切出し部４に与えて文字行から分離有意文字お
よび接触文字の混在する文字の構成要素を抽出し、これ
ら文字構成要素に基づいて平均的な文字幅および文字ピ
ッチを算出し、この平均的文字幅および文字ピッチに基
づいて文字行から分離有意文字および接触文字を含む各
文字の切り出しを行い、文字認識部５での各文字の認識
結果を出力部６より出力するように構成している。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文書画像から文字行を
切り出すとともに該文字行から各文字を切り出して文字
認識を行う文字認識装置に関するものである。

【０００２】

【従来の技術】従来、文字データを自動的に入力するも
のとして文字認識装置が用いられているが、これまでは
予め定められた定型の帳票に印字された文字を読み取る
場合が多かった。この場合、文字は一定のサイズ、一定
のピッチで印字されているのが普通であり、このために
単純な方式で文字を切り出すことが可能であった。すな
わち、基本的には、文字のピッチごとに行を区切って、
各区間に属する画像を文字として認識すればよかった。

【０００３】ところで、最近になって、機械翻訳、文書
データベース、電子出版など計算機による文書処理が盛
んに行われるにつれ、新聞、雑誌、マニュアルなどの一
般に流通している既存文書をも自動的に入力したいとい
う要請が増えてきた。しかし、これら一般文書に印字さ
れた文字を切り出すには、以下のような問題点があっ
た。

【０００４】（１）一般に流通している既存文字は不定
ピッチで印字されていることが多い。特に、日本語と英
数字が混在している場合には、その両者のピッチは全く
異なっていることがある。

【０００５】（２）日本語には、文字の構成要素が分離
した文字（以下では分離文字と呼ぶ）が多数存在する。
特に、分離文字の各構成要素がそれぞれ、別の文字とし
ても認識できる場合（以下では、分離有意文字と呼ぶ）
も存在するので、単純に認識結果を見るだけでは正しく
文字を切り出すことができない。 （３）文字サイズの違う行が混在する文書もあり、行の
処理に先立って、文字のサイズを仮定することができな
い。 （４）既存文書には文字の接触やかすれが存在する場合
が多い。

【０００６】しかして、このような不定ピッチの文字列
から文字を切り出す手法は、いくつか提案されている
が、接触した文字が存在する場合に対応できなかった
り、あらかじめ文字のサイズを指定する必要があるなど
の問題点があって、実用的なシステムを作りあげるのに
満足できるものになっていない。

【０００７】

【発明が解決しようとする課題】このように従来の文字
認識装置により、一般に流通している既存の文書から文
字を切り出すには、文字ピッチが不定であること、日本
語文字には構成要素の分離した文字が多数存在するこ
と、文字サイズの違う行が混在すること、既存文書には
文字の接触やかすれが存在することなど種々の問題点が
あり、これらの問題点を克服しない限り正確な文字認識
を行うことができなかった。本発明は、上記事情に鑑み
てなされたもので、精度の高い文字の切り出しを行い正
確な文字認識を実現できる文字認識装置を提供すること
を目的とする。

【０００８】

【課題を解決するための手段】本発明の文字認識装置
は、文書画像から文字行を切り出すとともに該文字行か
ら各文字を切り出し文字認識を行うものであって、文書
画像から切り出される文字行から分離有意文字の混在す
る文字の構成要素を構成要素抽出手段で抽出し、この構
成要素抽出手段により抽出された文字構成要素に基づい
て平均的な文字幅を文字幅算出手段で算出し、この文字
幅算出手段で算出された平均的文字幅に基づいて文字行
から分離有意文字を含む各文字の切り出しを文字切り出
し手段により行うように構成されている。

【０００９】また、本発明の文字認識装置は、文書画像
から文字行を切り出すとともに該文字行から各文字を切
り出し文字認識を行うものであって、文書画像から切り
出される文字行から接触文字の混在する文字の構成要素
を構成要素抽出手段で抽出し、この構成要素抽出手段に
より抽出された文字構成要素に基づいて平均的な文字ピ
ッチを文字ピッチ算出手段で算出し、この文字ピッチ算
出手段で算出された平均的文字ピッチに基づいて文字行
から接触文字を含む各文字の切り出しを文字切り出し手
段により行うように構成されている。

【００１０】さらに本発明の文字認識装置は、文書画像
から文字行を切り出すとともに該文字行から各文字を切
り出し文字認識を行うものであって、文書画像から切り
出される文字行から分離有意文字および接触文字の混在
する文字の構成要素を構成要素抽出手段で抽出し、この
構成要素抽出手段により抽出された文字構成要素に基づ
いて平均的な文字幅および文字ピッチを文字幅文字ピッ
チ算出手段で算出し、この文字幅文字ピッチ算出手段で
算出された平均的文字幅および文字ピッチに基づいて文
字行から分離有意文字および接触文字を含む各文字の切
り出しを文字切り出し手段により行うように構成されて
いる。

【００１１】

【作用】この結果、本発明によれば、文字行から抽出さ
れる分離有意文字の混在する文字の構成要素から求めら
れる平均的な文字幅に基づいて文字行から分離有意文字
を含む各文字の切り出しを行うことができる。

【００１２】また、文字行から抽出される接触文字の混
在する文字の構成要素から求められる平均的な文字ピッ
チに基づいて文字行から接触文字を含む各文字の切り出
しを行うこともできる。

【００１３】さらに、文字行から抽出される分離有意文
字および接触文字の混在する文字の構成要素から求めら
れる平均的な文字幅および文字ピッチに基づいて文字行
から分離有意文字および接触文字を含む各文字の切り出
しを行うこともできる。

【００１４】これにより、文字のサイズ等の情報をあら
かじめ与えなくても、不定ピッチで印字され、分離有意
文字や接触文字の混在する文字列であっても、高い精度
で各文字を切り出すことができる。

【００１５】

【実施例】以下に本発明の一実施例を図面に従い説明す
る。

【００１６】図１は、同実施例の概略構成を示すもので
ある。図において、１は印刷原稿で、この原稿１は、画
像入力部２によりスキャンされ画像信号として読み取ら
れる。画像入力部２は、この画像信号を文字行切出し部
３に与える。文字行切出し部３は、入力された画像の周
辺分布をとる等の処理を実行し、文字行を切り出し、そ
れぞれ文字行の画像信号を文字切出し部４に与える。

【００１７】文字切出し部４は、文字行から切り出され
た文字の画像信号を文字認識部５に与える。文字認識部
５では、切り出された文字の画像信号から文字認識を行
い、この認識結果を文字切り出し部４に与える。

【００１８】文字切出し部４は、文字認識部５から受け
取った文字認識結果に基づいて、最も正しいと判定され
る文字切り出し方法を選択する。そして、この文字切出
し部４によって選択された文字認識結果が出力部６に送
られて、文字コードとして出力されるようになる。次
に、図２は、文字切出し部４での処理の流れを示すもの
である。この場合、ステップＳ２１に示す構成要素抽出
処理では、文字行の画像から文字の構成要素を抽出す
る。

【００１９】ここでの構成要素の抽出は、いくつかの方
式が考えられる。一例を挙げれば、文字行の画像の黒画
素連結成分を抽出し、その後、文字行方向と垂直な方向
に重なりを持つ連結成分を統合したものを文字構成要素
とすればよい。図３に一例を示している。この場合、図
３（ａ）に示すように「次元アフィン変換の回数が大幅
に」のような文字行の原画像が与えられた場合、まず各
文字を表す原画像から、黒画素の連結成分を抽出し、そ
れぞれの連結成分を同図（ｂ）に示すように外接長方形
で表し、その後、文字行方向と垂直な方向に重なりを持
つ連結成分を統合して同図（ｃ）に示すような文字の構
成要素を抽出している。

【００２０】あるいは、他の例として図４（ａ）に示す
ように、「次元アフィン変換の回数が大幅に」のような
文字行の原画像が与えられた場合、同図（ｂ）に示すよ
うに文字行の画像の黒画素の周辺分布を求めて、周辺分
布が０になる位置で区切ったものを、同図（ｃ）に示す
ように構成要素として抽出するようにしてもよい。次
に、ステップＳ２２に進み、構成要素統合処理を実行す
る。この場合、構成要素の複数の統合方法を試み、統合
されてできた文字の画像を文字認識部５に転送するよう
にしている。

【００２１】例えば、図５に示すような文字の構成要素
の並びが与えられた場合を考えると、いま、文字幅の上
限をＷ（この文字幅の上限Ｗの値は、例えば、文字行の
高さに比例して決定するようにすればよい。）として、
最初の構成要素ａを起点としてこの構成要素ａの幅Ｗ1
を調べる。ここで、Ｗ1 ＜Ｗであれば、この構成要素ａ
の画像を文字認識部５に転送する。

【００２２】次に、構成要素ａと構成要素ｂを統合した
場合の幅Ｗ1,2 を調べる。そして、ここでもＷ1,2 ＜Ｗ
であれば、構成要素ａとｂを統合した画像を文字認識部
５に転送する。

【００２３】同様に、構成要素ａとｂとｃを統合した場
合の幅Ｗ1,2,3 を調べる。そして、ここでもＷ1,2,3 ＜
Ｗであれば、構成要素ａとｂとｃを統合した画像を文字
認識部５に転送する。

【００２４】そして、次に、構成要素ａとｂとｃとｄを
統合した場合の幅Ｗ1,2,3,4 を調べたところ、Ｗ1,2,3,
4 ＞Ｗであったとすると、構成要素ａを起点としたこれ
以上の統合処理を行わない。

【００２５】以下、同様にして構成要素ｂ、ｃ、ｄ…を
それぞれ起点として、上述したと同様な処理を続け、可
能な統合を全て試みて、これら統合した画像を文字認識
部５に転送して文字認識を促すようになる。次に、ステ
ップＳ２３に進み、統合方法決定処理を実行する。

【００２６】この場合、統合方法決定処理は、上述した
ステップＳ２２の構成要素統合処理で試みられた複数の
統合の仕方の中から最も評価の高い統合の仕方を選択す
る。ここでの評価の方法は、文字行内の構成要素の各組
の統合の仕方に対して、その妥当性を示す評価関数Ｔを
定めておき、評価関数Ｔを最大にする統合の仕方を選択
するようにしている。

【００２７】この評価関数Ｔは、例えば、ある構成要素
の得点を、その構成要素を統合して得られた文字の認識
結果の類似度値とし、全ての構成要素の得点の総和を、
その統合の仕方の評価関数Ｔとしている。

【００２８】例えば、図６（ａ）に示すように左端の文
字構成要素ａに得点を与えるには、次のようにする。ま
ず、構成要素ａをひとつの文字Ｃ1 であるとした場合に
は、Ｃ1 を文字認識した結果の類似度を構成要素ａの得
点とする。次に、構成要素ａと構成要素ｂを統合して、
ひとつの文字Ｃ1,2 であるとした場合は、Ｃ1,2 を文字
認識した結果の類似度を構成要素ａの得点とする。同様
にして、構成要素ａを起点としたさまざまな統合の仕方
についての構成要素ａの得点を求める。

【００２９】また、構成要素ｂに対する得点も、図６
（ｂ）に示すように、文字Ｃ1,2 の類似度、文字Ｃ1,2,
3 の類似度、文字Ｃ1,2,3,4 の類似度、文字Ｃ2 の類似
度、文字Ｃ2,3 の類似度……という形で同じように求め
る。以下、構成要素ｃ、ｄ…についても同様である。

【００３０】そして、このような方法により評価関数Ｔ
を定め、この評価関数Ｔを最大にする文字構成要素の統
合方法を探索する。この場合、全数探索を用いなくて
も、動的計画法を用いれば効率よく探索でき、最適な文
字構成要素の統合方法を簡単に求めることができる。

【００３１】なお、評価関数Ｔの計算方法としては、上
記のように類似度値そのものを文字構成要素の得点に使
うのではなく、類似度値から計算できる認識結果の信頼
度などを用いることもできる。次に、ステップＳ２４に
進み、平均値計算処理を実行する。

【００３２】この場合、ステップＳ２３の統合方法決定
処理によって決定された最適な統合の仕方の文字認識結
果に基づいて、平均文字幅と平均文字ピッチを計算す
る。ここでは、認識結果が英数記号以外の日本語である
と判定された文字についてのみの平均を求めることが必
要である。次に、ステップＳ２５に進み、統合方法修正
処理を実行する。

【００３３】この場合、ステップＳ２４の平均値計算処
理で求められた平均文字幅に基づいて、最適な統合の仕
方を修正する。この修正は、分離有意文字を複数の文字
と判定した誤りや、逆に複数の文字を統合して１個の分
離有意文字と判定した誤りを修正することを目的として
いる。例えば、「語」という文字を「言」と「吾」の２
つの文字として読んだ場合や、「重」と「力」の２つの
文字を統合して、「動」として読んだ場合である。

【００３４】具体的なアルゴリズムとしては、例えば、
ステップＳ２３の統合方法決定処理で決定された統合方
法において、上記のような統合誤りである可能性のある
文字を探し出し、平均文字幅を用いることによって、そ
の文字の幅が異常に長いか、あるいは異常に短い場合に
は、その文字の統合の仕方を変更するという方法をとれ
ばよい。あるいは、別のアルゴリズムとして、上述した
評価関数Ｔと平均文字幅ａを用いて新たな評価関数Ｓと
して

【００３５】

【数１】

【００３６】を導入して、評価関数Ｓを最大にする統合
方法を用いるようにすればよい。ここで、ｗi はｉ番目
の文字の幅、λは類似度の条件と文字幅の条件の重み付
けをおこなうための適当な係数である。次に、ステップ
Ｓ２６に進み、接触文字推定処理を実行する。

【００３７】この場合、ステップＳ２５の統合方法修正
処理で求められた統合方法を調べて、接触文字と推定さ
れる文字を探し出す。例えば、統合された文字列のう
ち、文字認識結果の類似度が低く、単一の構成要素から
成るものを接触文字の候補とするようにしている。次い
で、ステップＳ２７に進み、接触文字分割処理を実行す
る。

【００３８】この場合、ステップＳ２６の接触文字推定
処理で接触文字の可能性があると判断された文字を複数
の方法で分割する。ここでの複数の分割法は、例えば、
全角文字として分割する方法、半角文字として分割する
方法、隣接する文字と統合してから分割する方法などが
ある。全角文字として分割する方法では、その文字の文
字幅ｗとステップＳ２４の平均値計算処理で得られた平
均文字ピッチｐを用いて、接触文字数ｎを ｎ＝（ｗ＋ｐ／２）／ｐ より計算して、接触文字候補をｎ個に等分割するように
なる。また、半角文字として分割する方法は、接触文字
数ｍを ｍ＝（ｗ＋ｐ／４）＊２／ｐ から求めて、接触文字候補をｍ個に等分割する。

【００３９】さらに隣接文字と統合してから分割する方
法は、図７で示すような分離文字が接触した場合に適応
する。ここでは、接触文字候補を隣接文字と統合した場
合の文字幅ｗ´から接触文字数ｎ´を ｎ´＝（ｗ´＋ｐ／２）／ｐ

【００４０】から求めてｎ´個に等分割する。ただし、
統合することのできる隣接文字は、類似度が低いか文字
幅が狭い場合に限る等の条件をつけて、候補の数を少な
くして処理量を制限することが望ましい。このようにし
て、さまざまな方法で分割された文字の画像信号は文字
認識部５に送られるようになる。そして、最後にステッ
プＳ２８の分割方法決定処理が実行される。

【００４１】この場合、ステップＳ２７の接触文字分割
処理で分割された複数の分割方法のうち、最も評価関数
の値が高い分割方法を選択する。この場合の評価関数に
は様々なものが考えられるが、例えば、ステップＳ２５
の統合方法修正処理で統合された各文字ごとに得点を与
え、その得点の総和を評価関数とすることが考えられ
る。ここで各文字に与える得点は、その文字を分割しな
い場合には、その文字の類似度とし、分割した場合に
は、分割された結果のそれぞれの文字の類似度の平均値
（あるいは、最小値または最大値でもよい）を用いるよ
うにする。

【００４２】例えば、図８（ａ）に示すような文字構成
要素ａ、ｂ、ｃ、ｄの統合結果が得られたとする。この
場合、文字構成要素ｂの類似度が低いとすると、以下述
べるような、さまざまな分割方法が考えられる。

【００４３】この場合、図８（ｂ）は、全角文字と考え
た場合の分割であり、同図（ｃ）は、半角文字と考えた
場合の分割である。また、図９（ａ）〜（ｃ）は、分離
文字の接触を仮定した場合の分割であり、それぞれ
（ａ）は文字構成要素ｂをａと統合した後に分割してお
り、（ｂ）は文字構成要素ｂをｃと統合した後に分割し
ており、（ｃ）は文字構成要素ｂをａおよびｃと統合し
た後に分割している。そして、それぞれの場合の各文字
構成要素への得点の与え方は次のようにしている。

【００４４】まず、図８（ａ）の場合は、各文字構成要
素ａ、ｂ、ｃ、ｄには、それぞれの類似度Ｃa1、Ｃa2、
Ｃa3、Ｃa4を与える。また、図８（ｂ）の場合は、文字
構成要素ａ、ｃ、ｄについては上述したと同様に類似度
を与え、文字構成要素ｂについては分割線ｌ1 で分割さ
れ生成された各文字構成要素についての類似度Ｃb1、Ｃ
b2の平均値を与える。さらに図８（ｃ）の場合は、文字
構成要素ａ、ｃ、ｄについては上述したと同様に類似度
を与え、文字構成要素ｂについては分割線ｌ1、ｌ2 、
ｌ3 で分割され生成された各文字構成要素についての類
似度Ｃc1、Ｃc2、Ｃc3、Ｃc4の平均値を与える。

【００４５】一方、図９（ａ）の場合は、文字構成要素
ｃ、ｄについては上述したと同様に類似度を与え、文字
構成要素ａ、ｂについては、これらを統合してから分割
線ｌ1 、ｌ2 で分割して生成された各文字構成要素につ
いての類似度Ｃd1、Ｃd2、Ｃd3の平均値を与える。ま
た、図９（ｂ）の場合は、文字構成要素ａ、ｄについて
は上述したと同様に類似度を与え、文字構成要素ｂ、ｃ
については、これらを統合してから分割線ｌ1 、ｌ2 で
分割して生成された各文字構成要素についての類似度Ｃ
e1、Ｃe2、Ｃe3の平均値を与える。そして、図９（ｃ）
の場合は、文字構成要素ｄについては上述したと同様に
類似度を与え、文字構成要素ａ、ｂ、ｃについては、こ
れらを統合してから分割線ｌ1 、ｌ2 で分割して生成さ
れた各文字構成要素についての類似度Ｃf1、Ｃf2、Ｃf3
の平均値を与える。

【００４６】このようにして上述のそれぞれの場合につ
いて、文字構成要素ａ、ｂ、ｃ、ｄの類似度の得点の総
和を求めて評価関数の値とし、それが最大になる文字の
分割の仕方を最終的な結果とする。

【００４７】この場合、評価関数を最大にする接触文字
の分割方法の探索は、図１０に示すようなグラフ上を左
から右にたどった場合の最大得点を得る経路を探索する
のと等価であり、動的計画法で効率的に解くことができ
る。この場合、a1,a2,a3,a4,b1,b2,c1,c2,c3,c4,d1,d2,
d3,e1,e2,e3,f1,f2,f3 は、上述した方法により求めら
れた類似度Ｃa1、Ｃa2、Ｃa3、Ｃa4、Ｃb1、Ｃb2、Ｃc
1、Ｃc2、Ｃc3、Ｃc4、Ｃd1、Ｃd2、Ｃd3、Ｃe1、Ｃe
2、Ｃe3、Ｃf1、Ｃf2、Ｃf3のそれぞれの得点を示して
いる。

【００４８】なお、ここで述べた評価関数は、文字構成
要素の得点として類似度を用いずに信頼度を用いること
もできる。また、平均値ではなく最大値あるいは最小値
を用いることもできる。その他、本発明は上記実施例に
のみ限定されず、要旨を変更しない範囲で適宜変形して
実施できる。

【００４９】

【発明の効果】以上説明したように本発明によれば、文
字行から抽出される分離有意文字や接触文字の混在する
文字の構成要素から平均的な文字幅、文字ピッチが求め
られ、これら平均的な文字幅、文字ピッチに基づいて文
字行から分離有意文字や接触文字を含む各文字の切り出
しを行うことができるようになるので、文字のサイズ等
の情報をあらかじめ与えなくても、不定ピッチで印字さ
れ、分離有意文字や接触文字の混在する文字列であって
も、高い精度で各文字を切り出すことができ、正確な文
字認識を実現できることになる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成を示すブロック
図。

【図２】図１に示す実施例での文字切り出し部の処理の
流れを示すフローチャート。

【図３】図２に示すフローチャートの構成要素抽出処理
を説明するための図。

【図４】図２に示すフローチャートの構成要素抽出処理
の他の例を説明するための図。

【図５】図２に示すフローチャートの構成要素統合処理
を説明するための図。

【図６】図２に示すフローチャートの統合方法決定処理
を説明するための図。

【図７】図２に示すフローチャートの接触文字分割処理
を説明するための図。

【図８】図２に示すフローチャートの分割方法決定処理
を説明するための図。

【図９】図２に示すフローチャートの分割方法決定処理
を説明するための図。

【図１０】図２に示すフローチャートの分割方法決定処
理を説明するための図。

【符号の説明】

１…印刷原稿、２…画像入力部、３…文字行切出し部、
４…文字切出し部、５…文字認識部、６…出力部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 文書画像から文字行を切り出すとともに
   該文字行から各文字を切り出し文字認識を行う文字認識
   装置において、 文書画像から切り出される文字行から分離有意文字の混
   在する文字の構成要素を抽出する構成要素抽出手段と、 この構成要素抽出手段により抽出された文字構成要素に
   基づいて平均的な文字幅を算出する文字幅算出手段と、 この文字幅算出手段で算出された平均的文字幅に基づい
   て前記文字行から分離有意文字を含む各文字の切り出し
   を行う文字切り出し手段とを具備したことを特徴とする
   文字認識装置。
2. 【請求項２】 文書画像から文字行を切り出すとともに
   該文字行から各文字を切り出し文字認識を行う文字認識
   装置において、 文書画像から切り出される文字行から接触文字の混在す
   る文字の構成要素を抽出する構成要素抽出手段と、 この構成要素抽出手段により抽出された文字構成要素に
   基づいて平均的な文字ピッチを算出する文字ピッチ算出
   手段と、 この文字ピッチ算出手段で算出された平均的文字ピッチ
   に基づいて前記文字行から接触文字を含む各文字の切り
   出しを行う文字切り出し手段とを具備したことを特徴と
   する文字認識装置。
3. 【請求項３】 文書画像から文字行を切り出すとともに
   該文字行から各文字を切り出し文字認識を行う文字認識
   装置において、 文書画像から切り出される文字行から分離有意文字およ
   び接触文字の混在する文字の構成要素を抽出する構成要
   素抽出手段と、 この構成要素抽出手段により抽出された文字構成要素に
   基づいて平均的な文字幅および文字ピッチを算出する文
   字幅文字ピッチ算出手段と、 この文字幅文字ピッチ算出手段で算出された平均的文字
   幅および文字ピッチに基づいて前記文字行から分離有意
   文字および接触文字を含む各文字の切り出しを行う文字
   切り出し手段とを具備したことを特徴とする文字認識装
   置。