JP4209511B2

JP4209511B2 - 文字認識方法、文字認識装置および文字認識方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP4209511B2
Application number: JP27429998A
Authority: JP
Inventors: 秀明山形
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-09-11
Filing date: 1998-09-11
Publication date: 2009-01-14
Anticipated expiration: 2018-09-11
Also published as: JP2000090202A

Description

【０００１】
【発明の属する技術分野】
本発明は，入力文字画像を行単位に分離し，行順に文字認識する際に，前行までの認識処理で得られた確信度の高い文字画像を用い，文字認識時におけるマッチング効率を向上させ，高精度の文字認識を実現する文字認識方法，文字認識装置および文字認識方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来より，ＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅａｄｅｒ；光学式文字読取装置）などを介して入力された文字画像を認識する場合，特開平８−２２１５１９号公報や特開平９−１０６４４１号公報，特開平９−２１２５８３号公報，特開平９−２９７８１６号公報に開示されているように，同じ形状の画像同士の位置関係などから，文字画像としてもっともらしいものを抽出している。
【０００３】
例えば，特開平９−２９７８１６号公報においては，同じ形状の画像についてグルーピングを行い，各グループの画像の連接関係，位置関係，包含関係などを利用して文字画像としてもっともらしいものを選択している。また，特開平５−１８２０１４号公報においては，文字認識の際に得られる様々な情報を統合して各文字認識結果に対するもっともらしさを算出している。
【０００４】
また，文字認識においては，文字切り出しと認識処理／言語処理は相互に密接な関係であることが多い。典型的な例としては，認識処理／言語処理の結果に応じて文字切り出し位置を変更するなどの手法がある。
【０００５】
【発明が解決しようとする課題】
しかしながら，上記に示されるような従来の技術にあっては，同じ形状の画像同士の位置関係などから，文字画像としてもっともらしいものを抽出する際に，例えば日本語活字文字の認識においては，異なる文字画像中に同一の形状の部分（「ば」や「ぶ」の濁点，「は」や「に」などの分離文字の右側分離部分など）が含まれている場合が多いため，必ずしも正確な文字認識結果が得られない場合がある。
【０００６】
また，特開平５−１８２０１４号公報の文字認識方法にあっては，文字認識の各処理から出力される情報に基づいて認識結果のもっともらしさを出力しているが，上述した如く日本語活字などでは同じ形状の文字部分が多いため，認識処理における相違度のみでは認識結果のもっともらしさを正確に得ることができない。つまり，文字画像としてのもっともらしさを得るには画像の形状だけの情報では不十分である。
【０００７】
本発明は，上記に鑑みてなされたものであって，算出された確信度と同じ形の矩形を抽出する手法を用い，画像を一時的に保存・利用するキャシングにより，文字認識時におけるマッチング効率を向上させ，高精度の文字認識を実現することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するための，本発明の文字認識方法にあっては，複数の所定範囲毎に，夫々に含まれる文字画像を対象として順次文字認識を行う文字認識方法であって，所定範囲内の画像から文字画像の切り出し処理を行う文字切り出し工程と，切り出された文字画像の中から該文字画像の文字認識を行う前に同じ形状の文字画像を抽出する文字抽出工程と，前記文字抽出工程において抽出された文字画像以外の文字画像を対象として，該文字画像の特徴量と認識用パターンの特徴量とを比較することにより文字認識を行う文字認識工程と，前記文字認識工程による文字認識結果に対し言語処理を行うことにより，該文字認識結果の選択を行う後処理工程とを含み，第１所定範囲に含まれる文字画像を対象として文字認識を行う場合，前記文字抽出工程では前記第１所定範囲内で同じ形状の文字画像を抽出し，前記文字認識工程では抽出された該形状の特徴量と認識用パターンの特徴量とも比較する一方，前記第１所定範囲とは異なる第２所定範囲に含まれる文字画像を対象として文字認識を行う場合，前記文字抽出工程では前記第１所定範囲に対する後処理工程での処理結果と同じ形状の文字画像を抽出し，前記文字認識工程では前記文字抽出工程において抽出された文字画像以外の文字画像のみを対象として文字認識を行うものである。
【００１５】
また，請求項２に係る文字認識装置にあっては，複数の所定範囲毎に，夫々に含まれる文字画像を対象として順次文字認識を行う文字認識装置であって，所定範囲内の画像から文字画像の切り出し処理を行う文字切り出し手段と，切り出された文字画像の中から該文字画像の文字認識を行う前に同じ形状の文字画像を抽出する文字抽出手段と，前記文字抽出手段において抽出された文字画像以外の文字画像を対象として，該文字画像の特徴量と認識用パターンの特徴量とを比較することにより文字認識を行う文字認識手段と，前記文字認識手段による文字認識結果に対し言語処理を行うことにより，該文字認識結果の選択を行う後処理手段とを含み，第１所定範囲に含まれる文字画像を対象として文字認識を行う場合，前記文字抽出手段は前記第１所定範囲内で同じ形状の文字画像を抽出し，前記文字認識手段は抽出された該形状の特徴量と認識用パターンの特徴量とも比較する一方，前記第１所定範囲とは異なる第２所定範囲に含まれる文字画像を対象として文字認識を行う場合，前記文字抽出手段は前記第１所定範囲に対する後処理手段での処理結果と同じ形状の文字画像を抽出し，前記文字認識手段は前記文字抽出手段において抽出された文字画像以外の文字画像のみを対象として文字認識を行うものである。
また，請求項３に係るコンピュータ読み取り可能な記録媒体にあっては，前記請求項１に記載された文字認識方法をコンピュータに実行させるプログラムを記録したものである。
【００１６】
【発明の実施の形態】
以下，本発明の文字認識方法、文字認識装置および文字認識方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体について添付図面を参照し，詳細に説明する。
【００１７】
（システムの構成）
図１は，本発明の実施の形態に係る文字認識方法を適用したシステムの構成を示すブロック図である。図において，１０１はスキャナやＯＣＲ，あるいはファクシミリ装置などを用い，認識対象画像を入力する画像入力装置，１０２は画像入力装置１０１を介して入力された認識対象画像を保存しておく画像メモリ，１０３は特定の特徴量を表す基準パターンが記憶されているパターン辞書，１０４は文字認識後の後処理時に用いられる言語辞書，１０５は前行までの認識結果の中で認識結果における確信度の高い文字画像が記憶される同一画像メモリである。
【００１８】
また，１０６はマッチング結果を保存し，その認識結果出力時に読み出される認識結果バッファ，１０７は画像メモリ１０２に保存してある認識対象画像を取り出し，その画像の行を切り出す行切り出し部，１０８は行切り出し部１０７で切り出された各行内の画像について文字切り出し処理を行う文字切り出し部，１０９は後述する同一文字抽出処理を行う同一文字画像抽出部である。
【００１９】
また，１１０はそれぞれの文字切り出し候補についてパターン辞書中の特徴量と画像から抽出した特徴量とのマッチング処理を行い，候補文字とのもっともらしさ（相違度）などを算出する文字認識部，１１１はマッチング結果選択，文字切り出し候補選択（言語処理）など幾つかの後処理を行う後処理部，１１２は認識結果を出力する出力装置である。
【００２０】
（文字認識動作例１）
次に，以上のように構成されたシステムにおける第１の文字認識手順例について説明する。図２は，本発明の実施の形態における第１の文字認識手順例を示すフローチャートである。まず，スキャナやＯＣＲなどの画像入力装置１０１から入力された認識対象となる原稿画像を入力し，画像メモリ１０２に保存する（Ｓ２０１）。
【００２１】
続いて，行切り出し部１０７において画像メモリ１０２に保存されている原稿画像に対し，行を切り出す処理を実行する（Ｓ２０２）。この行切り出し処理は，従来から知られている如何なる手法を用いてもよい。典型的な例としては，図３に示すように入力画像の射影をとり，その谷の部分で行を分離・抽出する方法がある。
【００２２】
以下，まず，１行目の処理について説明する。文字切り出し部１０８では各行内の画像について文字切り出し処理を実行する（Ｓ２０３）。この文字切り出し処理に関しても従来から知られている適当な手法を用いる。例えば，図４〜図６に示すように行内の画像の射影を用いた切り出し処理を行う（特開平９−２７４６４５号公報参照）。この射影は，入力され原稿画像の方向と同方向に取られ，原稿が横書きであれば，文字画像に対して射影が取られ，行矩形が得られる。このように，行方向の射影とその行の垂直方向の射影により文字画像を矩形として抽出する。
【００２３】
すなわち，図４に示すように画像の射影をとって文字切り出し位置候補を求め，さらに，図５の如くマッチングを行い，文字切り出し候補を選択し，図６に示すような最終結果を得る。しかし，図４に示す例のように日本語活字などの文書については，左右に分離した文字や，漢字の場合など偏と旁に分離する文字が存在するので，必ずしも文字切り出し処理で正しく切り出されるとは限らない。したがって，通常は複数の切り出し候補を抽出し（図５参照），後処理（言語処理）の結果に応じてもっともらしい切り出し位置を選出する（特開平９−２７４６４５号公報の文字切り出し処理などを参照）。
【００２４】
続いて，同一文字画像抽出部１０９において同一形状文字を抽出し（Ｓ２０４），その抽出した同一形状文字を同一画像メモリ１０５に保存する。続いて，文字認識部１１０により文字認識を行う（Ｓ２０５）。この文字認識においては，それぞれの文字切り出し候補についてパターン辞書１０３中の特徴量と画像から抽出した特徴量とのマッチング処理を行い，候補文字とそのもっともらしさ（相違度）などを算出する。
【００２５】
続いて，後処理部１１１により，言語辞書１０４を参照しながら，図５に示すようにマッチング結果選択・文字切り出し候補選択（言語処理）などいくつかの後処理を実行する（Ｓ２０６）。なお，これらの処理については既に本願同出願人より提案してある特開平９−１８２０１４号公報の処理を用いるとよい。
【００２６】
後処理を行った結果，図４に示すように一番もっともらしい文字切り出し位置で認識結果が得られることになる。また，特開平９−１８２０１４号公報に示すものと同様なような処理を用い，各文字に対する認識結果のもっともらしさ（確信度）を，文字認識処理の相違度などと比較し，言語処理などの情報を用いているので，高精度に算出することができる。よって，ここで算出された確信度の高い文字画像は正しく切り出され，かつ認識結果が正しい可能性が非常に高いと言える。
【００２７】
ここで認識結果を認識結果バッファ１０６に保存すると共に，確信度の高い文字画像をそのマッチング結果と一緒に同一画像メモリ１０５に保存する（Ｓ２０７）。例えば，図６に示す最終結果として確信度８０以上の文字を同一画像メモリ１０５に保存する。
【００２８】
続いて，２行目以降における処理を以下のように実行する。文字切り出し部１０８では１行目と同様に文字切り出し処理を行い，複数の切り出し候補を抽出する。図７〜図９に２行目以降における処理例を示す。
【００２９】
次に，文字認識部１１０においてマッチング処理を行う前に，同一文字画像抽出部１０９において切り出し候補の中から同一画像メモリ１０５に保存されている文字画像と同一形状の文字画像を探し出す。図７に示す例では，「す」が１行目において既に処理され，同一画像メモリ１０５に保存されているので，「す」については同一形状の文字画像が抽出される。
【００３０】
続いて，文字認識部１１０においては，同一形状の文字画像が抽出された「す」以外の文字についてマッチング処理を行い，「す」については１行目のマッチング結果を同一画像メモリ１０５から得るものとし，特徴抽出／マッチングなどの処理を行わない。よって，これらの処理を省略することで，処理が高速化される。
【００３１】
以降の処理については前述の１行目と同様の処理を実行する。最後の４行目の処理例について，図１０〜図１２を用いて説明する。また，それぞれの処理については２行目以降と同様の処理を実行する。
【００３２】
４行目では「人」「い」「う」「つ」「る」が３行までの処理で同一画像メモリ１０５に保存されているものとする。この場合，「人」「い」「う」「つ」「る」についてはマッチング結果が得られると共に，文字切り出し候補の絞り込みが行われるため，さらに効率よく処理時間を短縮することができる。また，これらの文字画像については確信度が高かったものであるので，文字切り出しが正しかった可能性が非常に高く，文字切り出し候補を高精度に絞り込むことができる。
【００３３】
続いて，５行目以降についての上述の同様の処理を実行し，最後の行の処理が終了したならば，出力装置１１２を介して認識結果を出力する（Ｓ２０８）。
【００３４】
したがって，以上説明したように確信度の高い，つまり，文字の形状のみではなく，言語情報などのさまざまな情報を用いて認識処理が行った結果，文字切り出し位置および認識結果の正しい可能性の非常に高い文字（文字画像）の情報を用いることで，高精度で，かつ高速に認識処理を行うことができる。
【００３５】
〔実施の形態２〕
次に，実施の形態１と同様のシステムの構成を用いて実施の形態１とは異なる文字認識方法について述べる。図１３は，本発明の実施の形態２に係る文字認識方法における４行目の処理手順を示すフローチャートである。つまり，ここでは，前述した図２の文字認識方法に対し，１行目の処理については同様であるが，２行目以降の処理において，文字切り出し処理を実行する前に同一画像の抽出を行う点が異なる。
【００３６】
この同一画像の抽出処理では，２行目以降における行内の画像について，例えば特開平８−２２１５１９号公報，特開平９−１０６４４１号公報，特開平９−２１２５８３号公報，特開平９−２９７８１６号公報などに示される手法によって，あらかじめ同一画像メモリ１０５中の文字画像と同一の文字画像を抽出する。
【００３７】
図１３に示す４行目の処理手順において，この時点で，同一画像メモリ１０５上の情報等は実施の形態１と同様のものとする。
【００３８】
この実施の形態２においては文字切り出し処理の前に同一画像メモリ１０５中の文字画像と同一の文字画像を抽出する。すなわち，図１４に示す例の場合には，この時点で文字「人」「い」「う」「つ」「る」が同一画像として抽出される。
【００３９】
続いて，残りの部分について文字切り出し処理を実行する。この場合，左右分離文字についてはすべて同一画像として抽出されるので，残りの部分については候補が１つずつになり，この分のマッチング量が減少すると共に，文字切り出し候補選択の処理が不要となる。さらに，上述の処理を行った後は，図２の処理と同様の処理を実行すればよいので，ここでの説明は省略する。
【００４０】
〔実施の形態３〕
次に，実施の形態１と同様のシステムの構成を用いて実施の形態１，２とは異なる文字認識方法について述べる。この実施の形態３では，マッチング結果を保存する処理以外の部分は実施の形態１と同じである。
【００４１】
実施の形態３では，マッチング結果を保存する際に，同じ画像が複数存在する場合，その複数の同一画像について最も確信度の高い文字画像／マッチング結果を同一画像メモリ１０５に保存する。この処理例を図１５に示す。
【００４２】
通常，画像入力装置１０１の精度などを考慮すると，同一画像の判定の際には多少の誤差を含んでおり，同一画像であると判定される場合でも，全く同じ画像であるとは限らない。したがって，同一画像であると判定される場合でもマッチング結果などが異なる場合がある。その場合，最も確信度の高い文字画像／マッチング結果を保存する（図１５参照）ことにより，以降の行における認識の精度向上を図ることができる（図１５参照）。
【００４３】
〔実施の形態４〕
次に，実施の形態１と同様のシステムの構成を用いて実施の形態１，２，３とは異なる文字認識方法について述べる。この実施の形態４では，実施の形態３と同様にマッチング結果を保存する処理以外の部分は実施の形態１と同じである。
【００４４】
実施の形態４では，マッチング結果を保存する際に，同じ画像が複数存在する場合，その複数の文字画像／マッチング結果を合成し，同一画像メモリ１０５に保存する。このマッチング結果の合成処理例を図１６に示す。画像の合成に関しては，入力される画像の特性に応じて，ＡＮＤ合成／ＯＲ合成などの手法を適宜用いればよい。
【００４５】
ところで，上述してきた実施の形態の他にその文字認識方法をソフトウェアによってコンピュータ上で実現することもできる。
【００４６】
【発明の効果】
以上説明したように，本発明に係る文字認識方法（請求項１），文字認識装置（請求項２）によれば，行数分繰り返し文字認識を実行する際に，前行までの認識結果の確信度の高い文字画像に対する文字画像を探し出す。つまり，文字の形状のみではなく，言語情報などのさまざまな情報を用いて認識処理を行い，文字切り出し位置および認識結果の正しい可能性の非常に高い文字画像の情報を用いるため，高精度で，かつ高速に認識処理を行うことができる。
【００４７】
また，本発明に係るコンピュータ読み取り可能な記録媒体（請求項３）によれば，請求項１に記載の文字認識方法をコンピュータに実行させるプログラムを記録したことにより，請求項１の文字認識動作をコンピュータによって実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る文字認識方法を適用したシステムの構成を示すブロック図である。
【図２】本発明の実施の形態１に係る文字認識手順例を示すフローチャートである。
【図３】本発明の実施の形態１における射影手法を用いた行切り出し例を示す説明図であり，（ａ）は入力画像，（ｂ）は射影，（ｃ）は行切り出し結果である。
【図４】本発明の実施の形態１における文字切り出し位置候補例について示す説明図である。
【図５】本発明の実施の形態１における文字切り出しのマッチング結果，マッチング結果選択，文字切り出し候補選択の各例について示す説明図である。
【図６】本発明の実施の形態１における文字切り出しの最終結果例を示す説明図である。
【図７】本発明の実施の形態１における２行目以降の文字切り出し例の文字切り出し位置候補，同一画像文字画像抽出結果の各例について示す説明図である。
【図８】本発明の実施の形態１における２行目以降の文字切り出し例のマッチング結果，文字切り出し候補選択の各例について示す説明図である。
【図９】本発明の実施の形態１における２行目以降の文字切り出し例の最終結果を示す説明図である。
【図１０】本発明の実施の形態１における４行目の文字切り出し例の文字切り出し位置候補，同一画像文字画像抽出結果の各例について示す説明図である。
【図１１】本発明の実施の形態１における４行目の文字切り出し例のマッチング結果，文字切り出し候補選択の各例について示す説明図である。
【図１２】本発明の実施の形態１における４行目の文字切り出し例の最終結果を示す説明図である。
【図１３】本発明の実施の形態２に係る文字認識手順例を示すフローチャートである。
【図１４】本発明の実施の形態２に係る文字認識方法における文字切り出し例を示す説明図であり，（ａ）は同一画像文字抽出結果，（ｂ）は文字切り出し位置候補である。
【図１５】本発明の実施の形態３に係る文字認識方法における文字切り出し例を示す説明図である。
【図１６】本発明の実施の形態４に係る文字認識方法における文字切り出し例を示す説明図である。
【符号の説明】
１０１画像入力装置
１０２画像メモリ
１０３パターン辞書
１０４言語辞書
１０５同一画像メモリ
１０６認識結果バッファ
１０７行切り出し部
１０８文字切り出し部
１０９同一文字画像抽出部
１１０文字認識部
１１１後処理部
１１２出力装置

Claims

複数の所定範囲毎に，夫々に含まれる文字画像を対象として順次文字認識を行う文字認識方法であって，
所定範囲内の画像から文字画像の切り出し処理を行う文字切り出し工程と，
切り出された文字画像の中から該文字画像の文字認識を行う前に同じ形状の文字画像を抽出する文字抽出工程と，
前記文字抽出工程において抽出された文字画像以外の文字画像を対象として，該文字画像の特徴量と認識用パターンの特徴量とを比較することにより文字認識を行う文字認識工程と，
前記文字認識工程による文字認識結果に対し言語処理を行うことにより，該文字認識結果の選択を行う後処理工程とを含み，
第１所定範囲に含まれる文字画像を対象として文字認識を行う場合，
前記文字抽出工程では前記第１所定範囲内で同じ形状の文字画像を抽出し，前記文字認識工程では抽出された該形状の特徴量と認識用パターンの特徴量とも比較する一方，
前記第１所定範囲とは異なる第２所定範囲に含まれる文字画像を対象として文字認識を行う場合，
前記文字抽出工程では前記第１所定範囲に対する後処理工程での処理結果と同じ形状の文字画像を抽出し，前記文字認識工程では前記文字抽出工程において抽出された文字画像以外の文字画像のみを対象として文字認識を行うことを特徴とする文字認識方法。
複数の所定範囲毎に，夫々に含まれる文字画像を対象として順次文字認識を行う文字認識装置であって，
所定範囲内の画像から文字画像の切り出し処理を行う文字切り出し手段と，
切り出された文字画像の中から該文字画像の文字認識を行う前に同じ形状の文字画像を抽出する文字抽出手段と，
前記文字抽出手段において抽出された文字画像以外の文字画像を対象として，該文字画像の特徴量と認識用パターンの特徴量とを比較することにより文字認識を行う文字認識手段と，
前記文字認識手段による文字認識結果に対し言語処理を行うことにより，該文字認識結果の選択を行う後処理手段とを含み，
第１所定範囲に含まれる文字画像を対象として文字認識を行う場合，
前記文字抽出手段は前記第１所定範囲内で同じ形状の文字画像を抽出し，前記文字認識手段は抽出された該形状の特徴量と認識用パターンの特徴量とも比較する一方，
前記第１所定範囲とは異なる第２所定範囲に含まれる文字画像を対象として文字認識を行う場合，
前記文字抽出手段は前記第１所定範囲に対する後処理手段での処理結果と同じ形状の文字画像を抽出し，前記文字認識手段は前記文字抽出手段において抽出された文字画像以外の文字画像のみを対象として文字認識を行うことを特徴とする文字認識装置。
請求項１に記載された文字認識方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。