JP4281236B2

JP4281236B2 - 画像認識装置、画像認識方法、および、画像認識プログラムを記憶したコンピュータ読取り可能な記録媒体

Info

Publication number: JP4281236B2
Application number: JP2000294881A
Authority: JP
Inventors: 昌裕小澤
Original assignee: Konica Minolta Business Technologies Inc
Current assignee: Konica Minolta Business Technologies Inc
Priority date: 2000-09-27
Filing date: 2000-09-27
Publication date: 2009-06-17
Anticipated expiration: 2020-09-27
Also published as: JP2002109470A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の一部に存在する傾斜配置された文字を文字認識する画像認識技術に関する。
【０００２】
【従来の技術】
従来から、スキャナなどで読み取って得られた画像から文字や表のレイアウトを認識する光学式文字読取（ＯＣＲ）技術が知られている。この技術において文字の認識率を高めるためには、文字の並んでいる向き、あるいは、文字自体の向きを文字認識方向に応じて所定の方向に含わせる必要がある。このため、文字認識を行う前に画像全体の向きを補正して、画像内の文字の向きと文字認識方向との関係を調整する技術が提案されている（例えば、特開平１１−９６２９８号、特開平１１−９６２９９号、特開平１１−３９４２８号、特開平８−４４８１９号、および、特開平６−２０８６５２号の各公報を参照）。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の技術においては、図３、図１０に示すように画像の一部に他の文字に対して傾斜して配置される文字が存在する場合、この傾斜配置された文字に対する文字認識を充分に行うことができなかった。
【０００４】
本発明の目的は、画像の一部に存在する傾斜配置された文字をも精度よく認識し得る画像認識技術を提供することである。
【０００５】
【課題を解決するための手段】
上記目的を達成するための本発明は、各請求項ごとに次のように構成される。
【０００６】
（１）第１方向に沿って配置された文字と、前記第１方向とは異なる第２方向に沿って配置された文字とが混在する画像から、前記第２方向に沿って配置された文字を含む画像領域を、画像データを解析することによって抽出する抽出部と、
前記第１方向に沿って文字認識を行う文字認識部と、
前記第１方向に対して前記第２方向がなす角度を検出する角度検出部と、
検出した角度に基づいて、前記文字認識部の文字認識方向と前記第２方向に沿って配置された文字とがなす相対的な角度を補正する角度補正部と、を有し、
前記抽出部は、前記文字認識部の認識対象となる領域を外接矩形領域として抽出し、抽出された外接矩形領域のサイズが所定サイズよりも大きい場合に、前記第２方向に沿って配置された文字を含む画像領域とし、
前記角度検出部は、外接矩形領域における２つの対角線に沿った方向に画素の分布を表すヒストグラムを作成し、前記ヒストグラムに応じて角度を検出し、
角度補正後に前記第２方向に沿って配置された文字の文字認識を行うことを特徴とする画像認識装置である。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しつつ説明する。
【００１５】
（第１の実施の形態）
図１は、画像認識装置の概略構成を示すブロック図である。
【００１６】
画像認識装置１０は、原稿を読み取り、画像を入力する画像入力部１１と、入力された画像に対して文字認識処理などを行う画像処理部１２と、画像処理された画像を用紙上に印刷出力する画像出力部１３と、ユーザが画像認識装置１０を操作するための操作パネル部１４と、上記各部を制御する制御部１５と、を有する。
【００１７】
操作パネル１４は、操作に関する各種情報などを表示する表示部と、操作キーからなる指示入力部と、を有する。ユーザは、表示部の各種情報に応じ、指示入力部を用いて、画像の入力指示や画像出力方法の選択指示などを行う。
【００１８】
制御部１５は、画像入力部１１、操作パネル部１４、画像出力部１３および画像処理部１２とのデータ通信を行うための入力Ｉ／Ｆ部２２、パネルＩ／Ｆ部２３、出力Ｉ／Ｆ部２４を有しており、これらＩ／Ｆ部を介して、ＣＰＵ２１が各部の制御を行う。
【００１９】
なお、画像入力部１１は第１の実施の形態においてはスキャナなどの画像読取装置であるが、通信回線から画像を入力するファクシミリ等の装置であってもよい。また、画像出力部１３は、画像を表示するディスプレイであってもよい。
【００２０】
次に、画像処理部１２について説明する。
【００２１】
画像処理部１２は、文書認識部３１と、領域分離部３２と、ビットマップ処理部３３と、ベクタ変換部３４と、２値化処理部３５と、合成部３６と、メモリ３７と、フォーマット変換部３８と、を有する。
【００２２】
文書認識部３１は、入力された画像から文字画像を抽出し、抽出された文字画像を文字コードデータに変換する。具体的には、画像の濃度差（エッジ）に応じて、さまざまな大きさの矩形領域として切り出しを行い、矩形領域内で文字コードを認識し、文字コードが認識された矩形領域内の画像を文字画像として抽出し、文字コードデータに変換する。また、矩形領域として切り出されたが、文字画像として抽出されなかった画像、あるいは、認識確度の低い画像は、別途、２値化処理部３５にて２値化処理される。さらに、文書認識部３１は、文字画像のフォント種類、フォントサイズを認識する。なお、文書認識部３１で抽出可能な文字は、文字コードが割り当てられた、文字、記号、および、ユーザが作成・登録した外字などである。
【００２３】
領域分離部３２は、入力された画像から矩形領域として切り出された画像を消去し、さらに写真・網点写真画像と図形画像とに分離する。
【００２４】
ビットマップ処理部３３は、領域分離部３２にて分離された写真・網点写真画像に対して、スムージングやエッジ強調などの画像処理を行う。
【００２５】
ベクタ変換部３４は、領域分離部３２にて分離された図形画像をベクタデータに変換する。
【００２６】
合成部３６は、文書認識部３１から出力された文字コードデータと、ビットマップ処理部３３から出力された写真・網点写真画像と、ベクタ変換部から出力された図形画像と、２値化処理部３５から出力された２値化画像とを合成する。
【００２７】
メモリ３７は、合成部３６にて合成された画像を一時的に蓄積する。
【００２８】
フォーマット変換部３８は、画像出力部１３の出力フォーマットに応じて合成画像を任意のフォーマットに変換する。
【００２９】
次に、文書認識部３１における処理手順を、図２に示すフローチャートを用いて説明する。
【００３０】
まず、文書認識部３１に、画像入力部１１から、例えば原稿１枚分を読み取って得られた画像データが入力され、文書認識部３１内の画像メモリ（図示せず）に記億される（Ｓ２０１）。文字認識の認識率を上げるため、画像データに対し、２値化処理およびノイズ除去処理を行う（Ｓ２０２、Ｓ２０３）。２値化処理、ノイズ除去処理を施され、文字画像が鮮明となった画像データに対し、画像データの矩形の各辺に対して平行な辺で構成される矩形（例えば、図３に示す外接矩形４４、外接矩形４５、外接矩形４６）にて外接矩形を作成する（Ｓ２０４）。
【００３１】
図３に、第１方向（横方向）に沿って配置された文字４１と、第１方向とは異なる第２方向（右斜め上がり方向）に沿って配置された文字４２、４３とが混在する画像４０の一例が示される。外接矩形４４は、第１方向に沿って配置された個々の文字４１に外接し、外接矩形４５は、第２方向に沿って配置された複数個の文字４２からなる文字列を含む画像領域に外接し、外接矩形４６は、第２方向に沿って配置された複数個の文字４３からなる文字列を含む画像領域に外接する。
【００３２】
図示するように、第１の実施の形態では、傾斜配置された個々の文字４２、４３の外接矩形を抽出せずに、複数個の傾斜配置文字４２、４３からなる文字列（以下、「傾斜文字列」とも言う）の外接矩形４５、４６を抽出する。
【００３３】
次に、各外接矩形４４〜４６内の画像データに対して特徴抽出、あるいはパターンマッチングなどの手法により、文字認識を行い、矩形内の画像データを文字コードデータに変換する（Ｓ２０５）。この矩形内の文字認識において、文字認識の確からしさが認識確度として矩形領域ごとに出力される。第１の実施の形態において、認識確度は１〜５の５段階あり、「５」が最も文字認識が確からしいとする数値である。この認識確度の値が小さい場合には、図３の外接矩形４５、外接矩形４６に示すように、傾斜文字列である可能性がある。
【００３４】
そこで、第１の実施の形態においては、認識確度が「４」未満のときに（Ｓ２０６：ＮＯ）、傾斜文字列検出処理（Ｓ２０７）を行う。認識確度が「４」以上のときには（Ｓ２０６：ＹＥＳ）、Ｓ２０５の文字コード変換処理で得られた文字コードデータを出力する（Ｓ２０８）。
【００３５】
全ての矩形領域に対して文字コードデータの出力が終了であれば（Ｓ２０９：ＹＥＳ）、文書認識処理を終了し、未出力の矩形領域があれば（Ｓ２０９：ＮＯ）、Ｓ２０５に戻り、文字コードデータ変換処理を行う。
【００３６】
次に、傾斜文字列検出処理（Ｓ２０７）を、図４に示すフローチャートを用いて説明する。
【００３７】
まず、外接矩形の面積が大きい場合に傾斜文字列である可能性が高いことから、所定面積Ｓと外接矩形の面積とを比較する（Ｓ４０１）。所定面積Ｓは、例えば全矩形領域の面積の平均面積とする。外接矩形面積が所定面積Ｓ以下の場合には、認識確度が低くとも、傾斜文字列とはせず、傾斜文字列検出処理から抜ける（Ｓ４０１：ＮＯ）。外接矩形面積が所定面積Ｓよりも大きい場合には（Ｓ４０１：ＹＥＳ）、外接矩形の対角線を横軸Ｘとする濃度ヒストグラムを作成する（Ｓ４０２）（図５参照）。
【００３８】
図５（Ａ）に、図３に示した外接矩形４６が示され、同図（Ｂ）および（Ｃ）に、当該外接矩形４６の対角線に沿って作成した濃度ヒストグラム４７、４８が示される。図５（Ｂ）および（Ｃ）に示されるように、２つの濃度ヒストグラム４７、４８のうちの一方が横軸Ｘの中央に濃度が集中し、他方が横軸Ｘの全体に断続的な濃度分布を示すという特徴を有する場合には、外接矩形４６内の画像データは傾斜文字列であると判断する（Ｓ４０３：ＹＥＳ）。上記の特徴がない場合には、傾斜文字列とはせず、傾斜文字列検出処理から抜ける（Ｓ４０３：ＮＯ）。
【００３９】
次に、断続的な濃度分布を有する濃度ヒストグラム４８の横軸Ｘすなわち外接矩形の対角線が元の画像データとなす角度を傾斜文字列の傾斜角度と決定する（Ｓ４０４）。決定した傾斜角度に基づいて、外接矩形４６内の画像データの傾きを補正する（Ｓ４０５）。傾きが補正された傾斜文字列に対して外接矩形を再度作成する（Ｓ４０６）。このときは図６に示すように、外接矩形４９の大きさは一文宇の大きさとして作成される。作成された新しい外接矩形４９内の画像データを文字コードデータに変換する（Ｓ４０７）。そして、元の外接矩形４６内の画像データと一致するように認識結果を再配置するために必要なデータ、つまり、変換後の文字コードデータの出力位置および傾きを算出する（Ｓ４０８）。
【００４０】
上記のとおり、傾斜文字列の場合には、外接矩形領域の２つの対角線に沿う濃度ヒストグラムに応じて傾斜角度を求め、文字認識方向と傾斜文字列の配置方向とがなす相対的な角度を補正した後に傾斜文字列の文字認識を行うため、画像の一部に存在する傾斜文字列をも精度よく認識することが可能となる。
【００４１】
なお、文書認識部３１の認識対象となる領域を外接矩形領域として抽出するとき、傾斜文字列に外接する矩形できちんと切り出すことができずに、外接矩形から傾斜文字列の一部がはみ出ることが生じ得る。このような場合、外接矩形領域からはみ出ている画像データについても、ヒストグラム４７、４８の対象とすれば、傾斜文字列の検出精度が向上する。
【００４２】
そこで、第１の実施の形態では、外接矩形４５、４６の内部の黒画素と連結ないし連続する黒画素についても、濃度ヒストグラム４７、４８を作成する際のデータとして採用する。さらに、外接矩形４５、４６内の画像データの傾きを補正するときには（Ｓ４０５）、外接矩形４５、４６内の画像データと連結した画像データについても、傾き補正の対象としてある。これにより、傾斜文字列をさらに精度よく認識することができる。
【００４３】
第１の実施の形態では、傾斜文字列であるか否かの判断に要する時間を短くする観点から、外接矩形における２つの対角線に沿った方向に濃度ヒストグラム４７、４８を作成した。但し、傾斜文字列の傾斜角度の検出精度を高めるために、次のように改変してもよい。濃度ヒストグラムを作成する方向を対角線の方向から一定の角度ずつ変化させ、得られた複数の濃度ヒストグラムの中から、図５（Ｂ）のような形状を示す濃度ヒストグラムの傾きを、傾斜文字列の傾斜角度としてもよい。同様に、濃度ヒストグラムを作成する方向を水平方向または垂直方向から一定の角度ずつ変化させ、得られた複数の濃度ヒストグラムの中から、図５（Ｂ）のような形状を示す濃度ヒストグラムの傾きを、傾斜文字列の傾斜角度としてもよい。
【００４４】
所定面積Ｓは、文字認識により得られたフォントサイズからフォントサイズの平均値を算出し、この平均値に基づいて決定してもよい。
【００４５】
（第２の実施の形態）
図７は、第２の実施の形態における傾斜文字列検出処理を示すフローチャート、図８は、個々の傾斜配置文字４３の外接矩形５１を示す図である。なお、第２の実施の形態における画像認識装置の構成および文書認識処理手順は、図１および図２に示したものと同じであるため、図示を省略する。
【００４６】
図７に示すフローチャートを参照して、まず、ステップＳ２０４（図２）において作成された外接矩形４６内の画像データから、個々の傾斜配置文字４３の外接矩形５１を作成する（Ｓ７０１）。
【００４７】
図８に、複数個の外接矩形５１が、その一部が重なりながら、一定の方向に並んでいる状態が示される。このように複数個の外接矩形５１が一定の方向に並んでいる場合には、外接矩形４６内の画像データは傾斜文字列であると判断する（Ｓ７０２：ＹＥＳ）。複数個の外接矩形５１の並び方向が一定でない場合には、認識確度が低くとも、傾斜文字列とはせず、傾斜文字列検出処理から抜ける（Ｓ７０２：ＮＯ）。
【００４８】
次に、複数個の外接矩形５１が並ぶ方向に基づいて、傾斜文字列の傾斜角度を決定する（Ｓ７０３）。具体的には、個々の外接矩形５１における対角線の傾きを平均した値、あるいは、個々の外接矩形５１における一の角部（例えば、右下の角部）を接続してなる線分の傾きに基づいて、傾斜角度を決定する。決定した傾斜角度に基づいて、それぞれの外接矩形５１内の画像データの傾きを補正し（Ｓ７０４）、傾きが補正された個々の傾斜配置文字４３に対して外接矩形を再度作成する（Ｓ７０５）。図６に示したように、外接矩形４９の大きさは一文宇の大きさとして作成される。そして、作成された新しい外接矩形４９内の画像データを文字コードデータに変換し（Ｓ７０６）、認識結果を再配置するために必要な変換後の文字コードデータの出力位置および傾きを算出する（Ｓ７０７）。
【００４９】
上記のとおり、傾斜文字列の場合には、個々の傾斜配置文字の複数個の外接矩形領域が並ぶ方向に応じて傾斜角度を求め、文字認識方向と傾斜文字列の配置方向とがなす相対的な角度を補正した後に傾斜文字列の文字認識を行うため、画像の一部に存在する傾斜文字列をも精度よく認識することが可能となる。
【００５０】
なお、前述したように、個々の外接矩形５１から傾斜配置文字４３の一部がはみ出ることがあるので、外接矩形５１内の画像データと連結した画像データについても、傾き補正の対象とし、個々の傾斜配置文字４３の文字認識精度を高めるのが好ましい。
【００５１】
（第３の実施の形態）
図９は、第３の実施の形態における傾斜文字列検出処理を示すフローチャート、図１０は、第１方向（横方向）に沿って配置された文字６１と、第１方向とは異なる第２方向（右斜め上がり方向）に沿って配置された文字６２と、第１方向に対して傾斜する線分６３とを含む画像６０の一例を示す図である。なお、第３の実施の形態における画像認識装置の構成および文書認識処理手順は、図１および図２に示したものと同じであるため、図示を省略する。
【００５２】
図９に示すフローチャートを参照して、まず、ステップＳ２０４（図２）において作成された外接矩形４６内の画像データから、傾斜線分６３を抽出する（Ｓ９０１）。
【００５３】
図１０に示すように、一般的な文書中に傾斜配置文字６２が存在する場合において、当該傾斜配置文字６２は、傾斜線分６３の説明として、当該傾斜線分６３の近傍に記載されていることが多い。第３の実施の形態ではこの点に着目し、外接矩形４６内の画像データから傾斜線分６３を抽出できた場合には、傾斜文字列であると判断する（Ｓ９０２：ＹＥＳ）。傾斜線分６３を抽出できなかった場合には、認識確度が低くとも、傾斜文字列とはせず、傾斜文字列検出処理から抜ける（Ｓ９０２：ＮＯ）。
【００５４】
次に、抽出した傾斜線分６３が元の画像データとなす角度を傾斜文字列の傾斜角度と決定する（Ｓ９０３）。決定した傾斜角度に基づいて、外接矩形４６内の画像データの傾きを補正し（Ｓ９０４）、傾きが補正された傾斜文字列に対して外接矩形を再度作成する（Ｓ９０５）。このときは図６に示したように、外接矩形４９の大きさは一文宇の大きさとして作成される。そして、作成された新しい外接矩形４９内の画像データを文字コードデータに変換し（Ｓ９０６）、認識結果を再配置するために必要な変換後の文字コードデータの出力位置および傾きを算出する（Ｓ９０７）。
【００５５】
上記のとおり、傾斜線分６３の近傍に存在する傾斜文字列の場合に、傾斜線分６３の傾きを傾斜文字列の傾斜角度とし、文字認識方向と傾斜文字列の配置方向とがなす相対的な角度を補正した後に傾斜文字列の文字認識を行うため、画像の一部に存在する傾斜文字列をも精度よく認識することが可能となる。
【００５６】
（第３の実施の形態の変形例）
ベクタ変換部３４により変換されたベクタデータに基づいて傾斜線分が含まれるか否かを判断し、傾斜線分を抽出した場合に、文書認識部３１により文書認識を再度行うようにしてもよい。この場合、文書認識部３１は、まず、抽出された傾斜線分を対角線とする外接矩形を形成し、ベクタデータから検出された傾斜線分の傾きを、傾斜文字列の傾斜角度と決定する。以後は、上述したステップＳ９０４〜Ｓ９０７と同様の処理を行う。
【００５８】
（その他の変形例）
出力処理として印刷や表示する形態を示したが、印刷／表示とともに、または印刷／表示に代えて、認識結果を例えばＰＤＦファイル形式などで記憶媒体に出力し保存してもよい。この場合、記憶媒体に保存した認識結果は、ユーザからの使用要求に応じ、当該ユーザに対してメールなどで送信される。これにより、ユーザは、認識結果を後編集できる。
【００５９】
さらに、本発明による画像認識技術は、例えば、ＯＣＲ処理を行うアプリケーションソフトに搭載することも可能である。
【００６０】
【発明の効果】
以上説明した本発明によれば、請求項ごとに以下のような効果を奏する。
【００６１】
請求項１に記載の画像認識装置によれば、第１方向に沿って配置された文字列と、第１方向とは異なる第２方向に沿って配置された文字とが混在する画像から、第２方向に沿って配置された文字をも精度よく認識することができる。
【図面の簡単な説明】
【図１】画像認識装置の概略構成を示すブロック図である。
【図２】文書認識部における処理手順を示すフローチャートである。
【図３】第１方向に沿って配置された文字と、第１方向とは異なる第２方向に沿って配置された文字とが混在する画像の一例を示す図である。
【図４】第１の実施の形態における傾斜文字列検出処理を示すフローチャートである。
【図５】図５（Ａ）は、複数個の傾斜配置文字からなる文字列の外接矩形を示す図、同図（Ｂ）（Ｃ）は、当該外接矩形の対角線に沿って作成した濃度ヒストグラムを示す図である。
【図６】傾きが補正された傾斜文字列に対して再度作成する外接矩形を示す図である。
【図７】第２の実施の形態における傾斜文字列検出処理を示すフローチャートである。
【図８】個々の傾斜配置文字の外接矩形を示す図である。
【図９】第３の実施の形態における傾斜文字列検出処理を示すフローチャートである。
【図１０】第１方向に沿って配置された文字と、第１方向とは異なる第２方向に沿って配置された文字と、第１方向に対して傾斜する線分とを含む画像の一例を示す図である。
【符号の説明】
１０…画像認識装置
１１…画像入力部
１２…画像処理部
１３…画像出力部
１５…制御部
４０、６０…画像
４１、６１…第１方向に沿って配置された文字
４２、４３、６２…傾斜配置文字（第１方向とは異なる第２方向に沿って配置された文字）
４４、４５、４６…外接矩形
４７、４８…ヒストグラム
４９…傾きが補正された傾斜文字列に対して再度作成する外接矩形
５１…個々の傾斜配置文字の外接矩形
６３…傾斜線分（第１方向に対して傾斜する線分）

Claims

第１方向に沿って配置された文字と、前記第１方向とは異なる第２方向に沿って配置された文字とが混在する画像から、前記第２方向に沿って配置された文字を含む画像領域を、画像データを解析することによって抽出する抽出部と、
前記第１方向に沿って文字認識を行う文字認識部と、
前記第１方向に対して前記第２方向がなす角度を検出する角度検出部と、
検出した角度に基づいて、前記文字認識部の文字認識方向と前記第２方向に沿って配置された文字とがなす相対的な角度を補正する角度補正部と、を有し、
前記抽出部は、前記文字認識部の認識対象となる領域を外接矩形領域として抽出し、抽出された外接矩形領域のサイズが所定サイズよりも大きい場合に、前記第２方向に沿って配置された文字を含む画像領域とし、
前記角度検出部は、外接矩形領域における２つの対角線に沿った方向に画素の分布を表すヒストグラムを作成し、前記ヒストグラムに応じて角度を検出し、
角度補正後に前記第２方向に沿って配置された文字の文字認識を行うことを特徴とする画像認識装置。