JP5531493B2 - 文字認識装置、文字認識方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、文字画像を認識する文字認識装置、文字認識方法、プログラム及び記録媒体の分野に関する。

従来より、文書画像から文書内の文字画像の文字認識を行い、文字画像をテキストデータとして取得するＯＣＲ（Optical Character Reader）が知られている。ここで、この技術を利用して、新聞記事や雑誌記事などから文字を抽出する場合、見出し部分の画像文字認識に問題があった。

具体的に、新聞記事、雑誌記事、その他の文書などの「見出し」は白黒反転されている場合が多く、例えば日本語活字ＯＣＲのエンジンを活用し、見出しとして黒色下地に白色文字として描かれた文字画像（見出し文字という）をうまく抽出するには工夫が必要である。図１は、新聞記事の一例を示す図である。図に示されるように、新聞記事等の見出し（大見出し、小見出し）には、黒色下地内に白色文字を有する見出し領域が頻繁に用いられる。

これに関連する技術として、例えば、特許文献１には、文書・雑誌・新聞見出し等に使われる反転文字、縞模様中の文字を認識する文字認識方法の提供を目的で、２値画像の黒論理和縮小画像から黒８連結図形、白論理和縮小画像から白８連結図形を求め、文字候補パターンを抽出し、文字候補パターン中でランレングスの短いものは、ノイズとする特徴抽出を行ない、辞書の特徴ベクトルと比較し、文字を認識する構成が記載されている。

しかしながら、特許文献１に記載されるような、白黒画素の分布、ノイズなどから見出しを抽出して認識する方法は、見出し文字を抽出できるとしても、見出し文字以外の文字・要素を誤検出することがあり、副作用的に見出し文字以外の抽出精度が低くなってしまう。つまり、見出し文字以外の文字の抽出精度の点で改善の余地を有していた。

本発明は上記事情に問題に鑑みてなされたものであり、白色下地の黒色文字及び黒色下地の白色文字を含む文字画像から、精度良く文字認識及び文字抽出を行う文字認識装置、文字認識方法、プログラム及び記録媒体を提供することを目的とする。

本発明によれば上記課題を解決するため、黒色下地の白色文字を含む文字画像から文字認識を行う文字認識装置であって、文字認識用パターンの特徴量と、前記文字認識用パターンが白黒反転された反転文字認識用パターンの特徴量とが登録されたパターン辞書と、前記文字画像の特徴量と、前記反転文字認識用パターンの特徴量又は前記文字認識用パターンの特徴量とを比較することにより、前記文字画像の文字認識を行う文字認識手段と、前記文字認識手段により文字認識された認識文字を出力する出力手段とを備え、前記出力手段は、前記文字認識手段により前記反転文字認識用パターンの特徴量との比較に基づいて文字認識された場合、当該認識文字を白黒反転文字として出力し、前記文字認識用パターンの特徴量との比較により文字認識が行われた場合、当該認識文字を白黒反転されていない文字として出力する文字認識装置が提供される。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体などに適用したものも本発明の態様として有効である。

本発明によれば、黒色下地の白色文字を含む文字画像を、精度良く認識、抽出する文字認識装置、文字認識方法、プログラム及び記録媒体を提供することができる。

新聞記事の一例を示す図である。 本発明の一実施形態に係る文字認識装置１のハードウェア構成図である。 本発明の一実施形態に係る文字認識装置１の機能ブロック図である。 本実施形態に係るパターン辞書１６の特徴量レコード例を示す。 白黒反転した反転文字画像の例を示す図である。 文字認識装置１の文字認識動作を説明するフローチャートである。 文字領域識別の例を示す図である。

以下、本発明を実施するための形態を各実施形態において図面を用いて説明する。全ての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

＜構成＞
図２は、本発明の一実施形態に係る文字認識装置１のハードウェア構成図である。本実施形態に係る文字認識装置１は、ＣＰＵ１０、画像メモリ１１、スキャナ装置１２、外部記憶装置１３、通信装置１４、表示／入力装置１５、パターン辞書１６を含んで構成され、それぞれ相互に接続されている。

ＣＰＵ１０は、装置全体の制御を行なうとともに、画像メモリ１１に記憶された入力画像（文字画像）に対して文字認識処理を含む画像処理を実行する。画像メモリ１１は、ＲＡＭ（Random Access Memory）等から構成され入力画像を記憶する。入力画像は、原稿等を読み取るスキャナ装置１２、ハードディスクやCD/DVD/メモリカード等を含む外部記憶装置１３、又は外部ネットワークに接続された通信装置１４等、を介して入力される。

表示／入力装置１５は、文字画像（入力画像）を表示部にてプレビュー表示し、またユーザが文字領域を指定する操作等の入力操作を受付ける。パターン辞書１６は、各々のパターンレコードを格納している。

＜機能＞
図３は、本発明の一実施形態に係る文字認識装置１の機能ブロック図である。図に示されるように、文字認識装置は、画像入力部１００、文字認識部１０１、出力部１０２、パターン辞書１６を含む構成である。より詳しくは後述する動作において説明するため、ここでは各機能について簡単に説明する。

画像入力部１００は、文字認識処理の対象となる入力画像（文字画像）を装置（例えば画像メモリ１１）に入力する機能を有している。具体的には、スキャナ装置１２、ハードディスクやCD/DVD/メモリカード等を含む外部記憶装置１３、又は通信装置１４等がこれに相当する。

文字認識部１０１は、パターン辞書１６に格納される特徴量と、文字画像の特徴量とを比較（パターンマッチング）することにより文字認識（処理）を行う機能を有している。そして当該文字認識の結果、文字テキストデータを取得する。

出力部１０は、文字認識部１０１により認識された認識文字を表示／入力装置１５へ出力する。具体的に、文字テキストデータを出力し、また出力に際し当該文字が白黒反転文字（見出し文字）なのか、もしくは白黒反転されていない文字（通常の文字）なのか等のオプション情報を付加することもできる。

パターン辞書１６は、文字認識用パターン（標準パターン）の特徴量と、文字認識用パターンが白黒反転された反転文字認識用パターンの特徴量とが登録されたパターン辞書である。パターン辞書１６については再度後述する。

なお、特に文字認識部１０１や出力部１０の機能は、実際には前述のＣＰＵ１０が実行するプログラムによりコンピュータに実現させるものである。

＜パターン辞書＞
文字認識において、処理精度を高めるためにはより良い辞書を用いることが考えられる。ここで辞書と呼んでいるものは、主に大きく二種類の辞書の総称である。一つは、文字を認識するために文字の形状等に関する標準的な特徴量を蓄えたものであり、一般にはパターン辞書と呼ばれるものである。またもう一つは、言語的な観点から文字候補を取捨選択してより正確に文字を認識するために、単語やその接続に関する情報を蓄えたものであり、一般には言語辞書と呼ばれるものである。

従来のパターン辞書は、白色下地の黒色文字を認識するために文字の形状等に関する標準的な特徴量を蓄えている。これに対し、本実施形態に係るパターン辞書１６は、従来のパターン辞書（例えば日本語活字OCRのエンジンに組み込まれているパターン辞書）をベースとして、文字認識用パターンを白黒反転した反転文字画像（黒色下地の白色文字）から抽出された特徴量が予め辞書登録されている。図４は、本実施形態に係るパターン辞書１６の特徴量レコード例を示す。一般にパターン辞書は（白色下地の）黒色文字による「あ」（文字画像）に基づく特徴量が登録されている。パターン辞書１６はこれに加え、図に示されるように、（黒色下地の）白色文字による「あ」（文字画像）に基づく特徴量が登録される。従って、本実施形態に係る文字認識装置１において入力画像（例えば新聞記事）の文字認識を行う場合、当該パターン辞書１６を用いてパターンマッチングを行うので、通常の文字又は見出し文字のいずれの文字画像であっても適切に認識・抽出することができるようになっている。なお、パターン辞書１６において、標準的な文字認識用パターンの特徴量と、文字認識用パターンを白黒反転した反転文字認識用パターン（黒色下地の白色文字）の特徴量とを登録しておくにあたって論理的に区分けしておくものとする。

また勿論ながら、上記「あ」の他の文字についても白黒反転した反転文字画像に基づく特徴量レコードをパターン辞書１６に登録しておく（図５）。つまり、パターン辞書１６は新パターン辞書ともいえ、従来のパターン辞書の特徴量レコードに加え、従来のパターン辞書の特徴量レコードに対応する白黒反転特徴量レコードが蓄積される。次に、本発明の実施形態に係る文字認識装置１の動作について詳しく説明していく。

＜処理動作＞
次に、本発明の実施形態に係る文字認識装置１の動作について詳しく説明する。図６は、文字認識装置１の文字認識動作を説明するフローチャートである。具体的に図面を参照しながら文字認識動作を説明していく。

まず、画像入力部１００は、文字認識処理の対象となる入力画像（文字画像）を画像メモリ１１に入力する(Ｓ６０１)。ここで、入力される入力画像は文字を含む画像イメージであり、例えば新聞記事のような画像であるものとする（図１）。上述したように新聞記事においては、その見出しの文字（見出し文字）は白黒反転され、また見出し以外の記事本文等では通常の文字（白色下地の黒文字）によって構成されている。

入力画像が画像メモリ１１に入力されると、当該入力画像データに対して、領域識別処理が行われる(Ｓ６０２)。この領域識別処理は、文字認識を行うため文字のかたまり（文字領域）を見つけることを目的としている。具体的には入力画像から「文字領域」、「図写真領域」、「表領域」、それぞれの要素を識別しそれぞれの特徴を持った領域を識別する。領域識別方法は任意でよいが、一例として、まず入力画像を横方向又は縦方向に任意の間隔Ｎでブロック分割し、それぞれ分割されたブロックごとに黒画素または白画素の濃度ヒストグラムを求める。文字領域では、濃度ヒストグラムを見て、山の高さに対して十分な深さをもっている谷を複数個有している傾向にある。図写真領域では、濃度ヒストグラムを見て、全体的になだらかであるか、もしくは極端に変動する山谷を有している傾向にある。表領域では、濃度ヒストグラムが直線に近い曲線を有している傾向にある。各領域のこれら傾向を利用して領域の識別を行う。なお、ユーザにより表示／入力装置１５を介し、文字領域が指定された場合、当該領域識別処理は省略することが可能である。指定された文字領域に対して文字認識処理を行えばよいからである。

入力画像に対して領域識別処理がなされると、「文字領域」を文字のかたまりとして取得する(Ｓ６０３)。なお、文字領域以外の「図写真領域」や「表領域」については文字認識には利用しないので破棄してよい。図７は、文字領域識別の例を示す図である。新聞記事において、見出し部分及び記事本文等を含む文字領域７０１〜７０６が取得されている様子が示されている。以降、これら文字領域に対して文字認識処理を行っていく。

次に文字認識部１０１は、パターン辞書１６に格納される特徴量と、文字領域内の文字画像の特徴量とを比較することにより文字認識（処理）を行い、文字認識の結果、文字テキストデータを取得する（Ｓ６０４）。文字認識に際し、まず文字領域から文字の切り出しを行う。行の切り出しを行い、行から文字の切り出しを行うことができる。切り出された切り出し文字に対して、後の処理を容易にするための正規化、特徴量（例えば文字の方向成分等を利用）の抽出を行い、パターン辞書１６に格納される文字認識用パターン及び／又は反転文字認識用パターンの特徴量との比較（パターンマッチング）を行う。そして、最も距離（似ている度合い）が小さい文字が認識結果（認識文字）となる。またより認識の精度を高めるため、さらに言語辞書等を利用して、日本語として自然な表現や文字列の前後関係（文章）を考慮した後処理を行うこともできる。なお、上述の文字の切り出し、正規化、特徴量の抽出、パターンマッチング、後処理等の具体的な処理方法については、従来から様々な手法が提案されている。従ってここではこれら任意の従来知られる技術を利用すればよい。

ここで、比較（パターンマッチング）を行うとき、まずパターン辞書１６の反転文字認識用パターンの特徴量を用いて比較を行うとよい。ある文字領域における一ないし数文字の切り出し文字の特徴量が、反転文字認識用パターンの特徴量とマッチングされて文字認識されれば、当該切り出し文字を含む文字領域は、見出し文字領域であることは確からしいと認識できる。また見出し文字領域かどうかは、反転文字認識用パターンの特徴量が現れる頻度を見ることでその文字領域を新聞の見出しとして確からしいと認識することもできる。そしてその文字領域は見出し文字領域であると認識されれば、行単位の切り出し文字に対してパターン辞書１６の反転文字認識用パターンの特徴量を用いて比較の処理を行うことで、文字認識用パターンの特徴量との比較の処理を省略でき、ひいては文字認識処理の高速化を図ることができる。例えば図７を参照すると、文字領域７０１の行の切り出し文字に対して見出し文字領域であることは確からしいと認識されれば、パターン辞書１６の反転文字認識用パターンの特徴量を用いて比較の処理を行えばよい。文字認識部１０１は、文字認識により取得された文字テキストデータとともに、それが見出し文字（黒色下地に白色文字）なのか、見出し文字以外の文字（白色下地に黒色文字）であるかの情報を出力部１０へ伝達する。

またもしくは逆に、比較（パターンマッチング）を行うとき、まずパターン辞書１６の文字認識用パターンの特徴量を用いて比較を行うとよい。例えば新聞では記事本文の文字量の方が見出し文字より多いと想定されるので、一ないし数文字の切り出し文字の特徴量が、文字認識用パターンの特徴量とマッチングされて文字認識されれば、当該切り出し文字を含む文字領域は、見出し文字以外の文字領域であることは確からしいと認識できる。そのまま、その見出し文字以外の文字領域についてはパターン辞書１６の文字認識用パターンの特徴量を用いて比較の処理を行うことで、反転文字認識用パターンの特徴量との比較の処理を省略でき、ひいては文字認識処理の更なる高速化を図ることができる。

出力部１０は、文字認識部１０１による文字認識の結果に基づき、文字テキストデータを出力し、また出力に際し当該文字が白黒反転文字（見出し文字）なのかもしくは白黒反転されていない文字（通常の文字）なのか等のオプション情報をこれに付加して出力する（Ｓ６０５）。

以上、本発明の実施形態に係る文字認識装置１の文字認識動作を説明した。実施形態に係る文字認識装置１は、文字認識用パターンの特徴量と反転文字認識用パターンの特徴量とが登録されたパターン辞書を利用して文字認識を行うので、見出し文字としてよく使用される白黒反転文字、また併せて、通常文字としてよく使用される白黒文字について、精度良く文字認識及び文字抽出を行うことが可能となる。

＜総括＞
以下、総括として本実施形態にかかる文字認識装置１の作用効果について説明する。

本実施形態に係る文字認識装置１の構成においては、黒色下地の白色文字を含む文字画像から文字認識を行う文字認識装置であって、文字認識用パターンの特徴量と、前記文字認識用パターンが白黒反転された反転文字認識用パターンの特徴量とが登録されたパターン辞書と、前記文字画像の特徴量と、前記反転文字認識用パターンの特徴量とを比較することにより、文字認識を行う文字認識手段とを備え、前記文字認識手段により前記反転文字認識用パターンの特徴量との比較に基づいて文字認識されない場合、前記文字認識手段は、前記文字画像の特徴量と、前記文字認識用パターンの特徴量とを比較することにより文字認識を行う。

この構成によれば、文字認識用パターンの特徴量と反転文字認識用パターンの特徴量とが登録されたパターン辞書を利用して文字認識を行うので、見出し文字としてよく使用される白黒反転文字、また併せて、通常文字としてよく使用される白黒文字について、精度良く文字認識及び文字抽出を行うことができる。例えば、新聞記事等には、白黒文字及び白黒反転文字が混在して記事が記載されるところ、本実施形態に係る文字認識装置１によれば、精度よく新聞記事内のテキストデータの全般を抽出することができる。

また、本実施形態に係る文字認識装置１の構成においては、上述の文字認識装置であって、前記文字認識手段による認識文字を出力する出力手段を備え、前記文字認識手段により前記反転文字認識用パターンの特徴量との比較に基づいて文字認識された場合、前記出力手段は、当該認識文字を白黒反転文字として出力し、前記文字認識手段により、前記反転文字認識用パターンの特徴量との比較に基づいて文字認識されず、前記文字画像の特徴量と、前記文字認識用パターンの特徴量とを比較により文字認識が行われた場合、前記出力手段は、当該認識文字を白黒反転されていない文字として出力する。

この構成によれば、文字認識された認識文字について、当該認識文字が白黒文字なのか、白黒反転文字なのかの情報を付加して出力するので、認識文字毎ににゅうりょく画像内における表示形態を把握することができる。例えば、新聞記事等には、白黒文字及び白黒反転文字が混在して記事が記載されるところ、新聞記事内のテキストデータを一律に抽出するだけでなく、見出しとされるテキストデータを識別できるので、特に重要なテキスト／ワードを認識できる（見出し文字は記事内容を端的且つ要約的に表現するテキストである）。また見出しとされるテキストデータを識別できると、抽出されたテキストデータの編集時でも都合がよい。

また、本実施形態に係る文字認識装置１の構成においては、上述の文字認識装置であって、前記文字認識手段により前記反転文字認識用パターンの特徴量との比較に基づいて文字認識された場合、当該文字認識手段は、当該認識文字の含まれる切り出し行内の文字画像の特徴量と、前記反転文字認識用パターンの特徴量とを比較することにより、当該認識文字の含まれる切り出し行内の文字画像の文字認識を行う。

この構成によれば、ある文字領域における一ないし数文字の切り出し文字の特徴量が、反転文字認識用パターンの特徴量とマッチングされて文字認識されれば、当該切り出し文字を含む文字領域は、見出し文字領域であることは確からしいと認識できる。また見出し文字領域かどうかは、反転文字認識用パターンの特徴量が現れる頻度を見ることでその文字領域を新聞の見出しとして確からしいと認識することもできる。そしてその文字領域は見出し文字領域であると認識されれば、行単位の切り出し文字に対してパターン辞書１６の反転文字認識用パターンの特徴量を用いて比較の処理を行うことで、文字認識用パターンの特徴量との比較の処理を省略でき、ひいては文字認識処理の高速化を図ることができる。

以上のように、本発明に係る文字認識装置１は、白色下地の黒色文字及び黒色下地の白色文字を含む文字画像から、精度良く文字認識及び文字抽出を行えるという効果を有し、文字認識装置、文字認識方法、プログラム及び記録媒体等として有効である。

なお、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外にも様々な構成を採用することもできる。

例えば、上記実施形態では、パターン辞書１６は予め文字認識装置１が備える構成としたが、特に限定する意図はなく、例えば、文字認識装置１とネットワークを介して接続された外部装置によって提供される構成としてもよい。このように構成すれば、複数の文字認識装置１で共有できるため、メンテナンス等の面で有利である。

また例えば、上記実施形態では、パターン辞書１６は予め文字認識装置１に備えられている構成としたが、特に限定する意図はなく、例えば、文字認識装置１が当該パターン辞書１６を生成する機能を有する構成としてもよい。このように構成すれば、従来のパターン辞書のみを有する文字認識装置であっても、本実施形態に係る新しいパターン辞書１６を利用できる。

また例えば、上記実施形態では、文字認識装置１は、白黒反転画像の一例として新聞記事等の見出しを例として取り上げたが、特に限定する意図はなく、見出しでなくとも白黒反転されている白黒反転文字全般、又は白黒反転文字を含む行の抽出を行うこともできる。

なお、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１ 文字認識装置
１０ ＣＰＵ
１１ 画像メモリ
１２ スキャナ装置
１３ 外部記憶装置
１４ 通信装置
１５ 表示／入力装置
１６ パターン辞書
１００ 画像入力部
１０１ 文字認識部
１０２ 出力部

特許第３１６３６９８号公報

Claims (5)

1. 黒色下地の白色文字を含む文字画像から文字認識を行う文字認識装置であって、
   文字認識用パターンの特徴量と、前記文字認識用パターンが白黒反転された反転文字認識用パターンの特徴量とが登録されたパターン辞書と、
   前記文字画像の特徴量と、前記反転文字認識用パターンの特徴量又は前記文字認識用パターンの特徴量とを比較することにより、前記文字画像の文字認識を行う文字認識手段と、
   前記文字認識手段により文字認識された認識文字を出力する出力手段とを備え、
   前記出力手段は、
   前記文字認識手段により前記反転文字認識用パターンの特徴量との比較に基づいて文字認識された場合、当該認識文字を白黒反転文字として出力し、
   前記文字認識用パターンの特徴量との比較により文字認識が行われた場合、当該認識文字を白黒反転されていない文字として出力すること、
   を特徴とする文字認識装置。
2. 請求項１に記載の文字認識装置であって、
   前記文字認識手段により前記反転文字認識用パターンの特徴量との比較に基づいて文字認識された場合、当該文字認識手段は、当該認識文字の含まれる切り出し行内の文字画像の特徴量と、前記反転文字認識用パターンの特徴量とを比較することにより、当該認識文字の含まれる切り出し行内の文字画像の文字認識を行うこと、
   を特徴とする文字認識装置。
3. 黒色下地の白色文字を含む文字画像から文字認識を行い、文字認識用パターンの特徴量と、前記文字認識用パターンが白黒反転された反転文字認識用パターンの特徴量とが登録されたパターン辞書を備える文字認識装置における文字認識方法であって、
   前記文字認識装置が、
   前記文字画像の特徴量と、前記反転文字認識用パターンの特徴量又は前記文字認識用パターンの特徴量とを比較することにより、文字認識を行う文字認識手順と、
   前記文字認識手順により文字認識された認識文字を出力する出力手順とを有し、
   前記出力手順では、
   前記文字認識手順により前記反転文字認識用パターンの特徴量との比較に基づいて文字認識された場合、当該認識文字を白黒反転文字として出力し、
   前記文字認識用パターンの特徴量との比較により文字認識が行われた場合、当該認識文字を白黒反転されていない文字として出力すること、
   を特徴とする文字認識方法。
4. 請求項３に記載の文字認識方法をコンピュータに実行させるためのプログラム。
5. 請求項４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images