JP4282471B2 - 画像特徴抽出装置、画像特徴抽出方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、画像特徴抽出装置、画像特徴抽出方法、プログラムおよび記録媒体に関し、特に、画像の方向成分に注目した特徴抽出技術に関する。

文字画像の周辺の方向成分に注目して特徴量を抽出する特徴抽出方式として、階層方向ヒストグラム法が知られている（例えば、特許文献１、特許文献２参照）。これは、文字画像中の文字線エッジの白画素に注目し、その上下左右の４画素を参照して方向コードを作成し、それを注目白画素に付与する。そして、文字画像を縦方向および横方向に走査し、最初に検出した方向コードを第１層、次に検出した方向コードを第２層、というように方向コードを層別し、文字画像の分割領域毎に、ある層までの層別の方向コードのヒストグラムを求め、その各ヒストグラム値を成分とするベクトルを文字画像の特徴ベクトルとして利用するものである。

しかし、上記方式では白画素に注目して方向コードを抽出するため、一部の白画素について方向コードが抽出されず、特徴抽出精度が悪化することがあった。
また、同じ形状の画像でも大きさが違うと、得られる特徴量が大きく異なってしまい、マルチスケールでの特徴抽出に問題があった。

このような問題点を解決するために、特許文献３の技術では、画像中の上下、左右に隣接する異値の２画素の境界に着目し、各境界にエッジの方向性を表す１６方向の方向コードを付与して、方向コードの付与漏れを防止している。

また、特許文献４の技術は、被識別文字の輪郭線のうち特に斜め方向の輪郭線の方向特徴ベクトルを安定して得るようにして文字識別を正確に行うことを目的としたものであり、被識別文字の輪郭線を構成する各黒画素から輪郭線の方向パターンを求めると共に輪郭線を正規化し、正規化した輪郭線を各方向パターンに応じた各線素として生成し、生成された各方向の線素をそれぞれ小領域に分割し、各小領域の黒画素数に基づき方向特徴ベクトルを抽出する場合、線素の方向に応じて小領域の形状を変える。また、小領域を、隣接する各小領域と重複するように形成し、線素の方向が拡張されるように黒画素を分布配置する。この結果、線素方向の情報を強調でき、従って画像の線素方向のずれが吸収できることから、斜め方向の輪郭線の方向特徴ベクトルを安定して得ることができる。
特開昭６３−１６３９４号公報 特公平７９５３３３号公報 特開平１０−１０５６４８公報 特開平１０−２１３９７号公報

しかしながら、上述の方向コードヒストグラムでは、領域分割線が文字の縦／横線分のエッジと重なる場合、領域分割線の小さな変動により特徴量が大きく変動して、特徴量が不安定になる問題があった。

本発明は、上述の実情を考慮してなされたものであって、方向コードヒストグラム法によって画像の特徴量を抽出するときに、領域分割線の小さい変動のときに特徴量の変動も小さくして、特徴量が不安定にならないようにする画像特徴抽出装置、画像特徴抽出方法、プログラムおよび記録媒体を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、画像から抽出したエッジの方向を表す方向コードを各エッジに付与する方向コード作成部と、前記画像を複数の領域に分割して、該分割領域に存在するエッジの方向コードごとに存在頻度を計数して方向コードヒストグラムを作成する方向コードヒストグラム作成部とを有して、該方向コードヒストグラムを画像の特徴量として抽出する画像特徴抽出装置において、前記方向コードヒストグラム作成部は、前記画像から抽出した各エッジの方向コードに対する前記画像の領域分割を、該方向コードが縦横方向の方向コードに対しては斜め方向の領域分割線を用いて分割し、該方向コードが斜め方向の方向コードに対しては縦横方向の領域分割線を用いて分割し、前記エッジの存在する分割領域と該方向コードとに対応する頻度を計数して方向コードヒストグラムを作成することを特徴とする。

請求項２の発明は、請求項１に記載の画像特徴抽出装置において、前記方向コードは、１点を中心とした１６方向または８方向であることを特徴とする。

請求項３の発明は、請求項１または２に記載の画像特徴抽出装置において、画像の高さと幅が同じになるように画像を正規化する画像正規化部を有し、前記方向コード作成部は、前記画像正規化部で正規化された画像からエッジを抽出し、該エッジの方向に基づいて方向コードを付与するようにしたことを特徴とする。

請求項４の発明は、請求項１乃至３のいずれかに記載の画像特徴抽出装置において、前記方向コード作成部で作成された方向コードを縦方向または横方向から層分けする方向コード層分け部を有し、前記方向コードヒストグラム作成部は、前記方向コード層分け部で層分けされた方向コードに対してヒストグラムを作成するようにしたことを特徴とする。

請求項５の発明は、請求項１乃至４のいずれかに記載の画像特徴抽出装置において、前記方向コードヒストグラム作成部で作成された方向コードヒストグラムを少ない方向成分の方向コードヒストグラムに統合する方向コードヒストグラム統合部を有することを特徴とする。

請求項６の発明は、画像から抽出したエッジの方向を表す方向コードを各エッジに付与する方向コード作成ステップと、前記画像を複数の領域に分割して、該分割領域に存在するエッジの方向コードごとに存在頻度を計数して方向コードヒストグラムを作成する方向コードヒストグラム作成ステップとを有して、該方向コードヒストグラムを画像の特徴量として抽出する画像抽出方法において、前記方向コードヒストグラム作成ステップは、前記画像から抽出した各エッジの方向コードに対する前記画像の領域分割を、該方向コードが縦横方向の方向コードに対しては斜め方向の領域分割線を用いて分割し、該方向コードが斜め方向の方向コードに対しては縦横方向の領域分割線を用いて分割し、前記エッジの存在する分割領域と該方向コードとに対応する頻度を計数して方向コードヒストグラムを作成することを特徴とする。

請求項７の発明は、コンピュータを、請求項１乃至５のいずれかに記載の画像特徴抽出装置の各部として機能させるためのプログラムである。
請求項８の発明は、請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によると、方向コードヒストグラム法によって画像の特徴量を抽出するときに、領域分割線を文字の縦／横線分のエッジと重ならないようにして、安定した特徴量の抽出ができるようにした。これにより、画像検出や画像認識がよりよい精度で処理できるようになった。

以下、図面を参照して本発明の好適な実施形態について説明する。

図１は、本発明の実施形態の画像特徴抽出装置を適用した文字認識装置の概略ブロック図である。ここに示す文字認識装置２００は、スキャナ装置のような画像入力装置１００と液晶ディスプレイ等の表示装置３００を接続して、画像入力装置１００から読み取った画像にある文字を認識して文字コードに変換し、他のアプリケーションソフトウェアで使用できるようにする。その変換の際、認識途中における作業支援のために表示装置３００が使われる。

まず、画像入力部２１０によって画像入力装置１００の原稿を２値画像として読み取り、行切り出し部２２０に渡す。
行切り出し部２２０は、原稿画像より文字行イメージを切り出す。
文字切り出し部２３０は、文字行イメージより個々の文字画像を切り出すとともに文字画像の幅と高さの情報も抽出し、その情報も文字画像とともに特徴量抽出部２４０へ渡す。

特徴量抽出部２４０は、本発明に従って文字画像とそれに関する情報より特徴ベクトルを抽出する（詳細は後述）。
マッチング部２５０は、特徴量抽出部２４０によって原稿画像から抽出された特徴ベクトルと、その抽出方法と同じ方法で予め各文字種の標準文字パターンより抽出されて認識辞書２６０に登録されている特徴ベクトルとの相違度を算出し、相違度の最も小さい文字を認識結果とする。
結果出力部２７０は、この認識候補と原稿画像を表示装置３００に表示させ、所望の結果をユーザに選択または修正させて、最終的な認識結果を記憶装置や他のアプリケーションソフトウェアへ引き渡して、処理を終了する。

このような文字認識装置２００の全体的な構成および基本的処理内容は、従来の文字認識装置と同様であるが、特徴量抽出部２４０は本発明の方法により特徴量を抽出するもので、その構成と処理内容は従来のものとは異なる。以下、特徴量抽出部２４０について詳細に説明する。

図２は、特徴量抽出部２４０の詳細な構成を示すブロック図（特徴量抽出処理の流れを表すフローチャートも兼ねている）である。この特徴量抽出部２４０には、文字切り出し部２３０より切り出された文字画像と、その高さおよび幅の情報が入力され、この文字画像の特徴量（方向コードヒストグラムによる特徴ベクトル）を出力する。

図２において、特徴量抽出部２４０は、画像正規化部２４１、方向コード作成部２４２、方向コード層分け部２４３、方向コードヒストグラム作成部２４４および方向コードヒストグラム統合部２４５から構成されている。
画像正規化部２４１は、文字切り出し部２３０より切り出された文字画像と、その高さおよび幅の情報とからバイキュービック法により６４画素×６４画素の大きさの画像に正規化する。このバイキュービック法は、補間対象となる画素の周囲の画素の濃度値から、sin(πｘ）/πｘをテイラー展開して得られる３次多項式の補間式を用いて補間する。これにより、変形後の画像はエッジが強調される傾向の画像を得ることができる。

この方法によって得られる正規化画像の例を図３に示した。また、この正規化の画像サイズは６４画素×６４画素に限ったものではなく、特徴量のサイズと認識能力との兼ね合いから決定することができる。

方向コード作成部２４２は、画像正規化部２４１で正規化された画像上の上下または左右に隣接する異値の２画素の境界に対し、その一方の画素の値、その左上、右上、左下および右下の４画素の値に従ってエッジの方向性を定めることにより、方向コードを付与する。この方向コードは、例えば、上記特許文献３の従来技術によって付与することができる。以下、この従来技術の方向コード付与方法を概説する。

（１）まず、正規化された画像より、上下に隣接する異値の２画素の境界および左右に隣接する異値の２画素の境界を抽出する。
（２）次に、境界の一方の側の画素の値と、左上、右上、左下、右下の４画素から図４（Ｂ）〜（Ｅ）のいずれかのパターンに該当するかを決定し、（Ｂ）〜（Ｅ）に対応した４つの方向コードテーブル（Ｆ）〜（Ｉ）のうちいずれかを選択する。各方向テーブルには、１６エントリーあり、各エントリーに１〜１６のいずれかの方向コード（図４（Ａ））が格納されている。

（３）境界の左上、右上、左下、右下の画素の値、即ち図４（Ｂ）〜（Ｅ）に示したＸ１，Ｘ２，Ｘ４，Ｘ８の画素の値に注目して、選択済みの方向コードテーブルのアクセスすべきエントリー番号（ｔ）を次の式で決定する。
ｔ＝１×（Ｘ１）＋２×（Ｘ２）＋４×（Ｘ４）＋８×（Ｘ８）
（４）注目した境界に対して選択した方向コードテーブルの、決定したエントリー番号（ｔ）より方向コードを読み出し、その方向コードを文字画像の当該境界に付与する。

方向コード層分け部２４３は、文字画像に付与された方向コードの層分けを行う。この層分けは、基本的には文字画像を横方向および縦方向に走査した時に、最初に現れる方向コードを第１層、次に現れる方向コードを第２層、というように、ある層まで層別する。この層数の値は、特徴量のサイズと認識能力との兼ね合いから例えば、日本語の漢字などを認識対象に含む場合、ｈ＝２が適当である。
即ち、左右隣接２画素の境界に付与された方向コードについては横方向に走査して層分けを行い（横方向からの層分け）、上下隣接２画素の境界に付与された方向コードについては縦方向に走査して層分けを行う（縦方向からの層分け）。

方向コードヒストグラム作成部２４４は、６４画素×６４画素の正規化画像の領域を４×４の領域に分割し、これらの分割領域における層化された方向コードごとに、方向コードの出現頻度を計数して、分割領域ごとに、層別の方向コードのヒストグラムを作成する。ここで、分割数は４×４＝１６に固定とする。
したがって、分割領域数が１６、層数が２、方向コードが１６方向であるから、全体として５１２（＝１６（分割領域数）×２（層数）×１６（方向数））の大きさのヒストグラムとなる。つまり、各ヒストグラム値をそのまま特徴ベクトルの１成分とするならば、その次元数は５１２となる。

次に、この領域分割線について考えてみる。
６４画素×６４画素の正規化画像の領域を縦横方向にそれぞれ４等分割して、例えば、図５に示したように分割すると、エッジの方向コードが縦横方向の場合には、領域分割線の方向とエッジの方向とが同じ方向となり特徴量が安定しないので、図６に示したように領域分割線を斜めにとって分割する。
また、逆に、図６のように領域分割線を斜めにとった場合には、エッジの方向コードが斜め方向の場合には、領域分割線の方向とエッジの方向とが同じ方向となり特徴量が安定しないので、図５に示したように領域分割線を斜めにとって分割する。

これらの考察により、各エッジの方向コードの向きに応じて領域分割線の設定方法を、上記図５または図６のいずれかに使い分ける。即ち、方向コードの向きが縦横方向の場合には、図６に示すように斜め方向に領域分割する。また、方向コードの向きが斜め方向の場合には、図５に示すように縦横方向に領域分割する。
このように、方向コードの向きに対して領域分割線を適用することで、領域分割線の小さい変動に対して、方向コードヒストグラムの変動が大きくならないようにすることができる。

次に、上記の考察を考慮した方向コードヒストグラム作成部２４４の処理手順を図７のフローチャートを用いて説明する。
説明の都合上、図５および図６のように領域分割線で分割された領域にそれぞれＲ１〜Ｒ１６のように名前をつけておく。この名前の順序は固定されたものではなく重複しなければよい。
また、方向コードヒストグラムの頻度計数領域を、（分割領域数×層数×方向数）で示される３次元配列Ｈと考える。

方向コードヒストグラムの頻度計数領域の３次元配列Ｈをゼロクリアする（ステップＳ１０）。
方向コード作成部２４２で作成した方向コードを付加したすべてのエッジについて処理を完了した場合には（ステップＳ１１のＹＥＳ）、方向コードヒストグラムの作成が終了したものとして処理を終了する。

一方、まだ残りのエッジがある場合には（ステップＳ１１のＮＯ）、未処理のエッジの方向コード（方向コードをａとする）と層番号（層番号をｂとする）を取り出す（ステップＳ１２）。
この方向コードａが斜め方向の方向コードである場合（ステップＳ１３のＹＥＳ）、このエッジが図５に示した領域分割線によって分割された分割領域のいずれに属するかを求め（この分割領域の位置をｃとする）（ステップＳ１４）、ステップＳ１６へ進む。

一方、この方向コードａが縦横方向の方向コードである場合（ステップＳ１３のＮＯ）、このエッジが図６に示した領域分割線によって分割された分割領域のいずれに属するかを求め（この分割領域の位置をｃとする）（ステップＳ１５）、ステップＳ１６へ進む。

方向コード（ａ）、層番号（ｂ）および分割領域の位置（ｃ）で示される方向コードヒストグラムの頻度計数領域の３次元配列Ｈの要素に１を加えて、出現頻度をカウントアップし、制御をステップＳ１１へ戻す（ステップＳ１６）。

方向コードヒストグラム統合部２４５は、方向コードヒストグラム作成部２４４により作成された１６方向（図４（Ａ））の方向コードヒストグラムを、それより少ない方向成分を表す方向コードヒストグラムに統合する。本実施形態では、図８に示す８方向の方向コードのヒストグラムに統合する。結果として、全体として２５６（＝１６×２×８）の大きさのヒストグラムとなる。このような、より少ない方向成分への量子化を行う目的は、文字画像の大きさの違いによる特徴量の変動を少なくするためである。

１６方向の方向コードを８方向の方向コードへ統合するのは次のようにして行う。
ここで、図４（Ａ）の方向コード１〜１６に対する方向コードヒストグラム値をＤ_１〜Ｄ_１６で表し、図８の方向コード１〜８に対する方向コードヒストグラム値をｄ_１〜ｄ_８で表すことにする。図４（Ａ）と図８の方向を比較すると、１６方向の１，３，５，７，９，１１，１３，１５の方向と８方向の１，２，３，４，５，６，７，８に対応していることが分かる。このことから、各ｄ_ｉは次の式で求められる。
ｄ_１＝Ｄ_１６＋２Ｄ_１＋Ｄ_２
ｄ_ｉ＝Ｄ_２ｉ−２＋２Ｄ_２ｉ−１＋Ｄ_２ｉ （ｉ＝２〜８）

以上のようにして文字画像から２５６（＝分割領域数（１６）×層数（２）×方向数（８））次元の方向コードヒストグラムによる特徴ベクトルが抽出される。

上述した実施形態では、特徴量を抽出する対象を文字画像としているが、文字画像以外にも応用することができる。この場合には、画像入力装置から読み取られた原画像から識別対象の画像を切り出して、この画像に対して本発明の画像特徴抽出装置を適用すればよい。

また、上述した実施形態では、方向コードヒストグラム統合部で１６方向から８方向へ統合するようにしているが、特許文献１に示されるように方向コードを最初から８方向としてエッジに付加するようにすれば、方向のコードヒストグラム統合部を省略することができる。
さらに、特徴量のサイズと認識能力が許されるならば、１６方向のままの特徴ベクトルで使用してもかまわない。

また、上述した実施形態では、方向コードを層分けした方向コードヒストグラムを作成して特徴量としているが、認識能力が許されるならば、層分けを行わないことで特徴量のサイズを小さくすることができる。
このように層分けしない場合、特徴ベクトルの次元数は、分割領域数×方向数＝１６×８＝１２８と上記実施形態よりも次元数を減少させることができる。

また、上述した実施形態では、切り出した画像を正規化してから特徴量を抽出していたが、例えば、斜め領域分割線の方向を、４５度の方向に限定せずに、文字画像外接矩形の対角線方向とする場合には、文字画像の高さと幅を等しくする正規化処理を行う必要が無い。ただし、その場合には「−」や「｜」などのような文字幅や文字高さが非常に小さい文字については特徴量が不安定となるので、このような文字を認識対象に含む場合には、文字画像の正規化処理を行うことが望ましい。

さらに、画像入力装置１００がカラー画像を読み取った場合には、例えば、カラー画像の明度成分でグレー画像を抽出して、２値化処理を行えば本発明の画像特徴抽出装置をそのまま適用することができる。また、特開２００３−１８７２５３号公報のようなカラー画像から直接エッジの強度を算出する方法を用いて、エッジ強度を算出し、しきい値処理によりエッジを抽出し、このエッジに対して方向コードを付与すれば、方向コード付与後の処理は上述した方法で処理することができる。

さらに、上述した実施形態の画像特徴抽出装置の各機能をそれぞれプログラム化し、予めＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、画像特徴抽出装置の記録媒体読取装置にこの記録媒体を装着して、これらのプログラムをＣＰＵで実行することによって、本発明の目的が達成される。
この場合、記録媒体から読出されたプログラム自体が上述した実施形態を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。

なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
あるいは、インターネット等の通信ネットワークを介して記憶装置に格納されたプログラムをサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。

また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。

このように上述した実施形態の機能をプログラム化して流通させることによって、コスト、可搬性、汎用性を向上させることができる。

さらに、上述した画像特徴抽出装置の各機能をプログラム化して、サーバコンピュータの磁気ディスク等の記憶装置に格納しておき、インターネット等の通信ネットワークで接続されたユーザのコンピュータから実行指示を受信して、当該プログラムを実行し、その結果をユーザのコンピュータへ返信するようなＡＳＰ（application service provider）による利用を提供する場合、このサーバコンピュータの記憶装置およびそのプログラムも本発明に含まれる。

本発明の実施形態の画像特徴抽出装置を適用した文字認識装置の概略ブロック図である。 特徴量抽出部の詳細な構成を示すブロック図（フローチャート）である。 文字画像の正規化前と正規化後の画像を示す一例である。 １６方向の方向コード、境界の種類、方向コードテーブルの説明図である。 斜め方向の方向コードに対する領域分割線の説明図である。 縦横方向の方向コードに対する領域分割線の説明図である。 方向コードヒストグラム作成部の処理手順を示すフローチャートである。 ８方向の方向コードの説明図である。

符号の説明

１００…画像入力装置、２００…文字認識装置、２１０…画像入力部、２２０…行切り出し部、２３０…文字切り出し部、２４０…特徴量抽出部、２４１…画像正規化部、２４２…方向コード作成部、２４３…方向コード層分け部、２４４…方向コードヒストグラム作成部、２４５…方向コードヒストグラム統合部、２５０…マッチング部、２６０…認識辞書、２７０…結果出力部、３００…表示装置。

Claims (8)

1. 画像から抽出したエッジの方向を表す方向コードを各エッジに付与する方向コード作成部と、前記画像を複数の領域に分割して、該分割領域に存在するエッジの方向コードごとに存在頻度を計数して方向コードヒストグラムを作成する方向コードヒストグラム作成部とを有して、該方向コードヒストグラムを画像の特徴量として抽出する画像特徴抽出装置において、前記方向コードヒストグラム作成部は、前記画像から抽出した各エッジの方向コードに対する前記画像の領域分割を、該方向コードが縦横方向の方向コードに対しては斜め方向の領域分割線を用いて分割し、該方向コードが斜め方向の方向コードに対しては縦横方向の領域分割線を用いて分割し、前記エッジの存在する分割領域と該方向コードとに対応する頻度を計数して方向コードヒストグラムを作成することを特徴とする画像特徴抽出装置。
2. 請求項１に記載の画像特徴抽出装置において、前記方向コードは、１点を中心とした１６方向または８方向であることを特徴とする画像特徴抽出装置。
3. 請求項１または２に記載の画像特徴抽出装置において、画像の高さと幅が同じになるように画像を正規化する画像正規化部を有し、前記方向コード作成部は、前記画像正規化部で正規化された画像からエッジを抽出し、該エッジの方向に基づいて方向コードを付与するようにしたことを特徴とする画像特徴抽出装置。
4. 請求項１乃至３のいずれかに記載の画像特徴抽出装置において、前記方向コード作成部で作成された方向コードを縦方向または横方向から層分けする方向コード層分け部を有し、前記方向コードヒストグラム作成部は、前記方向コード層分け部で層分けされた方向コードに対してヒストグラムを作成するようにしたことを特徴とする画像特徴抽出装置。
5. 請求項１乃至４のいずれかに記載の画像特徴抽出装置において、前記方向コードヒストグラム作成部で作成された方向コードヒストグラムを少ない方向成分の方向コードヒストグラムに統合する方向コードヒストグラム統合部を有することを特徴とする画像特徴抽出装置。
6. 画像から抽出したエッジの方向を表す方向コードを各エッジに付与する方向コード作成ステップと、前記画像を複数の領域に分割して、該分割領域に存在するエッジの方向コードごとに存在頻度を計数して方向コードヒストグラムを作成する方向コードヒストグラム作成ステップとを有して、該方向コードヒストグラムを画像の特徴量として抽出する画像抽出方法において、前記方向コードヒストグラム作成ステップは、前記画像から抽出した各エッジの方向コードに対する前記画像の領域分割を、該方向コードが縦横方向の方向コードに対しては斜め方向の領域分割線を用いて分割し、該方向コードが斜め方向の方向コードに対しては縦横方向の領域分割線を用いて分割し、前記エッジの存在する分割領域と該方向コードとに対応する頻度を計数して方向コードヒストグラムを作成することを特徴とする画像特徴抽出方法。
7. コンピュータを、請求項１乃至５のいずれかに記載の画像特徴抽出装置の各部として機能させるためのプログラム。
8. 請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images