JP2641209B2

JP2641209B2 - 特徴ベクトルの圧縮方法

Info

Publication number: JP2641209B2
Application number: JP62129083A
Authority: JP
Inventors: 道義立川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1987-05-26
Filing date: 1987-05-26
Publication date: 1997-08-13
Anticipated expiration: 2012-08-13
Also published as: JPS63292383A

Description

【発明の詳細な説明】〔技術分野〕本発明は、文字認識装置における特徴ベクトルの圧縮
方法に関し、特に多層方向ヒストグラム方法による特徴
ベクトルの圧縮方法に関する。

〔従来技術〕

本出願人は、特願昭59−202825号、特願昭59−202822
号などによって、多層方向ヒストグラム法を提案してい
る。

この多層方向ヒストグラム法は、文字パターンの輪郭
画素に方向コードを付加し、文字パターン枠の各辺から
対向辺に向かって枠内を走査して白（背景）の次に出現
する方向コードを検出し、走査線上で最初に検出した場
合は第１層、２番目に検出した場合は第２層、というよ
うに方向コードを層別する。そして、文字パターン枠内
の分割領域毎に、ある層までの層別の各方向コードのヒ
ストグラムを求め、それぞれのヒストグラム値を成分と
するベクトルを、文字パターンの特徴ベクトルとして利
用する。

文字認識を行う場合、このような特徴ベクトルを入力
文字パターンから抽出し、辞書に登録されている標準パ
ターンの同様の特徴ベクトルとの距離演算を行い、距離
が最小の文字を入力文字として同定する。

このような多層方向ヒストグラム法は、手書き漢字の
ような変形の大きい文字に対して高い認識率を達成でき
るという利点を有するが、その反面、特徴ベクトルの次
元数が多くなる。例えば方向コードとして８種類のコー
ドを付加し、文字パターン枠内を４×４の領域に縦横に
分割し、第２層までの方向コードを抽出した場合、特徴
ベクトルの次元数は256（＝４×４×２×８）となる。

このように特徴ベクトルの次元数が多いと、辞書が大
容量になり、また辞書との距離演算量が増加してマッチ
ング時間が長くなるという問題がある。このような問題
を解決するためには、特徴ベクトルのデータ圧縮を行う
と有効である。

さて、データ圧縮手法には、大きく分けて二つの系統
がある。一つは、対象とするデータの周波数特性を利用
するフーリエ変換法や、統計的性質を利用する主成分分
析法、あるいはＫ−Ｌ変換法などの直交交換に基づく方
法である。これらの方法の文字パターンへの適用に関し
ては文献「手書き・活字OCR」（坂井、中村、田部；東
芝レビュー38巻13号,1983）などが知られており、また
特徴ベクトルへの適用に関しては文献「加重方向指数ヒ
ストグラムと疑似ベイズ識別法を用いた手書き漢字・ひ
らがな認識」）原田他；信学技報PRL83−68,1983）など
が知られている。しかし、一般に処理が複雑で高速処理
が難しく、マッチング時間の短縮の目的には合わない。

もう一つの系統は、時系列データのような相関の強い
データに対するデルタ変調、DPCM、あるいは画像の圧縮
に用いられているランレングス符号化、MH符号化、MR符
号化などの方法である。しかし、これらの方法でデータ
圧縮の効率化をはかると、再生歪みが大きくなるという
問題があり、多層方向ヒストグラム法による特徴ベクト
ルの圧縮には適当でない。

この効率（Rate）と歪み（Distortion）の問題を明確
にしたＲ−Ｄ理論より、最近、ベクトル量子化が注目さ
れ、音声や画像の圧縮への適用例が文献「ベクトル量子
化」（田崎、山田；信学会誌vol.67,5,1984）や文献
「適用的ベクトル量子化を用いた印刷画像の圧縮」（会
津、高木；信学技報IE86−94,1986）などにみられる。

このベクトル量子化は、量子化の単位（グループ）を
適切に決定できれば、効率のよいデータ圧縮が期待でき
る。しかし、音声データなどの時系列データの場合は量
子化単位（グループ）が明確であるが、多層方向ヒスト
グラム法の特徴ベクトルのような文字認識のための特徴
ベクトルの場合の適切な量子化単位など、具体的な条件
がこれまで確立していなかった。

〔目的〕

本発明の目的は、多層方向ヒストグラム法の特徴ベク
トルを、文字認識のための有効な情報を失うことなく効
率的に圧縮するための方法を提供することにある。

〔構成〕

多層方向ヒストグラム法の特徴ベクトルは、次元毎の
平均値および標準偏差（もしくは分散）が著しく異な
り、また各次元が互いに独立であって、次元の並べ換え
が許されるという性質がある。

本発明は、このような多層方向ヒストグラム法の特徴
ベクトルの性質に着目し、多層方向ヒストグラム法によ
る特徴ベクトルの成分を一定次元数毎にグループ化し、
このグループ化では各グループに特徴ベクトルの成分を
次元毎の平均値と標準偏差もしくは分散の和の大きい順
または小さい順に均等に割り振り、各グループ内の成分
を次元別に量子化レベル数で量子化してグループ単位に
一定ビット数の量子化データを得、この量子化データを
成分とした圧縮ベクトルを得ることを特徴とするもので
ある。

〔実施例〕

以下図面を参照し、本発明の一実施例について詳細に
説明する。

まず、圧縮の原理について説明する。本実施例にあっ
ては、文字パターン枠の分割数を４×４、方向コード数
を８種類、抽出する層を第２層までとする。したがっ
て、特徴ベクトルの次元数は256（＝８×４×４×２）
となる。第２図（ａ）は、このような特徴ベクトルの一
例であり、ｉは次元である（ｉ＝１〜256）。

特徴ベクトルをＮ分の１に圧縮する場合、特徴ベクト
ルをＮ次元毎にグループ化するが、本実施例ではＮ＝４
であり、４次元ずつ64グループに分ける。このグループ
化の場合に、各グループに特徴ベクトルの成分を次元毎
の平均値と標準偏差（もしくは分散）の和の大きい順に
均等に割り振る。

このような割り振りの考え方を説明する。辞書作成時
に特徴ベクトルの次元毎の平均値と標準偏差（もしくは
分散）を求めておき、その値の大きい次元順に、入力文
字の特徴ベクトルの成分を並べ換える。この並べ換えに
より、第２図（ａ）の特徴ヒストグラムは第２図（ｂ）
のようになる。この図のｊ（ｊ＝１〜256）は並べ換え
後の次元である。

このような次元の並べ換えを行った特徴ベクトルを第
１次元の成分から、64個のグループg₁〜g₆₄に１次元ず
つ順番に割り振っていく。このようにして、第２図
（ａ）の特徴ベクトルは最終的に第２図（ｃ）に示すよ
うに次元が並べ換えられ、４次元ごとの各グループ内に
平均値と標準偏差の割の大きい順に次元が並ぶ。こゝ
で、第２図（ｃ）における次元Ｋは、Ｋ＝Ｎ×MOD（ｊ−1,256/N）＋（ｊ−１）／（256/N）の関係がある。

本実施例では、このようにして得られた各グループg₁
〜g₆₄を、それぞれ量子化することにより１バイト（８
ビット）のデータに変換し、このデータを成分とする64
次元のベクトルを、元の特徴ベクトルの圧縮ベクトルと
して得る。

こゝで、各グループの量子化について説明する。第２
図（ｂ）に示すように次元の並べ換えを行った特徴ベク
トルの成分を、先頭（Ｊ＝１）からＮ（＝４）個の大グ
ループn₁〜n₄に分割する。大グループn₁内のｊ＝１〜ｊ
＝64の成分は最終的にグループg₁〜g₆₄の第１次元の成
分となり、同様に大グループn₂内のｊ＝64〜ｊ＝128の
成分はグループg₁〜g₆₄の第２次元成分、大グループn₃
の成分はグループg₁〜g₆₄の第３次元成分、大グループn
₄の成分はグループg₁〜g₆₄の第４次元成分となることは
明らかである。

さて、標準偏差（または分散）が大きい次元は、文字
識別のための情報量が多いということであるので、量子
化する場合、標準偏差（分散）が大きい次元ほど大きい
量子化レベルの割り当てたほうが量子化誤差が小さくな
る。しかし、標準偏差（分散）が大きくても平均値が小
さい次元は、ヒストグラム値そのものが小さいから、大
きい量子化レベル数を割り当てることは効率的でない。
したがって、平均値と標準偏差（分散）の和が大きい次
元ほど、量子化レベルを割り当てるのが誤差および効率
の両面で効果的である。

すなわち、各グループg₁〜g₆₄の第１次元に最大の量
子化レベル数を割り当て、第２次元以降に割り当てる量
子化レベル数を順次減少させるのが効果的である。そこ
で、本実施例にあっては、各グループg₁〜g₆₄の第１次
元を16レベル、第２次元を４レベル、第３次元および第
４次元をそれぞれ２レベルで量子化し、それぞれ４ビッ
ト、２ビット、１ビット、１ビットの量子化データを
得、その論理話をとって１バイトの量子化データを得
る。この様子を第３図に示す。そして、各グループの量
子化データを成分としたベクトルを、圧縮特徴ベクトル
として得る。

このように本実施例では、各グループに特徴ベクトル
成分を次元毎の平均値の標準偏差（もしくは分散）の和
の大きい順に均等に割り振り、次元別に量子化レベル数
を最適化するため、特徴ベクトルを効率よく圧縮するこ
とができる。

なお、平均値と標準偏差（分散）の和の小さい順に各
グループに割り振ることも可能である。この場合、各グ
ループの各次元に割り当てる量子化レベル数の大小関係
を逆にする。

また、認識対象の文字種類などによっては（特徴ベク
トルの性質によっては）、次元毎の平均値、標準偏差
（分散）、または両者の差の大きい順（もしくは小さい
順）に各グループに割り振ることも可能である。

第１図に本発明の一実施例に係る文字認識装置の概略
ブロック図を示す。この図において、１は文書原稿をス
キャンして文書画像を２値画像として読み取るスキャナ
であり、２は入力画像から文字行のイメージを切り出す
ための行切り出し部、３は行イメージから一つ一つの文
字のイメージを切り出すための文字切り出し部、４は切
り出された文字イメージの正規化、ノイズ除去などの前
処理を行う前処理部である。

５は前後処理後の文字イメージから多層方向ヒストグ
ラム法により特徴ベクトルを抽出する特徴抽出部であ
る。前述のように本実施例にあっては、256次元の特徴
ベクトルが抽出される。

６は特徴抽出部５により抽出された特徴ベクトルを、
前述のような量子化によって圧縮する圧縮部である。こ
の圧縮部６は、並べ換えテーブル７、並べ換え部８、量
子化レベルテーブル９、量子化部10からなる。

11は辞書であり、標準パターンから抽出された多層方
向ヒストグラム法の特徴ベクトルを、前述のように64次
元（64バイト）に圧縮したベクトルが登録されている。
12は圧縮部６から入力される圧縮された特徴ベクトルと
辞書11に登録されている特徴ベクトルとの距離演算を行
うことにより候補文字を探索する照合部、13は照合部12
により探索された候補文字を記憶したり、印刷したりす
る出力部である。

以下では、特に圧縮部６について説明する。並べ換え
テーブル７は、前述のような特徴ベクトルの次元の並べ
換えのためのテーブルである。この並べ換えテーブル７
は、辞書11を作成する段階において、特徴ベクトルの次
元毎の平均値と標準偏差の和を求め、その値に伴づいて
作成される。並べ換え部８は、この並べ換えテーブル７
を参照することにより、特徴抽出部５から入力される特
徴ベクトルの次元の並べ換えを行い、４次元の各グルー
プを順次量子化部10に入力する。

量子化部10は入力された各グループの各次元の成分の
値（ヒストグラム値）を用いて量子化レベルテーブル９
をアクセスし、１バイトの量子化データを読み出し出力
する。なお、本実施例は線系量子化を行うものであり、
量子化レベルは各次元毎に次式のように決定される。

Ｑ＝Cl×ＬこゝでＱは量子化後の値、Clは各グループ内の各次元
毎の定数（ｌ＝1,2,3,4）、Ｌは各次元の成分値（方向
コード数）である。

以上説明した本実施例によれば、特徴ベクトルを効率
的に圧縮することができ、辞書も同様に圧縮されるた
め、辞書容量を大幅に削減できる。実験によれば、手書
き文字の認識のための辞書を２分の１程度まで、活字認
識用辞書の容量を４分の１程度まで削減可能であり、認
識率の低下は許容できる程度であることが確認された。
また、特徴ベクトルの圧縮により辞書との照合速度を大
幅に向上できる。実験によれば、手書き文字の場合に２
倍程度、活字文字の場合に４倍程度まで照合処理の高速
化が可能である。

さて、本実施例では線形量子化を行ったが、並べ換え
後の各グループg₁〜g₆₄の４次元について非線形量子化
を行うこともできる。これについ以下説明する。

前述の大グループn₁の次元（すなわち、グループg₁〜
g₆₄内の第１次元）を例として、その量子化データ（４
ビット）のビット毎の0,1の出現確率をPk（ｋ＝1,2,3,
4）とすれば、情報理論により、その情報量は以下のよ
うなエントロビーＨで表される。

Ｈ＝−ΣPk・logPk このエントリロビーＨが最大となるのは、すべてのビ
ットのPkが等確率つまり1/2となる場合である。すなわ
ち、どの量子化レベル内にも同じ数だけのデータが出現
するように、各量子化レベルの閾値を非線形に決定すれ
ば情報量を最大にすることができるということである。
このことは、大グループn₂（グループ内の第２次元）、
大グループn₃（グループ内の第３次元）、大グループn₄
（グループ内の第４次元）についても同様である。

このような考察に基づき決定した各大グループn₁〜n₄
別の量子化レベルを第４図に示す。この図において、縦
軸上の目盛り線は量子化レベルの閾値を意味し、「・」
印は量子化レベル内の代表点、横軸は頻度である。

このように各量子化レベル内の出現確率がほヾ一定に
なるように量子化レベルの閾値を決定し、次元の並べ換
えによって作成したg₁〜g₆₄の各次元の非線形量子化を
行えば、量子化誤差をさらに減少させることができるた
め、特徴ベクトルの圧縮による認識率の低下をさらに減
らすことができる。

〔効果〕

以上の説明から明らかにように、本発明によれば、多
層方向ヒストグラム法による特徴ベクトルを、その情報
を殆ど失うことなく効率的に圧縮することができるた
め、多層方向ヒストグラム法の文字認識装置において、
認識率を殆ど低下させることなく、辞書容量を大幅に削
減し、かつ辞書照合時間を大幅に短縮することができ
る、という効果を達成できる。

【図面の簡単な説明】

第１図は本発明の一実施例に係る文字認識装置の概略ブ
ロック図、第２図は特徴ベクトルの並べ換えおよびグル
ープ化を説明するためのヒストグラムであり、第２図
（ａ）は多層方向ヒストグラム法による特徴ベクトルの
ヒストグラム、第２図（ｂ）は平均値および標準偏差の
和の大きい順に次元を並べ換えた特徴ベクトルのヒスト
グラム、第２図（ｃ）はグループ化を行ったのちの特徴
ベクトルのヒストグラム、第３図はグループ単位の量子
化の説明図、第４図は非線形量子化のための量子化レベ
ルの閾値を説明するための特性線図であり、第４図
（ａ）はグループ内第１次元に対する特性線図、第４図
（ｂ）はグループ内第２次元に対する特性線図、第４図
（ｃ）はグループ内第３次元に対する特性線図、第４図
（ｄ）はグループ内第４次元に対する特性線図である。６……量子化部、７……並べ換えテーブル、８……並べ換え部、９……量子化レベルテーブル、 10……量子化部。

Claims

(57)【特許請求の範囲】

【請求項１】多層方向ヒストグラム法による特徴ベクト
ルを圧縮する方法であって、特徴ベクトルの成分を一定
次元数毎にグループ化し、このグループ化では各グルー
プに特徴ベクトルの成分を次元毎に平均値と標準偏差も
しくは分散の和の大きい順または小さい順に均等に割り
振り、各グループ内の成分を次元別の量子化レベル数で
量子数してクループ単位に一定ビット数の量子化データ
を得、この量子化データを成分とした圧縮ベクトルを得
ることを特徴とする特徴ベクトルの圧縮方法。
【請求項２】平均値と標準偏差もしくは分散の和が大き
い次元ほど量子化レベル数を増加させることを特徴とす
る特許請求の範囲第１項記載の特徴ベクトルの圧縮方
法。
【請求項３】量子化レベルの閾値は各量子化レベル内の
出現確率がほヾ一定になるように定めることを特徴とす
る特許請求の範囲第１項に記載の特徴ベクトルの圧縮方
法。