JPH06251156A - パターン認識装置 - Google Patents

パターン認識装置

Info

Publication number
JPH06251156A
JPH06251156A JP5038208A JP3820893A JPH06251156A JP H06251156 A JPH06251156 A JP H06251156A JP 5038208 A JP5038208 A JP 5038208A JP 3820893 A JP3820893 A JP 3820893A JP H06251156 A JPH06251156 A JP H06251156A
Authority
JP
Japan
Prior art keywords
category
vector
matrix
input
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5038208A
Other languages
English (en)
Inventor
Toru Futaki
徹 二木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP5038208A priority Critical patent/JPH06251156A/ja
Priority to EP94301378A priority patent/EP0613101B1/en
Priority to DE69425166T priority patent/DE69425166T2/de
Publication of JPH06251156A publication Critical patent/JPH06251156A/ja
Priority to US08/700,828 priority patent/US5671293A/en
Pending legal-status Critical Current

Links

Landscapes

  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 多数の候補カテゴリの中から、入力ベクトル
の属すると推定されるカテゴリだけ、効率良く絞り込む
ようにすること。 【構成】 この装置は、特徴抽出部12と大分類演算部
15との間に、予め定めた変換行列を入力ベクトルにか
けて変換する変換部13、およびその変換行列を記憶し
ておく変換行列記憶部14とを有する。変換部13にお
いて、各カテゴリ内共分散行列の平均共分散行列Sw
単位行列になるような変換を入力ベクトル(特徴ベクト
ル)に施した後に、大分類演算部15においてその変換
されたベクトルに対して予め定めた基底ベクトルとの内
積を計算する。カテゴリテーブル参照部17では、その
計算結果に基づいて予め定められたカテゴリテーブル1
8を参照し、超平面分離により上記入力パターンの属す
るカテゴリ群を選択出力する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はパターン認識装置に関
し、特に未知の入力ベクトルに対してその属するカテゴ
リ群を出力することにより、入力ベクトルの属する候補
カテゴリ数を減らす機能を有するパターン認識装置に関
する。
【0002】
【従来の技術】従来のパターン認識装置においては、認
識対象となるカテゴリ数が非常に多い場合に、入力ベク
トルに対してすべての候補となる標準パターンと比較を
行うのではなく、最初に計算量の少ない所定の演算を行
い、その演算結果の値に応じてテーブルを参照して入力
ベクトルの属すると判定できるカテゴリ群を選び出し、
そのカテゴリ群に含まれるカテゴリを候補として出力す
る処理が行われている。この処理を一般に候補の絞り込
みあるいは大分類と呼ぶ。この大分類の処理により候補
カテゴリの数が減るので、全体の処理時間を短縮するこ
とができる。
【0003】次に、この大分類に関して、例を挙げて詳
しく説明する。図1は、文字認識を行う従来例の装置構
成を示す。ここで、11は認識対象となる文書画像を電
気信号に変換する入力部、12は入力部11からの入力
信号から1文字ごとに文字固有の特徴を抽出し、特徴ベ
クトルを生成する特徴抽出部である。なお、入力部11
および特徴抽出部12の構成は周知の技術なのでその詳
細は省略する。15〜18の部分が大分類の処理を司
る。16は大分類演算のためのパラメータが記憶されて
いるパラメータ記憶部、15は大分類演算部、18はカ
テゴリテーブル、17は大分類演算の結果からカテゴリ
テーブル18を参照するカテゴリテーブル参照部、20
は認識対象となるすべての候補カテゴリの標準パターン
が平均ベクトルとして記憶されている認識辞書、19は
認識辞書20の標準ベクトルと入力ベクトルとの距離計
算を最も小さい距離を与えるカテゴリを認識結果として
選択する照合部、21は照合部19で最終的に選択され
た候補カテゴリを出力する出力部である。
【0004】大分類の目的は、候補となりうるカテゴリ
の数をなるべく少ない計算量で減らすことである。図2
は、特徴ベクトルの次元数を2としたときの各カテゴリ
分布の様子を模式的に表した図である。学習データは、
C1,C2,…のようにちらばりをもちながら、カテゴ
リ平均ベクトルのまわりに分布する。この分布は次式の
共分散行列
【0005】
【数1】
【0006】で近似的に表される。ここで、
【0007】
【外1】
【0008】n(j)はカテゴリjの学習データ数であ
る。
【0009】カテゴリ数を絞るために、図2の空間にお
いて直交する平面(一般には特徴ベクトルの次元数をN
とするとN次元の超平面となる)でカテゴリを分割する
ことを考える。超平面で分離することを考えた場合、な
るべくちらばりの大きい方向に垂直に平面を設定するの
が効率的なので、まずカテゴリごとの平均ベクトルに対
する主成分分析を行い、その結果えら得る固有ベクトル
の上位L個を超平面の基底ei (i=1,2,…,L)
とする。なお上記固有ベクトルはカテゴリ間共分散行列
B の固有ベクトルと言ってもよい。カテゴリ間共分散
行列SB の定義は次式で与えられる。
【0010】
【数2】
【0011】図3の例では、上位2個の基底ベクトルe
1 ,e2 によって4つの空間E1,E2,E3,E4が
得られる。各空間において少しでも学習データが含まれ
る場合は、その空間に学習データの属するカテゴリが含
まれるとする。
【0012】未知の特徴ベクトルxの入力に対して、大
分類演算部15での大分類演算では、次のような内積演
算を行い、p1 ,p2 ,…,pL という値を得る。
【0013】
【数3】 ei・(x−μ) ≧0 ならば p1=1 ei・(x−μ)<0 ならば pi=0 (i=1,2,…,L) 候補カテゴリを減らすためには、Lを大きくとった方が
効率がよいが、Lを大きくするほど後に説明するカテゴ
リテーブルが大きくなるので、Lは適当な値を実験的に
定める。そのLの値の目安としては、特徴ベクトルの次
元数に比べて数分の1〜10数分の1程度が妥当であ
る。ei とμは予め学習データを用いて計算し、パラメ
ータ記憶部16にあらかじめ記憶しておいたパラメータ
であり、μはすべてデータの全平均ベクトル、ei はす
でに説明した基底ベクトルである。
【0014】次に、上記内積演算結果のpi を用いてカ
テゴリテーブルを参照するための値γを次式の通り計算
する。
【0015】
【数4】
【0016】γは、0〜2L-1 の値をとることになる。
図4は図1のカテゴリテーブル18を説明するためのメ
モリ構成を示す。このγの値からまずアドレステーブル
AT〔γ〕を参照する。そして、アドレステーブルAT
〔γ〕の値からカテゴリテーブルCT
〔0〕の位置71
を参照し、その位置から後に記憶されているカテゴリを
候補カテゴリとする。ただし、最初の位置71には個数
mが記憶されており、続いて位置72以下に候補カテゴ
リの部類コードが順にm個記憶されている。個数mは一
定ではなく各グループによって異なる。図1の構成にお
いては上記アドレステーブルATもカテゴリテーブル1
8の所定領域に記憶されている。なお、カテゴリテーブ
ルCTに含まれるカテゴリは学習データに対して参照値
γを計算し、そのγが属する空間を調べることにより得
ることができる。
【0017】m個に絞られた候補カテゴリに対しての
み、照合部19では特徴ベクトルと認識辞書20に記憶
された標準パターンとを比較し、最も小さい距離を与え
るカテゴリを最終的な候補カテゴリとして選び出し、出
力部21から出力する。
【0018】
【発明が解決しようとする課題】しかしながら、上記の
ような従来例において、カテゴリ間共分散行列に比べて
カテゴリ内共分散行列が大きく、かつカテゴリ内共分散
の異方性が強い場合には、分割された空間に含まれるカ
テゴリの数が多くなり、そのため効率的なカテゴリ数の
絞り込みが達成できないという欠点があった。図5は、
そのような場合の一例を表す模式図で、カテゴリ間の重
なり合いが大きいため、これらを超平面で効率よく分離
することは困難であった。
【0019】本発明の目的は、上述の点に鑑み、どのよ
うな場合でも効率良くカテゴリ数の絞り込みができるパ
ターン認識装置を提供することにある。
【0020】
【課題を解決するための手段】上記目的を達成するた
め、本発明は、未知の入力パターンの特徴ベクトルを入
力する特徴ベクトル入力手段と、入力ベクトルに作用さ
せる行列演算として各カテゴリごとの共分散行列の平均
共分散行列が単位行列になるような変換を、前記特徴ベ
クトル入力手段から入力した前記特徴ベクトルに対して
施す変換手段と、該変換手段での前記変換を行った後、
変換されたベクトルに対して予め定めた基底ベクトルと
の内積を計算する大分類演算手段と、該大分類演算手段
での前記計算の結果に基づいて予め定められたカテゴリ
テーブルを参照し、前記入力パターンの属するカテゴリ
群を選択出力するカテゴリ選択手段とを具備したことを
特徴とする。
【0021】
【作用】本発明では、カテゴリ内共分散行列の平均が単
位行列になるような変換を特徴ベクトルに施した後、所
定の基底ベクトルとの内積演算を行い、カテゴリテーブ
ルを参照するようにしている。これにより、前述した従
来の問題点が解消され、図5に示すような場合にも効率
良くカテゴリ数の絞り込みが達成できる。
【0022】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。
【0023】図6は本発明の一実施例のパターン認識装
置の構成を示す。同図において、13は予め定めた変換
行列を入力ベクトルにかけて変換する変換部、および1
4は上記変換行列を記憶しておく変換行列記憶部であ
る。その他の構成部分は図1の従来例と同様なので同一
符号を付してその詳細な説明は省略する。
【0024】変換行列の求め方について説明する。図5
のような場合では、カテゴリ間共分散行列に比べてカテ
ゴリ内共分散行列が大きいこと、およびカテゴリ内共分
散の異方性が強いため、従来技術では各カテゴリを超平
面で分離することが困難であった。そこで、本発明では
各カテゴリ内共分散行列の平均共分散行列Sw が単位行
列になるような変換を施した後に、超平面分離すること
にする。
【0025】カテゴリjの共分散行列Sj (j=1,
…,K;ただしKはカテゴリ数)に対して、平均カテゴ
リ共分散行列Sw を次式で定義する。
【0026】
【数5】
【0027】ここで、次のような変換を行う。
【0028】
【数6】
【0029】
【外2】
【0030】M,Uは、それぞれSw の固有値行列,固
有ベクトル行列である。すなわち、平均カテゴリ共分散
行列Sw の固有値をμ1 ,…,μN 、その固有ベクトル
をφ1,…,φN とすると、
【0031】
【数7】
【0032】である。このとき、
【0033】
【数8】
【0034】で定義しておく。固有値行列,固有ベクト
ル行列の定義から明らかに、
【0035】
【数9】
【0036】である。このとき、
【0037】
【数10】
【0038】となり、これにより変換後の平均共分散行
列が図7に示すような単位行列になることがわかる。
【0039】図8は、図5に示すような分布の変換後を
表す模式図であり、本発明によればカテゴリごとのまと
まりがよくなるため、超平面による分離がより効率的に
行えることがわかる。なお、共分散行列の単位行列への
正規化自体は白色化と呼ばれる公知の技術である(参考
文献:大津展之「パターン認識における特徴抽出に関す
る数理的研究」1981.7 電総研研究報告)。
【0040】図8のカテゴリ分布に対する大分類の処理
は従来例と同じである。すなわち、
【0041】
【外3】
【0042】大分類演算部15で次のような演算を行
い、p1 ,p2 ,…,pL という値を得る。
【0043】
【数11】
【0044】ここで、xは入力ベクトルである。ei
μは予め学習データを用いて計算し、パラメータ記憶部
16に記憶しておいたパラメータであり、μはすべての
データの全平均ベクトル、ei は基底ベクトルである。
この基底ベクトルei の求め方はすべての学習データに
対して、予め上記Aの変換を施しておく以外は従来例と
同じである。その演算の結果、図8に示すように新たな
超平面によって分割された空間E1,E2,E3,E4
が得られる。
【0045】これ以降の処理は、すべての学習データに
対して予め上記Aの変換を施しておいてから、カテゴリ
テーブル18を作っておくこと以外は従来例と同じであ
る。
【0046】(他の実施例)本発明は、入力された特徴
ベクトルに対してその属するカテゴリを絞り込む働きを
するものであり、入力ベクトルやカテゴリの種類によら
ない。したがって、文字・音声・画像等さまざまな認識
に適用可能である。
【0047】
【発明の効果】以上説明したように、本発明によれば、
各カテゴリ内共分散行列の平均分散行列Sw が単位行列
になるような変換を施した後に、超平面分離するように
したので、多数の候補カテゴリの中から入力ベクトルの
属すると推定されるカテゴリだけ効率よく絞り込むこと
ができるので、より少ない計算量でパターン認識が可能
であるという効果が得られる。
【図面の簡単な説明】
【図1】従来例のパターン認識装置の構成を示すブロッ
ク図である。
【図2】従来例のカテゴリの分離を説明するための模式
図である。
【図3】従来例のカテゴリの分離を説明するための模式
図である。
【図4】図1のカテゴリテーブルの構造を示すメモリマ
ップである。
【図5】カテゴリの分離が困難な例を示す模式図であ
る。
【図6】本発明の一実施例のパターン認識装置の構成を
示すブロック図である。
【図7】本発明実施例における変換の様子を説明するた
めの概念図である。
【図8】本発明実施例によるカテゴリの分離を説明する
ための模式図である。
【符号の説明】
11 入力部 12 特徴抽出部 13 変換部 14 変換行列記憶部 15 大分類演算部 16 パラメータ記憶部 17 カテゴリテーブル参照部 18 カテゴリテーブル 19 照合部 20 認識辞書 21 出力部

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 未知の入力パターンの特徴ベクトルを入
    力する特徴ベクトル入力手段と、 入力ベクトルに作用させる行列演算として各カテゴリご
    との共分散行列の平均共分散行列が単位行列になるよう
    な変換を、前記特徴ベクトル入力手段から入力した前記
    特徴ベクトルに対して施す変換手段と、 該変換手段での前記変換を行った後、変換されたベクト
    ルに対して予め定めた基底ベクトルとの内積を計算する
    大分類演算手段と、 該大分類演算手段での前記計算の結果に基づいて予め定
    められたカテゴリテーブルを参照し、前記入力パターン
    の属するカテゴリ群を選択出力するカテゴリ選択手段と
    を具備したことを特徴とするパターン認識装置。
JP5038208A 1993-02-26 1993-02-26 パターン認識装置 Pending JPH06251156A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP5038208A JPH06251156A (ja) 1993-02-26 1993-02-26 パターン認識装置
EP94301378A EP0613101B1 (en) 1993-02-26 1994-02-25 Pattern recognizing method and apparatus
DE69425166T DE69425166T2 (de) 1993-02-26 1994-02-25 Verfahren und Gerät zur Mustererkennung
US08/700,828 US5671293A (en) 1993-02-26 1996-08-21 Pattern recognizing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5038208A JPH06251156A (ja) 1993-02-26 1993-02-26 パターン認識装置

Publications (1)

Publication Number Publication Date
JPH06251156A true JPH06251156A (ja) 1994-09-09

Family

ID=12518911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5038208A Pending JPH06251156A (ja) 1993-02-26 1993-02-26 パターン認識装置

Country Status (1)

Country Link
JP (1) JPH06251156A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6338062B1 (en) 1998-09-28 2002-01-08 Fuji Xerox Co., Ltd. Retrieval system, retrieval method and computer readable recording medium that records retrieval program
US6507830B1 (en) 1998-11-04 2003-01-14 Fuji Xerox Co., Ltd. Retrieval system, retrieval method and computer readable recording medium that records retrieval program
JP2007334402A (ja) * 2006-06-12 2007-12-27 Hitachi Ltd クラスタリングされたベクトルデータを検索するサーバ、システム及び方法
US7634140B2 (en) 2002-02-27 2009-12-15 Nec Corporation Pattern feature selection method, classification method, judgment method, program, and device
CN110297241A (zh) * 2019-07-09 2019-10-01 中国人民解放军国防科技大学 一种用于图像处理的上下文协方差矩阵构建方法
CN114023336A (zh) * 2021-10-29 2022-02-08 北京百度网讯科技有限公司 模型训练方法、装置、设备以及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6338062B1 (en) 1998-09-28 2002-01-08 Fuji Xerox Co., Ltd. Retrieval system, retrieval method and computer readable recording medium that records retrieval program
US6507830B1 (en) 1998-11-04 2003-01-14 Fuji Xerox Co., Ltd. Retrieval system, retrieval method and computer readable recording medium that records retrieval program
US7634140B2 (en) 2002-02-27 2009-12-15 Nec Corporation Pattern feature selection method, classification method, judgment method, program, and device
JP2007334402A (ja) * 2006-06-12 2007-12-27 Hitachi Ltd クラスタリングされたベクトルデータを検索するサーバ、システム及び方法
CN110297241A (zh) * 2019-07-09 2019-10-01 中国人民解放军国防科技大学 一种用于图像处理的上下文协方差矩阵构建方法
CN114023336A (zh) * 2021-10-29 2022-02-08 北京百度网讯科技有限公司 模型训练方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
US8401283B2 (en) Information processing apparatus, information processing method, and program
JP4410732B2 (ja) 顔画像検出装置、顔画像検出方法および顔画像検出プログラム
JP5207870B2 (ja) 次元削減方法、パターン認識用辞書生成装置、及びパターン認識装置
CN109961093B (zh) 一种基于众智集成学习的图像分类方法
CN106169073A (zh) 一种表情识别方法及系统
KR20170108339A (ko) 영상에서 다수의 객체를 인식하는 방법
JP4393720B2 (ja) パターン認識装置および方法
JP2925434B2 (ja) 入力分類方法、トレーニング方法、及び装置
US6778704B1 (en) Method and apparatus for pattern recognition using a recognition dictionary partitioned into subcategories
JPH06251156A (ja) パターン認識装置
CN111950592B (zh) 一种基于监督最小二乘多类核典型相关分析的多模态情感特征融合方法
Wu et al. Face recognition based on discriminative manifold learning
EP0613101B1 (en) Pattern recognizing method and apparatus
JP5353482B2 (ja) パターン認識用辞書生成装置、パターン認識装置、及びパターン認識用辞書生成方法
Shao et al. A character image restoration method for unconstrained handwritten Chinese character recognition
JP5030235B2 (ja) パターン認識装置及びパターン認識方法
JP2004094644A (ja) 画像処理装置、画像処理方法、記憶媒体及びプログラム
JP3372631B2 (ja) パターン認識方法及び装置
Ameen et al. Face recognition using hybrid methods of transformation and statistical measures
US20220277198A1 (en) Method for discriminating class of data to be discriminated using machine learning model, information processing device, and computer program
JP3925011B2 (ja) パターン認識装置及び認識方法
JPH0540852A (ja) パターン認識装置
JPH05114051A (ja) フアジイパターン認識方法
JP2009032046A (ja) 分類装置、分類方法、ならびに、プログラム
JP2001092924A (ja) パターン認識方法および装置