JP3131862B2 - 特徴選択装置 - Google Patents

特徴選択装置

Info

Publication number
JP3131862B2
JP3131862B2 JP05279916A JP27991693A JP3131862B2 JP 3131862 B2 JP3131862 B2 JP 3131862B2 JP 05279916 A JP05279916 A JP 05279916A JP 27991693 A JP27991693 A JP 27991693A JP 3131862 B2 JP3131862 B2 JP 3131862B2
Authority
JP
Japan
Prior art keywords
feature
vector
pattern
selection
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP05279916A
Other languages
English (en)
Other versions
JPH07134774A (ja
Inventor
照雄 秋山
美奈子 澤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP05279916A priority Critical patent/JP3131862B2/ja
Publication of JPH07134774A publication Critical patent/JPH07134774A/ja
Application granted granted Critical
Publication of JP3131862B2 publication Critical patent/JP3131862B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、特徴選択装置に係り、
特に、複数個の特徴量でベクトル表現されたパターンの
属するクラスを決定する際に、ベクトルで表現された各
特徴の中から複数個の特徴を選択し、低次元のベクトル
でクラスの決定を行う特徴選択装置に関する。
【0002】
【従来の技術】従来、入力された未知パターンが属する
クラスを決定する際に、学習パターンによって予め作成
された辞書と未知パターンとの距離を求める過程におい
て、複数個の学習パターンから得られる特徴ベクトルの
共分散行列を用いて主成分分析を行い、空間変換を行っ
て固有値の大きい高次の成分のみを距離計算に用いるこ
とにより、特徴の次元数を圧縮する手法が知られてい
る。
【0003】即ち、一般にm次元特徴ベクトル x=(x1 ,x2 ,…………,xm t があったとき、ベイズの識別関数 D(X)=(X−μ)t -1(X−μ)−1n |S| は、
【0004】
【数1】
【0005】と等価であり、通常はここでの固有値λの
低次元成分を取り除くことによって、変換後の空間での
特徴の次元数の圧縮を図り、演算量を低減している。こ
こで、Sは共分散行列、μは平均ベクトル、φは固有ベ
クトル、λは固有値である。
【0006】
【発明が解決しようとする課題】しかしながら、上記従
来の手法は、次元圧縮を行う際に、空間変換のために上
記(1)で示すように積和計算を行う必要があり、この
計算に伴う演算量が大きいという問題がある。
【0007】
【課題を解決するための手段】図1は、本発明の原理
成図である。
【0008】本発明は、複数個の特徴量でベクトル表現
されたパターンの属するクラスを決定する場合に、ベク
トルで表現された各特徴の中で有効なものを選択し、特
徴ベクトルを低次元化してパターンの属するクラスの決
定を行う特徴選択装置であって、複数の学習パターンか
ら特徴ベクトルを抽出する特徴ベクトル抽出手段10
、各クラスの属する複数個のパターンの全部または一
部についての特徴ベクトルの次元毎の値の分布を求め、
該分布が正規分布にどれだけ近いかの近似度を、特徴量
毎に歪度、尖度の1つ以上の統計的指標によって求める
近似度計算手段と、近似度を単独で、または組み合わせ
て用いることにより選択すべき特徴量の選択基準を、第
i番目の特徴の歪度及び尖度
【数4】 (但し、Nは、学習パターン数、x ij は、第j番目の
学習パターンの第i番目の特徴量を示し、μ は、学習
パターンの第i番目の特徴量の平均値を示し、S は、
学習パターンの第i番目の特徴量の標準偏差を示す)を
計算することにより決定する選択基準決定手段と、未知
パターンの特徴ベクトルを求め、該未知パターンの特徴
ベクトルを選択基準に基づいて選択する特徴ベクトル選
択手段13と、特徴ベクトル選択手段13で得られた次
元数の低い特徴ベクトルを記憶手段15に格納する格納
手段14とを有する
【0009】本発明は、複数個の特徴量でベクトル表現
されたパターンの属するクラスを決定する場合に、ベク
トルで表現された各特徴の中で有効なものを選択し、特
徴ベクトルを低次元化してパターンの属するクラスの決
定を行う特徴選択方法において、複数の学習パターンか
ら特徴ベクトルを抽出し(ステップ1)、各クラスに属
する複数個のパターンの全部または一部についての特徴
ベクトルの次元毎の値の分布を求め、該分布が正規分布
にどれだけ近いかの近似度を1つ以上の統計的指標によ
って求め(ステップ2)、近似度を単独で、または組み
合わせて用いることにより選択すべき特徴量の選択基準
を決定し(ステップ3)、未知パターンの特徴ベクトル
を抽出し(ステップ4)、ステップ4で抽出された未知
パターンの特徴ベクトルをステップ3で決定された選択
基準に基づいて選択し(ステップ5)、得られた次元数
の低い特徴ベクトルを格納し(ステップ6)、未知パタ
ーンの属するクラスを決定する(ステップ7)。
【0010】
【作用】本発明は、ベクトルを構成する各特徴量が正規
分布に従うとき、ベイズの識別関数による識別精度が最
高になる性質を利用して、ベクトルの次元毎の特徴量の
分布が正規分布に近いもののみを有効な特徴として選択
し、その選択された特徴を用いることにより、空間変換
を行わないまま、原特徴空間で距離計算を行うものであ
る。従って、ベクトルで表現されたパターンの特徴を原
特徴空間で選択するので、空間変換によって特徴次元数
を圧縮する場合と比較して演算量が少なくなる。
【0011】
【実施例】以下、本発明の実施例を図面と共に説明す
る。
【0012】図2は、本発明の一実施例のシステム構成
を示す。
【0013】同図に示すシステムは、特徴抽出部10、
近似度算出部11、選択基準決定部12、特徴選択部1
3及び低次元化特徴格納部14より構成される。
【0014】以下、上記の構成の動作を説明する。
【0015】図3は、本発明の一実施例の動作の概要を
説明するためのフローチャートである。
【0016】ステップ10)まず、特徴抽出部10は、
入力された複数個の学習パターンから特徴量を抽出し、
特徴ベクトルで表現し、近似度算出部11に入力する。
【0017】ステップ11)近似度算出部11は、ステ
ップ11で抽出された特徴ベクトルで表現された各々の
次元の特徴量の分布がどれだけ正規分布に近いかの近似
度を、例えば、特徴量毎に歪度、尖度等の統計的指標を
用いて計算する。
【0018】ステップ12)選択基準決定部12は、ス
テップ11で求められた近似度を単独または、複数組み
合わせて用い、選択すべき特徴の選択基準を決定する。
【0019】ステップ13)未知パターンが特徴抽出部
10に入力されると、特徴量を抽出し、特徴ベクトルで
表現し、特徴選択部13に入力する。
【0020】ステップ14)特徴選択部13は、ステッ
プ13で抽出された特徴ベクトルを選択基準決定部12
で決定された選択基準に基づいて未知パターンの特徴ベ
クトルを選択する。
【0021】ステップ15)低次元化特徴格納部14
は、特徴選択部13で選択された未知パターンの特徴ベ
クトルのうち、次元数の低い特徴ベクトルを格納する。
【0022】ここで、選択基準決定部12における選択
基準を決定するための処理を説明する。選択基準決定部
12は、近似度算出部11で求められた尖度と歪度とN
個の学習パターン特徴量ベクトル量が入力される。ここ
で、入力されるN個の学習パターンの特徴量ベクトルを X1 =(x11,x12,……,x1i,……,x1m) X2 =(x21,x22,……,x2i,……,x2m) ・ ・ XN =(xN1,xN2,……,xNi,……,xNm) としたとき、第i番目の特徴の歪度と尖度は各々以下の
式により求めることができる。
【0023】
【数2】
【0024】上記の式のうち、Nは、学習パターン数を
示し、xijは、第j番目の学習パターンの第i番目の特
徴量を示し、μi は、学習パターンの第i番目の特徴量
の平均値を示し、Si は、学習パターンの第i番目の特
徴量の標準偏差を示す。
【0025】ベクトルの各要素が正規分布に従うとき、
歪度は0.0、尖度は3.0となる。平均を中心とし
て、分布が左歪の場合には、歪度は負の値をとり、逆に
右歪の場合には、正の値となる。また、尖度が大きくな
るに従い分布の中央の尖鋭さが増大することが知られて
いる。
【0026】選択基準決定部12は、歪度と尖度が与え
られたとき、これらの値に基づいて選択特徴を決定する
ための基準となる値を選択基準として計算し、選択する
特徴番号を特徴選択部13に出力する。
【0027】特徴選択部13において、特徴を選択する
基準としては、例えば、 ・正規分布における歪度の値との差の絶対値: a=|A−0.0| (3) 及び ・正規分布における尖度の値との差の絶対値: b=|B−3.0| (4) を計算した場合の値の少ない方から選択した一定個の特
徴、a,bの値の小さい方から順位を付した場合の順位
の和の小さい方から選択した一定個の特徴、あるいは、
(3)、(4)式における値a,bを以下の(5)式に
基づいて線形結合して計算する値cの少ない方から選択
した一定個の特徴などが考えられる。
【0028】 c=αa + βb (5) ここで、α、βは適当な値をもつパラメータである。
【0029】特徴選択部13は、選択基準決定部12に
より決定された選択特徴番号(選択基準)を記憶し、そ
れに基づいて、実際に特徴抽出部10に実際に入力され
た未知パターンの特徴ベクトルの選択を行う。特徴抽出
部10で未知パターンから抽出されたm次元の特徴ベク
トルがこの特徴選択部13に入力されると、選択基準決
定部12により求められた選択基準に従って特徴を選択
し、n次元特徴ベクトル(m>n)を低次元化特徴格納
部14に出力する。
【0030】低次元化特徴格納部14は、このようにし
て低次元化された未知データの特徴を格納する。例え
ば、以下に示すような8次元ベクトルが入力され、 Xin =(x1 ,x2 ,x3 ,x4 ,x5 ,x6
7 ,x8 ) Xout =(x1 ,x2 ,x5 ,x8 ) 1、2、5、8番目の特徴が選択すべき特徴として特徴
選択部13で記憶されている場合は、4次元の特徴が低
次元化特徴格納部14に出力される。
【0031】低次元化特徴格納部14は、特徴(x1
2 ,x5 ,x8 )を格納する。
【0032】なお、新たな学習パターンが与えられた時
に、尖度、歪度の再計算や、特徴決定基準(選択基準)
の再設定を行うことにより、常に最適の状態で特徴を選
択することができる。
【0033】上記のように、入力された未知パターンの
ベクトルで表現された特徴の中から選択基準に沿って有
効なものを選択し、これを低次元化して未知パターンの
属するクラスを決定する。
【0034】
【発明の効果】上述のように、本発明によれば、複数の
特徴量で表現されるベクトルデータをクラス分類する際
に用いる特徴を本来の特徴空間で選択するので、空間変
換を行う必要がなく、未知パターンの属するクラスを決
定する際の距離計算の積和演算の量を少なくすることが
できる。
【図面の簡単な説明】
【図1】本発明の原理構成図である。
【図2】本発明の一実施例の構成図である。
【図3】本発明の一実施例の概要を説明するためのフロ
ーチャートである。
【符号の説明】
10 特徴抽出部、特徴ベクトル抽出手段 11 近似算出部、近似計算手段 12 選択基準決定部、選択基準決定手段 13 特徴選択部、特徴ベクトル選択手段 14 低次元化特徴格納部、格納手段 15 記憶手段
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 250 G06N 3/00 560

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 複数個の特徴量でベクトル表現されたパ
    ターンの属するクラスを決定する場合に、ベクトルで表
    現された各特徴の中で有効なものを選択し、特徴ベクト
    ルを低次元化してパターンの属するクラスの決定を行う
    特徴選択装置であって、 複数の学習パターンから特徴ベクトルを抽出する特徴ベ
    クトル抽出手段と、 各クラスの属する複数個のパターンの全部または一部に
    ついての特徴ベクトルの次元毎の値の分布を求め、該分
    布が正規分布にどれだけ近いかの近似度を、特徴量毎に
    歪度、尖度の1つ以上の統計的指標によって求める近似
    度計算手段と、 前記 近似度を単独で、または組み合わせて用いることに
    より選択すべき特徴量の選択基準を、第i番目の特徴の
    歪度及び尖度 【数3】 (但し、Nは、学習パターン数、x ij は、第j番目の
    学習パターンの第i番目の特徴量を示し、μ は、学習
    パターンの第i番目の特徴量の平均値を示し、S は、
    学習パターンの第i番目の特徴量の標準偏差を示す)を
    計算することにより、決定する選択基準決定手段と、 未知パターンの特徴ベクトルを求め、該未知パターンの
    特徴ベクトルを前記選択基準に基づいて選択する特徴ベ
    クトル選択手段と前記特徴ベクトル選択手段で 得られた次元数の低い特徴
    ベクトルを記憶手段に格納する格納手段とを有すること
    を特徴とする特徴選択装置
JP05279916A 1993-11-09 1993-11-09 特徴選択装置 Expired - Lifetime JP3131862B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05279916A JP3131862B2 (ja) 1993-11-09 1993-11-09 特徴選択装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05279916A JP3131862B2 (ja) 1993-11-09 1993-11-09 特徴選択装置

Publications (2)

Publication Number Publication Date
JPH07134774A JPH07134774A (ja) 1995-05-23
JP3131862B2 true JP3131862B2 (ja) 2001-02-05

Family

ID=17617703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05279916A Expired - Lifetime JP3131862B2 (ja) 1993-11-09 1993-11-09 特徴選択装置

Country Status (1)

Country Link
JP (1) JP3131862B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305679A (ja) * 1995-03-07 1996-11-22 Matsushita Electric Ind Co Ltd パターン分類装置
KR100400500B1 (ko) 2000-08-21 2003-10-08 삼성전자주식회사 특징 벡터 데이터 공간의 인덱싱 방법
JP4900281B2 (ja) * 2008-02-27 2012-03-21 トヨタ自動車株式会社 情報処理装置
JP4844606B2 (ja) * 2008-09-11 2011-12-28 富士ゼロックス株式会社 画像分類装置及びプログラム

Also Published As

Publication number Publication date
JPH07134774A (ja) 1995-05-23

Similar Documents

Publication Publication Date Title
JP4292837B2 (ja) パターン特徴抽出方法及びその装置
US8050466B2 (en) Face recognition with combined PCA-based datasets
JP3649311B2 (ja) Dctをベースとするフィーチャー・ベクトルを使った顔の認識
US20140037209A1 (en) System and method for reduced incremental spectral clustering
KR100263808B1 (ko) 후보테이블을이용하여분류를행하는패턴인식장치및방법
KR20040037180A (ko) 학습 모델 부분들을 사용하는 안면 인식 시스템 및 방법
JPH1173406A (ja) サポートベクトル機械を使用する方法
Mao Fast orthogonal forward selection algorithm for feature subset selection
US6055332A (en) Handwritten character and symbol processing apparatus and medium which stores control program of handwritten character and symbol processing apparatus
US9842279B2 (en) Data processing method for learning discriminator, and data processing apparatus therefor
US20110238606A1 (en) Kernel regression system, method, and program
CA2320375C (en) Contour extraction method and apparatus
CN114743009B (zh) 一种高光谱影像波段选择方法、系统及电子设备
CN110060166A (zh) 智能理赔方法、装置、计算机设备以及存储介质
CN111476100A (zh) 基于主成分分析的数据处理方法、装置及存储介质
US7103237B2 (en) Methods and devices for indexing and searching for digital images taking into account the spatial distribution of the content of the images
JP3131862B2 (ja) 特徴選択装置
WO2014167880A1 (ja) 画像検索装置、画像検索方法、および記録媒体
JP4143234B2 (ja) 文書分類装置、文書分類方法及び記憶媒体
US6334129B1 (en) Data processing apparatus and method
Ibrahim et al. On feature selection methods for accurate classification and analysis of emphysema ct images
JP3943223B2 (ja) 候補テーブルを用いて分類を行うパターン認識装置および方法
JP4964798B2 (ja) 画像辞書生成装置,画像辞書生成方法,画像辞書生成プログラムおよびその記録媒体
Wickerhauser Two fast approximate wavelet algorithms for image processing, classification, and recognition
JPH05298452A (ja) パターン認識装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071124

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081124

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091124

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131124

Year of fee payment: 13

EXPY Cancellation because of completion of term