JP2951382B2 - 特徴抽出方法及びその実施装置 - Google Patents
特徴抽出方法及びその実施装置Info
- Publication number
- JP2951382B2 JP2951382B2 JP2245636A JP24563690A JP2951382B2 JP 2951382 B2 JP2951382 B2 JP 2951382B2 JP 2245636 A JP2245636 A JP 2245636A JP 24563690 A JP24563690 A JP 24563690A JP 2951382 B2 JP2951382 B2 JP 2951382B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- vector
- weight vector
- input
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、競合学習型ニューラルネットワークに入力
ベクトルからパターン等の種々のものの特徴を抽出する
特徴抽出方法及びその実施装置に関し、特に、入力ベク
トルの特徴空間における分布に対応してユニットを配置
し、学習能力を向上させる技術に関するものである。
ベクトルからパターン等の種々のものの特徴を抽出する
特徴抽出方法及びその実施装置に関し、特に、入力ベク
トルの特徴空間における分布に対応してユニットを配置
し、学習能力を向上させる技術に関するものである。
競合学習型ニューラルネットワークは、教師無し学習
により特徴が未知である入力ベクトルから特徴を抽出す
る特徴抽出器として使用できる。例えば、D.E.Rumelhar
t et al.“Parallel Distributed Processing".The MIT
Press（1986）に開示されるように、競合学習は、入力
ベクトル（入力パターン）の集合に対して少しずつ異な
る反応をする（活性値を定義しその活性値が反応に相当
する）ようにパラメータ（重みベクトル）が異なるユニ
ットの集合が、強さ（活性値）を制限された下で、与え
られた入力ベクトルの集合の部分集合に反応しようとし
て（重みベクトルを修正して）互いのユニット同士が競
争し、勝ったユニットがその重みベクトルを入力ベクト
ルに近づけることにより、入力ベクトルの集合が形成す
る特徴空間をユニットの数の部分空間に分割することに
なるので、特徴を抽出することになる。
により特徴が未知である入力ベクトルから特徴を抽出す
る特徴抽出器として使用できる。例えば、D.E.Rumelhar
t et al.“Parallel Distributed Processing".The MIT
Press（1986）に開示されるように、競合学習は、入力
ベクトル（入力パターン）の集合に対して少しずつ異な
る反応をする（活性値を定義しその活性値が反応に相当
する）ようにパラメータ（重みベクトル）が異なるユニ
ットの集合が、強さ（活性値）を制限された下で、与え
られた入力ベクトルの集合の部分集合に反応しようとし
て（重みベクトルを修正して）互いのユニット同士が競
争し、勝ったユニットがその重みベクトルを入力ベクト
ルに近づけることにより、入力ベクトルの集合が形成す
る特徴空間をユニットの数の部分空間に分割することに
なるので、特徴を抽出することになる。
しかしながら、前記の従来技術では、狭い特徴空間に
多数の入力ベクトルが存在しているが、ユニットが十分
に存在しない場合と、特徴空間においてある入力ベクト
ルの近傍にユニットが存在しない場合がある。
多数の入力ベクトルが存在しているが、ユニットが十分
に存在しない場合と、特徴空間においてある入力ベクト
ルの近傍にユニットが存在しない場合がある。
前者においては、特定のユニットのみが勝って望しい
競争が起らずに単独勝ちが起り、また、後者においては
ある入力ベクトルに対して勝ったユニットが学習によっ
てその学習の直前までに獲得した重みベクトルを乱すこ
とにより、学習能力の著しい低下を来たすという問題が
あった。その原因は、入力ベクトルの特徴空間における
分布に適合したユニットの配置が行われていないためで
ある。
競争が起らずに単独勝ちが起り、また、後者においては
ある入力ベクトルに対して勝ったユニットが学習によっ
てその学習の直前までに獲得した重みベクトルを乱すこ
とにより、学習能力の著しい低下を来たすという問題が
あった。その原因は、入力ベクトルの特徴空間における
分布に適合したユニットの配置が行われていないためで
ある。
本発明は、前記問題点を解決するためになされたもの
であり、本発明の目的は、入力ベクトルの特徴空間にお
ける分布に適合したユニットの配置を行うことが可能な
技術を提供することにある。
であり、本発明の目的は、入力ベクトルの特徴空間にお
ける分布に適合したユニットの配置を行うことが可能な
技術を提供することにある。
本発明の他の目的は、競合学習型ニューラルネットワ
ークによって入力ベクトルから特徴を抽出するシステム
において、入力ベクトルの特徴空間における分布に適合
したユニットの配置が実現され、有効な競争を促し、学
習能力を向上することができる技術を提供することにあ
る。
ークによって入力ベクトルから特徴を抽出するシステム
において、入力ベクトルの特徴空間における分布に適合
したユニットの配置が実現され、有効な競争を促し、学
習能力を向上することができる技術を提供することにあ
る。
本発明の前記ならびにその他の目的と新規な特徴は、
本明細書の記述及び添付図面によって明らかになるであ
ろう。
本明細書の記述及び添付図面によって明らかになるであ
ろう。
前記目的を達成するために、本発明は、（１）競合学
習型ニューラルネットワークによって入力ベクトルから
特徴を抽出する特徴抽出方法において、前記競合学習型
ニューラルネットワークは、少なくとも一つのクラスタ
を有し、そのクラスタ内に一つあるいは複数のユニット
を有する一つあるいは複数層からなり、その第１層に入
力ベクトルを入力し、その出力を同じ構造の次の層へ順
に第ｎ層まで入出力し、第ｎ層の出力を前記競合学習型
ニューラルネットワークの出力とし、前記各ユニットは
正規化された重みベクトルを有し、前記入力ベクトルと
重みベクトルの距離を定義し、所定のクラスタにおいて
最も入力ベクトルとの距離が近い重みベクトルを有する
一つあるいは複数のユニットを、そのクラスタにおける
勝者として重みベクトルを入力ベクトルに近づけること
ができ、勝つことができなかったユニットは、勝つたユ
ニットと比較して小さい距離しか重みベクトルを変更で
きないか全く重みベクトルを変更できないシステムにお
いてしきい距離を設定し、所定クラスタ内のすべてのユ
ニットの重みベクトルと入力ベクトルの距離がしきい値
よりも遠い場合は、そのクラスタ内のすべてのユニット
の重みベクトルを変更しないで入力ベクトルを正規化し
た重みベクトルを有するユニットを生成し、もしその勝
った回数がしきい回数に達した場合は、その勝者と同じ
重みベクトルを有するユニットを生成し、その勝者とそ
のユニットの勝った回数をリセットすることを最も主要
な特徴とする。
習型ニューラルネットワークによって入力ベクトルから
特徴を抽出する特徴抽出方法において、前記競合学習型
ニューラルネットワークは、少なくとも一つのクラスタ
を有し、そのクラスタ内に一つあるいは複数のユニット
を有する一つあるいは複数層からなり、その第１層に入
力ベクトルを入力し、その出力を同じ構造の次の層へ順
に第ｎ層まで入出力し、第ｎ層の出力を前記競合学習型
ニューラルネットワークの出力とし、前記各ユニットは
正規化された重みベクトルを有し、前記入力ベクトルと
重みベクトルの距離を定義し、所定のクラスタにおいて
最も入力ベクトルとの距離が近い重みベクトルを有する
一つあるいは複数のユニットを、そのクラスタにおける
勝者として重みベクトルを入力ベクトルに近づけること
ができ、勝つことができなかったユニットは、勝つたユ
ニットと比較して小さい距離しか重みベクトルを変更で
きないか全く重みベクトルを変更できないシステムにお
いてしきい距離を設定し、所定クラスタ内のすべてのユ
ニットの重みベクトルと入力ベクトルの距離がしきい値
よりも遠い場合は、そのクラスタ内のすべてのユニット
の重みベクトルを変更しないで入力ベクトルを正規化し
た重みベクトルを有するユニットを生成し、もしその勝
った回数がしきい回数に達した場合は、その勝者と同じ
重みベクトルを有するユニットを生成し、その勝者とそ
のユニットの勝った回数をリセットすることを最も主要
な特徴とする。
（２）少なくとも一つのクラスタを有し、そのクラスタ
内に一つあるいは複数のユニットを有する一つあるいは
複数層からなる競合学習型ニューラルネットワークと、
前記各ユニットは正規化された重みベクトルを有し、入
力ベクトルと重みベクトルの距離を定義し、所定のクラ
スタにおいて最も入力ベクトルとの距離が近い重みベク
トルを有する一つあるいはは複数のユニットを、そのク
ラスタにおける勝者として重みベクトルを入力ベクトル
に近づけることができ、勝つことができなかったユニッ
トは、勝つたユニットと比較して小さい距離しか重みベ
クトルを変更できないか全く重みベクトルを変更できな
いシステムにおいてしきい距離を設定する手段と、所定
クラスタ内のすべてのユニットの重みベクトルと入力ベ
クトルの距離がしきい値よりも遠い場合は、そのクラス
タ内のすべてのユニットの重みベクトルを変更しないで
入力ベクトルを正規化した重みベクトルを有するユニッ
トを生成する手段と、もしその勝った回数がしきい回数
に達した場合は、その勝者と同じ重みベクトルを有する
ユニットを生成し、その勝者とそのユニットの勝った回
数をリセットする手段を備えたことを特徴とする。
内に一つあるいは複数のユニットを有する一つあるいは
複数層からなる競合学習型ニューラルネットワークと、
前記各ユニットは正規化された重みベクトルを有し、入
力ベクトルと重みベクトルの距離を定義し、所定のクラ
スタにおいて最も入力ベクトルとの距離が近い重みベク
トルを有する一つあるいはは複数のユニットを、そのク
ラスタにおける勝者として重みベクトルを入力ベクトル
に近づけることができ、勝つことができなかったユニッ
トは、勝つたユニットと比較して小さい距離しか重みベ
クトルを変更できないか全く重みベクトルを変更できな
いシステムにおいてしきい距離を設定する手段と、所定
クラスタ内のすべてのユニットの重みベクトルと入力ベ
クトルの距離がしきい値よりも遠い場合は、そのクラス
タ内のすべてのユニットの重みベクトルを変更しないで
入力ベクトルを正規化した重みベクトルを有するユニッ
トを生成する手段と、もしその勝った回数がしきい回数
に達した場合は、その勝者と同じ重みベクトルを有する
ユニットを生成し、その勝者とそのユニットの勝った回
数をリセットする手段を備えたことを特徴とする。
前述の手段によれば、ユニットの勝つ回数は、そのユ
ニット近傍の入力ベクトルの分布密度を反映しているか
ら、あらかじめ指定した回数勝った時に、その勝者と同
じ重みベクトルを有するユニットを生成（そのユニット
のクローンを作成）することにより、そのユニットの近
傍のユニットの分布密度を増加させて、そのユニット近
傍の入力ベクトの分布密度を反映したものになる。この
ことで、特定のユニットのみが勝つということはなくな
り、有効な競争が行われることになる。また、任意の入
力ベクトルは、あるユニットの近傍に存在することにな
るので、学習によって学習の直前まで獲得した重みを乱
すことがなくなる。これにより、入力ベクトルの特徴空
間における分布に適合したユニットの配置が実現され、
有効な競争を促し、学習能力を向上することができる。
ニット近傍の入力ベクトルの分布密度を反映しているか
ら、あらかじめ指定した回数勝った時に、その勝者と同
じ重みベクトルを有するユニットを生成（そのユニット
のクローンを作成）することにより、そのユニットの近
傍のユニットの分布密度を増加させて、そのユニット近
傍の入力ベクトの分布密度を反映したものになる。この
ことで、特定のユニットのみが勝つということはなくな
り、有効な競争が行われることになる。また、任意の入
力ベクトルは、あるユニットの近傍に存在することにな
るので、学習によって学習の直前まで獲得した重みを乱
すことがなくなる。これにより、入力ベクトルの特徴空
間における分布に適合したユニットの配置が実現され、
有効な競争を促し、学習能力を向上することができる。
〔実施例１〕 以下、本発明の実施例を図面を用いて具体的に説明す
る。
る。
第１図は、本発明の特徴抽出方法を実施する特徴抽出
装置の実施例１の概略構成を示すブロック図、 第２図は、第１図の機能構成を説明するためのブロッ
ク図、 第３図は、本実施例１の特徴抽出方法の処理手段を示
すフローチャートである。
装置の実施例１の概略構成を示すブロック図、 第２図は、第１図の機能構成を説明するためのブロッ
ク図、 第３図は、本実施例１の特徴抽出方法の処理手段を示
すフローチャートである。
本実施例１の特徴抽出装置は、第１図に示すように、
入力装置１、情報処理装置２、出力装置３及び重みベク
トルファイル（外部メモリに格納されている）５を備え
ている。
入力装置１、情報処理装置２、出力装置３及び重みベク
トルファイル（外部メモリに格納されている）５を備え
ている。
前記演算処理装置２は、中央演算処理部（CPU）4Aと
内部メモリ4Bを有し、このメモリ4Bには制御プログラ
ム，処理プログラム等が格納されている。
内部メモリ4Bを有し、このメモリ4Bには制御プログラ
ム，処理プログラム等が格納されている。
そして、前記演算処理装置２の機能構成は、第２図に
示すように、入力部６、ベクトル変換部７、第１層特徴
抽出部８、第２層特徴抽出部９、・・・第ｎ層特徴抽出
部10、出力部11からなっている。
示すように、入力部６、ベクトル変換部７、第１層特徴
抽出部８、第２層特徴抽出部９、・・・第ｎ層特徴抽出
部10、出力部11からなっている。
前記第１層特徴抽出部８〜第ｎ層特徴抽出部10の各特
徴抽出部は、低次元から高次元までの異なる特徴を入力
ベクトル抽出して出力ベクトルとして出力しているが、
それぞれ構成は、同じであるから、その一つの特徴抽出
部のみを取り出して本実施例１の特徴抽出方法を第３図
を用いて説明する。
徴抽出部は、低次元から高次元までの異なる特徴を入力
ベクトル抽出して出力ベクトルとして出力しているが、
それぞれ構成は、同じであるから、その一つの特徴抽出
部のみを取り出して本実施例１の特徴抽出方法を第３図
を用いて説明する。
第２図及び第３図において、入力ベクトルは、ステッ
プ12において、ベクトル変換部７により単位ベクトルに
正規化される。
プ12において、ベクトル変換部７により単位ベクトルに
正規化される。
この正規化された入力ベクトルは、特徴抽出部８に入
力され、各ユニットの重みベクトルと入力ベクトルとの
ユークリッド距離が計算される（ステップ132）。
力され、各ユニットの重みベクトルと入力ベクトルとの
ユークリッド距離が計算される（ステップ132）。
ユニットが複数集まって、クラスタを形成し、そのク
ラスタも複数存在する。各クラスタ毎に以下の処理を行
って各ユニットの出力を決定し、それをこの特徴抽出部
８の出力ベクトルとして出力する（ステップ14〜20）。
ラスタも複数存在する。各クラスタ毎に以下の処理を行
って各ユニットの出力を決定し、それをこの特徴抽出部
８の出力ベクトルとして出力する（ステップ14〜20）。
ステップ14において、各クラスタに属するユニットの
重みベクトルから計算された距離があらかじめ決めてお
いたしきい距離よりも常に大きいときは（YES）、今ま
で使用されなく常に０を出力してたユニットの一つを選
択し、新たに正規化された入力ベクトルを重みベクトル
を有するユニットとして登録し、重みベクトルファイル
５にそのことを記憶する。新たに登録されたユニットの
勝ち数は、０にリセットし、その出力を１に、このクラ
スタ内の他のユニットの出力を０に決定する。逆に、し
きい距離低下の計算された距離があれば（NO）、最短距
離を求め、その距離を与えるユニットをそのクラスタに
おける勝者として、そのユニットの勝ち数を１加算する
（スップ14,15,16）。
重みベクトルから計算された距離があらかじめ決めてお
いたしきい距離よりも常に大きいときは（YES）、今ま
で使用されなく常に０を出力してたユニットの一つを選
択し、新たに正規化された入力ベクトルを重みベクトル
を有するユニットとして登録し、重みベクトルファイル
５にそのことを記憶する。新たに登録されたユニットの
勝ち数は、０にリセットし、その出力を１に、このクラ
スタ内の他のユニットの出力を０に決定する。逆に、し
きい距離低下の計算された距離があれば（NO）、最短距
離を求め、その距離を与えるユニットをそのクラスタに
おける勝者として、そのユニットの勝ち数を１加算する
（スップ14,15,16）。
そして、勝ち数があらかじめ決めておいたしきい回数
と等しければ、勝者と同じ重みベクトルを有すユニット
を新たに登録する。この時、勝ち数は、勝者及び新たな
ユニットの勝ち数は０にセットする。そして、この二つ
のユニットの出力を１に、他を０に決定する（ステップ
17,18）。勝ち数がしきい回数もすべて小さければ、勝
者のユニットの重みベクトルをあらかじめ用意しておい
た学習率ｇを用いて、 Ｗ′＝Ｗ＋gI−gW（Ｉは入力ベクトル） のように変更する（ステップ19）。出力は勝者のユニッ
トが１で他は０である（ステップ20）。
と等しければ、勝者と同じ重みベクトルを有すユニット
を新たに登録する。この時、勝ち数は、勝者及び新たな
ユニットの勝ち数は０にセットする。そして、この二つ
のユニットの出力を１に、他を０に決定する（ステップ
17,18）。勝ち数がしきい回数もすべて小さければ、勝
者のユニットの重みベクトルをあらかじめ用意しておい
た学習率ｇを用いて、 Ｗ′＝Ｗ＋gI−gW（Ｉは入力ベクトル） のように変更する（ステップ19）。出力は勝者のユニッ
トが１で他は０である（ステップ20）。
出力ベクトルは特徴抽出部８のすべてのユニットの出
力で構成される。
力で構成される。
以上の説明からわかるように、本実施例１によれば、
ユニットの勝つ回数は、そのユニット近傍の入力ベクト
ルの分布密度を反映しているから、あらかじめ指定した
回数勝った時に、その勝者と同じ重みベクトルを有する
ユニットを生成（そののユニットのクローンを作成）す
ることにより、そのユニットの近傍のユニットの分布密
度を増加させて、そのユニット近傍の入力ベクトの分布
密度を反映したものである。このことで、特定のユニッ
トのみが勝つということはなくなり、有効な競争が行わ
れることになる。また、任意の入力ベクトルは、あるユ
ニットの近傍に存在することになるので、学習によって
学習の直前までに獲得した重みを乱すことがなくなる。
これにより、入力ベクトルの特徴空間における分布に適
合したユニットの配置が実現され、有効な競争を促し、
学習能力を向上することができる。
ユニットの勝つ回数は、そのユニット近傍の入力ベクト
ルの分布密度を反映しているから、あらかじめ指定した
回数勝った時に、その勝者と同じ重みベクトルを有する
ユニットを生成（そののユニットのクローンを作成）す
ることにより、そのユニットの近傍のユニットの分布密
度を増加させて、そのユニット近傍の入力ベクトの分布
密度を反映したものである。このことで、特定のユニッ
トのみが勝つということはなくなり、有効な競争が行わ
れることになる。また、任意の入力ベクトルは、あるユ
ニットの近傍に存在することになるので、学習によって
学習の直前までに獲得した重みを乱すことがなくなる。
これにより、入力ベクトルの特徴空間における分布に適
合したユニットの配置が実現され、有効な競争を促し、
学習能力を向上することができる。
〔実施例２〕 第４図は、本発明の特徴抽出方法を実施する特徴抽出
装置の実施例２の概略構成を示すブロック図、 第５図は、第４図のユニットの概略構成を示すブロッ
ク図、 第６図は、第４図に示すユニット制御器の概略構成を
示すブロック図である。
装置の実施例２の概略構成を示すブロック図、 第５図は、第４図のユニットの概略構成を示すブロッ
ク図、 第６図は、第４図に示すユニット制御器の概略構成を
示すブロック図である。
第４図において、21は被特徴抽出ベクトルを入力する
ための入力装置、22〜24は競合学習型ニューラルネット
ワークを構成する第１層から第ｎ層の特徴抽出器であ
る。各層の特徴抽出器22〜24には、一つ或いは複数のク
ラスタ25が存在し、その各クラスタ25内には一つのユニ
ット制御器26と一つ或いは複数のユニット27が存在して
いる。
ための入力装置、22〜24は競合学習型ニューラルネット
ワークを構成する第１層から第ｎ層の特徴抽出器であ
る。各層の特徴抽出器22〜24には、一つ或いは複数のク
ラスタ25が存在し、その各クラスタ25内には一つのユニ
ット制御器26と一つ或いは複数のユニット27が存在して
いる。
本実施例２の特徴抽出方法は、入力装置21に被特徴抽
出ベクトルが入力され、第１層の特徴抽出器22に入力さ
れる。第１層の特徴抽出器22出力ベクトルは、第２層の
特徴抽出器23に入力され、第２層の特徴抽出器23の出力
ベクトルは第３層の特徴抽出器に入力される。このよう
にして第ｎ層の特徴抽出器24から特徴抽出ベクトルが出
力されるようになっている。
出ベクトルが入力され、第１層の特徴抽出器22に入力さ
れる。第１層の特徴抽出器22出力ベクトルは、第２層の
特徴抽出器23に入力され、第２層の特徴抽出器23の出力
ベクトルは第３層の特徴抽出器に入力される。このよう
にして第ｎ層の特徴抽出器24から特徴抽出ベクトルが出
力されるようになっている。
例えば、ｎ＝１の時は、第１層の特徴抽出器22の出力
ベクトルが競合学習型ニューラルネットワークの出力と
される。そして、その出力が同じ構造の次の層へ順に第
ｎ層の特徴抽出器24まで入出力され、第ｎ層の特徴抽出
器24の出力ベクトルが競合型ニューラルネットワークの
出力とされる。各層の特徴抽出器への入力ベクトルは、
層内の各クラスタ25へ分配され、各クラスタ25への入力
ベクトルもクラスタ内の各ユニット27へ分配される。ユ
ニット制御器26とユニット27は、互いに双方向のバスで
接続されている。各クラスタ25の各ユニット27の出力を
成分とするベクトルをその層の出力ベクトルとする。
ベクトルが競合学習型ニューラルネットワークの出力と
される。そして、その出力が同じ構造の次の層へ順に第
ｎ層の特徴抽出器24まで入出力され、第ｎ層の特徴抽出
器24の出力ベクトルが競合型ニューラルネットワークの
出力とされる。各層の特徴抽出器への入力ベクトルは、
層内の各クラスタ25へ分配され、各クラスタ25への入力
ベクトルもクラスタ内の各ユニット27へ分配される。ユ
ニット制御器26とユニット27は、互いに双方向のバスで
接続されている。各クラスタ25の各ユニット27の出力を
成分とするベクトルをその層の出力ベクトルとする。
前記ユニット27においては、第５図に示すように、初
期化信号31は、使用状態フラグ32と重みベクトルレジス
タ33に入力されている。初期化信号31が初期化トリガを
使用状態フラグ32へ入力すると、使用状態フラグ32が使
用中になり、使用状態フラグ信号34が入力されている重
みベクトルレジスタ33、変更重みベクトル演算器35、距
離演算器36、入力ベクトルレジスタ37、勝ち数カウタ38
をリセットし、その後、それらの出力が有効になる。そ
の後に初期化重みベクトル39が重みベクトルレジスタ33
に格納される。入力ベクトルレジスタ37は入力ベクトル
40を格納し、重みベクトルレジスタ33と入力ベクトルレ
ジスタ37の値はどちらも変更重みベクトル演算器35と距
離演算器36に入力される。変更重みベクトル演算器35の
出力をＷ′とすると、重みベクトルをＷ、入力ベクトル
をＩとした時、ｇ（０＜ｇ＜１）によって Ｗ′＝Ｗ＋gI/N−gW ただし、Ｎ＝（Ｉ＋I2＋・・・＋In）、 ｎはベクトルの成分数、 I1,I2・・・は各成分、 と表わされる。
期化信号31は、使用状態フラグ32と重みベクトルレジス
タ33に入力されている。初期化信号31が初期化トリガを
使用状態フラグ32へ入力すると、使用状態フラグ32が使
用中になり、使用状態フラグ信号34が入力されている重
みベクトルレジスタ33、変更重みベクトル演算器35、距
離演算器36、入力ベクトルレジスタ37、勝ち数カウタ38
をリセットし、その後、それらの出力が有効になる。そ
の後に初期化重みベクトル39が重みベクトルレジスタ33
に格納される。入力ベクトルレジスタ37は入力ベクトル
40を格納し、重みベクトルレジスタ33と入力ベクトルレ
ジスタ37の値はどちらも変更重みベクトル演算器35と距
離演算器36に入力される。変更重みベクトル演算器35の
出力をＷ′とすると、重みベクトルをＷ、入力ベクトル
をＩとした時、ｇ（０＜ｇ＜１）によって Ｗ′＝Ｗ＋gI/N−gW ただし、Ｎ＝（Ｉ＋I2＋・・・＋In）、 ｎはベクトルの成分数、 I1,I2・・・は各成分、 と表わされる。
距離演算器36の出力は、重みベクトルと入力ベクトル
のユークリッド距離とし、ユニット外へ距離41として出
力される。変更重みベクトル演算器35の出力は、重みベ
クトルレジスタ33へ送られていて、勝敗信号が１であっ
た時に重みベクトルレジスタ33へ書き込まれる。45は重
みベクトルレジスタ33から読み出された重みベクトル信
号である。
のユークリッド距離とし、ユニット外へ距離41として出
力される。変更重みベクトル演算器35の出力は、重みベ
クトルレジスタ33へ送られていて、勝敗信号が１であっ
た時に重みベクトルレジスタ33へ書き込まれる。45は重
みベクトルレジスタ33から読み出された重みベクトル信
号である。
勝ち数カウンタ38は、勝敗信号が42と勝ち数カウンタ
リセット信号43が入力されており、勝敗信号42が１であ
れば１カウントアップして勝ち数44として出力され、勝
ち数カウンタリセット信号43がオンならば０にリセット
される。また、勝敗信号42はそのままユニット27の外へ
ユニット出力信号42として出力される。
リセット信号43が入力されており、勝敗信号42が１であ
れば１カウントアップして勝ち数44として出力され、勝
ち数カウンタリセット信号43がオンならば０にリセット
される。また、勝敗信号42はそのままユニット27の外へ
ユニット出力信号42として出力される。
前記ユニット制御器26においては、第６図に示すよう
に、各ユニット（27）から送られた距離51が最小値検出
器52に入力され、最小値検出器52は最短距離53を出力す
るとともに、ユニット（27）のアドレス54を出力する。
しきい距離レジスタ55の値と最短距離53をコンパレータ
56に入力し、最短距離53がしきい距離より長ければオ
フ、しきい距離以下ならばオンをコンパレータ56の出力
信号57として出力する。
に、各ユニット（27）から送られた距離51が最小値検出
器52に入力され、最小値検出器52は最短距離53を出力す
るとともに、ユニット（27）のアドレス54を出力する。
しきい距離レジスタ55の値と最短距離53をコンパレータ
56に入力し、最短距離53がしきい距離より長ければオ
フ、しきい距離以下ならばオンをコンパレータ56の出力
信号57として出力する。
勝敗決定器58は、コンパレータ56の出力信号57がオン
の時は、最小値検出器52からの最短距離を出力したユニ
ットアドレス54を用い、最短距離を出力したユニットへ
１を他のユニットへ０を各ユニットの勝敗信号59として
出力し、コンパレータ56の出力信号57がオフの時は、接
続されているすべてのユニットへ０を各ユニットの勝敗
信号59として出力する。各ユニットの勝ち数44と勝敗決
定器58からの各ユニットの勝敗信号59をマルチプレクサ
60に入力し、１を出力するユニットから送られた勝ち数
を勝者の勝ち数61として出力し、１を出力するユニット
がない場合は０を出力する。勝者の勝ち数61としき回数
62をコンパレータ63に入力し、もし勝者の勝ち数61がし
きい回数62と等しければオン、しきい回数62より少なけ
ればオフをコンパレータ63の出力信号64として出力す
る。入力ベクトル65を正規化回路66を経て１乗ノルムを
１に正規化して出力し、その正規化されたベクトル67と
各ユニットから送られた重みベクトル68とコンパレータ
56の出力信号57及びコンパレータ63の出力信号64と各ユ
ニットの勝敗信号59をマルチプレクサ69に入力し、もし
コンパレータ56の出力信号57がオフならば、正規化され
た入力ベクトル67を、コンパレータ56の出力信号57がオ
ンでコンパレータ63の出力信号64がオンならば、１を出
力するユニットから送られた重みベクトルを初期化重み
ベクトル70として出力する。ユニット生成制御器71は、
コンパレータ56の出力信号57がオフ或いはコンパレータ
63の出力信号64がオンの時、ユニット使用情報テーブル
71Aを参照し、使用状態フラグが使用中になっていない
ユニットを選択してユニット使用情報テーブル71Aにそ
のユニットの使用状態フラグを使用中にすることを記録
し、選択したユニットへ初期化トリガを初期化信号72と
して出力する。リセット信号生成器73はコンパレータ63
の出力信号64がオンの時、１を出力するユニットへリセ
ット信号をオンにして各ユニットに送るリセット信号74
を出力する。
の時は、最小値検出器52からの最短距離を出力したユニ
ットアドレス54を用い、最短距離を出力したユニットへ
１を他のユニットへ０を各ユニットの勝敗信号59として
出力し、コンパレータ56の出力信号57がオフの時は、接
続されているすべてのユニットへ０を各ユニットの勝敗
信号59として出力する。各ユニットの勝ち数44と勝敗決
定器58からの各ユニットの勝敗信号59をマルチプレクサ
60に入力し、１を出力するユニットから送られた勝ち数
を勝者の勝ち数61として出力し、１を出力するユニット
がない場合は０を出力する。勝者の勝ち数61としき回数
62をコンパレータ63に入力し、もし勝者の勝ち数61がし
きい回数62と等しければオン、しきい回数62より少なけ
ればオフをコンパレータ63の出力信号64として出力す
る。入力ベクトル65を正規化回路66を経て１乗ノルムを
１に正規化して出力し、その正規化されたベクトル67と
各ユニットから送られた重みベクトル68とコンパレータ
56の出力信号57及びコンパレータ63の出力信号64と各ユ
ニットの勝敗信号59をマルチプレクサ69に入力し、もし
コンパレータ56の出力信号57がオフならば、正規化され
た入力ベクトル67を、コンパレータ56の出力信号57がオ
ンでコンパレータ63の出力信号64がオンならば、１を出
力するユニットから送られた重みベクトルを初期化重み
ベクトル70として出力する。ユニット生成制御器71は、
コンパレータ56の出力信号57がオフ或いはコンパレータ
63の出力信号64がオンの時、ユニット使用情報テーブル
71Aを参照し、使用状態フラグが使用中になっていない
ユニットを選択してユニット使用情報テーブル71Aにそ
のユニットの使用状態フラグを使用中にすることを記録
し、選択したユニットへ初期化トリガを初期化信号72と
して出力する。リセット信号生成器73はコンパレータ63
の出力信号64がオンの時、１を出力するユニットへリセ
ット信号をオンにして各ユニットに送るリセット信号74
を出力する。
このようにハードウエアで構成することにより、実施
例１と同様の効果を得ることができ、かつ高速処理がは
かれる。
例１と同様の効果を得ることができ、かつ高速処理がは
かれる。
以上、本発明を実施例にもとづき具体的に説明した
が、本発明は、前記実施例に限定されるものではなく、
その要旨を逸脱しない範囲において種々変更可能である
ことは言うまでもない。
が、本発明は、前記実施例に限定されるものではなく、
その要旨を逸脱しない範囲において種々変更可能である
ことは言うまでもない。
以上、説明したように、本発明によれば、競合学習型
ニューラルネットワークによって入力ベクトルから特徴
を抽出するシセテムにおいて、入力ベクトルの特徴空間
における分布に適合したユニットの配置が実現され、有
効な競争を促し、学習能力を向上することができる。
ニューラルネットワークによって入力ベクトルから特徴
を抽出するシセテムにおいて、入力ベクトルの特徴空間
における分布に適合したユニットの配置が実現され、有
効な競争を促し、学習能力を向上することができる。
第１図は、本発明の特徴抽出方法を実施する特徴抽出装
置の実施例１の概略構成を示すブロック図、 第２図は、第１図の機能構成を説明するためのブロック
図、 第３図は、本実施例１の特徴抽出方法の処理手順を示す
フローチャート、 第４図は、本発明の特徴抽出方法を実施する特徴抽出装
置の実施例２の概略構成を示すブロック図、 第５図は、第４図のユニットの概略構成を示すブロック
図、 第６図は、第４図に示すユニット制御器の概略構成を示
すブロック図である。 図中、1,21……入力装置、２……演算処理装置、３……
出力装置３、4A……中央演算処理部（CPU）、4B……内
部メモリ、５……重みベクトルファイル（外部メモ
リ）、６……入力部、７……ベクトル変換部、８……第
１層特徴抽出部、９……第２層特徴抽出部、10……第ｎ
層特徴抽出部、11……出力部、22〜24……第１層から第
ｎ層の特徴抽出器、25……クラスタ、26……ユニット制
御器、27……ユニット。
置の実施例１の概略構成を示すブロック図、 第２図は、第１図の機能構成を説明するためのブロック
図、 第３図は、本実施例１の特徴抽出方法の処理手順を示す
フローチャート、 第４図は、本発明の特徴抽出方法を実施する特徴抽出装
置の実施例２の概略構成を示すブロック図、 第５図は、第４図のユニットの概略構成を示すブロック
図、 第６図は、第４図に示すユニット制御器の概略構成を示
すブロック図である。 図中、1,21……入力装置、２……演算処理装置、３……
出力装置３、4A……中央演算処理部（CPU）、4B……内
部メモリ、５……重みベクトルファイル（外部メモ
リ）、６……入力部、７……ベクトル変換部、８……第
１層特徴抽出部、９……第２層特徴抽出部、10……第ｎ
層特徴抽出部、11……出力部、22〜24……第１層から第
ｎ層の特徴抽出器、25……クラスタ、26……ユニット制
御器、27……ユニット。
フロントページの続き (56)参考文献 特開 平４−155480（ＪＰ，Ａ) 内山．坂井．斎藤，「競合学習型ニュ ーラルネットワークの構造最適化アルゴ リズム」、1990年電子情報通信学会秋季 全国大会講演論文集，Ｄ−36，Ｐ．６− 36（1990．９．15) 岩田．當麻．松尾．鈴村，「大規模４ 層ニューラルネット”Ｃｏｍｂ ＮＥ Ｔ”電子情報通信学会論文誌 Ｄ−▲Ｉ ＩＩ▼ Ｖｏｌ．Ｊ73−Ｄ−▲ＩＩ▼, Ｎｏ．８ ｐ．1261−ｐ．1267 (58)調査した分野(Int.Cl.6，ＤＢ名) G06F 15/18 G06T 1/40 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (2)
- 【請求項１】競合学習型ニューラルネットワークによっ
て入力ベクトルから特徴を抽出する特徴抽出方法におい
て、前記競合学習型ニューラルネットワークは、少なく
とも一つのクラスタを有し、そのクラスタ内に一つある
いは複数のユニットを有する一つあるいは複数層からな
り、その第１層に入力ベクトルを入力し、その出力を同
じ構造の次の層へ順に第ｎ層まで入出力し、第ｎ層の出
力を前記競合学習型ニューラルネットワークの出力と
し、前記各ユニットは正規化された重みベクトルを有
し、前記入力ベクトルと重みベクトルの距離を定義し、
所定のクラスタにおいて最も入力ベクトルとの距離が近
い重みベクトルを有する一つあるいは複数のユニット
を、そのクラスタにおける勝者として重みベクトルを入
力ベクトルに近づけることができ、勝つことができなか
ったユニットは、勝つたユニットと比較して小さい距離
しか重みベクトルを変更できないか全く重みベクトルを
変更できないシステムにおいてしきい距離を設定し、所
定クラスタ内のすべてのユニットの重みベクトルと入力
ベクトルの距離がしきい値よりも遠い場合は、そのクラ
スタ内のすべてのユニットの重みベクトルを変更しない
で入力ベクトルを正規化した重みベクトルを有するユニ
ットを生成し、もしその勝った回数がしきい回数に達し
た場合は、その勝者と同じ重みベクトルを有するユニッ
トを生成し、その勝者とそのユニットの勝った回数をリ
セットすることを特徴とする特徴抽出方法。 - 【請求項２】少なくとも一つのクラスタを有し、そのク
ラスタ内に一つあるいは複数のユニットを有する一つあ
るいは複数層からなる競合学習型ニューラルネットワー
クと、前記各ユニットは正規化された重みベクトルを有
し、入力ベクトルと重みベクトルの距離を定義し、所定
のクラスタにおいて最も入力ベクトルとの距離が近い重
みベクトルを有する一つあるいは複数のユニットを、そ
のクラスタにおける勝者として重みベクトルを入力ベク
トルに近づけることができ、勝つことができなかったユ
ニットは、勝つたユニットと比較して小さい距離しか重
みベクトルを変更できないか全く重みベクトルを変更で
きないシステムにおいてしきい距離を設定する手段と、
所定クラスタ内のすべてのユニットの重みベクトルと入
力ベクトルの距離がしきい値よりも遠い場合は、そのク
ラスタ内のすべてのユニットの重みベクトルを変更しな
いで入力ベクトルを正規化した重みベクトルを有するユ
ニットを生成する手段と、もしその勝った回数がしきい
回数に達した場合は、その勝者と同じ重みベクトルを有
するユニットを生成し、その勝者とそのユニットの勝っ
た回数をリセットする手段を備えたことを特徴とする特
徴抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2245636A JP2951382B2 (ja) | 1990-09-14 | 1990-09-14 | 特徴抽出方法及びその実施装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2245636A JP2951382B2 (ja) | 1990-09-14 | 1990-09-14 | 特徴抽出方法及びその実施装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04124782A JPH04124782A (ja) | 1992-04-24 |
| JP2951382B2 true JP2951382B2 (ja) | 1999-09-20 |
Family
ID=17136608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2245636A Expired - Lifetime JP2951382B2 (ja) | 1990-09-14 | 1990-09-14 | 特徴抽出方法及びその実施装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2951382B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3354593B2 (ja) * | 1992-06-10 | 2002-12-09 | 日本政策投資銀行 | ネットワーク型情報処理装置の学習システム |
| JP2845355B2 (ja) * | 1992-10-06 | 1999-01-13 | 株式会社 エイ・ティ・アール視聴覚機構研究所 | 信号検出装置 |
| JP4875433B2 (ja) * | 2006-08-03 | 2012-02-15 | パナソニック電工Ｓｕｎｘ株式会社 | 信号識別装置の学習方法 |
| JP4848492B2 (ja) * | 2006-08-03 | 2011-12-28 | パナソニック電工Ｓｕｎｘ株式会社 | 信号識別方法及び信号識別装置 |
| JP4241818B2 (ja) | 2006-12-14 | 2009-03-18 | パナソニック電工株式会社 | 内部検査装置 |
| JP2009146149A (ja) * | 2007-12-13 | 2009-07-02 | Panasonic Electric Works Co Ltd | 信号識別方法及び信号識別装置 |
| JP5393588B2 (ja) * | 2010-05-17 | 2014-01-22 | 本田技研工業株式会社 | 電子回路及び配線方式 |
| JP5436327B2 (ja) * | 2010-05-17 | 2014-03-05 | 本田技研工業株式会社 | 電子回路及び配線方式 |
| JP5393589B2 (ja) * | 2010-05-17 | 2014-01-22 | 本田技研工業株式会社 | 電子回路 |
| JP7187099B2 (ja) * | 2017-09-15 | 2022-12-12 | サウジ アラビアン オイル カンパニー | ニューラルネットワークを用いて炭化水素貯留層の石油物理特性を推測すること |
| CN110134874A (zh) * | 2019-04-18 | 2019-08-16 | 上海大学 | 一种优化用户相似度的协同过滤方法 |
-
1990
- 1990-09-14 JP JP2245636A patent/JP2951382B2/ja not_active Expired - Lifetime
Non-Patent Citations (2)
| Title |
|---|
| 内山．坂井．斎藤，「競合学習型ニューラルネットワークの構造最適化アルゴリズム」、１９９０年電子情報通信学会秋季全国大会講演論文集，Ｄ−３６，Ｐ．６−３６（１９９０．９．１５） |
| 岩田．當麻．松尾．鈴村，「大規模４層ニューラルネット"Ｃｏｍｂ ＮＥＴ"電子情報通信学会論文誌 Ｄ−▲ＩＩＩ▼ Ｖｏｌ．Ｊ７３−Ｄ−▲ＩＩ▼，Ｎｏ．８ ｐ．１２６１−ｐ．１２６７ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04124782A (ja) | 1992-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2951382B2 (ja) | 特徴抽出方法及びその実施装置 | |
| Kim et al. | A 201.4 GOPS 496 mW real-time multi-object recognition processor with bio-inspired neural perception engine | |
| US20210365782A1 (en) | Method and apparatus for generating neural network model, and computer-readable storage medium | |
| KR102553892B1 (ko) | 모델 평가 방법, 장치 및 전자 기기 | |
| CN109147810A (zh) | 建立语音增强网络的方法、装置、设备和计算机存储介质 | |
| US20200193010A1 (en) | Method and system for generating verification codes | |
| CN108536595A (zh) | 测试用例智能化匹配方法、装置、计算机设备及存储介质 | |
| CN103646074B (zh) | 一种确定图片簇描述文本核心词的方法及装置 | |
| CN110750957B (zh) | 一种高效多核RISC-V处理器的Cache系统验证方法 | |
| CN109918304B (zh) | 一种快速高路径覆盖率测试用例生成方法 | |
| CN111626340A (zh) | 一种分类方法、装置、终端及计算机存储介质 | |
| CN108881254B (zh) | 基于神经网络的入侵检测系统 | |
| CN108786107A (zh) | 一种棋牌结果生成的方法以及相关装置 | |
| WO2020108536A1 (zh) | 一种虚拟网络资源分配方法、系统及电子设备 | |
| JP2003512683A (ja) | ニューラルネットワーク素子 | |
| Hu et al. | Solving the assignment problem using continuous-time and discrete-time improved dual networks | |
| CN108427584A (zh) | 快速启动的具有并行计算核的芯片及该芯片的配置方法 | |
| CN116680391A (zh) | 定制对话方法、定制对话模型的训练方法、装置和设备 | |
| CN110517679A (zh) | 一种人工智能的音频数据处理方法及装置、存储介质 | |
| Adnan | On dynamic selection of subspace for random forest | |
| Wang et al. | Multi-core architecture on FPGA for large dictionary string matching | |
| Milutinovic | Mapping of neural networks on the honeycomb architecture | |
| KR20210151727A (ko) | 신경망 가속기의 데이터 처리 방법, 장치, 기기 및 저장 매체 | |
| Agung et al. | An automatic MPI process mapping method considering locality and memory congestion on NUMA systems | |
| CN110732138A (zh) | 虚拟对象控制方法、装置、可读存储介质和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 12 |