JPH0535710A - ニユーラルネツトワークの学習方法および学習装置 - Google Patents
ニユーラルネツトワークの学習方法および学習装置Info
- Publication number
- JPH0535710A JPH0535710A JP3215883A JP21588391A JPH0535710A JP H0535710 A JPH0535710 A JP H0535710A JP 3215883 A JP3215883 A JP 3215883A JP 21588391 A JP21588391 A JP 21588391A JP H0535710 A JPH0535710 A JP H0535710A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- layer
- category
- neural network
- intermediate layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 複数のカテゴリについてのニューラルネット
ワークの学習を信頼性良く高速にかつ効率的に行なうこ
とが可能である。 【構成】 ３層パーセプトロンを用いて対象がどのカテ
ゴリに属するかを識別させる際には、これに先立って、
識別対象のカテゴリに合わせた形で３層パーセプトロン
の学習がなされる。この場合に、各カテゴリのサンプル
データｘi（ｊ）であるＮ次元のベクトルに基づき、Ｍ
個のカテゴリを各々分離する（Ｍ−１）種類の超平面を
構成し、（Ｍ−１）種類の超平面を構成する（Ｍ−１）
種類の各パラメータを中間層Ｐ2の対応した（Ｍ−１）
個のユニットに割当てて入力層Ｐ1から中間層Ｐ2への学
習を行なう。即ち、入力層Ｐ1と中間層Ｐ2のユニット間
の結合の重みｗn（ｉ）と中間層Ｐ2の各ユニットのバイ
アス値ｂnの学習を行なう。
ワークの学習を信頼性良く高速にかつ効率的に行なうこ
とが可能である。 【構成】 ３層パーセプトロンを用いて対象がどのカテ
ゴリに属するかを識別させる際には、これに先立って、
識別対象のカテゴリに合わせた形で３層パーセプトロン
の学習がなされる。この場合に、各カテゴリのサンプル
データｘi（ｊ）であるＮ次元のベクトルに基づき、Ｍ
個のカテゴリを各々分離する（Ｍ−１）種類の超平面を
構成し、（Ｍ−１）種類の超平面を構成する（Ｍ−１）
種類の各パラメータを中間層Ｐ2の対応した（Ｍ−１）
個のユニットに割当てて入力層Ｐ1から中間層Ｐ2への学
習を行なう。即ち、入力層Ｐ1と中間層Ｐ2のユニット間
の結合の重みｗn（ｉ）と中間層Ｐ2の各ユニットのバイ
アス値ｂnの学習を行なう。
Description
【０００１】
【産業上の利用分野】本発明は、音声認識，文字認識，
物体認識，ロボット制御，株価予測等の分野に利用され
るニューラルネットワークの学習方法および学習装置に
関する。
物体認識，ロボット制御，株価予測等の分野に利用され
るニューラルネットワークの学習方法および学習装置に
関する。
【０００２】
【従来の技術】従来、ニューラルネットワークの分野に
おいては、その学習アルゴリズムとして、誤差逆伝播学
習（バックプロパゲーション学習）が知られている。
おいては、その学習アルゴリズムとして、誤差逆伝播学
習（バックプロパゲーション学習）が知られている。
【０００３】このバックプロパゲーションによる学習ア
ルゴリズムは、入力ベクトルに対して出力の誤まりを訂
正する方向にネットワークを構成するユニット間の結合
の重みを修正して学習を行なうものであり、この修正を
二乗誤差の評価関数に関する最急降下法により行なうよ
うになっている。すなわち、それぞれの入力ベクトルの
組に関する二乗誤差を求めると、この二乗誤差はユニッ
ト間の結合の重みの関数となっているので、結合の重み
を変数として二乗誤差の評価関数に関し最急降下法を行
なうことにより、各入力ベクトルに関して二乗誤差を最
も小さくするような方向へユニット間の結合の重みを修
正することができる。
ルゴリズムは、入力ベクトルに対して出力の誤まりを訂
正する方向にネットワークを構成するユニット間の結合
の重みを修正して学習を行なうものであり、この修正を
二乗誤差の評価関数に関する最急降下法により行なうよ
うになっている。すなわち、それぞれの入力ベクトルの
組に関する二乗誤差を求めると、この二乗誤差はユニッ
ト間の結合の重みの関数となっているので、結合の重み
を変数として二乗誤差の評価関数に関し最急降下法を行
なうことにより、各入力ベクトルに関して二乗誤差を最
も小さくするような方向へユニット間の結合の重みを修
正することができる。
【０００４】さらに、従来ではこれを発展させた確率的
降下法の理論（以下では、これをも含めて最急降下法と
呼ぶ）も知られている。
降下法の理論（以下では、これをも含めて最急降下法と
呼ぶ）も知られている。
【０００５】
【発明が解決しようとする課題】しかしながら、バック
プロパゲーション学習では、出力層での誤差を出力層へ
の入力として、出力層から入力層の方向へ逆方向に伝播
させて学習がなされるので、必ずしも良い学習結果が得
られるとは限らず、またたとえ良い学習結果が得られる
場合でも、得られたネットワークの解釈が難かしく、ま
た学習に相当時間がかかるという問題があった。このた
め、入力データが複数のカテゴリのうちのどのカテゴリ
に属するかをニューラルネットワークを用いて実際に識
別させようとする場合、それに先立ってなされる複数の
カテゴリについてのニューラルネットワークの学習をバ
ックプロパゲーションによって行なうとしたときには、
学習を信頼性良く高速に行なうことはできず、さらに識
別したいカテゴリが後から増えた場合には、全ての学習
を最初からし直す必要があり、効率的でないという欠点
があった。
プロパゲーション学習では、出力層での誤差を出力層へ
の入力として、出力層から入力層の方向へ逆方向に伝播
させて学習がなされるので、必ずしも良い学習結果が得
られるとは限らず、またたとえ良い学習結果が得られる
場合でも、得られたネットワークの解釈が難かしく、ま
た学習に相当時間がかかるという問題があった。このた
め、入力データが複数のカテゴリのうちのどのカテゴリ
に属するかをニューラルネットワークを用いて実際に識
別させようとする場合、それに先立ってなされる複数の
カテゴリについてのニューラルネットワークの学習をバ
ックプロパゲーションによって行なうとしたときには、
学習を信頼性良く高速に行なうことはできず、さらに識
別したいカテゴリが後から増えた場合には、全ての学習
を最初からし直す必要があり、効率的でないという欠点
があった。
【０００６】本発明は、複数のカテゴリについてのニュ
ーラルネットワークの学習を信頼性良く高速にかつ効率
的に行なうことの可能なニューラルネットワークの学習
方法および学習装置を提供することを目的としている。
ーラルネットワークの学習を信頼性良く高速にかつ効率
的に行なうことの可能なニューラルネットワークの学習
方法および学習装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】上記目的を達成するため
に本発明のニューラルネットワークの学習方法は、入力
データが複数のカテゴリのうちのどのカテゴリに属する
かをニューラルネットワークを用いて識別するに際し
て、各カテゴリを分離する超平面を構成することによ
り、ニューラルネットワークの入力層から中間層への結
合の重みの決定を行ない、複数のカテゴリについてのニ
ューラルネットワークの学習を行なうようになっている
ことを特徴としている。
に本発明のニューラルネットワークの学習方法は、入力
データが複数のカテゴリのうちのどのカテゴリに属する
かをニューラルネットワークを用いて識別するに際し
て、各カテゴリを分離する超平面を構成することによ
り、ニューラルネットワークの入力層から中間層への結
合の重みの決定を行ない、複数のカテゴリについてのニ
ューラルネットワークの学習を行なうようになっている
ことを特徴としている。
【０００８】各カテゴリを分離する超平面を構成するに
際しては、先づ、各カテゴリの順番を各カテゴリの平均
ベクトルの位置関係によって決定し、次いで、決定され
た順番ｎ（ｎ≧１）に従い、第（ｎ＋１）番目のカテゴ
リを第ｎ番目までのカテゴリから分離させるように超平
面を構成するようになっていることを特徴としている。
際しては、先づ、各カテゴリの順番を各カテゴリの平均
ベクトルの位置関係によって決定し、次いで、決定され
た順番ｎ（ｎ≧１）に従い、第（ｎ＋１）番目のカテゴ
リを第ｎ番目までのカテゴリから分離させるように超平
面を構成するようになっていることを特徴としている。
【０００９】さらに、本発明では、各カテゴリを分離す
る超平面を構成することによってニューラルネットワー
クの入力層から中間層への結合の重みを決定した後、中
間層から出力層への結合の重みを最小二乗法によって決
定するようになっていることを特徴としている。
る超平面を構成することによってニューラルネットワー
クの入力層から中間層への結合の重みを決定した後、中
間層から出力層への結合の重みを最小二乗法によって決
定するようになっていることを特徴としている。
【００１０】また、本発明のニューラルネットワークの
学習装置は、Ｎ個のユニットを有する入力層から（Ｍ−
１）個のユニットを有する中間層への学習を行なう第１
の学習手段と、（Ｍ−１）個のユニットを有する中間層
からＭ個のユニットを有する出力層への学習を行なう第
２の学習手段とを有し、前記第１の学習手段は、識別し
たいカテゴリの数がＭであり、各カテゴリのサンプルデ
ータがＮ次元のベクトルであるときに、各カテゴリのサ
ンプルデータであるＮ次元のベクトルに基づき、Ｍ個の
カテゴリを各々分離する（Ｍ−１）種類の超平面を構成
し、（Ｍ−１）種類の超平面を規定する（Ｍ−１）種類
の各パラメータを中間層の対応した（Ｍ−１）個のユニ
ットに割当てて入力層から中間層への学習を行なうよう
になっていることを特徴としている。
学習装置は、Ｎ個のユニットを有する入力層から（Ｍ−
１）個のユニットを有する中間層への学習を行なう第１
の学習手段と、（Ｍ−１）個のユニットを有する中間層
からＭ個のユニットを有する出力層への学習を行なう第
２の学習手段とを有し、前記第１の学習手段は、識別し
たいカテゴリの数がＭであり、各カテゴリのサンプルデ
ータがＮ次元のベクトルであるときに、各カテゴリのサ
ンプルデータであるＮ次元のベクトルに基づき、Ｍ個の
カテゴリを各々分離する（Ｍ−１）種類の超平面を構成
し、（Ｍ−１）種類の超平面を規定する（Ｍ−１）種類
の各パラメータを中間層の対応した（Ｍ−１）個のユニ
ットに割当てて入力層から中間層への学習を行なうよう
になっていることを特徴としている。
【００１１】
【実施例】以下、本発明の一実施例を図面に基づいて説
明する。図１は本発明の一実施例のブロック図である。
本実施例では、ニューラルネットワークが多層パーセプ
トロン型のネットワークＮＷとして構成されていると
し、与えられた入力データ（入力パターン）が望ましい
カテゴリ（種類）に識別されるようこのネットワークＮ
Ｗの学習を行なうようになっている。このため、本実施
例では、階層的なニューラルネットワークＮＷに対し
て、前段階，例えば初段の学習を行なう第１の学習手段
１と、後段階，例えば２段目以後の学習を行なう第２の
学習手段２とが設けられている。第１の学習手段１は、
各カテゴリごとのサンプルデータに基づき前段階の学習
を行なうようになっている。また、第２の学習手段２
は、例えば最小二乗法を用いて後段階以後の学習を行な
うようになっている。
明する。図１は本発明の一実施例のブロック図である。
本実施例では、ニューラルネットワークが多層パーセプ
トロン型のネットワークＮＷとして構成されていると
し、与えられた入力データ（入力パターン）が望ましい
カテゴリ（種類）に識別されるようこのネットワークＮ
Ｗの学習を行なうようになっている。このため、本実施
例では、階層的なニューラルネットワークＮＷに対し
て、前段階，例えば初段の学習を行なう第１の学習手段
１と、後段階，例えば２段目以後の学習を行なう第２の
学習手段２とが設けられている。第１の学習手段１は、
各カテゴリごとのサンプルデータに基づき前段階の学習
を行なうようになっている。また、第２の学習手段２
は、例えば最小二乗法を用いて後段階以後の学習を行な
うようになっている。
【００１２】いま、例えば図２に示すような３層パーセ
プトロンのニューラルネットワークＮＷを用いて音声，
画像，文字等の対象，すなわち入力データの識別を行な
うようとする場合を考える。この際、音声，画像，文字
等の対象はＮ次元ユークリッド空間Ｒ（Ｎ）に値をもつ
ベクトルであるとする。すなわち、音声，画像，文字等
のデータをユークリッド空間Ｒ（Ｎ）の元として取り扱
うものとする。また、識別したい種類，すなわちカテゴ
リの数をＭ個，第ｉ番目のカテゴリのサンプル数をＭi
個とし、第ｉ番目のカテゴリの第ｊ番目のサンプルデー
タをｘi（ｊ）と書くと、この場合には、図２の３層パ
ーセプトロンにおいて、入力層Ｐ1がＮ個のユニット、
中間層Ｐ2が（Ｍ−１）個のユニット、出力層Ｐ3がＭ個
のユニットからなるものとして構成する。
プトロンのニューラルネットワークＮＷを用いて音声，
画像，文字等の対象，すなわち入力データの識別を行な
うようとする場合を考える。この際、音声，画像，文字
等の対象はＮ次元ユークリッド空間Ｒ（Ｎ）に値をもつ
ベクトルであるとする。すなわち、音声，画像，文字等
のデータをユークリッド空間Ｒ（Ｎ）の元として取り扱
うものとする。また、識別したい種類，すなわちカテゴ
リの数をＭ個，第ｉ番目のカテゴリのサンプル数をＭi
個とし、第ｉ番目のカテゴリの第ｊ番目のサンプルデー
タをｘi（ｊ）と書くと、この場合には、図２の３層パ
ーセプトロンにおいて、入力層Ｐ1がＮ個のユニット、
中間層Ｐ2が（Ｍ−１）個のユニット、出力層Ｐ3がＭ個
のユニットからなるものとして構成する。
【００１３】なお、図２において、ｗn（ｉ）は入力層
Ｐ1と中間層Ｐ2のユニット間の結合の重みであり、Ｂj
（ｎ）は中間層Ｐ2と出力層Ｐ3のユニット間の結合の重
みを表わしており、ｂnは中間層Ｐ2の各ユニットのバイ
アス値、ｔjは出力層Ｐ3の各ユニットのバイアス値を表
わしている。
Ｐ1と中間層Ｐ2のユニット間の結合の重みであり、Ｂj
（ｎ）は中間層Ｐ2と出力層Ｐ3のユニット間の結合の重
みを表わしており、ｂnは中間層Ｐ2の各ユニットのバイ
アス値、ｔjは出力層Ｐ3の各ユニットのバイアス値を表
わしている。
【００１４】図２のような３層パーセプトロンを用いて
対象がどのカテゴリに属するかを識別させようとする際
には、これに先立って、識別対象のカテゴリに合わせた
形で３層パーセプトロンの学習が行なわれる。この場合
に、上記第１の学習手段１は、各カテゴリのサンプルデ
ータであるＮ次元のベクトルに基づき、Ｍ個のカテゴリ
を各々分離する（Ｍ−１）種類の超平面を構成し、（Ｍ
−１）種類の超平面を構成する（Ｍ−１）種類の各パラ
メータを中間層Ｐ2の対応した（Ｍ−１）個のユニット
に割当てて入力層Ｐ1から中間層Ｐ2への学習を行なうよ
うになっている。すなわち、入力層Ｐ1と中間層Ｐ2のユ
ニット間の結合の重みｗn（ｉ）と中間層Ｐ2の各ユニッ
トのバイアス値ｂnの学習を行なうようになっている。
対象がどのカテゴリに属するかを識別させようとする際
には、これに先立って、識別対象のカテゴリに合わせた
形で３層パーセプトロンの学習が行なわれる。この場合
に、上記第１の学習手段１は、各カテゴリのサンプルデ
ータであるＮ次元のベクトルに基づき、Ｍ個のカテゴリ
を各々分離する（Ｍ−１）種類の超平面を構成し、（Ｍ
−１）種類の超平面を構成する（Ｍ−１）種類の各パラ
メータを中間層Ｐ2の対応した（Ｍ−１）個のユニット
に割当てて入力層Ｐ1から中間層Ｐ2への学習を行なうよ
うになっている。すなわち、入力層Ｐ1と中間層Ｐ2のユ
ニット間の結合の重みｗn（ｉ）と中間層Ｐ2の各ユニッ
トのバイアス値ｂnの学習を行なうようになっている。
【００１５】次に、本実施例の学習処理について図３の
フローチャートを用いて説明する。なお、以下では、こ
の３層パーセプトロンにおいて、第１の学習手段１が入
力層Ｐ1から中間層Ｐ2への学習を行ない、第２の学習手
段２が中間層Ｐ2から出力層Ｐ3への学習を行なうものと
する。先づ、第１の学習手段１は、ｉ番目のカテゴリに
属するサンプルデータｘi（ｊ）の平均値，すなわち平
均ベクトルｘiを次式により計算する（ステップＳ
１）。
フローチャートを用いて説明する。なお、以下では、こ
の３層パーセプトロンにおいて、第１の学習手段１が入
力層Ｐ1から中間層Ｐ2への学習を行ない、第２の学習手
段２が中間層Ｐ2から出力層Ｐ3への学習を行なうものと
する。先づ、第１の学習手段１は、ｉ番目のカテゴリに
属するサンプルデータｘi（ｊ）の平均値，すなわち平
均ベクトルｘiを次式により計算する（ステップＳ
１）。
【００１６】
【数１】
【００１７】また、各カテゴリの平均ベクトルｘ（ｉ）
を平均した全ベクトルｘを次式のように計算する（ステ
ップＳ２）。
を平均した全ベクトルｘを次式のように計算する（ステ
ップＳ２）。
【００１８】
【数２】
【００１９】次いで、各カテゴリに対し、次のようにし
て順番ｉを新たに設定する。すなわち、平均ベクトルが
全ベクトルｘに対して最も遠い位置にあるカテゴリを１
番目のカテゴリとし、平均ベクトルがｎ番目のカテゴリ
の平均ベクトルから最も近い位置にあるカテゴリを（ｎ
＋１）番目のカテゴリとして順番を設定し、カテゴリに
ついてのサフィックスｉを上記の順番に入れ替える（ス
テップＳ３）。なお、ここで、平均ベクトル間の遠近
は、Ｎ次元のユークリッド空間におけるベクトル間のユ
ークリッド距離，すなわちノルムによって決定される。
て順番ｉを新たに設定する。すなわち、平均ベクトルが
全ベクトルｘに対して最も遠い位置にあるカテゴリを１
番目のカテゴリとし、平均ベクトルがｎ番目のカテゴリ
の平均ベクトルから最も近い位置にあるカテゴリを（ｎ
＋１）番目のカテゴリとして順番を設定し、カテゴリに
ついてのサフィックスｉを上記の順番に入れ替える（ス
テップＳ３）。なお、ここで、平均ベクトル間の遠近
は、Ｎ次元のユークリッド空間におけるベクトル間のユ
ークリッド距離，すなわちノルムによって決定される。
【００２０】このようにして、Ｍ個の各カテゴリについ
て順番を設定した後、入力層Ｐ1と中間層Ｐ2との間の学
習処理を行なう（ステップＳ４乃至Ｓ８）。すなわち、
順番カウンタｎを“１”に初期設定し（ステップＳ
４）、ｘn+1を｛ｘ1，…，ｘn｝と分離させる超平面ｆn
を作る（ステップＳ５）。なお、この際、｛ｘ1，…，
ｘn｝のうちでｘn+1に最も近いｘnと分離させるよう超
平面ｆnを作る。次いで、この超平面を規定するパラメ
ータｗn（ｉ），ｂnを中間層Ｐ2のｎ番目のユニットに
対する結合の重み，ｎ番目のユニットのバイアス値とし
てそれぞれ割り当てる（ステップＳ６）。
て順番を設定した後、入力層Ｐ1と中間層Ｐ2との間の学
習処理を行なう（ステップＳ４乃至Ｓ８）。すなわち、
順番カウンタｎを“１”に初期設定し（ステップＳ
４）、ｘn+1を｛ｘ1，…，ｘn｝と分離させる超平面ｆn
を作る（ステップＳ５）。なお、この際、｛ｘ1，…，
ｘn｝のうちでｘn+1に最も近いｘnと分離させるよう超
平面ｆnを作る。次いで、この超平面を規定するパラメ
ータｗn（ｉ），ｂnを中間層Ｐ2のｎ番目のユニットに
対する結合の重み，ｎ番目のユニットのバイアス値とし
てそれぞれ割り当てる（ステップＳ６）。
【００２１】しかる後、順番カウンタｎを“１”だけ歩
進し（ステップＳ７）、ステップＳ６，Ｓ７の処理を同
様にして繰り返し行ない、ｎがＭとなった時点で、すな
わち中間層Ｐ2の（Ｍ−１）個の全てのユニットに対し
て学習を行なった時点で（ステップＳ８）、入力層Ｐ1
と中間層Ｐ2との間の学習を終了する。
進し（ステップＳ７）、ステップＳ６，Ｓ７の処理を同
様にして繰り返し行ない、ｎがＭとなった時点で、すな
わち中間層Ｐ2の（Ｍ−１）個の全てのユニットに対し
て学習を行なった時点で（ステップＳ８）、入力層Ｐ1
と中間層Ｐ2との間の学習を終了する。
【００２２】具体的には、先づ、１番目のカテゴリと２
番目のカテゴリとを分離する超平面ｆ1を次式により構
成する。なお、以下では、ｗ，ｘはベクトルを表わし、
ｗ（ｉ），ｘ（ｉ）はベクトルｗ，ｘのｉ番目の成分を
表わすものとする。
番目のカテゴリとを分離する超平面ｆ1を次式により構
成する。なお、以下では、ｗ，ｘはベクトルを表わし、
ｗ（ｉ），ｘ（ｉ）はベクトルｗ，ｘのｉ番目の成分を
表わすものとする。
【００２３】
【数３】
【００２４】ここで、上記超平面ｆnを規定するパラメ
ータｗn（ｉ）は次式のように決定される。
ータｗn（ｉ）は次式のように決定される。
【００２５】
【数４】
【００２６】また、パラメータｂ1は、次のようにして
決定される。すなわち、数４によって求まったｗ
1（ｉ）（ベクトルｗ1）を用いて先づ、次式により分布
関数ｑ（ｘ）を定義する。
決定される。すなわち、数４によって求まったｗ
1（ｉ）（ベクトルｗ1）を用いて先づ、次式により分布
関数ｑ（ｘ）を定義する。
【００２７】
【数５】ｇ（ｘ）＝ｗ1・ｘ
【００２８】そして、実数をとる２つの分布関数ｇ（ｘ
1（ｊ）），ｇ（ｘ2（ｊ））の平均Ｅ1，Ｅ2と標準偏差
σ1，σ2とを次式により計算する。
1（ｊ）），ｇ（ｘ2（ｊ））の平均Ｅ1，Ｅ2と標準偏差
σ1，σ2とを次式により計算する。
【００２９】
【数６】
【００３０】そこで、パラメータｂ1を次式のように決
める。
める。
【００３１】
【数７】 ｂ1＝−ｇ〔（σ1・ｘ2＋σ2・ｘ1）／（σ1＋σ2）〕
【００３２】パラメータｗ1を数４により決定し、また
パラメータｂ1を数７のように定めると、数３の超平面
（ｆ1＝０）は２つの平均ベクトルｘ1，ｘ2を最も良く
分離するものとなる。さらに分離の度合いを表わす実数
Ｔを次式で定め、数３，数７により定めたパラメータｗ
1，ｂ1をＴ倍して、これを最終的なパラメータｗ1，ｂ1
とする。
パラメータｂ1を数７のように定めると、数３の超平面
（ｆ1＝０）は２つの平均ベクトルｘ1，ｘ2を最も良く
分離するものとなる。さらに分離の度合いを表わす実数
Ｔを次式で定め、数３，数７により定めたパラメータｗ
1，ｂ1をＴ倍して、これを最終的なパラメータｗ1，ｂ1
とする。
【００３３】
【数８】Ｔ＝‖ｘ1−ｘ2‖／（σ1＋σ2）
【００３４】このようにして、パラメータｗ1，ｂ1が求
まると、図２に示すように、パラメータであるベクトル
ｗ1の各成分ｗ1（ｉ）（ｉ＝１〜Ｎ）を入力層Ｐ1のＮ
個の各ユニットから中間層Ｐ2の１番目のユニットへの
結合の重みｗ1（ｉ）（ｉ＝１〜Ｎ）として割り当て、
また、パラメータｂ1を中間層Ｐ2の１番目のユニットの
バイアス値ｂ1として割り当てる。
まると、図２に示すように、パラメータであるベクトル
ｗ1の各成分ｗ1（ｉ）（ｉ＝１〜Ｎ）を入力層Ｐ1のＮ
個の各ユニットから中間層Ｐ2の１番目のユニットへの
結合の重みｗ1（ｉ）（ｉ＝１〜Ｎ）として割り当て、
また、パラメータｂ1を中間層Ｐ2の１番目のユニットの
バイアス値ｂ1として割り当てる。
【００３５】次いで、１番目，２番目のカテゴリと３番
目のカテゴリとを分離する超平面ｆ2を数３と同様にし
て構成し、上述したと同様にして、超平面ｆ2を規定す
るパラメータｗ2，ｂ2を求めて、パラメータであるベク
トルｗ2の各成分ｗ2（ｉ）（ｉ＝１〜Ｎ）を入力層Ｐ1
のＮ個の各ユニットから中間層Ｐ2の２番目のユニット
への結合の重みｗ2（ｉ）（ｉ＝１〜Ｎ）として割り当
て、またパラメータｂ2を中間層Ｐ2の２番目のユニット
のバイアス値ｂ2として割り当てる。
目のカテゴリとを分離する超平面ｆ2を数３と同様にし
て構成し、上述したと同様にして、超平面ｆ2を規定す
るパラメータｗ2，ｂ2を求めて、パラメータであるベク
トルｗ2の各成分ｗ2（ｉ）（ｉ＝１〜Ｎ）を入力層Ｐ1
のＮ個の各ユニットから中間層Ｐ2の２番目のユニット
への結合の重みｗ2（ｉ）（ｉ＝１〜Ｎ）として割り当
て、またパラメータｂ2を中間層Ｐ2の２番目のユニット
のバイアス値ｂ2として割り当てる。
【００３６】以下同様の手順を帰納的に繰り返し、１番
目〜ｎ番目のカテゴリと（ｎ＋１）番目のカテゴリとを
分離する超平面ｆnを構成し、パラメータｗn，ｂnを求
め、パラメータｗnを入力層Ｐ1のＮ個の各ユニットから
中間層Ｐ2のｎ番目のユニットへの結合の重みｗn（ｉ）
（ｉ＝１〜Ｎ）として割り当て、パラメータｂnを中間
層Ｐ2のｎ番目のユニットのバイアス値ｂnとして割り当
てる。
目〜ｎ番目のカテゴリと（ｎ＋１）番目のカテゴリとを
分離する超平面ｆnを構成し、パラメータｗn，ｂnを求
め、パラメータｗnを入力層Ｐ1のＮ個の各ユニットから
中間層Ｐ2のｎ番目のユニットへの結合の重みｗn（ｉ）
（ｉ＝１〜Ｎ）として割り当て、パラメータｂnを中間
層Ｐ2のｎ番目のユニットのバイアス値ｂnとして割り当
てる。
【００３７】そして、ｎが（Ｍ−１）となり、パラメー
タｗM-1を入力層Ｐ1のＮ個のユニットから中間層Ｐ2の
（Ｍ−１）番目へのユニットへの結合の重みｗM-1（ｉ
＝１〜Ｎ）として割り当て、パラメータｂM-1を中間層
Ｐ2の（Ｍ−１）番目のユニットのバイアス値ｂM-1とし
て割り当てた時点で、入力層Ｐ1から中間層Ｐ2への学習
を終了する。
タｗM-1を入力層Ｐ1のＮ個のユニットから中間層Ｐ2の
（Ｍ−１）番目へのユニットへの結合の重みｗM-1（ｉ
＝１〜Ｎ）として割り当て、パラメータｂM-1を中間層
Ｐ2の（Ｍ−１）番目のユニットのバイアス値ｂM-1とし
て割り当てた時点で、入力層Ｐ1から中間層Ｐ2への学習
を終了する。
【００３８】しかる後、第２の学習手段２は、中間層Ｐ
2から出力層Ｐ3への学習を行なう。この学習では、先
づ、ｉ番目のカテゴリのサンプルデータｘi（ｊ）に対
する中間層Ｐ2での出力ベクトルｆを求めておく。すな
わち、中間層Ｐ2での出力ベクトルｆは、ステップＳ１
〜Ｓ８で学習のなされた入力層Ｐ1から中間層Ｐ2へのネ
ットワークにより、次式のようになる。
2から出力層Ｐ3への学習を行なう。この学習では、先
づ、ｉ番目のカテゴリのサンプルデータｘi（ｊ）に対
する中間層Ｐ2での出力ベクトルｆを求めておく。すな
わち、中間層Ｐ2での出力ベクトルｆは、ステップＳ１
〜Ｓ８で学習のなされた入力層Ｐ1から中間層Ｐ2へのネ
ットワークにより、次式のようになる。
【００３９】
【数９】ｆ＝sigmoid（ｗ・ｘi（ｊ）＋ｂi）
【００４０】ここで、シグモイド関数sigmoid（ｘ）は
ニューロンの特性を表わす単調増加関数であって、この
関数として、実際上は、〔１／（１＋ｅｘｐ（−
ｘ））〕等が用いられる。
ニューロンの特性を表わす単調増加関数であって、この
関数として、実際上は、〔１／（１＋ｅｘｐ（−
ｘ））〕等が用いられる。
【００４１】次いで、ｉ番目のカテゴリに属するデータ
が入力層Ｐ1に入力するとしたときに出力層Ｐ3の各ユニ
ットから次式のような出力ベクトルｈが出力されるよう
に学習を行なう。
が入力層Ｐ1に入力するとしたときに出力層Ｐ3の各ユニ
ットから次式のような出力ベクトルｈが出力されるよう
に学習を行なう。
【００４２】
【数１０】ｈ＝（０．０１，０．０１，…，０．９９，
…，０．０１，…，０．０１）
…，０．０１，…，０．０１）
【００４３】すなわち、ｉ番目のカテゴリに対応したｉ
番目の成分が“０．９９”で、それ以外の成分が“０．
０１”となるような出力ベクトルｈが出力されるように
学習を行なう。このような出力ベクトルｈは、出力層Ｐ
3でシグモイド関数sigmoid（ｘ）を経た後での値となる
ので、シグモイド関数sigmoid（ｘ）を経る前の値とし
て、この出力ベクトルｈをsigmoid（ｘ）で逆変換した
次式のベクトルｙを求めておく。
番目の成分が“０．９９”で、それ以外の成分が“０．
０１”となるような出力ベクトルｈが出力されるように
学習を行なう。このような出力ベクトルｈは、出力層Ｐ
3でシグモイド関数sigmoid（ｘ）を経た後での値となる
ので、シグモイド関数sigmoid（ｘ）を経る前の値とし
て、この出力ベクトルｈをsigmoid（ｘ）で逆変換した
次式のベクトルｙを求めておく。
【００４４】
【数１１】ｙ＝（sigmoid（０．０１），sigmoid（０．
０１），…，sigmoid（０．９９），…，sigmoid（０．
０１））
０１），…，sigmoid（０．９９），…，sigmoid（０．
０１））
【００４５】このとき、中間層Ｐ2と出力層Ｐ3のユニッ
ト間の結合の重みＢj（ｎ），出力層の各ユニットのバ
イアス値ｔjは、次式Ｕを最小にするＺ，Ｃによりそれ
ぞれ与えられる。ここでＺはベクトルである。
ト間の結合の重みＢj（ｎ），出力層の各ユニットのバ
イアス値ｔjは、次式Ｕを最小にするＺ，Ｃによりそれ
ぞれ与えられる。ここでＺはベクトルである。
【００４６】
【数１２】
【００４７】Ｕを最小にするようなＺ，Ｃは最小二乗法
によって計算することができ、これにより、中間層Ｐ2
から出力層Ｐ3への学習を行なうことができる。
によって計算することができ、これにより、中間層Ｐ2
から出力層Ｐ3への学習を行なうことができる。
【００４８】上述のように、本実施例では、Ｍ個のカテ
ゴリを各々分離する（Ｍ−１）種類の超平面を構成し、
（Ｍ−１）種類の超平面を規定する（Ｍ−１）種類の各
パラメータを中間層Ｐ2の対応した（Ｍ−１）個のユニ
ットに割り当てて入力層Ｐ1から中間層Ｐ2への学習を行
なうようにしており、超平面を規定するパラメータを中
間層Ｐ2の対応したユニットに割り当てるだけの簡単な
処理で学習がなされるので、従来のバックプロパゲーシ
ョン学習に比べて、学習を迅速に行なうことができ、ま
た、中間層Ｐ2のユニットの各々に特定のカテゴリを分
離させる機能を持たせることができるので、学習した結
果のニューラルネットワークの解釈を簡単に行なうこと
ができる。さらに、識別したいカテゴリの種類が増加し
た場合にも、入力層Ｐ1と中間層Ｐ2との間の学習に関し
ては、既存の学習結果を維持し、新たに追加されたカテ
ゴリについてのみ新たに学習を行なうだけで良く、カテ
ゴリの種類の増加にも学習を煩雑なものにさせずに極め
て簡単に対処することができる。具体的には、（Ｍ＋
１）番目のカテゴリが新たに追加されたとき、中間層Ｐ
2，出力層Ｐ3のユニットを１つだけ増加し、それぞれ、
Ｍ個，（Ｍ＋１）個のユニットとし、入力層Ｐ1と中間
層Ｐ2との間の学習に関しては中間層Ｐ2のＭ番目のユニ
ットについてだけ帰納的に新たに学習を行なえば良い。
ゴリを各々分離する（Ｍ−１）種類の超平面を構成し、
（Ｍ−１）種類の超平面を規定する（Ｍ−１）種類の各
パラメータを中間層Ｐ2の対応した（Ｍ−１）個のユニ
ットに割り当てて入力層Ｐ1から中間層Ｐ2への学習を行
なうようにしており、超平面を規定するパラメータを中
間層Ｐ2の対応したユニットに割り当てるだけの簡単な
処理で学習がなされるので、従来のバックプロパゲーシ
ョン学習に比べて、学習を迅速に行なうことができ、ま
た、中間層Ｐ2のユニットの各々に特定のカテゴリを分
離させる機能を持たせることができるので、学習した結
果のニューラルネットワークの解釈を簡単に行なうこと
ができる。さらに、識別したいカテゴリの種類が増加し
た場合にも、入力層Ｐ1と中間層Ｐ2との間の学習に関し
ては、既存の学習結果を維持し、新たに追加されたカテ
ゴリについてのみ新たに学習を行なうだけで良く、カテ
ゴリの種類の増加にも学習を煩雑なものにさせずに極め
て簡単に対処することができる。具体的には、（Ｍ＋
１）番目のカテゴリが新たに追加されたとき、中間層Ｐ
2，出力層Ｐ3のユニットを１つだけ増加し、それぞれ、
Ｍ個，（Ｍ＋１）個のユニットとし、入力層Ｐ1と中間
層Ｐ2との間の学習に関しては中間層Ｐ2のＭ番目のユニ
ットについてだけ帰納的に新たに学習を行なえば良い。
【００４９】以上のようにニューラルネットワークＮＷ
の学習が行なわれた後、実際の入力データを入力層Ｐ1
に入力させ、出力層Ｐ3からこの入力データのカテゴリ
識別結果を得ることができる。
の学習が行なわれた後、実際の入力データを入力層Ｐ1
に入力させ、出力層Ｐ3からこの入力データのカテゴリ
識別結果を得ることができる。
【００５０】この際に、実際の入力データとして例えば
３番目のカテゴリに属するデータが入力層Ｐ1に入力す
ると、中間層Ｐ2の２番目のユニットだけが他のユニッ
トの出力ｆ1，ｆ3，〜ｆ(M-1)とは異なる特性（符号あ
るいは値）の出力ｆ2を出力する。
３番目のカテゴリに属するデータが入力層Ｐ1に入力す
ると、中間層Ｐ2の２番目のユニットだけが他のユニッ
トの出力ｆ1，ｆ3，〜ｆ(M-1)とは異なる特性（符号あ
るいは値）の出力ｆ2を出力する。
【００５１】これにより、出力層Ｐ3において、３番目
のカテゴリに対応した３番目のユニットからの出力が例
えば“０．９９”となり、他のユニットからの出力が
“０．０１”となって、入力データが３番目のカテゴリ
に属するものであると正確に識別することができる。
のカテゴリに対応した３番目のユニットからの出力が例
えば“０．９９”となり、他のユニットからの出力が
“０．０１”となって、入力データが３番目のカテゴリ
に属するものであると正確に識別することができる。
【００５２】なお、上述の実施例では、ネットワークを
３層パーセプトロンとして構成し１つの中間層Ｐ2だけ
が設けられている場合について述べたが、ネットワーク
を４層以上のパーセプトロンで構成し、第１，第２…の
複数の中間層が設けられている場合にも、本発明を同様
に適用することができ、このときには、第１の学習手段
１は、入力層と第１の中間層との間の学習を行ない、第
２の学習手段２は、第１の中間層と第２の中間層との間
の学習，第２の中間層と第３の中間層との間の学習等を
最後が出力層となるまで、最小二乗法により行なう。こ
の際、第２の学習手段２が各段で最小二乗法を用いると
きには、各段において望ましい出力ベクトルが必要とな
るが、それには最終段（出力層の段階）での望ましい出
力ベクトルを用いれば良い。但し、この場合に、第２の
中間層から出力層までの各層は同じユニット数Ｍである
必要がある。
３層パーセプトロンとして構成し１つの中間層Ｐ2だけ
が設けられている場合について述べたが、ネットワーク
を４層以上のパーセプトロンで構成し、第１，第２…の
複数の中間層が設けられている場合にも、本発明を同様
に適用することができ、このときには、第１の学習手段
１は、入力層と第１の中間層との間の学習を行ない、第
２の学習手段２は、第１の中間層と第２の中間層との間
の学習，第２の中間層と第３の中間層との間の学習等を
最後が出力層となるまで、最小二乗法により行なう。こ
の際、第２の学習手段２が各段で最小二乗法を用いると
きには、各段において望ましい出力ベクトルが必要とな
るが、それには最終段（出力層の段階）での望ましい出
力ベクトルを用いれば良い。但し、この場合に、第２の
中間層から出力層までの各層は同じユニット数Ｍである
必要がある。
【００５３】
【発明の効果】以上に説明したように本発明によれば、
入力データが複数のカテゴリのうちのどのカテゴリに属
するかをニューラルネットワークを用いて識別するに際
して、各カテゴリを分離する超平面を構成し、該超平面
を構成するパラメータに基づき、ニューラルネットワー
クの入力層から中間層への学習を行なうようになってい
るので、複数のカテゴリについてのニューラルネットワ
ークの学習を信頼性良く高速にかつ効率的に行なうこと
ができ、この学習結果に基づき入力データのカテゴリを
正しく識別することができる。
入力データが複数のカテゴリのうちのどのカテゴリに属
するかをニューラルネットワークを用いて識別するに際
して、各カテゴリを分離する超平面を構成し、該超平面
を構成するパラメータに基づき、ニューラルネットワー
クの入力層から中間層への学習を行なうようになってい
るので、複数のカテゴリについてのニューラルネットワ
ークの学習を信頼性良く高速にかつ効率的に行なうこと
ができ、この学習結果に基づき入力データのカテゴリを
正しく識別することができる。
【００５４】また、各カテゴリを分離する超平面を構成
することによってニューラルネットワークの入力層から
中間層への学習を行なった後、中間層から出力層への学
習を最小二乗法によって行なうようになっているので、
中間層から出力層までの学習をバックプロパゲーション
によって行なう場合に比べ、ニューラルネットワーク全
体の学習を高速にかつ効率的に行なうことができる。
することによってニューラルネットワークの入力層から
中間層への学習を行なった後、中間層から出力層への学
習を最小二乗法によって行なうようになっているので、
中間層から出力層までの学習をバックプロパゲーション
によって行なう場合に比べ、ニューラルネットワーク全
体の学習を高速にかつ効率的に行なうことができる。
【図１】本発明の一実施例のブロック図である。
【図２】本発明が適用されるニューラルネットワークの
一例を示す図である。
一例を示す図である。
【図３】本発明の学習処理を説明するためのフローチャ
ートである。
ートである。
１ 第１の学習手段 ２ 第２の学習手段 ＮＷ ニューラルネットワーク Ｐ1 入力層 Ｐ2 中間層 Ｐ3 出力層 ｗn（ｉ） 初段の結合の重み Ｂj（ｎ） ２段目の結合の重み ｂn 中間層のバイアス値 ｔj 出力層のバイアス値
Claims (4)
- 【請求項１】 入力データが複数のカテゴリのうちのど
のカテゴリに属するかをニューラルネットワークを用い
て識別するに際して、各カテゴリを分離する超平面を構
成し、該超平面を構成するパラメータに基づき、ニュー
ラルネットワークの入力層から中間層への学習を行なう
ようになっていることを特徴とするニューラルネットワ
ークの学習方法。 - 【請求項２】 請求項１記載のニューラルネットワーク
の学習方法において、各カテゴリを分離する超平面を構
成するに際しては、先づ、各カテゴリの順番を各カテゴ
リの平均ベクトルの位置関係によって決定し、次いで、
決定された順番ｎ（ｎ≧１）に従い、第（ｎ＋１）番目
のカテゴリを第ｎ番目までのカテゴリから分離させるよ
うに超平面を構成するようになっていることを特徴とす
るニューラルネットワークの学習方法。 - 【請求項３】 請求項１記載のニューラルネットワーク
の学習方法において、各カテゴリを分離する超平面を構
成することによってニューラルネットワークの入力層か
ら中間層への学習を行なった後、中間層から出力層への
学習を最小二乗法によって行なうようになっていること
を特徴とするニューラルネットワークの学習方法。 - 【請求項４】 Ｎ個のユニットを有する入力層から（Ｍ
−１）個のユニットを有する中間層への学習を行なう第
１の学習手段と、（Ｍ−１）個のユニットを有する中間
層からＭ個のユニットを有する出力層への学習を行なう
第２の学習手段とを有し、前記第１の学習手段は、識別
したいカテゴリの数がＭであり、各カテゴリのサンプル
データがＮ次元のベクトルであるときに、各カテゴリの
サンプルデータであるＮ次元のベクトルに基づき、Ｍ個
のカテゴリを各々分離する（Ｍ−１）種類の超平面を構
成し、（Ｍ−１）種類の超平面を規定する（Ｍ−１）種
類の各パラメータを中間層の対応した（Ｍ−１）個のユ
ニットに割当てて入力層から中間層への学習を行なうよ
うになっていることを特徴とするニューラルネットワー
クの学習装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3215883A JPH0535710A (ja) | 1991-08-01 | 1991-08-01 | ニユーラルネツトワークの学習方法および学習装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3215883A JPH0535710A (ja) | 1991-08-01 | 1991-08-01 | ニユーラルネツトワークの学習方法および学習装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0535710A true JPH0535710A (ja) | 1993-02-12 |
Family
ID=16679840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3215883A Pending JPH0535710A (ja) | 1991-08-01 | 1991-08-01 | ニユーラルネツトワークの学習方法および学習装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0535710A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000058531A (ko) * | 2000-06-10 | 2000-10-05 | 김성석 | 음성합성 및 음성인식 기술을 이용한 언어 학습 및 훈련기능을 가진 완구의 제어방법 |
| JP2016040650A (ja) * | 2014-08-12 | 2016-03-24 | 株式会社Ｓｃｒｅｅｎホールディングス | 分類器構築方法、画像分類方法および画像分類装置 |
| JP2017117152A (ja) * | 2015-12-24 | 2017-06-29 | みずほ証券株式会社 | 取引管理システム、取引管理方法及び取引管理プログラム |
| JP2018022473A (ja) * | 2016-07-21 | 2018-02-08 | パナソニックＩｐマネジメント株式会社 | 学習装置、識別装置、学習識別システム、及び、プログラム |
| JP2019211627A (ja) * | 2018-06-05 | 2019-12-12 | 日本電信電話株式会社 | モデル学習装置、方法及びプログラム |
| JP2021099677A (ja) * | 2019-12-23 | 2021-07-01 | Kddi株式会社 | 学習装置、学習方法及びプログラム |
-
1991
- 1991-08-01 JP JP3215883A patent/JPH0535710A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000058531A (ko) * | 2000-06-10 | 2000-10-05 | 김성석 | 음성합성 및 음성인식 기술을 이용한 언어 학습 및 훈련기능을 가진 완구의 제어방법 |
| JP2016040650A (ja) * | 2014-08-12 | 2016-03-24 | 株式会社Ｓｃｒｅｅｎホールディングス | 分類器構築方法、画像分類方法および画像分類装置 |
| JP2017117152A (ja) * | 2015-12-24 | 2017-06-29 | みずほ証券株式会社 | 取引管理システム、取引管理方法及び取引管理プログラム |
| WO2017110171A1 (ja) * | 2015-12-24 | 2017-06-29 | みずほ証券 株式会社 | 取引管理システム、取引管理方法及び取引管理プログラム |
| JP2018022473A (ja) * | 2016-07-21 | 2018-02-08 | パナソニックＩｐマネジメント株式会社 | 学習装置、識別装置、学習識別システム、及び、プログラム |
| JP2019211627A (ja) * | 2018-06-05 | 2019-12-12 | 日本電信電話株式会社 | モデル学習装置、方法及びプログラム |
| JP2021099677A (ja) * | 2019-12-23 | 2021-07-01 | Kddi株式会社 | 学習装置、学習方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583263A (zh) | 一种基于联合动态图卷积的点云分割方法 | |
| CN107636691A (zh) | 用于识别图像中的文本的方法和设备 | |
| CN110619059B (zh) | 一种基于迁移学习的建筑物标定方法 | |
| JPH08227408A (ja) | ニューラルネットワーク | |
| KR100306848B1 (ko) | 신경회로망을 이용한 선택적 주의집중 방법 | |
| JPH0535710A (ja) | ニユーラルネツトワークの学習方法および学習装置 | |
| CN111652021B (zh) | 一种基于bp神经网络的人脸识别方法及系统 | |
| CN116403608A (zh) | 基于多标签纠正和时空协同融合的语音情感识别方法 | |
| US5490236A (en) | Method of assigning initial values of connection parameters to a multilayered neural network | |
| JP2993862B2 (ja) | 信号認識方法、信号認識装置、信号認識装置の学習方法及び信号認識装置の学習装置 | |
| JPH05101028A (ja) | 複数特徴量の統合判定方法 | |
| JPH10187649A (ja) | ニューラルネットワーク | |
| JPH05314090A (ja) | ニューラルネットを用いたパターン認識方法およびその装置 | |
| JPH0512242A (ja) | ニユーラルネツトワークの学習方式 | |
| JPH0981535A (ja) | ニューラルネットワークの学習方法 | |
| JPH1063632A (ja) | 大規模ニューラルネットワーク構築方法及び大規模ニューラルネットワーク構築装置及びニューラルネットワーク装置 | |
| CN115546590A (zh) | 一种基于多模态预训练持续学习的目标检测优化方法 | |
| JP2778047B2 (ja) | 時系列パターンを認織するニューラルネットワーク | |
| JPH03175594A (ja) | 文字認識装置 | |
| JPH07160659A (ja) | 学習方式 | |
| Pappas et al. | A new algorithm for on-line Multivariate ARMA identification using Multimodel Partitioning Theory | |
| CN117079311A (zh) | 行人检测及属性识别方法、系统、电子设备及存储介质 | |
| CN117392511A (zh) | 基于特征融合和噪声抑制的并行式人物交互关系检测方法 | |
| CN117994577A (zh) | 基于双通道特征提取网络的数据处理方法 | |
| JP2737733B2 (ja) | パターン分類装置 |