JP2743418B2 - 学習方法 - Google Patents
学習方法Info
- Publication number
- JP2743418B2 JP2743418B2 JP63325233A JP32523388A JP2743418B2 JP 2743418 B2 JP2743418 B2 JP 2743418B2 JP 63325233 A JP63325233 A JP 63325233A JP 32523388 A JP32523388 A JP 32523388A JP 2743418 B2 JP2743418 B2 JP 2743418B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- output
- signal
- pattern
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Character Discrimination (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は、学習方法に関する。
（従来の技術） 従来、教師つき学習として学習用時系列パターンを入
力層に提示し、出力層には対応して出力すべき教師信号
を提示して出力層での教師信号と実際の出力値の差異を
小さくするように結合強度を決定する教師付き学習を行
なう方式と学習用時系列パターンを入力層に提示し、出
力層には対応して出力すべきでない信号を提示して、出
力層での信号と実際の出力値の差異を大きくするように
結合強度を決定する教師付き学習を行なう方式が提案さ
れている。例えば、ニューラル・ネットワークは生体の
脳神経系が比較的単純な動作特性を有する神経細胞とそ
の間の多数の結合から構成されている情報処理システム
であることを参考にして考案された情報処理モデルで、
神経細胞に相当する処理ユニット（以下ユニットと略
す）とその間を結ぶユニット間結合を有する。このユニ
ット間結合の強度を変えることによってシステムはさま
ざまな情報処理動作を行なう。
力層に提示し、出力層には対応して出力すべき教師信号
を提示して出力層での教師信号と実際の出力値の差異を
小さくするように結合強度を決定する教師付き学習を行
なう方式と学習用時系列パターンを入力層に提示し、出
力層には対応して出力すべきでない信号を提示して、出
力層での信号と実際の出力値の差異を大きくするように
結合強度を決定する教師付き学習を行なう方式が提案さ
れている。例えば、ニューラル・ネットワークは生体の
脳神経系が比較的単純な動作特性を有する神経細胞とそ
の間の多数の結合から構成されている情報処理システム
であることを参考にして考案された情報処理モデルで、
神経細胞に相当する処理ユニット（以下ユニットと略
す）とその間を結ぶユニット間結合を有する。このユニ
ット間結合の強度を変えることによってシステムはさま
ざまな情報処理動作を行なう。
このニューラル・ネットワーク・モデルは情報処理シ
ステムとして特に画像や音声等のパターン認識処理に有
効であろうと期待されており、この詳細に関しては「日
経エレクトロニクス」誌、第427号の第115頁（昭和62年
８月10日発行）「ニューラル・ネットをパターン認識、
信号処理、知識処理に使う」に解説されている。（以
下、文献１と称する。） 上記文献１によるとニューラル・ネットワークは入力
層、中間層、出力層と呼ばれる階層構造を有しており、
各層は複数のユニットから構成されている。またユニッ
ト間結合は隣接する層の間にだけ許され、層内でのユニ
ット間結合は禁止されている。認識時にはネットワーク
入力層の各ユニットの活性度として入力データを与えら
れ、ユニット間結合を通じて順次隣接する中間層へ情報
を伝達し、最後に出力層にまで到達する。こうして入力
データに対するネットワークの応答結果が出力層のユニ
ットの活性度のパターンとして得られる。
ステムとして特に画像や音声等のパターン認識処理に有
効であろうと期待されており、この詳細に関しては「日
経エレクトロニクス」誌、第427号の第115頁（昭和62年
８月10日発行）「ニューラル・ネットをパターン認識、
信号処理、知識処理に使う」に解説されている。（以
下、文献１と称する。） 上記文献１によるとニューラル・ネットワークは入力
層、中間層、出力層と呼ばれる階層構造を有しており、
各層は複数のユニットから構成されている。またユニッ
ト間結合は隣接する層の間にだけ許され、層内でのユニ
ット間結合は禁止されている。認識時にはネットワーク
入力層の各ユニットの活性度として入力データを与えら
れ、ユニット間結合を通じて順次隣接する中間層へ情報
を伝達し、最後に出力層にまで到達する。こうして入力
データに対するネットワークの応答結果が出力層のユニ
ットの活性度のパターンとして得られる。
ネットワークが指定した動作を行なうようにユニット
間結合を定める為には教師付き学習と呼ばれる手法を用
いる。即ち、入力層に学習させたいパターンを提示し、
出力層には対応して出力すべき教師信号を提示して、出
力層での教師信号と実際の出力値との差異を小さくする
ように結合強度を決定する。上記のような構成のニュー
ラル・ネットワークの場合には、この出力誤差最小化学
習はバックプロパゲーション学習と呼ばれており、その
詳細なアルゴリズムに関しては文献１に詳しい。
間結合を定める為には教師付き学習と呼ばれる手法を用
いる。即ち、入力層に学習させたいパターンを提示し、
出力層には対応して出力すべき教師信号を提示して、出
力層での教師信号と実際の出力値との差異を小さくする
ように結合強度を決定する。上記のような構成のニュー
ラル・ネットワークの場合には、この出力誤差最小化学
習はバックプロパゲーション学習と呼ばれており、その
詳細なアルゴリズムに関しては文献１に詳しい。
（発明が解決しようとする問題点） 以上述べたような学習方法では、教師信号として出力
させたい信号に近づける学習と出力すべきでない信号か
ら遠ざける学習の一方を行うので学習効果をあげにくい
という欠点がある。
させたい信号に近づける学習と出力すべきでない信号か
ら遠ざける学習の一方を行うので学習効果をあげにくい
という欠点がある。
例えば、音声認識においてすべての音素を有声、無
声、子音、母音を区別することなく同じ段階で学習させ
ると学習効果が低い。そこで音素を有声と無声、子音と
母音のグループに分けそのグループ内で学習を行なわせ
る。
声、子音、母音を区別することなく同じ段階で学習させ
ると学習効果が低い。そこで音素を有声と無声、子音と
母音のグループに分けそのグループ内で学習を行なわせ
る。
本発明は出力すべき信号に対して大きく隔たるグルー
プを学習させ大まかなグループ化を行なった後に個々の
教師信号に対して学習させる方式を提供することにあ
る。
プを学習させ大まかなグループ化を行なった後に個々の
教師信号に対して学習させる方式を提供することにあ
る。
（問題点を解決するための手段） 本発明は、学習装置に対して入力として学習させたい
パターンと出力すべきではない信号を提示して出力すべ
き信号との隔たりを学習させた後、入力として学習させ
たいパターンを与え出力すべき教師信号を提示して学習
させることを特徴とする学習方法である。
パターンと出力すべきではない信号を提示して出力すべ
き信号との隔たりを学習させた後、入力として学習させ
たいパターンを与え出力すべき教師信号を提示して学習
させることを特徴とする学習方法である。
（実施例） 次に第１図を参照して、本発明の一実施例に付いて説
明する。
明する。
第１図は本発明の一実施例を示す構成図である。学習
段階１において学習装置に対して学習させたいパターン
とそれに対して出力すべきでない信号を与えることによ
って出力すべき信号との隔たりを学習させる。この操作
によって除外すべきカテゴリのクラスタリングをおこな
う。
段階１において学習装置に対して学習させたいパターン
とそれに対して出力すべきでない信号を与えることによ
って出力すべき信号との隔たりを学習させる。この操作
によって除外すべきカテゴリのクラスタリングをおこな
う。
次に、学習段階２において学習装置に対して学習させ
たいパターンとそれに対して出力すべき信号を与えるこ
とによって出力すべき信号との近寄りを学習させる。
たいパターンとそれに対して出力すべき信号を与えるこ
とによって出力すべき信号との近寄りを学習させる。
例えば、音声認識の場合、有声音を学習させる前に無
声音とは大きく隔たるように結合強度を更新する。同様
に無声音に対して有声音、子音に対して母音、母音に対
して子音に関しても結合強度を更新する。次に各グルー
プに属する個々の音素に対して教師信号を与え教師信号
に合致する方向へ結合強度を更新する。
声音とは大きく隔たるように結合強度を更新する。同様
に無声音に対して有声音、子音に対して母音、母音に対
して子音に関しても結合強度を更新する。次に各グルー
プに属する個々の音素に対して教師信号を与え教師信号
に合致する方向へ結合強度を更新する。
なお、以上は音声認識を例に説明したが、たとえば文
字認識の場合を例に考えると、平仮名と片仮名、大文字
と小文字、漢字と数字などのようにグループを分けて、
本発明を適用することが可能である。
字認識の場合を例に考えると、平仮名と片仮名、大文字
と小文字、漢字と数字などのようにグループを分けて、
本発明を適用することが可能である。
（発明の効果） 本発明によれば出力すべきでない信号による学習によ
ってまず結合強度を初期化することにより出力すべき信
号による学習効果を高めることができる。最初の学習段
階でおおまかなグルーピングが可能であり、逆方向から
の学習を組み合わせることによってグループ内の細分さ
れた認識が可能である。従って、従来の一方向からの学
習法よりも高い学習効果を得ることができる。
ってまず結合強度を初期化することにより出力すべき信
号による学習効果を高めることができる。最初の学習段
階でおおまかなグルーピングが可能であり、逆方向から
の学習を組み合わせることによってグループ内の細分さ
れた認識が可能である。従って、従来の一方向からの学
習法よりも高い学習効果を得ることができる。
第１図は本発明の一実施例を示すブロック図 第１図において １…出力すべきでない信号による学習 ２…出力すべき信号による学習 を示す。
Claims (1)
- 【請求項１】学習装置に対して入力として学習させたい
パターンと出力すべきではない信号を提示して出力すべ
き信号との隔たりを学習させた後、入力として学習させ
たいパターンを与え出力すべき教師信号を提示して学習
させることを特徴とする学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63325233A JP2743418B2 (ja) | 1988-12-22 | 1988-12-22 | 学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63325233A JP2743418B2 (ja) | 1988-12-22 | 1988-12-22 | 学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02170265A JPH02170265A (ja) | 1990-07-02 |
| JP2743418B2 true JP2743418B2 (ja) | 1998-04-22 |
Family
ID=18174515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63325233A Expired - Fee Related JP2743418B2 (ja) | 1988-12-22 | 1988-12-22 | 学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2743418B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3354593B2 (ja) * | 1992-06-10 | 2002-12-09 | 日本政策投資銀行 | ネットワーク型情報処理装置の学習システム |
| JP3410756B2 (ja) * | 1993-03-18 | 2003-05-26 | シャープ株式会社 | 音声認識装置 |
-
1988
- 1988-12-22 JP JP63325233A patent/JP2743418B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 電子情報通信学会技術研究報告［音声］ＳＰ８８−１５，Ｐ．３１〜３８（昭和６３年６月） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02170265A (ja) | 1990-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Elman et al. | Learning the hidden structure of speech | |
| Plaut | Connectionist approaches to reading | |
| US5687286A (en) | Neural networks with subdivision | |
| Nazir et al. | Mispronunciation detection using deep convolutional neural network features and transfer learning-based model for Arabic phonemes | |
| JP2743418B2 (ja) | 学習方法 | |
| Westermann et al. | Connectionist rules of language | |
| Ray et al. | Neuro fuzzy approach to pattern recognition | |
| Lee et al. | Where do underlying representations come from?: A connectionist approach to the acquisition of phonological rules | |
| Vroomen et al. | A connectionist model for bootstrap learning of syllabic structure | |
| Guyot et al. | Toward a continuous model of the cortical column: application to speech recognition | |
| Gauthier et al. | Simulating the acquisition of lexical tones from continuous dynamic input | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| Gasser et al. | Networks that learn phonology | |
| Thiessen | How the demands of a variable environment give rise to statistical learning | |
| JP2877450B2 (ja) | 神経回路網を用いたパターン認識装置 | |
| Bullinaria | Connectionist models of reading: Incorporating semantics | |
| Bramlett et al. | jTRACE modeling of L2 Mandarin learners’ spoken word recognition at two time points in learning | |
| Wong et al. | Toward a massively parallel system for word recognition | |
| Stork | Sources of neural structure in speech and language processing | |
| Weijters et al. | Backpropagation networks for grapheme-phoneme conversion: a non-technical introduction | |
| Tenorio et al. | Adaptive networks as a model for human speech development | |
| Lea | Towards versatile speech communication with computers | |
| Durand et al. | Learning speech as acoustic sequences with the unsupervised model, tom | |
| Beaugé et al. | Plausible self-organizing maps for speech recognition | |
| Valafar et al. | Comparative studies of two neural network architectures for modeling of human speech production |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |