JPH0764945A - ニューラルネットワーク - Google Patents

ニューラルネットワーク

Info

Publication number
JPH0764945A
JPH0764945A JP5214570A JP21457093A JPH0764945A JP H0764945 A JPH0764945 A JP H0764945A JP 5214570 A JP5214570 A JP 5214570A JP 21457093 A JP21457093 A JP 21457093A JP H0764945 A JPH0764945 A JP H0764945A
Authority
JP
Japan
Prior art keywords
unit
input
output
pattern
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP5214570A
Other languages
English (en)
Inventor
Kotaro Yuda
浩太郎 湯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP5214570A priority Critical patent/JPH0764945A/ja
Publication of JPH0764945A publication Critical patent/JPH0764945A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

(57)【要約】 【目的】 本発明はニューラルネットワークに関し、入
力パターンの各データが出力パターンの各データに寄与
する程度を算出し、この寄与の程度から入力パターンの
各データと出力パターンの各データとの相関関係を知る
ことのできることを目的とする。 【構成】 寄与程度算出手段(33)は、学習に用いた
入力パターンを構成する各データと、学習された入力層
のユニット(31a)と隠れ層のユニット(31b)と
の間の結合の重みと、学習された隠れ層のユニット(3
1b)と出力層のユニット(31c)との間の結合の重
みとから、前記入力パターンの各データが出力パターン
の各データに寄与する程度を算出する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ニューラルネットワー
クに関し、特にバックプロパゲーション法により学習を
行なうニューラルネットワークに関する。
【0002】
【従来の技術】図4は従来のニューラルネットワークの
一例のブロック図を示す。同図中、20は学習パターン
保持部、21はニューラルネットワーク、22は重み更
新部である。
【0003】学習パターン保持部20はニューラルネッ
トワークに供給する複数の入力パターンと、この入力パ
ターン夫々に対応する出力パターンである教師信号とを
保持している。
【0004】ニューラルネットワーク21は、例えば図
5に示す如く、入力パターンが入力される入力層のユニ
ット101 〜10n と、隠れ層のユニット111 〜11
n と、出力パターンを出力する出力層のユニット121
〜12n からなる層構造である。各層内では結合がな
く、層間ではユニット間がある重み係数によって結合さ
れている。
【0005】各ユニットは図6に示す如く前段よりの各
入力Οj に定義された結合の重みw ijを乗算して総和を
求め、閾値θを加えて入力値netを求める。
【0006】 net=Σwij+θ …(1) ユニットの出力値はこの入力の総和netに、活性化関
数を適用して計算される。活性化関数は微分可能な非線
形関数が用いられる。ここでは、一般に用いられるsigm
oid 関数を適用すると、ユニットUi の出力値Οi は次
式となる。
【0007】
【数1】
【0008】バックプロパケーションで通常よく用いら
れる3層のネットワークの場合について述べる。
【0009】入力層の各ユニット101 〜10n にネッ
トワークへの入力パターンの各データが与えられる。
【0010】従って、隠れ層の各ユニット111 〜11
n の出力値hは次式となる。
【0011】
【数2】
【0012】ここで、djkはk番目の入力層のユニット
の出力値 hはj番目の隠れ層のユニットの出力値 wjkはk番目の入力層のユニットとj番目の隠れ層のユ
ニット間の結合の重み Θj はj番目の隠れ層のユニットの閾値 また、出力層の各ユニット121 〜12n の出力値οは
次式となる。
【0013】
【数3】
【0014】ここで、hj はj番目の隠れ層のユニット
の出力値 oi はi番目の出力層のユニットの出力値 wijはj番目の隠れ層のユニットとi番目の出力層のユ
ニット間の結合の重み Θj はj番目の隠れ層のユニットの閾値 重み変更部22はネットワーク21の出力パターンが学
習パターン保持部20よりの教師信号と一致するよう
に、ネットワーク21の各ユニットの結合の重みを調節
する。学習規則としてはバックプロパゲーション法を用
い、ある入力パターンpを与えた時の実際の出力値(o
pi)と教師信号(tpi)の平均2乗誤差E p をとる。学
習させるためには,この誤差Ep を減らすように、ネッ
トワーク中の全ての重みを変える。
【0015】
【数4】
【0016】
【発明が解決しようとする課題】上記のバックプロパゲ
ーション法により学習を終了し、各ユニット間の結合の
重みが確定したニューラルネットワークは、入力層のユ
ニット101 〜10n に入力パターンを構成するデータ
が供給され、出力層のユニット121 〜12n から出力
パターンを構成するデータを出力する。このバックプロ
パゲーション・ニューラルネットワークはパターン認識
等を用いた種々の識別及び予測システム等に利用され、
高い分類率及び予測率を達成している。
【0017】しかし、従来においては、入力パターンの
各データと出力パターンの各データとの相関関係を追求
することは特に行なわれていなかった。このため、入力
層のユニット101 〜10n 夫々に供給される入力パタ
ーンの各データが、出力層のユニット121 〜12n
々から出力される出力パターンの各データ夫々につい
て、どの程度寄与しているかを知ることはできないとい
う問題があった。
【0018】本発明は上記の点に鑑みなされたもので、
入力パターンの各データが出力パターンの各データに寄
与する程度を算出し、この寄与の程度から入力パターン
の各データと出力パターンの各データとの相関関係を知
ることのできるニューラルネットワークを提供すること
を目的とする。
【0019】
【課題を解決するための手段】本発明のニューラルネッ
トワークは、入力層のユニットと、隠れ層のユニット
と、出力層のユニットとよりなり、前記入力層のユニッ
トに入力パターンを供給したとき前記出力層のユニット
より出力される出力パターンと前記入力パターンに対応
した教師信号との誤差を減らすよう各ユニット間の結合
の重みを可変して学習を行なうニューラルネットワーク
において、前記学習に用いた入力パターンを構成する各
データと、学習された前記入力層のユニットと隠れ層の
ユニットとの間の結合の重みと、学習された前記隠れ層
のユニットと出力層のユニットとの間の結合の重みとか
ら、前記入力パターンの各データが出力パターンの各デ
ータに寄与する程度を算出する寄与程度算出手段を有す
る。
【0020】
【作用】本発明においては、入力パターンの各データが
出力パターンの各データに寄与する程度が算出され、こ
の寄与の程度から入力パターンの各データと出力パター
ンの各データとの相関関係を知ることができる。
【0021】
【実施例】図1は本発明のニューラルネットワークの構
成図を示す。同図中、学習パターン保持部30はニュー
ラルネットワーク31に供給する入力パターンと、この
入力パターン夫々に対応する出力パターンである教師信
号とを保持している。
【0022】ここで、入力パターンとしては次に説明す
る化合物パラメータが用いられる。
【0023】薬理活性が予め分っている同一グループに
属する複数の化合物分子夫々の3次元構造を決定し、複
数の化合物分子を、夫々の3次元構造の同一部分がなる
べく多く一致するよう互いに重ね合わせる。ここで重ね
合わせる化合物分子の数がサンプル数である。次に、重
ね合わせた複数の化合物分子の全ての原子(ファン・デ
ル・ワールス半径を考慮する)を内包する直方体を決定
し、この直方体10の形状パラメータE,W,N,S,
Lを求める。パラメータE,WはX軸方向の値であり、
パラメータN,SはY軸方向の値、パラメータLはZ軸
方向の値である。この後、上記直方体を複数(例えば
8)のブロックに分割する。
【0024】次に単一の化合物夫々について、図2に示
す第1〜第8ブロック151 〜15 8 夫々に帰属する原
子を決定する。
【0025】この後、以下のブロックパラメータ(数値
データ)BSNを算出する。
【0026】BSN=f(SNK) ここで、SNKはN番目のブロックにおけるK番目の情報
単位に対する特性Sを表わし、BSNはSNK値の関数て
あることを表わしている。この関数としては、次に示す
総量、平均値、最大/最小値、存在パラメータ等があ
る。
【0027】
【数5】
【0028】また、特性Sとしては次のような値を用い
る。
【0029】 トポロジカル情報(原子関係に関する
パラメータ) 分子パス、分子結合インデックス、細谷インデックス、
バラバンのトポロジカルインデックス、K(カッパー)
インデックス等 トポグラフィカル情報(3次元構造に関するパラメ
ータ) 分子主成分、ボックスパラメータ等 電子情報(分子軌道法等で算出するパラメータ) 電子密度、HOMO(最高被占軌道)、LUMO(最低
空軌道)、ポイントチャージ、スーパーデローカライザ
ビリティ、分極率、結合次数、等 物性情報 π(置換基定数)、MR(分子屈折率)、LOGP(水
/オクタノール分配係数)、σ(ハメットシグマ)、E
s(Taftの立体パラメータ)、MP(融点)、BP
(沸点)、パラコール、歪エネルギー(立体歪等)、等 存在情報 原子、原子団、官能基、結合種、等 存在数情報 多原子の原子数、結合種、各種ヘテロ原子数、不飽和
数、等 ボリューム情報(ブロック毎) 面積、体積、サイズ、投影面積、等 最大/最小情報 〜情報の各値の最大値,最小値(存在するときの
み) これにより、単一の化合物のブロック151 〜158
々の例えば電子密度の平均値が1つの入力パターンとな
り、この入力パターンは重ね合わせた化合物分子の数だ
け学習パターン保持部30に保持されている。また、こ
れに対応して各化合物に対応する薬理活性、例えば解熱
効果の有無、鎮痛効果の有無、消炎効果の有無等が教師
信号として学習パターン保持部30に保持されている。
【0030】図1について説明するに、ニューラルネッ
トワーク31は入力層のユニットと、隠れ層のユニット
と出力層のユニットとよりなる3層構造であり、層間で
はユニット間がある重み係数によって結合されている。
ネットワーク31には学習パターン保持部30から入力
パターンが順次供給され、その出力パターンが重み更新
部32に供給される。
【0031】重み更新部32はネットワーク31の出力
パターンが学習パターン保持部30よりの教師信号と一
致するように、ネットワーク31の各ユニットの結合の
重みを調整する。学習規則としてはバックプロパゲーシ
ョン法を用い、ある入力パターンPを与えたときの実際
の出力値(Opi)と教師信号(tpi)の平均2乗誤差E
P をとり、この誤差EP を減らすように、ネットワーク
31中の全てのユニットの結合の重みを変化させる。こ
の結合の重みの調整については従来通りである。
【0032】上記のバックプロパゲーション法による学
習を終了したニューラルネットワーク31の最終構造つ
まり、各ユニット間の結合の重みと、学習に用いられた
入力パターンとは寄与程度算出部33に供給される。こ
こで、図3に示す如く、1つの化合物の入力パターンが
I(Iは例えば8)個のデータからなり、入力パターン
の数がNであり、また、ニューラルネットワーク31の
入力層31aのユニット数がI個、隠れ層31bのユニ
ット数がH個、出力層31cのユニット数がU個である
ものとする。
【0033】寄与程度算出部33は、入力パターンの全
データが出力パターンの全データに与える全寄与値GA
u 、及び入力パターンのi番目のデータ(例えばi番目
のブロックの電子密度の平均値)が出力パターンのu番
目のデータに与える寄与値SAiu及び寄与率Aiuを次式
により算出する。
【0034】
【数6】
【0035】但し、Dinはn番目の入力パターンのi番
目のデータ、Wihは入力層31aのi番目のユニットと
隠れ層31bのh番目のユニットとの間の結合の重み、
huは隠れ層31bのh番目のユニットと出力層31c
のu番目のユニットとの間の結合の重みであるこのよう
にして得られた寄与値SAiu及び寄与率Aiuが寄与程度
算出部33より出力される。
【0036】研究者は上記の寄与値SAiu及び寄与率A
iuから、ブロック151 〜158 のうちのどのブロック
の電子密度の平均値が解熱効果等の各薬理活性に大きな
相関があるか、つまり大きく寄与しているかを知ること
ができる。上記の寄与値及び寄与率は電子密度の平均値
以外の他のブロックパラメータについても算出され、各
ブロックパラメータと各薬理活性との相関を知ることに
よって、研究者は大きな薬理活性を持つ新たな化合物を
設計することが可能となる。
【0037】
【発明の効果】上述の如く本発明のニューラルネットワ
ークによれば、入力パターンの各データが出力パターン
の各データに寄与する程度を算出し、この寄与の程度か
ら入力パターンの各データと出力パターンの各データと
の相関関係を知ることができ、実用上きわめて有用であ
る。
【図面の簡単な説明】
【図1】本発明のニューラルネットワークの構成図であ
る。
【図2】入力パターンを説明するための図である。
【図3】本発明を説明するための図である。
【図4】従来のニューラルネットワークの構成図であ
る。
【図5】ニューラルネットワークを説明するための図で
ある。
【図6】ユニットを説明するための図である。
【符号の説明】
30 学習パターン保持部 31 ニューラルネットワーク 32 重み更新部 33 寄与率算出部

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 入力層のユニット(31a)と、隠れ層
    のユニット(31b)と、出力層のユニット(31c)
    とよりなり、前記入力層のユニットに入力パターンを供
    給したとき前記出力層のユニットより出力される出力パ
    ターンと前記入力パターンに対応した教師信号との誤差
    を減らすよう各ユニット間の結合の重みを可変して学習
    を行なうニューラルネットワークにおいて、 前記学習に用いた入力パターンを構成する各データと、
    学習された前記入力層のユニットと隠れ層のユニットと
    の間の結合の重みと、学習された前記隠れ層のユニット
    と出力層のユニットとの間の結合の重みとから、前記入
    力パターンの各データが出力パターンの各データに寄与
    する程度を算出する寄与程度算出手段(33)を有する
    ことを特徴とするニューラルネットワーク。
JP5214570A 1993-08-30 1993-08-30 ニューラルネットワーク Withdrawn JPH0764945A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5214570A JPH0764945A (ja) 1993-08-30 1993-08-30 ニューラルネットワーク

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5214570A JPH0764945A (ja) 1993-08-30 1993-08-30 ニューラルネットワーク

Publications (1)

Publication Number Publication Date
JPH0764945A true JPH0764945A (ja) 1995-03-10

Family

ID=16657908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5214570A Withdrawn JPH0764945A (ja) 1993-08-30 1993-08-30 ニューラルネットワーク

Country Status (1)

Country Link
JP (1) JPH0764945A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018198027A (ja) * 2017-05-25 2018-12-13 株式会社教育ソフトウェア 要因分析装置
WO2021125318A1 (ja) * 2019-12-20 2021-06-24 エヌ・ティ・ティ・コミュニケーションズ株式会社 学習装置、学習方法および学習プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018198027A (ja) * 2017-05-25 2018-12-13 株式会社教育ソフトウェア 要因分析装置
WO2021125318A1 (ja) * 2019-12-20 2021-06-24 エヌ・ティ・ティ・コミュニケーションズ株式会社 学習装置、学習方法および学習プログラム
JP2021099645A (ja) * 2019-12-20 2021-07-01 エヌ・ティ・ティ・コミュニケーションズ株式会社 学習装置、学習方法および学習プログラム
JP2021103596A (ja) * 2019-12-20 2021-07-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 学習装置、学習方法および学習プログラム

Similar Documents

Publication Publication Date Title
Zhu et al. Forming a new small sample deep learning model to predict total organic carbon content by combining unsupervised learning with semisupervised learning
CN109002845B (zh) 基于深度卷积神经网络的细粒度图像分类方法
Pugh Synthetic neural networks for process control
Aussem et al. Combining neural network forecasts on wavelet-transformed time series
Ljung System identification
Hwang et al. Query-based learning applied to partially trained multilayer perceptrons
Marques et al. Identification and prediction of unsteady transonic aerodynamic loads by multi-layer functionals
CN109766995A (zh) 深度神经网络的压缩方法与装置
US20040019469A1 (en) Method of generating a multifidelity model of a system
CN110309907A (zh) 一种基于去跟踪自编码器的动态缺失值填补方法
Magdon-Ismail et al. Density estimation and random variate generation using multilayer networks
KOO Back-propagation
JPH0764945A (ja) ニューラルネットワーク
Cotta et al. Adjusting weights in artificial neural networks using evolutionary algorithms
US20030055797A1 (en) Neural network system, software and method of learning new patterns without storing existing learned patterns
CN107273509A (zh) 一种神经网络数据存储器、数据存储方法及数据查找方法
Hsu Nonlinear and self-adapting methods for prediction
Neal et al. GA-based multi-material structural optimization using stepwise mesh refinement
Elliott et al. Modeling Networks of Evolving Populations
CN113887570A (zh) 一种基于神经网络的太阳耀斑二分类预测方法
Chandrasekaran et al. Convergent design of piecewise linear neural networks
Griffen Quantitative phase analysis of clay minerals by X-ray powder diffraction using artificial neural networks. I. Feasibility study with calculated powder patterns
Trafalis et al. Interior point methods for supervised training of artificial neural networks with bounded weights
Nikravesh et al. Process control of nonlinear time variant processes via artificial neural network
Gao et al. A Bidirectional Parameter Transfer Reinforcement Learning Approach for Bi-Objectives Traveling Salesman Problem

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20001031