JPH0310365A

JPH0310365A - 階層型ニューラルネットワークおよびニューロン装置

Info

Publication number: JPH0310365A
Application number: JP1145600A
Authority: JP
Inventors: Toru Fujii; 徹藤井; Taiji Sogo; 十河　太治; Hiroshi Nakajima; 宏中嶋
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1989-06-08
Filing date: 1989-06-08
Publication date: 1991-01-17

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野］この発明は、階層型ニューラルネットワークおよびニュ
ーロン装置に関し、さらに詳しくは、入力層の構造を改
良して学習性能を向上させた階層型ニューラルネットワ
ークおよびその入力層用のニューロン装置に関する。

［従来の技術］階層型ニューラルネットワークの一般的なネットワーク
構造を第７図に示す。

この階層型ニューラルネットワーク１０は、入力層と中
間層と出力層とに分れた多数のニューロンを入力層から
出力層へ向う方向にのみ結合したもので、外部からの入
力Ｕｌ−Ｕｎを出力■１〜Ｖｍに変換するものである。

図では中間層が１層になっているが、これが多層であっ
てもよい。

さて、従来の入力層の各ニューロンの出力関数ｙは、　−Ｘで表わされる恒等関数である。第８図はこの恒等関数を
示している。

また、中間層と出力層のニューロンの出力関数ｙは、ｙ　＝　ｆｌ　＋ｅｘｐ　（−ｘ十θ１（ｊ））　］弓
で表わされるシグモイド関数である。これを第９図に示
す。θ１（ｊ）は第１層の第１番目のニューロンの閾値
である。

上記従来の人力層のニューロンは、例えば第１０図に示
す如きニューロン装置５１によって構成されている。

出力関数のテーブル３には、第８図に示した恒等関数の
関係にあるＸとｙの対がテーブルとして記憶されている
。

変換器２は、入力ｘ　１（１）が与えられると、前記出
力関数のテーブル３を参照し、出力ｙｉ（１）を得て、
これを出力するようになっている。

［発明が解決しようとする課題］上記従来の人力層のニューロン装置５１の入力ｘｉ（１
）は、第７図に示す階層型ニューラルネットワーク１０
においては入力Ｕｉに相当する。

ところが、この人力Ｕｉは、例えば光センサ重量センサ
、超音波センサ、ビデオセンサ等の出力信号であり、そ
れらの信号がとりうる値（レベル、レンジ）は様々であ
る。

このため、例えば第１１図に示すように、人力Ｕ１の変
動領域が入力Ｕ２の変動領域の一部に相当するという場
合もありうるが、この場合には出力ｙ　１（１）の変動
領域が出力ｙ　２（１）の変動領域の一部になってしま
い、第９図に示す如きシグモイド関数で評価を行なう際
に、入力Ｕｉと入力Ｕ２の評価の領域が異なるようにな
る。

また、第１２図に示すように、入力Ｕ１と入力Ｕ２の変
動領域に偏りがある場合、出力ｙ１（１）と出力ｙ　２
（１）の変動領域も偏ったものとなり、第９図に示す如
きシグモイド関数で評価を行なう際、評価の領域に偏り
を生ずるようになる。

つまり、単なる信号の変動領域の相違が階層型ニューラ
ルネットワーク１０内に評価の違いとして持ち込まれて
しまい、このために正しい出力Ｖｉを得られるまでの学
習速度が遅くなったり、学習回数を増やしても正しい出
力ｖ１を得られなくなってしまうことがある（収束しな
くなる）問題点がある。

従って、この発明の目的は、入力層におけるニューロン
の構成を改良し、上記の如き問題点を生じないようにし
た階層型ニューラルネットワークおよびその人ツノ層用
のニューロン装置を提供することにある。

［課題を解決するための手段］この発明の階層型ニューラルネットワークは、入力層と
中間層と出力層とに分れた多数のニュロンを有し、入力
層のニューロンの出力関数がｙａｘ＋ｂで表わされる線
形関数で、その係数ａｂが入力層の各ニューロンについ
て独立に設定可能であることを構成上の特徴とするもの
である。

」１記階層型ニューラルネットワークの入力層のニュー
ロンは、Ｘの最小値Ｘａと最大値Ｘｂと、ｙの最小値Ｙ
ａと最大値Ｙｂとを設定するための範囲設定手段と、ａ　−（Ｙｂ−Ｙａ）／（Ｘｂ−Ｘａ）ｂ＝（ＸｂＹａ
−ＸａＹｂ）／（Ｘ、ｂ−Ｘａ）ｙ＝ａｘ＋ｂによりＸとｙの対を算出する演算手段と、算出したＸと
ｙの対を記憶するテーブル手段と、そのテーブル手段を
参照して入力を出力に変換する変換手段とを具備してな
るニューロン装置により構成するのが好ましい。

［作用］この発明の階層型ニューラルネットワークでは、人力層
のニューロンの出力関数が線形関数であり、入力層の各
ニューロンについて独立にその線形関数の傾きを設定で
き、又、平行移動することが出来る。

そこで、外部からの入力の変動領域が異なっていても出
力の変動領域が等しくなるように正規化できる。

従って、各入力の階層型ニューラルネットワークへの影
響度が常に等しくなるため、学習速度が早くなり、収束
しないことも少なくなる。

また、この発明のニューロン装置では、人間にとって把
握しやすい量であるＸの最小値Ｘａと最大値Ｘｂと、ｙ
の最小値ｙａと最大値Ｙｂとを設定するだけで自動的に
適正な線形関数が算出されるようになるため、外部装置
との接続時の取り扱いが極めて容易になる。

［実施例］以下、この発明を図に示す実施例によりさらに詳しく説
明する。なお、これによりこの発明が限定されるもので
はない。

この発明の一実施例の階層型ニューラルネットワークの
階層構造は、第７図に示す階層型ニューラルネットワー
ク１０と同様である。また、中間層および出力層のニュ
ーロンの出力関数は第９図に示すシグモイド関数である
。これらの構成は従来と同様である。

従来と異なる点は、入力層のニューロンの構成である。

すなわち、第１図に示すように、入力層のニューロンは
、変換器２と、出力関数のテーブル３と、出力関数の演
算器４と、加算器５とを具備してなるニューロン装置１
にて構成されている。

このニューロン装置１において、加算器５は、複数の入
力を受入可能とするために設けられているものであるが
、第７図に示す階層型ニューラルネットワーク１０では
入力層の１つのニューロンに１つの人力信号が対応して
いるから、加算器５の１つの入力だけを使用することに
なる。

出力関数の演算器４は、入ノＪｕｉｊの総和ｘｉ（＝Σ
ｕｉｊ）の最小値Ｘａｉと最大値Ｘｂｉと、出力ｙｉ（
１）の最小値Ｙａｉと最大値Ｙｂｉとを設定されると、
ａｉ＝（Ｙｂｉ−Ｙａｉ）／（Ｘｂｉ−Ｘａｉ）ｂｉ＝
（ＸｂｉＹａｉ−ＸａｉＹｂｉ）／（Ｘｂｉ−Ｘａｉ）
ｙ　ｉ＝　ａ　ｉｘ　ｉ＋ｂ　ｉによりｘｉと出力ｙｉの対を算出し、出力関数のテーブ
ル３へと出力する。第２図は上式で表わされる線形関数
の概念図である。

　− 出力関数のテーブル３は、」二記算出したｘｉとｙｌの
対をテーブルとして記憶している。

変換器２は、上記出力関数のテーブル３を参照して、前
記加算器５から入力されるｘｉを出力ｙ１（１）に変換
し、出力する。

さて、第３図および第４図に示すように、階層型ニュー
ラルネットワーク１０への入力Ｕ１の変動領域が入力Ｕ
２の変動領域の一部に相当する場合でも、入力Ｕ１に対
応する入力層のニューロンの出力関数ｙ１と、入力Ｕ２
に対応する入力層のニューロンの出力関数ｙ２を各々図
のように設定すれば、出ノＪｙｌ（１）とｙ　２（１）
の変動領域を等しくすることが出来る。

また同様に、第５図および第６図に示すように、階層型
ニューラルネットワーク１０への人力Ｕ１の変動領域と
入力Ｕ２の変動領域に偏りがある場合でも、各入力に対
応する入力層のニューロンの出力関数３７１．ｙ２を各
々図のように設定すれば、出力ｙｌ（１）と出力ｙ２（
１）の変動領域を等しくすることが出来るようになる。

　８従って、この発明の階層型ニューラルネットワクは、入
力される外部信号の変動領域の相違に影響されないもの
となる。

なお、」−記ニューロン装置１は、等しい変動領域の入
力を異なる変動領域の出力に変換することも出来るもの
であるから、出力層の後段に設置して、外部の種々のデ
バイスに適した出力を発生するように利用することも可
能である。

［発明の効果］この発明の階層型ニューラルネットワークによれば、異
なる変動領域をもつ外部信号を正規化して内部に取り込
むことが出来るので、単なる信号レベル、レンジの差に
よって各外部信号の階層型ニューラルネットワークへの
影響度が大きく異なることを防止できるようになる。こ
のため、学習速度が速くなり、理想的な学習の収束結果
を得やすくなる。

【図面の簡単な説明】

第１図はこの発明の一実施例のニューロン装置のブロッ
ク図、第２図は第１図に示すニューロン装置の出力関数
の概念図、第３図から第６図は入ツノの変動領域と出力
の変動領域の関係を示す特性図、第７図は階層型ニュー
ラルネットワークの概念図、第８図は従来の人力層のニ
ューロンの出力関数の概念図、第９図は中間層と出力層
のニューロンの出力関数の概念図、第１０図は従来の人
力層のニューロン装置の一例のブロック図、第１１図お
よび第１２図は第１０図に示すニューロン装置における
入力の変動領域と出力の変動領域の関係を示す特性図で
ある。（符号の説明）１・・・ニューロン装置２・・・変換器３・・・出力関数のテーブル４・・・出力関数の演算器５・・・加算器１０・・・階層型ニューラルネットワーク。

Claims

【特許請求の範囲】１、入力層と中間層と出力層とに分れた多数のニューロ
ンを有し、入力層のニューロンの出力関数がｙ＝ａｘ＋
ｂで表わされる線形関数で、その係数ａ、ｂが入力層の
各ニューロンについて独立に設定可能であることを特徴
とする階層型ニューラルネットワーク。２、ｘの最小値Ｘａと最大値Ｘｂと、ｙの最小値Ｙａと
最大値Ｙｂとを設定するための範囲設定手段と、ａ＝（Ｙｂ−Ｙａ）／（Ｘｂ−Ｘａ）ｂ＝（ＸｂＹａ−ＸａＹｂ）／（Ｘｂ−Ｘａ）ｙ＝ａｘ
＋ｂによりｘとｙの対を算出する演算手段と、算出したｘとｙの対を記憶するテーブル手段と、そのテーブル手段を参照して入力を出力に変換する変換
手段とを具備してなることを特徴とするニューロン装置。