JPH06215163A

JPH06215163A - ニューラルネット構築支援方法及び装置、ニューラルネットテスト装置、薬注制御システム

Info

Publication number: JPH06215163A
Application number: JP5006248A
Authority: JP
Inventors: Yoshikane Sugimura; 好謙杉村; Katsumi Omori; 勝美大森; Seizo Mori; 清三森
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-01-18
Filing date: 1993-01-18
Publication date: 1994-08-05

Abstract

(57)【要約】【目的】ニューラルネットワークの構築を正確かつ効
率的に行う。【構成】学習／テストデータの妥当性を解析するため
の関数近似用解析手段１１０及びパターン認識用解析手
段１１１、関数近似に適したＢＰ学習手段１０６および
パターン認識に適した高速学習法学習手段１０７、評価
のための関数近似用テスト手段１０８及びパターン認識
用テスト手段１０９を設け、構築手段記憶装置１０４に
予め入力した利用目的にしたがってニューラルネットワ
ーク構築管理装置１０２が上記手段を選択し、ニューラ
ルネットワークの構築を行う。【効果】最初の目的設定だけでニューラルネットワー
クの利用目的に適した解析、学習、評価手段が自動的に
選択されるから、ニューラルネットワークの構築作業が
正確かつ効率的に行える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットの構
築を支援するためのニューラルネット構築支援方法及び
装置並びにテスト装置、更にそれを利用した薬注制御シ
ステムに関するものである。

【０００２】

【従来技術】関数の近似計算やパターン認識へのニュー
ラルネットワークの応用が広く開発されつつあるが、こ
れらのニューラルネットの多くは、図２３に示すような
３層構造を持っている。ここで入力層はニューロン２３
０１〜２３０２とバイアスニューロン２３０３から構成
され、中間層はニューロン２３０４〜２３０５とバイア
スニューロン２３０６から構成され、出力層はニューロ
ン２３０７〜２３０８から構成される。Ｘ1 、‥‥、Ｘ
Lはニューラルネットへの入力値、Ｏi(1)は入力層のi番
目のニューロンの出力、Ｗim(1)は入力層のi番目のニ
ューロンと中間層のm番目のニューロンの間の結合の重
み、Ｏm(2)は中間層のm番目のニューロンの出力、Ｗmn
(2)は中間層のm番目のニューロンと出力層のn番目のニ
ューロンの間の結合の重み、Ｙ1 、‥‥、ＹNはニュー
ラルネットの出力をそれぞれ表している。

【０００３】ニューラルネットの学習は、入力値に対し
て望ましい出力値を決め、その出力値に実際のニューラ
ルネットの出力値が近づくように、ニューロン間の結合
の重みを修正することで行われる。この重みを修正する
方法にはバックプロパゲーション法が広く用いられてい
る。ニューラルネットの出力計算のアルゴリズムやバッ
クプロパゲーション法による重み変更のアルゴリズムの
詳細は、例えば、麻生英樹著「ニューラルネットワーク
情報処理」（産業図書）p10〜p14およびp50〜p54に述べ
られている。

【０００４】次に、上記のようなニューラルネットを構
築する際の手順について説明する。ニューラルネット構
築の一般的な手順を図２に示す。ステップ２０１では、
ユーザはニューラルネットに記憶させる入力とそれに対
応する望ましい出力の組からなるデータを用意する。そ
れを学習に使う教師データセットと、学習には使わず、
テストのみに使うテストデータセットに分けておく。次
のステップ２０２では、データの解析、検証を行う。デ
ータの検証は教師データがそのニューラルネットの出力
の値域を網羅しているかどうかを確かめるものである。
もし、教師データセットに偏りがあった場合、そのデー
タの少ない部分で出力精度が保証できないという問題が
起こるからである。ステップ２０１、２０２で教師デー
タ、テストデータが揃い、データの検証が終了すると、
次のステップ２０３では、ニューラルネットの構成を決
定する。ニューラルネットの入力層・出力層のニューロ
ン数は教師データあるいはテストデータに依存して決定
できる。これに対し、中間層数、各中間層のニューロン
数は経験的知識などに頼って決定される。教師データが
用意でき、ニューラルネットの構成が決まると、ステッ
プ２０４ではその教師データを使って、ニューラルネッ
トの出力が教師データの望ましい出力値に近づくように
ニューロンの結合の重みを修正する学習を始める。この
修正にはバックプロパゲーション法等が用いられる。学
習が終了すると、ステップ２０５で教師データ以外のデ
ータが入力されても適切な値を出力するかどうかのテス
トを行う。このテストにはステップ２０１で用意した、
学習に使っていないテストデータが使われる。

【０００５】以上がニューラルネット構築の手順であ
り、本発明の装置はこうしたニューラルネット構築を効
率よく行えるように支援するものである。ところで、ニ
ューラルネットの主な利用目的としては、パターン認識
や関数近似があり、この利用目的によってニューラルネ
ットの学習やデータ解析法には異なったものが必要にな
る。

【０００６】まず学習については、パターン認識の場合
は、入力パターンがどのカテゴリに属するかを判定する
ものであり、分類したいカテゴリの数だけ出力ニューロ
ンを用意し、各パターンに対しそれが属するカテゴリの
ニューロンだけが“１”を出力し、他のカテゴリのニュ
ーロンが“０”を出力するように学習させる。一方、関
数近似は文字どおりある連続関数の出力値をニューラル
ネットで近似しようとするもので、近似しようとする関
数の入力値、出力値を［０、１］の範囲の値をとるよう
に規格化し、それからニューラルネットの出力値と望ま
しい出力値の誤差が小さくなるように学習させる。ま
た、データ解析では、異なる解析方法が必要である。す
なわち関数近似の場合は、出力値の値域を分割して、そ
れぞれの小区間に出力値を持つデータ数によりデータに
よる値域の網羅状態を確かめる必要があり、パターン認
識の場合は、一つ一つの出力ノードについてデータの網
羅状態を見るのではなく、出力層が全体としてどのよう
なパターンを出力して、それぞれのパターンに対応する
データの数は均一になっているかを確かめる必要があ
る。

【０００７】こうした利用目的に応じてニューラルネッ
トの構築を行うために、たとえばパターン認識の場合
に、認識すべきパターンがどのカテゴリに属するかを決
定できればそれで学習を終了すれば良い、という点に着
目して学習の高速化を行う方法が、阿部重夫他、”パタ
ーン認識用ニューラルネットのチューニング法”、第42
回情報処理全国大会Vol.2、pp. 153-154に述べられてい
る。また、従来の構築支援装置におけるテスト方法は、
ニューラルネットの利用目的に関わらず、実際の出力と
テストデータの出力教師値の誤差によりニューラルネッ
トの性能を判断するものが用いられていた。

【０００８】

【発明が解決しようとする課題】上記従来技術のよう
に、それぞれのニューラルネットの利用目的に応じ、ニ
ューラルネット構築の各段階に適用できる技術があり、
また従来の構築支援装置ではそれらを利用できるように
していた。しかし、どの技法を構築の各段階で用いるか
の選択はユーザの判断にまかされていた。ところが、ニ
ューラルネットの構築に際しては、各段階の処理を何回
も繰り返し行う必要があるので、その繰り返しの度にそ
の段階の処理方法を間違えないように選ぶ必要があり、
わずらわしさ及び間違いの可能性という点で効率的とは
いえなかった。また、テスト段階においては、利用目的
に応じた適切なテスト方法が提供されていないという問
題があった。

【０００９】本発明の目的は、ニューラルネットの構築
に際して、最初に一度その利用目的を設定するだけで、
途中ではその目的を意識しなくても構築が行えるように
したニューラルネットの構築支援装置を提供するにあ
り、またその設定した利用目的に適したテスト方法でテ
ストを行える支援装置及びテスト装置、並びにそれを利
用した薬注制御システムを提供するにある。

【００１０】

【課題を解決するための手段】上記の目的は、構築する
ニューラルネットの利用目的を個々のニューラルネット
と対応づけて記憶する利用目的記憶手段と、上記利用目
的ごとに用意されたニューラルネット構築のための構築
支援手段と、ニューラルネット構築時に上記利用目的記
憶手段に記憶された利用目的に応じた構築支援手段を自
動的に選択してニューラルネット構築作業の支援を行え
るようにする管理手段とを設けることにより達成され、
また、ニューラルネットの利用目的に応じた性能判定手
段を具備する事により達成される。

【００１１】

【作用】ユーザが最初にこれから構築するニューラルネ
ットの利用目的を入力して、利用目的記憶手段に記憶し
ておけば、学習／テストデータの解析、学習手段、及び
評価手段などがその利用目的対応で自動的に選ばれるの
で、ニューラルネットの構築作業が正確かつ効率的に行
える。また、利用目的に適した評価手段を用いること
で、ニューラルネットの評価を目的にかなった形で行え
る。

【００１２】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は、本発明になるニューラルネット構築支援
装置の一実施例を示すブロック図である。本実施例は、
構築支援装置とユーザの間の情報の伝達を行う情報入出
力装置１０１と、ユーザからの命令やニューラルネット
の利用目的に応じて適切な構築手段の実行を管理するニ
ューラルネット構築管理装置１０２と、ニューラルネッ
ト構築管理装置１０２の命令で指定された構築手段を実
行する構築手段実行装置１０３と、ニューラルネットの
構築手段を記憶する構築手段記憶装置１０４と、ニュー
ラルネットのニューロンの結合の構成や結合の重み、さ
らにそのニューラルネットの利用目的を記憶するニュー
ラルネット情報記憶装置１１２と、テストデータを記憶
するテストデータ記憶装置１１３と、教師データを記憶
する教師データ記憶装置１１４とから構成される。ここ
で構築手段実行装置１０３は、複数ニューラルネットの
構築を同時に進めることができるようにするために、同
装置が複数個設けられているとする。また、構築手段記
憶装置１０４には、構築手段としてニューラルネットの
初期化を行うための初期化手段１０５と、学習手段とし
てのＢＰ（バックプロパゲーション）法学習手段１０６
および高速学習法学習手段１０７と、テスト手段として
の関数近似用テスト手段１０８およびパターン認識用テ
スト手段１０９と、データ解析手段としての関数近似用
データ解析手段１１０およびパターン認識用データ解析
手段１１１とが記憶されている。

【００１３】以上に示した本実施例の動作の大まかな流
れは、従来技術の説明でも用いた図２のフローチャート
に示されている。以下、この図に従って本実施例の動作
を説明する。まずステップ２０１では学習用データ、テ
スト用データおよびニューラルネットの構成をユーザが
用意し、入力する。この内の学習用データは、これから
構築するニューラルネットに覚えさせる入力値と、その
入力値に対応する望ましい出力値の組の集合であり、入
力されたデータは、図１の学習用データ記憶装置１１３
に記憶される。

【００１４】図３は、記憶装置１１３に記憶される学習
用データの形式を示すもので、入力層のニューロン数が
Ｌ個、出力層のニューロン数がＮ個、学習用データのケ
ース数がＫ個であるとしている。データの横１行が一組
の学習データに対応し、たとえばデータの１行目は、入
力層の１、２、・・・Ｌ番目のニューロンに0.8,0.2,・
・・0.0がそれぞれ入力されたときに、出力層の１、
２、・・・Ｎ番目のニューロンから1.0,0.0,・・・0.0
をそれぞれ出力する場合の学習用データのケースを表し
ている。また、テスト用データも上記学習用データと同
様に入力値とそれに対応する望ましい出力値の組から成
り、テスト用データ記憶装置１１４に図３と同様の形式
で記憶される。また、ニューラルネットの構成は、ユー
ザが情報入出力装置１０１を通じて、各層のニューロン
数を入力する事により決定される。ただし、入力層と出
力層は学習用データに依存して自動的に決定することも
できる。ニューラルネット構築管理装置１０２は、入力
されたニューロン数を受け取り、ニューロン間の結合の
重みの初期値を決定するように構築手段実行装置１０３
に命令を送る。構築手段実行装置１０３は、初期化手段
１０５によりニューラルネットの初期化を行う。こうし
て決定されたニューロン数とニューロン間の結合の重み
は、ニューラルネット情報記憶装置１１２に記憶され
る。

【００１５】次に図２のステップ２０２では、ユーザは
構築支援装置にニューラルネットの利用目的が、関数近
似かパターン認識かをまず入力する。利用目的は、情報
入出力装置１０１から入力され、ニューラルネット構築
管理装置１０２で対象となるニューラルネットと対応づ
けられて、ニューラルネット情報記憶装置１１２に記憶
される。ここで設定された利用目的に従って、以降のデ
ータ解析／学習／テストのそれぞれの段階で利用目的特
有の方法が自動的に選択され、適用される。このように
ニューラルネットの利用目的を入力し、記憶して以降の
処理で用いる点は、従来行われていなかったものであ
る。

【００１６】図４は、ステップ２０１、２０２でニュー
ラルネット情報記憶装置１１２に記憶されるデータの形
式を示しており、入力層、中間層および出力層のニュー
ロン数がそれぞれ１０個、８個、５個であり、入力層と
中間層のニューロン間の結合の重みを記憶しているテー
ブル４０２へのポインタと、中間層と出力層とのニュー
ロン間の結合の重みを記憶しているテーブル４０３への
ポインタと、本発明の特徴である利用目的とが記憶され
ており、この場合は“パターン認識”であることが示さ
れている。結合の重みを記憶するテーブル４０２は、横
方向に入力層のニューロンと一個のバイアスニューロ
ン、縦方向には中間層のニューロンと１個のバイアスニ
ューロンを示しており、テーブル４０３では横方向に中
間層のニューロンと一個のバイアスニューロン、縦方向
に出力層のニューロンを示しており、たてよこ方向の交
差する位置にその２つのニューロン間の重みが示されて
いる。例えば、テーブル４０２で入力層の２番目のニュ
ーロンと中間層の２番目のニューロンは重み -3.6 で結
合していることを示している。

【００１７】以上の入力が終わると、次にデータ解析が
開始される。この段階で、図１のニューラルネット構築
管理装置１０２の指示により構築手段実行装置１０３で
学習用／テスト用データの解析を行い、その結果を情報
入出力装置１０１を通じてユーザに提示する。これは学
習用／テスト用データに偏りがないかを確かめるもので
ある。本構築支援装置において、解析方法はニューラル
ネットの利用目的によって異なる方法が自動的に選択、
適用される。すなわちパターン認識の場合は、学習用デ
ータ／テスト用データをその望ましい出力値のパターン
で分類し、それぞれのパターンを出力値に持つデータ数
が均一かどうかを確かめる。これによって偏ったデータ
セットになっていないかを確かめることができる。一
方、関数近似の場合は、出力ノードの値域を小区間に分
割し、それぞれの小区間に出力値を持つかどうかでデー
タを分類する。そこでパターン認識の場合と同様に、そ
れぞれの小区間のデータ数が均一かどうかを確かめる。
この場合も、偏ったデータがないかどうかを確かめるこ
とができる。このように、利用目的に応じて異なる方法
で解析する理由は次にようである。まず、利用目的がパ
ターン認識の場合のデータに関数近似の解析方法を適用
したとすると、関数近似の解析方法は出力ノード毎にデ
ータの分布が計算されるので、出力ノード全体のパター
ンについて偏りがないかを確かめることはできないから
である。逆に、関数近似のデータにパターン認識の解析
方法を適用しようとした場合は、データ解析装置は出力
ノード全体としてのパターン毎にデータを分類するが、
関数近似では出力は区間［０、１］内の任意の値になる
から、出力パターンが無数にできてしまい、データの偏
りを確かめることはできないからである。

【００１８】図２のステップ２０３では、まず学習に必
要な学習パラメータを情報入出力装置１０１から入力す
る。学習パラメータには、学習回数、学習係数、安定化
係数、打ち切り誤差があり、構築管理装置１０２によっ
てニューラルネット情報記憶装置１１２へ記憶される。

【００１９】図２のステップ２０４では、ニューラルネ
ットの学習を行う。学習方法は、利用目的が関数近似の
場合の通常のバックプロパゲーション法のみ用いた学習
法と、パターン認識の場合の高速学習法とがある。この
両者は利用目的によって厳密に分けて適用する必要があ
る。ニューラルネットの利用目的が関数近似の場合は、
２乗誤差を小さくするバックプロパゲーション法で問題
はない。しかし、パターン認識の場合は２乗誤差ではな
く、入力されたパターンが正しいカテゴリに属している
かどうかで学習状況を確かめるべきである。阿部重夫
他、”パターン認識用ニューラルネットのチューニング
法”、第４２回情報処理全国大会Vol.2、pp. 153-154
ではその目的にあったパターン認識の学習方法が示され
ている。この方法は、全ての教師データのパターンに対
し、“０”を出力すべきニューロンは 0.5より小さな値
を、“１”を出力すべきニューロンは 0.5 より大きな
値を出力するようになった時点で結合重みの修正を終了
する。その後、バックプロパゲーション法とは別の手法
により、出力がそれぞれ“０”または“１”に近づくよ
うに重みの修正を一括して行う。この方法は、バックプ
ロパゲーション法とは異なり、“０”または“１”に収
束するまで学習を進めるわけではなく、“０”／“１”
に分離できたあとの重みの修正は一括してで行えるの
で、学習が早くすむという利点もある。ニューラルネッ
トの構築においては、学習の時間がその大半を占めてい
るので、学習時間を短縮することは構築の効率アップに
つながる。以下、この学習方法を”高速学習法”と呼ぶ
ことにする。しかし、この高速学習法を利用目的が関数
近似のニューラネットに適用することはできない。なぜ
なら、高速学習法は、ニューラルネットの出力が“０”
または“１”であることを仮定しているからである。

【００２０】そこで、学習に当たっては、図１のニュー
ラルネット情報記憶装置１１２に記憶されている利用目
的をニューラルネット構築管理装置１０２が参照して、
ニューラルネットの利用目的が関数近似ならＢＰ法学習
手段１０６を選択し、利用目的がパターン認識なら高速
学習法学習手段１０７を選択する。その選択された学習
方法を用いて、構築手段実行装置１０３が学習を実行す
る。学習結果はニューラルネット情報記憶装置１１２に
記憶される。

【００２１】上記の二つの学習の進め方を表したのが図
５、図６である。まず、図５の関数近似の場合には、ス
テップ５０１で構築手段実行装置１０３が、ニューラル
ネット情報記憶装置１１２と学習用データ記憶措置１１
３の情報を基に、１回のバックプロパゲーション法によ
りノード間の結合重みの修正を行う。次のステップ５０
２では、図２のステップ２０３で設定した学習パラメー
タのうち、学習回数や打ち切り誤差といった学習の終了
条件が成立しているかどうかをチェックする。ステップ
５０３の段階では上記チェックにより、条件が成立して
いれば学習を終了する。もし、成立していなければステ
ップ５０１に戻り、もう一度バックプロパゲーション法
による学習を再び行い、これを終了条件が成立するまで
繰り返す。

【００２２】図６のパターン認識の場合の高速学習法で
は、最初にステップ６０１ですべての教師データについ
てバックプロパゲーション法で学習を行う。次に、ステ
ップ６０２、６０３でこの高速学習法の特徴である
“０”／“１”の収束判定を行う。この判定で、“０”
と“１”の出力が分離して認識できる場合、バックプロ
パゲーション法による結合重みの修正を終え、ステップ
６０４で結合重みの一括修正を行い、学習を終了する。
一方、まだ分離して判定できない場合は、ステップ６０
５、６０６で、先に設定した学習パラメータの学習終了
条件が成立しているかをチェックする。もし成立してい
れば学習を終了するが、成立していなければステップ６
０１に戻って、バックプロパゲーション法によるニュー
ロン間の結合重みの修正から繰り返す。

【００２３】このように、本実施例では、ニューラルネ
ットの利用目的に応じた学習方法の選択は自動的に行わ
れる。従来の装置ではユーザが利用目的を意識して学習
方法を選択する必要があり、また誤った学習方法を適用
すると学習に時間が掛かりすぎるなどの問題があった
が、本実施例ではこれらが自動化され、学習方法の選択
に煩わされることがなくなる。

【００２４】学習が終了すると、次のステップ２０５で
本構築支援装置はニューラルネットのテストを行う。こ
こでのテスト方法も、ニューラルネットの利用目的に応
じて次のものが用いられる。パターン認識では、出力値
が“０”か“１”かをデジタル的に判定する必要がある
ので、いくら以上を“１”とし、いくら以下を“０”と
判断するかのしきい値を定め、そのしきい値で出力値が
正しいかどうかを判断する。これに対し関数近似では、
ニューラルネットの出力値と望ましい出力値の誤差の大
きさをアナログ的に評価する必要があるので、「望まし
い値の出力値との誤差が 0.2 以下であれば良い」とい
うような出力値に関する許容誤差を定め、ニューラルネ
ットの出力値が正しいかどうかを判定する。また、この
テスト方式を利用するため、本発明では、前記のデータ
解析・学習の段階で使用した方法と同じやり方で、情報
入出力装置１０１からユーザのテスト開始の命令を受け
ると、ニューラルネット構築管理装置１０２がニューラ
ルネット情報記憶装置１１２の利用目的を参照し、その
利用目的に合致したニューラルネットのテスト方法を自
動的に選択し、構築手段実行装置１０３がその選択に応
じてテストを実行する。

【００２５】図７は、テストデータの処理方法とそのテ
スト結果の評価方法の実施例を示すＰＡＤ図で、この実
施例のテストでは、ニューラルネットの学習状況を次の
基準で判断する。

【数１】正解率（%）=｛正解であったケース数｝/｛テ
ストデータのケース数｝×100 ここで、「正解」とはユーザがあらかじめ定めた出力の
判定規準によりニューラルネットの出力値が正しい場合
のことで、正解率が高いほど良いニューラルネットとい
うことになる。そして、ニューラルネットの出力値の判
定規準は、ニューラルネットの利用目的によって変わっ
てくるから、本発明の装置ではニューラルネット情報記
憶装置１１２の利用目的を参照し、関数近似の場合は各
出力ニューロンについて許容誤差のみを設定することが
でき、パターン認識の場合には、しきい値のみを設定す
ることができるように制限を加える。ユーザによって入
力された条件は、ニューラルネット情報記憶装置１１２
に、対象となるニューラルネットと組み合わせて、利用
目的によって違うテーブルに記憶される。具体的には、
関数近似の場合は図８のようなテーブル形式でそれぞれ
の出力ニューロンの許容誤差を格納する。図８の例で
は、出力層の１、２、・・・Ｎ番目のニューロンの出力
誤差がそれぞれ 0.02,0.1,・・・0.05 以下であれば許
容できることを示している。一方パターン認識の場合
は、図９のようなテーブル形式で“０”“１”を判別す
るためのしきい値を格納する。図９の例では、0.1 以下
を“０”と判定し、0.9 以上を“１”と判定する条件を
示している。

【００２６】このような判定基準が入力されると、図１
の関数近似用テスト手段１０８またはパターン認識用テ
スト手段１０９を用いて図７の処理が行われる。まずス
テップ７０１で、正解のケース数を数える変数 true を
０にする。次にステップ７０２でテストデータのケース
数の繰り返しをセットし、ステップ７０３でテストデー
タのそれぞれのケースを学習ずみのニューラルネットに
入力して出力値を計算する。次にステップ７０４でニュ
ーラルネットの利用目的が関数近似かパターン認識かを
判定し、それぞれの場合の出力ノード数の繰り返しをス
テップ７０５または７０９で設定する。次に関数近似の
場合は、ステップ７０６で、教師データの望ましい出力
値と実際のニューラルネットの出力値の差の絶対値を求
め、ステップ７０７でその誤差がテスト条件記憶装置１
０９に記憶されている許容誤差より小さいかどうかを確
かめる。このテストを全ての出力ニューロンについて繰
り返し、すべて許容誤差以下となったときは、そのこと
をステップ７０８で判定し、そのテストデータのケース
は正解であるとして、ステップ７１３で変数 trueを１
増加させ、次のテストデータのケースへと進む。一方、
パターン認識の場合は、ステップ７１０でニューラルネ
ット情報記憶装置１１２内に記憶されている図９のよう
なしきい値に応じて、ニューラルネットの出力が“０”
であるか“１”であるかを判定する。この判定で全出力
ニューロンの出力が“０”か“１”であると判定でき、
かつその判定結果が教師データの望ましい出力値と等し
ければ、そのことをステップ７１１、７１２で判定し、
ステップ７１３で変数 true を１増加させて次のテスト
データのケースへ移る。以上の処理をテストデータのケ
ース数だけ繰り返すと、正解であるケース数が変数 tru
e の値として得られる。こうして全ケース数が終了する
と、ステップ７１４へ移り、

【数２】正解率（％）＝true／｛テストデータのケース
数｝×１００により正解率を算出する。これをニューラルネットのテ
スト結果として出力する。

【００２７】従来の装置では、以上に述べたような、利
用目的に応じたテスト方法は提供されておらず、パター
ン認識、関数近似に関わらず、ユーザは装置が出力する
ニューラルネットの出力値と望ましい出力値を比較し
て、ニューラルネットの性能を判断しなければならなか
った。しかし本実施例では、自動的に利用目的に応じた
評価法で評価が行われるから、ユーザは確実にかつ容易
にニューラルネットの評価を行うことができる。

【００２８】次に、浄水場における薬注制御システムへ
の本発明の実施例を説明する。浄水場では、ろ過の初期
の段階で、まず取水した原水にポリ塩化アルミニウムを
注入し、原水に含まれる不純物をフロックと呼ばれる塊
とし、このフロックを沈澱させて取り除く。この浄水作
業を効率よく実施するためには、適切な形と大きさのフ
ロックを形成させる必要があり、フロック形成の調節は
凝集剤であるポリ塩化アルミニウムの注入量の制御によ
り行われている。そしてこの制御は、熟練操作員の経験
に従って決定されていたが、ここで述べる薬注制御シス
テムは、この従来の方法による熟練操作員負担を軽減す
るために、ニューラルネットを応用した制御システムで
ある。

【００２９】このような薬注制御システムでは、２つの
ニューラルネットが用いられている。それは、原水の濁
度が低い場合に用いられる低濁度用ニューラルネット
と、濁度が高い場合に用いられる高濁度用ニューラルネ
ットの２つである。２つのニューラルネットが用いられ
ている理由は、出力値である薬剤の注入量の値域が広
く、一つのニューラルネットでその値域をすべてカバー
しようとすると、精度がでなくなるからである。こうし
て２つのニューラルネットを用いたとき、どちらを用い
て注入量を決定するかの選択は、原水濁度の高低によ
り、あるしきい値以上の場合は高濁度用ニューラルネッ
トを用い、しきい値より小さい場合には低濁度用ニュー
ラルネットというように行われている。しかし、原水の
アルカリ度やその時の雨量によって低濁度の範囲内であ
っても、高濁度の場合と同様の操作を行うというよう
に、濁度だけからは単純に判断できない場合も存在す
る。例えば、アルカリ度が高い場合、そのアルカリを中
和するために通常より多めの凝集剤を注入するといった
操作が熟練操作員によって行われている。そのような場
合も、凝集剤の注入量を自動的に決定するために、この
ニューラルネットの選択もニューラルネットで行う事が
考えられる。

【００３０】そこでここでは、高濁度用ニューラルネッ
ト、低濁度用ニューラルネットの他に、そのどちらで薬
剤の注入量を決めるかの選択用ニューラルネットの３つ
のニューラルネットから構成される薬注制御システムを
考え、その構築への本発明の適用例を述べる。図１０は
上記３つのニューラルネットの構成例を示しており、高
濁度用ニューラルネットワークの部分は図示を省略して
いる。選択用ニューラルネットワーク１００１は、薬注
量の決定を高濁度用ニューラルネットで行うか低濁度用
ニューラルネットで行うかを決定するもので、入力値は
原水の濁度、アルカリ度、および雨量である。そして高
濁度用ニューラルネットが用いられる場合は、そのニュ
ーラルネットに対応する出力ニューロンが“１”を出力
し、他方は“０”を出力する。逆に、低濁度用ニューラ
ルネットが必要とされる場合は、低濁度用ニューラルネ
ットに対応する出力ニューロンが“１”を出力し、他方
が“０”を出力する。一方、注入量決定用ニューラルネ
ットワーク１００２は、凝集剤の注入量を決定するもの
で、入力値は現在の水温、濁度、ｐｈ、アルカリ度、お
よび原水流量の値と、その５つの項目の５時間前の値
と、更にその５項目の現在の値と５時間前の値との差の
合計１５項目であり、出力は凝集剤の注入量である。こ
こで、選択用ニューラルネット１００１は、３つの入力
値に対して、凝集剤の注入量の決定に高濁度用ニューラ
ルネットを用いるか、低濁度用ニューラルネットを用い
るかという観点での２つのカテゴリに分けるという意味
で、ニューラルネットの”パターン認識”的用法であ
る。また、高濁度用ニューラルネットと低濁度用ニュー
ラルネットは、１５項目の入力に対してそれに応じた値
（薬注量）を出力するので、ニューラルネットの”関数
近似”的用法である。

【００３１】このような、複数のニューラルネットが組
み合わされて使用されるシステムを構築する場合、それ
ぞれのニューラルネットを個々に構築するよりも、全体
を同時平行に構築し、全体を組み合わせてテストしなが
ら構築を進めていく方が効率的である。また、ニューラ
ルネットの構築においては、学習時間がニューラルネッ
ト構築の大部分の時間を占めている。そのため、学習中
はその他のニューラルネットの構造の検討や、学習用／
テスト用データの解析といった作業が行えると構築作業
が効率よくなる。この様に複数のニューラルネットを同
時並行に構築していく場合、従来の構築支援装置では、
それぞれのニューラルネットの利用目的を意識しなが
ら、解析／学習／テストの各構築段階の方法を毎回選択
する必要があった。これは、ニューラルネットが繰り返
し、試行錯誤的に構築が進められることを考えると、ユ
ーザには更に大きな負担になることがある。また、その
負担のために、ユーザによる誤りが入り込み、品質のよ
くないニューラルネットが構築される可能性があった。

【００３２】本実施例はこうした問題の解決を図ったも
ので、複数のニュ−ラルネットの構築を簡単にするため
に、入出力手段としてウィンドウシステムを用いること
にし、まずユーザが図１１に示したニューラルネット一
覧ウィンドウから、薬注制御システムに用いられるニュ
ーラルネット名と、本構築支援装置の特徴であるニュ−
ラルネットの利用目的をあわせて設定する。ここでは、
ニューラルネット名設定欄１１０１に３つのニューラル
ネット名“選択用ニューラルネット”、“低濁度用ニュ
ーラルネット”、及び“高濁度用ニューラルネット”を
設定し、また利用目的設定欄１１０２に各ニューラルネ
ットの利用目的を設定する。この情報は、図１の情報入
出力装置１０１からユーザによって入力され、ニューラ
ルネット構築管理装置１０２によってニューラルネット
情報記憶装置１１２に記憶され、デ−タの解析／学習／
テストの各段階における構築手段の選択時にニューラル
ネット構築管理装置１０２によって参照される。

【００３３】以上の設定についで、それぞれのニューラ
ルネットの構築が行われるが、各々のニューラルネット
の構築に際しては、図１２に示したようなニューラルネ
ット編集ウィンドウを開き、その上で作業を行う。この
ウィンドウには、ニューラルネットのデータ解析／学習
／テスト等のウィンドウを開くメニュー１２０１と、ニ
ューラルネットの編集領域１２０２が設けられている。

【００３４】図１３は３つのニューラルネットワーク構
築の進め方の一例を、横軸を時間軸にとってタイムチャ
ートで示したもので、作業項目としては３つのニューラ
ルネットワークの個々の構築と、それらの組み合わせテ
ストの４つの項目を取っている。ユーザはまず、図１３
の処理１３０１で、“低濁度用ニューラルネット”の構
築を始める。即ち、図１１のニューラルネット一覧ウィ
ンドウから、“低濁度用ニューラルネット”を選択し、
図１２のニューラルネット編集ウィンドウを開く。さら
にこの編集ウィンドウから、ユーザは学習用／テスト用
データを解析するため、”解析”メニューを選択し、デ
ータ解析ウィンドウを開く。この場合、ニューラルネッ
ト情報記憶装置１１２に設定されている“低濁度用ニュ
ーラルネット”の利用目的が“関数近似”であるから、
ニューラルネット構築管理装置１０２は情報入出力装置
１０１に、図１４に示したような関数近似用の解析ウィ
ンドウを表示する。こうして解析を行うと、解析ウィン
ドウのグラフ表示部１４０４には、出力ノードごとの値
域の出現頻度を示すグラフが表示される。これは値域を
下限値１４０１と上限値１４０２からきめ、その間を刻
み幅１４０３で区切った個々の区間に対応するデータの
個数を棒グラフで表示したものである。利用目的が関数
近似の場合の解析の結果については、次のような判断を
行うことができる。解析結果のグラフが図１５の様にな
った場合、値域全体に渡ってほぼ均一にデータが散らば
っている。そのため、値域を網羅した、よいデータセッ
トであるといえる。一方、解析結果のグラフが図１６の
様になった場合、データが値域を網羅していない。その
ため、データが学習用データであった場合はその部分に
対する学習が不十分になるし、テスト用データの場合は
その部分に対するテストが不十分になる可能性があり、
よいデータセットとは言えない。

【００３５】データ解析が済むと、ユーザは編集ウィン
ドウに戻ってニューラルネットの構造を設定し、次に、
編集ウィンドウの“学習”メニューを選択する。図１７
はこのとき表示される学習ウィンドウを示しており、こ
のウィンドウでユーザは学習用データセット等を設定欄
１７０１に設定し、学習の終了条件１７０２も設定す
る。この設定までの進捗は、図１３の解析・設定段階１
３０１で行われる。こうして全ての設定が済むと、ユー
ザは学習ウィンドウの“実行”ボタンを押下して学習を
始める。“実行”ボタンが押下されたタイミングでニュ
ーラルネット構築管理装置１０２は構築手段実行装置１
０３に命令を出し、構築手段実行装置１０３は学習用デ
ータ記憶装置１１３の学習用データセットの情報とニュ
ーラルネット情報記憶装置１１２の情報を基に学習を行
う。この場合も、利用目的が関数近似のであるため、ニ
ューラルネット構築管理装置１０２が学習手段として構
築手段記憶装置１０４のＢＰ法学習手段を選択するの
で、図１２に示した通常のバックプロパゲーション法の
手順を用いて学習が行われる。そしてグラフ１７０３に
は、学習の進行に伴う誤差のグラフが表示される。図１
３の学習１３０２は、この学習中の時間帯を示してい
る。

【００３６】この低濁度用ニューラルネットの学習時間
中は、ユーザは低濁度用ニューラルネットワークに対し
て何もすることがないから、他のニューラルネットの構
築にその時間を当てることができる。そこで図１３の解
析・設定１３０３の段階で、ユーザは高濁度用ニューラ
ルネットの解析・設定を行い、つづいてその学習を開始
する。このニューラルネットの利用目的は関数近似であ
るので、上記の低濁度用ニューラルネットの構築と同様
の手段で構築が行われる。

【００３７】こうして高濁度用ニューラルネットの学習
が開始されるが、この学習中もユーザは手空きとなるの
で、３つめのニューラルネットである選択用ニューラル
ネットのためのデータ解析・設定１３０４を行う。この
場合には、選択用ニューラルネットの利用目的が“パタ
ーン認識”であるので、“関数近似”の場合とは異なる
構築手段が自動的に選択、適用される。すなわちデータ
の解析段階では、図１８のパターン認識用の解析ウィン
ドウが表示される。この場合も、ニューラルネット構築
管理装置１０２がデータ解析手段としてパターン認識用
データ解析手段１１１を選択し、構築手段実行装置１０
３が解析を実行する。この構築手段実行装置１０３とし
ては、今、学習に用いられているものとは別のものが、
ニューラルネット構築管理装置１０２により選ばれ、解
析が行われる。図１８に示したウィンドウでは、出力ノ
ード名１８０１の各ノードに対する出力パターン１８０
２、１８０３と、このパターンを出力値として持つデー
タの個数１８０４が表示される。図１８の結果は、ノー
ド“低濁度用”が“１”を出力し、ノード“高濁度用”
が“０”を出力するパターンを望ましい出力として持つ
データが３２件あり、逆のパターンを持つデータが３８
件あることを表している。もし図１９に示した様に、一
方のパターンにデータが偏っている場合は、学習／テス
トにおいて偏ったものになることが考えられる。この場
合、低濁度ノードが“０”を、高濁度ノードが“１”を
出力するパターンに関しては精度よく出力されるが、逆
のパターンの出力は正しく出力されない。

【００３８】こうして選択用ニューラルネットの学習が
開始されると、どれかの学習の終了待になる。図１３で
は高濁度用ニューラルネットの学習が先に終了するの
で、このニューラルネットワークのテスト１３０５が開
始される。すなわち、高濁度用ニューラルネットの編集
ウィンドウからテストメニューを選択すると、ニューラ
ルネット構築管理装置１０２が、利用目的が関数近似で
あることから構築手段記憶装置１０４の関数近似用テス
ト手段１０８を選択し、図２０のような関数近似用テス
トウィンドウが情報入出力装置１０１に表示される。こ
の関数近似用のテストウィンドウは、テストデータセッ
ト名２００１とテストデータセット毎の正解率２００２
が表示される。また本装置では、テストデータセットを
複数個持つことがき、それぞれについてテストを行うこ
とができる。下の遷移ボタン２００３は、ノード別許容
誤差の設定ウィンドウへの遷移を行うためのものであ
る。このボタンを押下すると、図２１に示したようなノ
ード別許容誤差設定ウィンドウが表示される。このウィ
ンドウでは、出力ノードのノード名２１０１と各ノード
に対する許容誤差２１０２が表示される。この許容誤差
はユーザが設定するもので、図２１ではノード名として
“薬注量”、ノードの許容誤差が“0.1”と設定されて
いる。この設定が終わると、ユーザは“実行”ボタンを
押下してテストを実行する。この実行結果は、テストデ
ータごとの正解率として図２０に示したテストウィンド
ウに表示されるから、ユーザはこれを見て高濁度用ニュ
ーラルネットワークの評価を行い、よければ次に低濁度
用ニューラルネットワークについて上記と同様なテスト
・検討１３０６を行う。そしてこの例では、ニューラル
ネットワークの性能として不十分として改めてニューラ
ルネットワーク設定を変更し、学習を始めている。

【００３９】この低濁度用ニューラルネットワークの２
度目の学習が開始されると、ユーザは選択用ニューラル
ネットのテスト１３０７を開始する。これは図１２のニ
ューラルネット編集ウィンドウから“テスト”メニュー
を選択することから始まる。この選択により、ニューラ
ルネット構築管理装置１０２は利用目的がパターン認識
であることから、パターン認識用テスト手段１０９を自
動的に選択し、これによって情報入出力装置１０１に
は、図２２に示したようなパターン認識用テストウィン
ドウが表示される。このウィンドウで、テストデータセ
ット名設定欄２２０１にテストデータをセットし、
“０”と判定するしきい値２２０３及び“１”と判定す
るしきい値２２０４をそれぞれ設定して“実行”ボタン
を押下すると、テストが開始される。こうして実行され
たテスト結果は、正解率２２０２に表示される。

【００４０】この選択用ニューラルネットワークの性能
が十分であれば、低濁度用ニューラルネットワークの２
度目の学習を待ってそのテスト・検討１３０８を行う。
その結果が良好なら３つのニューラルネットワークは一
応目的とする性能を持つから、それらの組合せテストを
行い、結果が不十分ならこの例では高濁度用ニューラル
ネットワークの学習データなどを変更し、その解析１３
１０と学習を行う。以下、こうした繰り返しを、全体の
性能が満足されるまで繰り返す。

【００４１】以上のように、複数のニューラルネットを
同時並行に構築していくと、作業の途中でニューラルネ
ットワークの利用目的が変わる場合が出てくるが、その
たびにユーザはそのニューラルネットの利用目的を意識
して、構築機能を間違いなく選択していく必要がある。
しかし本実施例によれば、構築の最初の段階で、ニュー
ラルネットワーク毎の利用目的を入力して記憶し、構築
機能の選択に利用してる。従って、構築対象を変えなが
らの作業を行うときでもユーザは余計な負担を受けるこ
となく、構築を進めていくことができる。

【００４２】

【発明の効果】本発明によれば、ニューラルネットの構
築を始める前にニューラルネットの利用目的をユーザが
設定し、その設定された利用目的に基づきニューラルネ
ットの構築手順の各段階で構築技法が自動的に選択され
る。従って、ユーザの構築技法の選択のまちがいによ
り、ニューラルネットの性能が低下することを防ぐこと
ができ、同時にユーザが構築技法を覚えておいて選択す
るという負担がなくなる。また、利用目的に応じたテス
ト方法を提供したことにより、より的確なニューラルネ
ットの性能評価を行える効果がある。

【図面の簡単な説明】

【図１】本発明の装置の一実施例を示すブロック図であ
る。

【図２】ニューラルネットの一般的な構築手順を示すフ
ローチャートである。

【図３】教師データ及びテストデータを格納するテーブ
ルの例を示す図である。

【図４】ニューラルネットの情報を格納するテーブルの
例を示す図である。

【図５】通常のバックプロパゲーション学習法を示すフ
ローチャートである。

【図６】パターン認識用の高速学習法の手順を示すフロ
ーチャートである。

【図７】本発明でのテスト方法を示すＰＡＤ図である。

【図８】関数近似の出力許容誤差を格納するテーブルの
例を示す図である。

【図９】パターン認識の判定用しきい値を格納するテー
ブルの例を示す図である。

【図１０】薬注制御システム用ニューラルネットの構成
図である。

【図１１】ニューラルネット一覧ウィンドウを示す図で
ある。

【図１２】ニューラルネット編集ウィンドウを示す図で
ある。

【図１３】薬注制御システム構築手順の一例を示すタイ
ムチャートである。

【図１４】関数近似用データ解析ウィンドウを示す図で
ある。

【図１５】良好な関数近似用データの例を示す図であ
る。

【図１６】よくない関数近似用データの例を示す図であ
る。

【図１７】学習用ウィンドウを示す図である。

【図１８】パターン認識用データ解析ウィンドウを示す
図である。

【図１９】パターン認識用データの解析結果の例を示す
図である。

【図２０】関数近似用テストウィンドウを示す図であ
る。

【図２１】ノード別許容誤差設定ウィンドウを示す図で
ある。

【図２２】パターン認識用テストウィンドウを示す図で
ある。

【図２３】ニューラルネットの一般的な構成の例を示す
図である。

【符号の説明】

１０１情報入出力装置１０２ニューラルネット構築管理装置１０３構築手段実行装置１０４構築手段記憶装置１０６ＢＰ法学習手段１０７高速学習法学習手段１０８関数近似用テスト手段１０９パターン認識用テスト手段１１０関数近似用データ解析手段１１１パターン認識用データ解析手段１１２ニューラルネット情報記憶装置１１３学習用データ記憶装置１１４テスト用データ記憶装置

Claims

【特許請求の範囲】

【請求項１】構築するニューラルネットの利用目的を
個々のニューラルネットと対応づけて記憶し、ニューラ
ルネット構築時に上記記憶された利用目的に応じて、利
用目的ごとに用意された構築支援手段を自動的に選択し
てニューラルネット構築作業の支援を行うようにするこ
とを特徴とするニューラルネット構築支援方法。
【請求項２】構築するニューラルネットの利用目的を
個々のニューラルネットと対応づけて記憶する利用目的
記憶手段と、上記利用目的ごとに用意されたニューラル
ネット構築のための構築支援手段と、ニューラルネット
構築時に上記利用目的記憶手段に記憶された利用目的に
応じた構築支援手段を自動的に選択してニューラルネッ
ト構築作業の支援を行えるようにする管理手段とを備え
たことを特徴とするニューラルネット構築支援装置。
【請求項３】前記利用目的は、関数近似とパターン認
識であることを特徴とする請求項２記載のニューラルネ
ット構築支援装置。
【請求項４】前記構築支援手段は、ニューラルネット
の利用目的に応じた教師／テストデータの解析手段を含
むことを特徴とする請求項２または３に記載のニューラ
ルネット構築支援装置。
【請求項５】前記構築支援手段は、ニューラルネット
の利用目的に応じた学習手段を含むことを特徴とする請
求項２または３に記載のニューラルネット構築支援装
置。
【請求項６】前記構築支援手段は、ニューラルネット
の利用目的に応じた性能判定手段を含むことを特徴とす
る請求項２または３に記載のニューラルネット構築支援
装置。
【請求項７】ニューラルネットの利用目的に応じた性
能判定手段を具備したことを特徴とするニューラルネッ
トテスト装置。
【請求項８】請求項７に記載のニューラルネットテス
ト装置を、構築するニューラルネットの評価手段として
用いたことを特徴とするニューラルネット構築支援装
置。
【請求項９】請求項１〜６、８のいずれか１つのニュ
ーラルネット構築支援装置を、浄水場における温度の高
低に応じた２つのニューラルネットの構築に用いた薬注
制御システム。