JP2659867B2

JP2659867B2 - 神経網を構築する方法及び神経網モデルを定義する方法

Info

Publication number: JP2659867B2
Application number: JP3040551A
Authority: JP
Inventors: ジョセフ・フィリップ・ビガス
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1990-02-20
Filing date: 1991-02-13
Publication date: 1997-09-30
Anticipated expiration: 2012-09-30
Also published as: EP0443976A2; JPH04216163A; EP0443976A3; US5142665A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はデータ処理の分野に関す
るものである。とりわけ、本発明はアプリケーション・
プログラムで神経網モデルを走らせる方法及びそのため
のデータ処理装置に関する。

【０００２】

【従来の技術】人間の頭脳は神経網をなすように互いに
接続されたニューロンのグループから構成されている。
我々が何かを学ぶ時、この神経装置間において、新しい
接続が行なわれたり、又は既存の接続に修正が加えられ
たりする。神経網は適応性重み付けによって接続された
多くの単純なプロセッサから成る人間の頭脳の大規模な
並列計算モデルである。神経網は人工知能に関連した用
途で利用されている。並列神経網はしばしばプロセッサ
がプログラム・コードでシミュレートされ、接続がデー
タによってモデル化された直列コンピュータにおいてシ
ミュレートされる。

【０００３】神経網は教師あり(supervised)の場合も、
又は教師なし(unsupervised)の場合もあり得る。教師あ
り神経網はプログラマがアルゴリズム・コードを書いて
データ処理の方法を教えるのではないという点で、従来
のプログラムとは異なっている。代りに、ユーザは所望
の入力/出力関係のトレーニング・データを提示するこ
とによって、神経網のトレーニングを行なう。単純な例
示として、入力される整数が奇数か偶数かの判定を神経
網が行なうことを必要としているものと仮定する。神経
網に対するトレーニング・データの提示は次のような形
で行なわれる。"1 ODD"、"2 EVEN"、"5 ODD"、"121 ODD"
等。神経網は一様に2で割ることのできる121以下の全て
の正の整数がEVENであり、121以下の他の全ての正の整
数がODDであることを学習することになる。従って、ト
レーニング・セッションが完了してから、ユーザが神経
網に対して入力データとして7を提示すると、出力結果
はODDになる。入力データとして神経網に"−14"を提示
すると、トレーニング・データは神経網に対し負の整数
について何もトレーニングしていなかったので、神経網
はこれが偶数であることが分る場合もあれば分らない場
合もある。神経網は−14が偶数であることを正確に当て
るかもしれないが、おそらくユーザに対し正確な答に達
したことに多少の疑いを抱いていることを知らせること
になる。さらに、神経網はトレーニング・データには大
きい数が含まれていなかったので、123232123121といっ
た数が奇数であることは分らない。従って、神経網の質
はトレーニング・データの質によって決まる。

【０００４】教師なし神経網は入力データから統計的に
重要な特徴を抽出することができる。これはトレーニン
グ時に神経網に提示されるのが入力データだけという点
で教師あり神経網とは異なる。

【０００５】ラベル神経網に分類される多くの異なるタ
イプの計算モデルがある。これらの異なるモデルは独特
なネットワーク・トポロジ及び学習メカニズムを備えて
いる。既知の神経網の例には逆伝播モデル、適応性共鳴
理論モデル、特徴マップ自己編成モデル、TSPネットワ
ーク自己編成モデル及び双方向性連想メモリ・モデルが
ある。神経網の分野は極めて活発であり、新しい神経網
モデルの提案がしばしば行なわれる。

【０００６】神経網モデルは興味深く理論的に有力では
あるが、融通性がなく利用が困難である。1つの神経網
モデルの機能を具体化する特殊化されたアプリケーショ
ン・プログラムを書くためには、神経網の知識を有し高
度な技能を備えたプログラマが必要になる。こうしたカ
スタムの設計が施されたアプリケーション・プログラム
はセールス・マンの移動距離を最小限におさえるのと同
様、1つの特定の計算しかできないので、極めて高価で
且つ機能が限定される。異なる計算が必要な場合、おそ
らくこの神経網モデルに精通した異なる高度な技能を有
するプログラマによって、おそらく別の全く似ていない
神経網モデルを具体化する異なるアプリケーション・プ
ログラムが作成されなければならない。

【０００７】これらのアプリケーション・プログラムを
異なるコンピュータ・システムで実行することが所望の
場合、複雑な神経網成分を含むアプリケーション・プロ
グラム全体を書き直さなければならない場合がよくあ
る。これは明らかに望ましいことではなく、貴重なプロ
グラミング資源の浪費になる。書直しに加え、神経網成
分は再トレーニングも必要である。

【０００８】神経網に関する知識がほとんどないか全く
ない通常のプログラマ又はユーザによって、各種コンピ
ュータ言語で書かれた通常のアプリケーション・プログ
ラムでは、1つ以上の神経網モデルの能力を利用して広
範囲にわたる計算を実施することはできない。

【０００９】先行技術では、上述の問題を十分に取り扱
うことはできなかった。先行技術は主として商業環境に
は不適当な理論的及び経験的用途に制限される。

【００１０】

【発明が解決しようとする課題】本発明の主たる目的は
アプリケーション・プログラムが神経網モデルを用いて
計算を行なえるようにする単純な方法及びそのためのデ
ータ処理装置を提供することにある。

【００１１】本発明のもう1つの目的はアプリケーショ
ン・プログラムと複数の神経網モデルのインターフェイ
スを行なう神経網シェルを提供することにある。

【００１２】本発明のもう1つの目的は異なる計算言語
で書かれた又は異なるコンピュータ・システムで実行す
るアプリケーション・プログラムによって利用可能な神
経網データ構造を含む神経網シェルを提供することにあ
る。

【００１３】

【課題を解決するための手段】神経網シェルはアプリケ
ーション・プログラムに対する定義されたインターフェ
イスを備えている。神経網シェルとのインターフェイス
によってどのアプリケーション・プログラムも神経網ア
プリケーション・プログラムになる。神経網シェルに
は、神経網データ構造にデータを転送し、神経網データ
構造からデータ転送を受ける1組のユーティリティ・プ
ログラムが含まれている。この1組のユーティリティ・
プログラムによって、アプリケーション・プログラムは
新しい神経網モデルを定義し、神経網データ構造を生成
し、神経網にトレーニングを施し、神経網を実行するこ
とが可能になる。トレーニングが施されると、神経網デ
ータ構造は他のコンピュータ・システムに対し又は同様
の又は異なるコンピュータ・システムで実行する異なる
コンピュータ言語で書かれたアプリケーション・プログ
ラムに対して移送(transport)することが可能になる。

【００１４】神経網データ構造には、ヘッダとボディが
含まれている。ヘッダには特定の神経網モデルに固有の
神経網の名前、神経網モデルの名前、神経網の状況及び
各種パラメータが含まれている。神経網データ構造のボ
ディには、特定の神経網モデルに固有のデータ・アレイ
が含まれている。本発明の神経網データ構造に対して多
種多様な既知の神経網や未知の又はまだ開発されていな
い神経網のマッピングを行なうことが可能である。

【００１５】神経網に関する入力データ及び出力結果は
記号又は数値フォーマットで外部記憶装置に保持するこ
とができる。データが記号フォーマットで保持される場
合、神経網による処理のため数値のフォーマットに変換
される。次に、数値出力の結果が変換されて、所望の記
号フォーマットに戻される。ユーザはカスタムインター
フェイス・プログラムと呼ばれる既存の変換プログラム
を指定するか又はユーザの神経網アプリケーションの要
求に合わせたユーザ自身のインターフェイス・プログラ
ムを書くことができる。

【００１６】トレーニング・プロセス時には、所望の場
合神経網データ構造からの関連データがユーザに表示さ
れ且つ登録されるか又はその一方が行なわれる。

【００１７】

【実施例】図1には、本発明のコンピュータ・システム
のブロック図が示されている。コンピュータ・システム
10は記憶装置12に接続された主演算処理装置すなわち中
央演算処理装置11から構成される。記憶装置12はRAMの
ような1次メモリ又は磁気又は光学記憶装置のような2次
メモリとすることができる。CPU 11は望ましい実施例の
場合、コ・プロセッサ13に接続される。コ・プロセッサ
13は包括的な数理計算機能(数理コ・プロセッサ)又は特
殊化神経網ハードウェア支援機能(神経網プロセッサ)を
提供することができる。CPU 11に集中的計算作業負荷を
扱うのに十分な処理能力が備わっていて、許容できない
性能劣化がなければ、コ・プロセッサ13は不要である。
CPU 11はユーザ・インターフェイス14にも接続される。
ユーザ・インターフェイス14によって、開発者及びユー
ザは通常プログラマブル・ワークステーションを介して
コンピュータ・システム10との通信を行なうことが可能
になる。

【００１８】望ましい実施例の場合、どんなコンピュー
タ・システムでも利用可能であるが、コンピュータ・シ
ステム10はIBMアプリケーション・システム/400ミッド
・レンジ・コンピュータである。コ・プロセッサ13はア
プリケーション・システム/400ミッド・レンジ・コンピ
ュータのプロセッサであることが望ましいが、IBM PS/2
のようなパーソナル・コンピュータに見受けられる数理
コ・プロセッサ13でもかまわない。この場合、CPU 11及
びコ・プロセッサ13はIBM PCサポートを介して互いに通
信することになる。

【００１９】図2には、フォン・ノイマン(直列)・プロ
セッサ・システムで、神経網(並列)コンピュータのシミ
ュレーションを行なうことの可能な方法が示される。異
なる接続トポロジ及び処理装置属性を備えた多くの異な
る神経網モデルが存在する。ただし、それらは一般に適
応性(変更可能)重み付けメカニズム22によって接続され
る多くの(数十、数百又は数千の)単純な処理装置21から
構成された計算システムとして分類することができる。
処理装置及び重み付けメカニズム以外に、神経網モデル
はトレーニングの各反復後に重み付けを更新することに
よって有効に働く学習メカニズム23を備えていなければ
ならない。

【００２０】神経網モデルはプログラム及びデータに従
ってデジタル・コンピュータでシミュレートすることが
できる。プログラム26は神経網処理装置21によって実行
される処理機能をシミュレートし、適応性重み付けはデ
ータ27に含まれている。プログラム28は学習メカニズム
即ち接続重み付け適応化メカニズム23を実現するのに利
用される。

【００２１】図3には、本発明の概念レイアウト及びそ
れとアプリケーション・ソフトウェアとを関連づける方
法が示されている。最高レベルはアプリケーション・プ
ログラミング・インターフェイス31(API)である。API31
は神経網の専門知識に欠けたアプリケーション開発者が
ユーティリティ・プログラム及びアプリケーション・プ
ログラムにおける神経網シェル32のデータ構造にアクセ
スし利用することができるようにする正式に指定された
インターフェイスである。

【００２２】神経網シェル32は1組のユーティリティ・
プログラム33及び神経網データ構造50から構成される。
神経網シェル32は従来の計算システム上のアプリケーシ
ョンで神経網を容易且つ効率的に定義し、生成し、トレ
ーニングし、実行する能力を提供する。

【００２３】例えば、モデル35〜38のような神経網モデ
ルは神経網シェル32における全てのユーティリティ・プ
ログラムがアクセス可能な包括的神経網データ構造50を
定義する形で神経網シェル32の支援を受けることができ
る。各神経網モデルは図5に詳述するこの包括的神経網
データ構造にマップされる。各神経網モデルに固有のプ
ログラムは後述のように神経網ユーティリティ・プログ
ラム33により呼び出される。

【００２４】図4で、通常のアプリケーション・プログ
ラム41は神経網シェル32における1つ以上の神経網ユー
ティリティ・プログラム45〜48とインターフェイスする
ことによって、神経網アプリケーション・プログラム40
になる。ユーティリティ・プログラム45〜48はデータ構
造50とインターフェイスする。神経網アプリケーション
・プログラム40(本書では神経網とも呼ぶ)によって処理
すべきデータは入力42から入る。神経網によるデータの
実行がすむと、その結果が出力43から送り出される。ア
プリケーション・プログラム41及びユーティリティ・プ
ログラム45〜48は適当にプログラムされたCPU 11とコ・
プロセッサ13の両方又は一方に常駐している(図1)。デ
ータ構造50はCPU 11とコ・プロセッサ13の両方又は一方
における記憶装置12と内部記憶装置の両方又は一方に常
駐している。

【００２５】図5には、本発明の神経網データ構造50が
示されている。データ構造50はアプリケーション・プロ
グラムでの利用に合わせて神経網モデルを定義できるよ
うにする共通のフレーム・ワークを提供するものであ
る。この共通のフレーム・ワークはモデルに固有のパラ
メータに関して神経網データ構造50におけるいくつかの
フィールドを規定することによって実現する。 AS/400
Neural Network Utility: User's Guide and Reference
PRPQ P84189(注文番号SC21−8202−0)のページ103〜10
5には、データ構造50のモデルに固有のフィールドが逆
伝播、ART、特徴自己編成マップ、TSP及びBAM神経網モ
デルによっていかに利用されるかが示されている。

【００２６】データ構造50はヘッダ部分60とボディ部分
90から構成される。ヘッダ部分60には、フィールド61〜
79が含まれている。フィールド61及び62は他の神経網デ
ータ構造がある場合にはそれに対するポインタである。
神経網が直列データ処理に備えて連係リストをなすよう
に構成されている場合、第1のポインタは前の神経網に
連係している。この連係を利用して、より大きい神経網
内における前のサブ・ネットから出力を得ることができ
る。第2のポインタは次の神経網に対するポインタであ
る。サブ・ネット・ワークの収集に基づいて、これらの
連係のいずれか又は両方がいくつかのサブ・ネット・ワ
ークから構成されるハイブリッド神経網において用いら
れることになる。

【００２７】神経網データ構造を互いに連鎖させること
により、アプリケーション・プログラムのフレキシビリ
ティを増し機能を高めることができる。さらに2つの神
経網に対して連係し得るようにすることによって、神経
網のモジュールから超神経網を構成することが可能にな
る。

【００２８】フィールド63はボディ部分90における次の
自由空間に対するバイトのオフセットである。フィール
ド64は神経網データ構造の端部に対するバイトのオフセ
ットである。ボディ部分90は可変長のデータ領域である
ため、データ構造及び次に利用可能な自由空間のトラッ
ク及びサイズをボディ部分90に保持する必要がある。

【００２９】フィールド65には、神経網の名前が含まれ
ている。コインに関する属性情報を含む入力データ(コ
インが銅と銀のいずれであるか、人物が左を向いている
か、右を向いているか及びコインに建物、鷲、葉又はト
ーチが彫刻されているか否か)に基づいて、コインがペ
ニー(1セント硬貨)か、ニッケル(5セント硬貨)か、ダイ
ム(10セント硬貨)か又はクォーター(25セント硬貨)かを
判定する神経網の一例について後述する。この神経網の
名前はCOINNETであり、この名前は後述するように神経
網生成ユーティリティ・プログラムによってフィールド
65に納められる。

【００３０】フィールド66には、神経網が位置指定さ
れ、望ましい実施例において必要とされるライブラリの
名前が含まれている。AS/400の場合、プログラムはライ
ブラリに納められる。ライブラリはパーソナル・コンピ
ュータ環境におけるサブ・ディレクトリに似ている。フ
ィールド66はライブラリのない計算環境では不要であ
る。フィールド67には、神経網バージョン識別子が含ま
れている。この情報は神経網シェル・プログラムと神経
網データ構造の間の不一致を防ぐために用いられる。新
しいバージョンすなわち新たにリリースされるソフトウ
ェアを開発する際には、既存の神経網と適合させること
が望ましい。エンハンスメントが基本的な神経網データ
構造に対する変更を必要とする場合、このフィールドに
よってソフトウェアとデータの不一致を検出することが
可能になる。ソフトウェアは変換ルーチンを呼び出して
データ構造のフォーマットを更新したり、又はダウン・
レベルのデータ構造を受け入れることができる。

【００３１】フィールド79には、神経網モデル又はタイ
プの名前が含まれている。神経網モデル名の一例が逆伝
播に対するBKPである。

【００３２】フィールド68には、神経網の現在の状況が
含まれている。可能性のある状態は神経網が生成中の場
合は、INITIALIZE、神経網がトレーニング中の場合は、
TRAINING又はトレーニングが完了したかその実行準備が
整っている場合は、LOCKEDになる。

【００３３】フィールド69は所望の場合モデルに固有の
英数字フィールドを記憶する任意選択フィールドであ
る。フィールド70は経過した神経網のトレーニング時間
を秒単位で記憶している。

【００３４】フィールド71〜74には、特定の神経網モデ
ルによってさまざまに用いられるさまざまなタイプのパ
ラメータが含まれている。フィールド71には、4つまで
の神経網ブール・パラメータが含まれている。例えば、
逆伝播神経網モデルはエポック更新及びランダム入力を
許可するか禁止するかの判定を行なうのに、これらのパ
ラメータのうちの2つを利用する。神経網ブール・パラ
メータは神経網フラグとしても知られている。もちろ
ん、所望の場合には、フィールド71を(これに加えデー
タ構造50の他のフィールドも)望ましい実施例に用いら
れるパラメータ数の増減に適応するように拡大したり、
縮小したりすることができる。フィールド72には、神経
網サイズのパラメータが含まれている。このフィールド
には、5つまでのモデルに固有の神経網サイズの整数パ
ラメータが含まれている。フィールド73には、5つまで
のモデルに固有の神経網に関する牽引の整数パラメータ
が含まれている。フィールド74には、学習速度、モーメ
ンタム、エポック誤差等のような6つまでのモデルに固
有の神経網に関するトレーニングの実パラメータが含ま
れる。

【００３５】フィールド75は神経網のトレーニング・エ
ポック数を記憶している(エポックは完全な組をなすト
レーニング・データの繰返しである)。フィールド76に
はボディ部分90における各モデルに固有のアレイの始端
に対するバイトで表わすオフセットのアレイが含まれて
いる。フィールド77には、ボディ部分90における各モデ
ルに固有のアレイの始端に対する分解ポインタのアレイ
が含まれている。フィールド78には、各アレイに保持さ
れたデータ・タイプを表わすパラメータのアレイが含ま
れている。例えば、神経網モデルには2進入力しか受け
つけないものもある。望ましい実施例の場合、フィール
ド78のパラメータに1が含まれている場合、その対応す
るアレイには、ビット・マップされたデータが含まれて
いる。パラメータが2の場合、その対応するアレイに
は、単一の精密浮動小数点データ(デフォルト)が含まれ
ている。3の場合、その対応するアレイには、固定小数
点ゾーンの10進データが含まれている。これらのパラメ
ータを利用することによって、記憶装置がより効率的に
用いられることになる。

【００３６】ここで、データ構造50におけるボディ部分
90の内容について論考する。ボディ部分90はある数の
(望ましい実施例の場合16)モデルに固有のアレイを含む
可変長データ領域である。前述のAS/400 Neural Networ
k Utility : User's Guide andReference PRPQ P84189
のページ103〜105には、例示の各神経網モデル毎に、ヘ
ッダ部分60とボディ部分90にマップされたアレイが示さ
れている。例えば、逆伝播モデルはボディ部分90に対
し、ページ103に"アレイ・マッピング"の見出しで示さ
れている活動、重み付け、しきい値、重み付けデルタと
いった11のアレイをマップする。

【００３７】データ構造50は後述するように(図11、図1
2)神経網生成ユーティリティ・プログラムによって生成
される。トレーニング及び実行ユーティリティ・プログ
ラムはヘッダ情報にアクセスし、データ領域アレイに対
するポインタを初期設定する。さらに、データ領域アレ
イのデータは神経網のトレーニング及び計算プロセスの
シミュレーションに用いられる。

【００３８】図6〜図17には、適正にプログラムされたC
PU 11とコ・プロセッサ13の両方又は一方によって実施
される本発明のフロー・チャートが示されている。図6
には、神経網アプリケーション・プログラムの開発プロ
セスにおける主たるステップの概要が示されている。ブ
ロック110では、定義すべき新しい神経網モデルが存在
するか否かについて質問する。存在する場合、ブロック
200で神経網モデル定義サブ・ルーチン(図7〜図10)を呼
び出す。存在しなければ、ブロック120において、ユー
ザが神経網データ構造の生成を望むか否かの質問を行な
う。神経網データ構造は各神経網毎に生成される。例え
ば、コイン識別神経網に関して1つの神経網データ構造
が生成される。また、入力数が奇数か偶数かを判定する
ために、もう1つの神経網を生成したいという場合に
は、もう1つの神経網データ構造が生成される。ブロッ
ク120での答が肯定の場合、ブロック300で神経網データ
構造生成サブ・ルーチン(図11〜図12)が呼び出される。
否定の場合には、ブロック130でユーザが神経網のトレ
ーニングを望むか否かの質問を行なう。神経網には、ト
レーニング・データでトレーニングを施して入力データ
と所望の出力結果の関係を学習したり、又は入力データ
から関連する特徴を抽出したりできるようにする必要が
ある。肯定の場合には、ブロック400で神経網トレーニ
ング・サブ・ルーチン(図13〜図15)が呼び出される。否
定の場合、ブロック140においてユーザが神経網の実行
を望むか否かの質問を行なう。肯定の場合、ブロック50
0において神経網モデル実行サブ・ルーチン(図16及び図
17)が呼び出される。否定の場合、プログラムはブロッ
ク190において終了する。

【００３９】図7〜図10には、神経網モデル定義サブ・
ルーチン200が示されている。例示のため、アプリケー
ション開発者が逆伝播神経網モデルの定義を望むものと
仮定する。所望の場合、ブロック201において神経網ス
トリング・フィールド69に対し神経網モデルに固有の意
味が割り当てられる。本例の場合、このフィールドは不
要であり、従って空白ストリングが割り当てられる。ブ
ロック202において、ブール・パラメータ・フィールド7
1に対し神経網モデルに固有の意味が割り当てられる。
本例の場合、2つのブール・パラメータすなわちエポッ
ク更新(Y/N)及びランダム入力(Y/N)が割り当てられる。
ブロック203では、神経網サイズ・パラメータ・フィー
ルド72に対して神経網モデルに固有の意味が割り当てら
れる。本例の場合、5つのパラメータすなわち入力数、
隠れ層1における単位数、隠れ層2における単位数、出力
数及び処理装置数が割り当てられる。ブロック204にお
いて、神経網に関する牽引のパラメータ・フィールド13
に対し神経網モデルに固有の意味が割り当てられる。本
例の場合、第1の隠れユニット1、最後の隠れユニット
1、第1の隠れユニット2、最後の隠れユニット2及び第1
の出力といったパラメータが割り当てられる。ブロック
205では、神経網のトレーニングに関するパラメータ・
フィールド74に対し神経網モデルに固有の意味が割り当
てられる。本例の場合、学習速度、モーメンタム、パタ
ーン誤差、エポック誤差及び公差といったパラメータが
割り当てられる。ブロック206では、神経網アレイ・オ
フセット・フィールド76に対し神経網モデルに固有の意
味が割り当てられる。逆伝播神経網モデルにおいて、定
義すべき11のデータ・アレイが存在するので、このフィ
ールドには、ボディ部分90に位置指定された11のアレイ
のそれぞれに関する第1の要素に対するバイト・オフセ
ットが含まれる。

【００４０】ブロック210では、図8の神経網モデル生成
プログラム構築サブ・ルーチンが呼び出される。ここ
で、図8を参照すると、サブ・ルーチン210はモデルに固
有のルーチンを構築して後で神経網データ構造生成サブ
・ルーチン(図11)によって実行できるようにする必要が
ある。ブロック211では、ユーザに神経網に固有のパラ
メータ情報に関する指示メッセージを与え、エラーのあ
る一致性のないパラメータ値についてチェックする単純
なルーチンを規定する。例えば、ブロック211では、図2
0と同様のスクリーンを作成するルーチンを規定する。
とりわけ、図20のスクリーンは入力ユニット数、隠れユ
ニットL1の数、隠れユニットL2の数及び出力数値数に関
する情報についてユーザに指示メッセージを与える。

【００４１】ブロック212では、包括的神経網データ構
造に対しデフォルトパラメータ値を初期設定し、この神
経網モデルに関するデフォルト神経網データ構造を生成
するルーチンを規定する。全ての神経網モデルは同じ包
括的神経網データ構造を備えている。各神経網モデルは
それぞれそれ自体に固有のデフォルトデータ構造を備え
ている。従って、同じ神経網モデル(逆伝播のような)を
用いる全ての神経網アプリケーション・プログラム(コ
イン識別、偶数/奇数識別等)が固有のパラメータ値を同
じ神経網データ構造に入力することになる。

【００４２】ブロック213では、サブ・ルーチン210で構
築された神経網モデル生成プログラムに固有の名前を与
え記憶装置12(図1)に書き込んで、その保管を行なう。
望ましい実施例の場合、このプログラムはデータ構造に
対するアクセス能力を備えた所望の言語で書くことが可
能である。ブロック219から図7のブロック230に戻る。

【００４３】ブロック230では、図9の神経網モデルトレ
ーニング・プログラム構築サブ・ルーチンが呼び出され
る。ここで図9を参照すると、サブ・ルーチン230はモデ
ルに固有のルーチンが後で神経網トレーニング・サブ・
ルーチン(図13〜図15)によって実行できるように書かれ
ることを必要とする。ブロック231では、図5のフィール
ド77において神経網アレイ・ポインタの初期設定を行な
う単純なルーチンが規定される。ブロック232では、神
経網サイズ、牽引及びトレーニング・パラメータ(フィ
ールド72−74)を局所変数に複写するためのルーチンが
規定される。これは性能及びプログラミングの信頼性を
高めるために行なわれる。ブロック233では、神経網を
初期設定するルーチンが規定される。ブロック233で
は、神経網トレーニング・プログラムによって用いられ
るカウンタ及び変数の初期設定が行なわれる。神経網状
況フィールド68が初期設定の場合、ブロック233におい
て、データ・アレイ値(接続重み付け)の初期設定も行な
われ、フィールド68における状況が"初期設定"からトレ
ーニングに変更される。

【００４４】ブロック234では、この神経網モデルに関
する単一のトレーニング・ステップを実施するルーチン
が規定される。このルーチンによって、ボディ90のデー
タ・アレイにおけるデータ値に調整を加え、神経網が所
望の機能を学習できるようにするのに用いられる神経網
モデルに対する依存性の高いメカニズムが得られる。当
該技術の熟練者であれば、その重み付け調整手順に関す
る神経網モデルの説明を理解し、彼らが選択したコンピ
ュータ言語を用いてこの説明を本発明のデータ構造にア
クセスするプログラムに変換するのは簡単なことであ
る。

【００４５】ブロック235では、エポック処理のトレー
ニングが完了すると実施するルーチンが規定される。こ
のルーチンは神経網モデルに従って変数をリセットする
ような単純なクリーン・アップ手順からより複雑なデー
タ・アレイ値の調整まで複雑さが多様になる可能性があ
る。当該技術の熟練者であれば、エポック処理に固有の
目的に関する神経網モデルの説明を理解し、彼らが選択
したコンピュータ表記を用いてこの説明を本発明のデー
タ構造にアクセスするプログラムに変換するのは簡単な
ことである。

【００４６】ブロック236では、サブ・ルーチン230で構
築された神経網モデル・トレーニング・プログラムに固
有の名前を与え記憶装置12(図1)に書き込んで保管す
る。ブロック239から図7のブロック250に戻る。

【００４７】ブロック250では、図10の神経網モデル実
行プログラム構築サブ・ルーチンが呼び出される。ここ
で図10を参照すると、サブ・ルーチン250はモデルに固
有のルーチンが後で神経網実行サブ・ルーチン(図13〜
図15)によって実行できるように書かれることを必要と
する。ブロック251では、図5のフィールド77において神
経網アレイ・ポインタの初期設定を行なう単純なルーチ
ンが規定される。ブロック252では、神経網サイズ、牽
引及びトレーニング・パラメータ(フィールド72〜74)を
局所変数に複写するためのルーチンが規定される。ブロ
ック253では、神経網に入力データを通すルーチンが規
定される。ブロック254では、出力結果を神経網実行サ
ブ・ルーチンを戻すルーチンが規定される。ブロック25
5では、サブ・ルーチン250で構築された神経網モデル実
行プログラムに固有の名前を与え記憶装置12(図1)に書
き込んで保管する。ブロック259から図7のブロック250
に戻る。

【００４８】望ましい実施例の場合、アプリケーション
開発者又はユーザの便宜上5つの神経網モデルが事前定
義される。この事前に定義されるモデルは逆伝播、適応
性共鳴理論、特徴自己編成マップ、TSP自己編成神経網
及び双方向性連想メモリである。従って、これらのモデ
ルはユーザが神経網モデル定義サブ・ルーチンを用いて
定義する必要はない。

【００４９】残りのフロー・チャートについては、簡単
に既述のコイン識別神経網の例に関連して述べることに
する。ユーザがコインに関する属性情報を含む入力デー
タ(銅貨か、銀貨か、人物が左を向いているか、右を向
いているか及びコインに彫刻されているのが建物、鷲、
葉、トーチのいずれであるか)に基づいて、コインがペ
ニーか、ニッケルか、ダイムか又はクォーターかの判定
を行なう神経網の生成を望んでいるものと仮定する。ユ
ーザは図6のブロック120で肯定応答し、ブロック300に
おいて神経網データ構造生成サブ・ルーチン(図11、12)
を呼び出すことによってこの神経網を生成する。ここで
図11を参照すると、ブロック301において、図19に示す
ようにユーザは神経網の名前及びテキスト記述情報を入
力するように促される。ユーザは神経網の名前としてCO
INNET、テキスト記述として"TestBKP network for Coin
ID Problem (コイン識別問題に関するBKP神経網をテス
トする)"を入力する。ブロック302では、ユーザは神経
網モデルの名前を入力するように促される。図19に示す
ように、ユーザは逆伝播神経網モデルに対する略語であ
る*BKPを入力する。ブロック303では、図7のブロック26
0においてモデル定義ファイルにモデル*BKPの定義が行
なわれているか否かのチェックを行ない確認する。定義
が行なわれていなければ、ブロック304において、エラ
ー・メッセージが通知され、ユーザに対しブロック301
で神経網モデルの名前を再入力するように要求される。
本例の場合、モデル定義ファイルには、*BKPが含まれて
おり、ブロック330において図12のこのモデルに関する
モデル生成プログラム実行サブ・ルーチンが呼び出され
る。既述のように、モデル生成プログラムは図8のモデ
ル生成プログラム構築サブ・ルーチンで作成された。こ
のプログラムの名前はこのモデルに関するトレーニング
及び実行プログラムの名前と共に全てモデル定義ファイ
ルに含まれている。

【００５０】ここで、図12を参照すると、ブロック331
において図8のブロック212で規定されたルーチンを実行
することによって、この神経網に関するデフォルト神経
網データ構造が生成される。ブロック332では、図20に
示されるようにユーザは神経網に固有のパラメータを入
力することを促される。本例の場合、ユーザは6つの入
力ユニット(コインの色、コインの半面像、建物、鷲、
葉及びトーチのそれぞれに1つ)、2つの隠れユニット(本
例の神経網にとって最適)、4つの出力ユニット(クォー
ター、ダイム、ニッケル及びペニーのそれぞれに1つ)を
指定する。ブロック333においてチェックを行ない、ユ
ーザによって与えられたパラメータが許容できるか否か
が確かめられる。これらのパラメータの入力をユーザに
促す図8のブロック211で規定されたルーチンによってユ
ーザの入力に対し1−1000の出力ユニットといった制限
が加えられている点に留意されたい。ユーザがこれらの
範囲外の値を入力すると、ブロック333において否定応
答が行なわれ、ブロック334ではエラー・メッセージが
通知され、ブロック332でユーザに対しデータの再入力
が要求される。さらに、ユーザが一致しないパラメータ
情報を入力すると、やはりエラー・メッセージが通知さ
れる。本例の場合、ユーザが与えるパラメータは全て許
容可能であり、従ってブロック335では、ユーザによっ
て与えられたパラメータの全てがブロック331で生成さ
れたデフォルトデータ構造に記入される。ブロック336
では、現在データ構造に常駐しているデータに基づき神
経網牽引パラメータ・フィールド73及び神経網アレイ・
オフセット・フィールド76に記入するための計算が行な
われる。ブロック337では、フィールド71におけるブー
ル・パラメータ(本例の場合、両方ともNに対するもの)
と、フィールド74におけるトレーニング・パラメータ
(本例の場合、図23に示す値に対するもの)の初期設定が
行なわれる。ブロック338では、ボディ部分90に位置指
定されるデータ・アレイ・フィールドの割当て及び初期
設定が行なわれる。逆伝播神経網モデルの場合、活動、
重み付け、しきい値、重み付けデルタ、しきい値デル
タ、トレーニング、エラー、デルタ、神経網入力、重み
付け導関数及びしきい値導関数といったアレイが割り当
てられる。これらの値は全てブロック338において初期
設定される(神経網モデルによる決定に従って)。ブロッ
ク338が実行されると、本例の神経網データ構造には、
属性を記述する入力データ(又は6つの入力と4つの出力
を備えた他の神経網)から如何にしてコインを識別する
かを神経網にトレーニングするのに必要な全ての情報が
含まれることになる。サブ・ルーチンはブロック339か
ら図11のブロック305に戻る。ブロック305から図6のブ
ロック130に戻る。

【００５１】神経網データ構造が生成されると、別のコ
ンピュータ・システムに移送してトレーニングと実行の
両方又は一方を行なうことができるという点に留意のこ
と。他のコンピュータ・システムは該神経網データ構造
を生成したコンピュータ・システムとは全く異なるアー
キテクチャを備えることができ、全く異なるオペレーテ
ィング・システムを実行することができる。このフレキ
シビリティはデータ構造に異なるコンピュータ・システ
ム間で普遍的に用いることが可能なデータが含まれてい
るために可能になる。

【００５２】ユーザは彼が新しく生成した神経網にトレ
ーニングを施してコインの識別が行なえるようにするこ
とを望んでいるので、図6のブロック130で肯定応答を行
ない、ブロック400において神経網トレーニング・サブ
・ルーチン(図13〜図15)を呼び出す。ここで第13図を参
照すると、ブロック401において、ユーザに対し、図22
に示すように神経網及びライブラリの名前を入力するこ
とを促す。ユーザは神経網の名前としてCOINNET、ライ
ブラリ名前として*CURLIBを入力する。図22には、所望
の場合、ユーザが彼の特定の神経網の使用性を向上させ
るために書くことができるカスタムのインターフェイス
・プログラムの名前を入力する機会も与えられる。さら
に、ユーザに対しトレーニング結果の記録又は表示を望
むか否かについて、また(カスタムインターフェイス・
プログラムが存在する場合)トレーニング・データがデ
ータ・セットから自動的に取り出されるのと、ユーザが
入力キーを押すと、1度に1ステップずつ取り出されるの
と、どちらを望むかについて質問が行なわれる。ブロッ
ク402では、ブロック401で指定のデータ構造が存在する
か否かを確かめる。存在しなければ、エラーが通知さ
れ、ユーザはブロック401に戻される。存在する場合、
ブロック403では、ユーザはトレーニング・データが置
かれているデータ・セットの名前を入力することを促さ
れる。図22に示すようにユーザはトレーニング・データ
が置かれているデータ・セットとしてQANWCOIN、データ
・セット・メンバとしてCOINDEMOを入力する。

【００５３】図18には、本例で用いられているトレーニ
ング・データが示されている。該データは使用性を向上
させ、SQL又はdBase IIIのような定義されたデータ・ベ
ース・フォーマットを支援するため、記号(読取り可能)
フォーマットで記憶されている点に留意されたい。ブロ
ック404では、データ・セットの存在が確かめられ、そ
の結果ブロック405では、ユーザはカスタムインターフ
ェイス・プログラムがあればその名前を入力することを
促される。データ・セットに記号データが記憶されてい
る場合、ユーザによって指定されたカスタムのインター
フェイス・プログラムは記号データ(人間が理解する)を
数値データ(神経網が理解する)に変換するのに必要であ
る。本例の場合、図21において、カスタムインターフェ
イス・プログラムが指定されているが(QNWGCOIN)、この
プログラムは各入力属性を2進ストリングの0又は1に変
換するだけで、図18に示す記号トレーニング・データを
図18に示す数値トレーニング・データに変換した。4桁
の出力2進ストリングは本例において可能性のある4つの
出力状態を表わしている。カスタムインターフェイスを
指定したが、存在しないという場合、ブロック406で肯
定応答が行なわれ、制御の流れはブロック405に戻る。
別様の場合、ブロック420において図14のこのモデルに
関するモデルトレーニング・プログラム実行サブ・ルー
チンが呼び出される。モデル・トレーニング・プログラ
ムは既述のように図9のモデル・トレーニング・プログ
ラム構築サブ・ルーチンで作成されたものである。

【００５４】ここで図14を参照すると、ブロック433に
おいては、図9のブロック231、232及び233で構築された
初期設定ルーチンが実行される。ブロック421でチェッ
クを行ない、カスタムインターフェイス・プログラムの
指定が行なわれたか否かが確かめられる。行なわれてい
る場合、本例がそうであるが、ブロック422においてカ
スタムインターフェイス・プログラムからデータを得る
(図18に示す数値データ)。別様の場合、トレーニング・
データは数値フォーマットでデータ・セットに記憶さ
れ、ブロック423において、そのデータ・セットから直
接データが取り出される。ブロック424では、図9のブロ
ック234で規定された神経網モデル従属ルーチンを実行
することによって、トレーニング・ステップの1つが実
行される。本例の場合、ボディ90におけるデータ・アレ
イのデータ値は所望の神経網の出力と実際の神経網の出
力との誤差が最小限におさまるように調整される。ブロ
ック425において、再びカスタムインターフェイス・プ
ログラムについてチェックが行なわれる。それが存在す
る場合、ブロック426においてチェックを行ない、ユー
ザがデータ構造におけるデータ値の表示を望むか否かが
確かめられる。望む場合には、ブロック427において、
カスタムインターフェイス・プログラムによって発生す
るカスタムスクリーンが表示される。図27〜図30には、
カスタムスクリーンが例示されている。カスタムインタ
ーフェイス・プログラムは存在しないが、ユーザがデー
タ表示を望む場合には、ブロック428でデフォルトスク
リーンが表示される。図23にデフォルトスクリーンが例
示されている。

【００５５】もう1度図14を参照すると、ブロック429に
おいてチェックを行ない、ユーザがデータの登録を望む
か否かが確かめられる。望む場合、ブロック430でデー
タのカスタム又はデフォルト登録が実施される。どちら
にせよ、ブロック434でチェックを行ない、1つのエポッ
クが完了したか否かが確かめられる。エポックはデータ
・セットにおける全てのトレーニング・データについて
の処理が1回行なわれると、完了したことになる。完了
していなければ、制御はループをたどってブロック421
に戻り、次のトレーニングデータが取り出される。1つ
のエポックが完了している場合、ブロック435において
図9のブロック235で構築されたエポック処理ルーチンの
目的が実施される。本例の場合、エポック処理ルーチン
の目的は全トレーニング・データに関してどの出力ユニ
ットも実際の出力と所望の出力との差が指定の公差未満
か否かを確認することにある(フィールド74におけるト
レーニング・パラメータの1つ)。公差未満であれば、フ
ィールド68における神経網の状況がロックにセットされ
る。神経網の状況がロックされると、データ・アレイの
値は変更できなくなる。

【００５６】次に、ブロック431でチェックを行ない、
ユーザの指定した反復数が完了したか否かが確かめられ
る。完了するまで、ブロック431で否定応答が行なわ
れ、流れがブロック421へ戻ってもう1回トレーニング・
データを反復することになる。トレーニング期間が終了
すると、ブロック431で肯定応答が行なわれ、サブ・ル
ーチンがブロック407から図13のブロック407へ戻る。ま
た、ブロック407から図6のブロック140へ戻る。

【００５７】ユーザは彼が新しくトレーニングを施した
神経網を実行し、コインの識別を行なうことを望んでい
るので、図6のブロック140において肯定応答を行ない、
ブロック500で神経網実行サブ・ルーチンを呼び出す(図
16、17)。代替案として、アプリケーション・プログラ
ムが神経網実行サブ・ルーチンを直接呼び出し、それに
よって図6をバイパスすることも可能である。

【００５８】ここで図16を参照すると、ブロック501に
おいて図10のブロック251及び252で構築された初期設定
ルーチンが実行される。ブロック502で神経網の名前が
決定される。ブロック530では、図17のこのモデルに関
するモデル実行プログラム実行サブ・ルーチンが呼び出
される。このモデル実行プログラムは既述のように図10
のモデル実行プログラム構築サブ・ルーチンで作成され
たものである。

【００５９】ここで図17を参照すると、ブロック531に
おいて神経網で入力データを実行し、ブロック533がブ
ロック510(図16)に戻る時、それを神経網実行サブ・ル
ーチンに送り返す。ブロック531では、図10のブロック2
53及び254で構築されたルーチンを実行する。

【００６０】サブ・ルーチン500はブロック519から図6
のブロック190へ戻り、そこで、プログラムを終了する
か又はその代りにそれを呼び出したアプリケーション・
プログラムに戻る。

【００６１】図27〜図30には、本例のコイン識別神経網
がいかにしてペニー、ニッケル、ダイム及びクォーター
の正確な識別を行なったかが示されている。図32には、
この神経網でBRONZE LEFT YNNN(数値では011000で表わ
される)といった入力データを実行した場合どうなるか
が示されている。該神経網に求められているのは左半面
像と建物はあるが、鷲、葉又はトーチは彫刻されていな
い銅貨の識別である。神経網はこのコインがニッケルで
あると推量するが、ニッケルの推量が当たっている確率
は0.4865323にしかすぎない。神経網が最も確信できる
のは当たっている確率が1.00000に近い場合である。こ
の例の場合、このコインがニッケルであることにあまり
確信がもてないのは明らかである。実際にはこうした属
性を備えたようなコインはなく、従って該神経網がかな
りの概念を示したのは正しかった。

【００６２】

【発明の効果】本発明はアプリケーション・プログラム
が神経網モデルを用いて計算を行なうための簡単な方法
を提供するものである。

【図面の簡単な説明】

【図１】本発明のコンピュータ・システムのブロック図
である。

【図２】大規模な並列ハードウェアで実現される神経網
を直列フォン・ノイマン・ベース・コンピュータ・シス
テムでシミュレートできるようにする方法を示す図であ
る。

【図３】本発明の計算環境の概念フレーム・ワークを示
す図である。

【図４】本発明の計算環境の概念フレーム・ワークを示
す図である。

【図５】本発明の神経網データ構造を示す図である。

【図６】本発明のフロー・チャートである。

【図７】本発明のフロー・チャートである。

【図８】本発明のフロー・チャートである。

【図９】本発明のフロー・チャートである。

【図１０】本発明のフロー・チャートである。

【図１１】本発明のフロー・チャートである。

【図１２】本発明のフロー・チャートである。

【図１３】本発明のフロー・チャートである。

【図１４】本発明のフロー・チャートである。

【図１５】本発明のフロー・チャートである。

【図１６】本発明のフロー・チャートである。

【図１７】本発明のフロー・チャートである。

【図１８】本発明に用いられる記号トレーニング・デー
タの例を示す図である。

【図１９】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図２０】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図２１】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図２２】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図２３】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図２４】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図２５】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図２６】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図２７】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図２８】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図２９】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図３０】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【図３１】ユーザに対して表示される本発明を利用した
例示の神経網の生成、トレーニング及び実行に関するス
クリーンの1つを示す図である。

【符号の説明】

10．コンピュータ・システム 11．中央演算処理装置 12．記憶装置 13．コ・プロセッサ 14．ユーザ・インターフェイス 21．神経網処理装置 22．適応性重み付けメカニズム 23．学習メカニズム。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献ＮＯＲＴＨ−ＨＯＬＬＡＮＤＭＩＣＲＯＰＲＯＣＥＳＳＩＮＧＡＮＤＭＩＣＲＯＰＲＯＧＲＡＭＭＩＮＧ 27 （1989）Ｐ．189−194「ＳＴＲＵＣＴＵＲＥＡＮＤＡＰＰＬＩＣＡＴＩＯＮＯＦＮＮＳＩＭ：ＡＧＥＮＥＲＡＬ−ＰＵＲＰＯＳＥＮＥＵＲＡＬＮＥＴＷＯＲＫＳＩＭＵＬＡＴＯＲ」ＪＯＳＮＩＪＨＵＩＳ，ＬＡＭＢＥＲＴＳＰＡＡＮＥＮＢＵＲＧＡＮＤＦＲＡＮＫＷＡＲＫＯＷＳＫＩインターフェース 1989 10月号Ｐ．239−250 「ニューラル・ネットワークとその開発支援ソフト」黒川忠由

Claims

(57)【特許請求の範囲】

【請求項１】神経網ユーティリティ・プログラム及び
神経網データ構造で構成される神経網シェルを用いて、
複数の予め定義された神経網モデル上でアプリケーショ
ン・プログラムを走らせて神経網を構築する方法であっ
て、前記神経網ユーティリティ・プログラムは、前記アプリ
ケーション・プログラムに神経網モデルを定義させ、神
経網データ構造を定義させ、神経網にトレーニングを施
させ、神経網を実行させるために神経網データ構造から
データを受け取り且つ神経網データ構造にデータを送り
込む機能を有し、かつ前記神経網シェル内に記憶されて
おり、前記方法は、前記神経網ユーティリティ・プログラムに従って、前記
複数の予め定義された神経網モデルからデフォルト神経
網データ構造を持つ1つの神経網モデルを選択するステ
ップと、前記神経網ユーティリティ・プログラムに従って、デー
タ・アレイの初期値を前記選択された神経網モデルのデ
フォルト神経網データ構造に入力して前記デフォルト神
経網を初期化するステップと、前記神経網ユーティリティ・プログラムに従って、前記
選択された神経網モデルに固有のパラメータの入力を促
すステップと、前記神経網ユーティリティ・プログラムに従って、前記
選択された神経網の入力にトレーニング・データを提示
し、前記データ・アレイの値を前記神経網の出力値が正
しい結果の許容範囲に入るまで値の調整を繰り返すこと
により前記神経網をトレーニングするステップと、前記神経網ユーティリティ・プログラムに従って、前記
神経網の入力に実際のデータを提示し前記神経網の出力
から結果を取り出すことにより前記神経網を走らせるス
テップと、を含むことを特徴とする神経網を構築する方法。
【請求項２】神経網で使用するための神経網モデルを
定義する方法であって、複数の神経網モデルに共通な包
括的神経網データ構造にアクセスするステップと、前記神経網モデルに固有のパラメータを前記包括的神経
網データ構造に入力し、前記神経網モデルに固有のデー
タ・アレイを前記包括的神経網データ構造に入力するこ
とにより前記神経網モデルに固有のデフォルト神経網デ
ータ構造を構築するステップと、を含むことを特徴とする神経網モデルを定義する方法。
【請求項３】前記データ・アレイの値を前記神経網の出
力における結果が正しい結果の許容範囲内になるまで反
復的に調整するルーチンを与えるステップを含むことを
特徴とする請求項2に記載の神経網モデルを定義する方
法。