JPH04216163A

JPH04216163A - 神経網を構築する方法及び神経網モデルを定義する方法

Info

Publication number: JPH04216163A
Application number: JP3040551A
Authority: JP
Inventors: Joseph P Bigus; ジョセフ・フィリップ・ビガス
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1990-02-20
Filing date: 1991-02-13
Publication date: 1992-08-06
Anticipated expiration: 2012-09-30
Also published as: EP0443976A2; JP2659867B2; US5142665A; EP0443976A3

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、データ処理の分野に関
するものである。とりわけ、本発明は、適用業務プログ
ラムが、神経網を利用して、計算を行なえるようにする
神経網シェルに関するものである。

【０００２】

【従来の技術】人間の頭脳は、神経網をなすように互い
に接続された神経装置のグループから構成されている。我々が何かを学ぶ時、この神経装置間において、新しい
接続が行なわれたり、あるいは、既存の接続に修正が加
えられたりする。神経網は、適応重みによって接続され
た多くの単純なプロセッサから成る人間の頭脳の大規模
な並列計算モデルである。神経網は、人工知能に関連し
た用途で利用されている。並列神経網は、しばしば、プ
ロセッサがプログラム・コードでシミュレートされ、接
続がデータによってモデル化された、直列コンピュータ
においてシミュレートされる。

【０００３】神経網は、教師ありの場合も、あるいは、
教師なしの場合もあり得る。教師あり神経網は、プログ
ラマがアルゴリズム・コードを書いて、データ処理の方
法を教えるのではないという点で、従来のプログラムと
は異なっている。代りに、ユーザは、所望の入力／出力
関係のトレーニング・データを提示することによって、
神経網のトレーニングを行なう。単純な例示として、神
経網が、入力される整数が奇数か、偶数かの判定を行な
うことを必要としているものと仮定する。神経網に対す
るトレーニング・データの提示は、次のような形で行な
われる。“１、ＯＤＤ”、“２、ＥＶＥＮ”、“５、Ｏ
ＤＤ”、“１２１、ＯＤＤ”等。神経網は、一様に２で
割ることのできる１２１以下の全ての正の整数が“ＥＶ
ＥＮ”であり、１２１以下の他の全ての正の整数が“Ｏ
ＤＤ”であることを学習することになる。従って、トレ
ーニング・セッションが完了してから、ユーザが、神経
網に対して入力データとして“７”を提示すると、出力
結果は、“ＯＤＤ”になる。入力データとして神経網に
“−１４”を提示すると、トレーニング・データは、神
経網に対し負の整数について何も“教育”していなかっ
たので、神経網は、これが偶数であることが分る場合も
あれば、分らない場合もある。神経網は、−１４が偶数
であることを正確に当てるかもしれないが、おそらく、
ユーザに対し、正確な答に達したことに多少の疑いを抱
いていることを知らせることになる。さらに、神経網は
、トレーニング・データには大きい数が含まれていなか
ったので、１２３２３２１２３１２１といった数が奇数
であることは分らない。従って、神経網の質は、トレー
ニング・データの質によって決まる。

【０００４】教師なし神経網は、入力データから統計的
に重要な特徴を抽出することができる。これは、トレー
ニング時に神経網に提示されるのが入力データだけとい
う点で、教師あり神経網とは異なる。

【０００５】ラベル神経網に分類される多くの異なるタ
イプの計算モデルがある。これらの異なるモデルは、独
特なネットワーク・トポロジ及び学習メカニズムを備え
ている。既知の神経網の例には、逆伝播モデル、適応共
鳴理論モデル、特徴マップ自己編成モデル、ＴＳＰネッ
トワーク自己編成モデル、及び、双方向性連想メモリ・
モデルがある。神経網の分野は、極めて活発であり、新
しい神経網モデルの提案がしばしば行なわれる。

【０００６】神経網モデルは、興味深く、理論的に有力
ではあるが、融通性がなく、利用が困難である。１つの
神経網モデルの機能を具体化する特殊化された適用業務
プログラムを書くためには、神経網の知識を有し、高度
な技能を備えたプログラマが必要になる。こうしたカス
タムの設計が施された適用業務プログラムは、セールス
・マンの移動距離を最小限におさえるのと同様、１つの
特定の計算しかできないので、極めて高価で、かつ、機
能が限定される。異なる計算が必要な場合、おそらく、
この神経網モデルに精通した異なる高度な技能を有する
プログラマによって、おそらく、別の全く似ていない神
経網モデルを具体化する異なる適用業務プログラムが作
成されなければならない。

【０００７】これらの適用業務プログラムを異なるコン
ピュータ・システムで実行することが所望の場合、複雑
な神経網成分を含む適用業務プログラム全体を書き直さ
なければならない場合がよくある。これは、明らかに望
ましいことではなく、貴重なプログラミング資源の浪費
になる。書直しに加え、神経網成分は、再トレーニング
も必要である。

【０００８】神経網に関する知識がほとんどないか、全
くない通常のプログラマまたはユーザによって、各種コ
ンピュータ言語で書かれた通常の適用業務プログラムで
は、１つ以上の神経網モデルの能力を利用して、広範囲
にわたる計算を実施することはできない。

【０００９】先行技術では、上述の問題を十分に取り扱
うことはできなかった。先行技術は、主として、商業環
境には不適当な理論的及び経験的用途に制限される。

【００１０】

【発明が解決しようとする課題】本発明の主たる目的は
、適用業務プログラムが、神経網モデルを用いて計算を
行なえるようにする単純な方法を提供することにある。

【００１１】本発明のもう１つの目的は、適用業務プロ
グラムと複数の神経網モデルのインターフェイスを行な
う神経網シェルを提供することにある。

【００１２】本発明のもう１つの目的は、異なる計算言
語で書かれた、あるいは、異なるコンピュータ・システ
ムで実行する適用業務プログラムによって利用可能な、
神経網データ構造を含む神経網シェルを提供することに
ある。

【００１３】

【課題を解決するための手段】神経網シェルは、適用業
務プログラムに対する定義されたインターフェイスを備
えている。神経網シェルとのインターフェイスによって
、どの適用業務プログラムも、神経網適用業務プログラ
ムになる。神経網シェルには、神経網データ構造にデー
タを転送し、神経網データ構造からデータ転送を受ける
１組のユーティリティ・プログラムが含まれている。この１組のユーティリティ・プログラムによって、適用
業務プログラムは、新しい神経網モデルを定義し、神経
網データ構造を生成し、神経網にトレーニングを施し、
神経網を実行することが可能になる。トレーニングが施
されると、神経網データ構造は、他のコンピュータ・シ
ステムに対し、または、同様の、あるいは、異なるコン
ピュータ・システムで実行する、異なるコンピュータ言
語で書かれた適用業務プログラムに対して移送（ｔｒａ
ｎｓｐｏｒｔ）することが可能になる。

【００１４】神経網データ構造には、ヘッダとボディが
含まれている。ヘッダには、特定の神経網モデルに固有
の神経網の名前、神経網モデルの名前、神経網の状況、
及び、各種パラメータが含まれている。神経網データ構
造のボディには、特定の神経網モデルに固有のデータ・
アレイが含まれている。本発明の神経網データ構造に対
して、多種多様な既知の神経網や未知の、または、まだ
開発されていない神経網のマッピングを行なうことが可
能である。

【００１５】神経網に関する入力データ及び出力結果は
、記号または数値フォーマットで外部記憶装置に保持す
ることができる。データが、記号フォーマットで保持さ
れる場合、神経網による処理のため、数値のフォーマッ
トに変換される。次に、数値出力の結果が、変換されて
、所望の記号フォーマットに戻される。ユーザは、カス
タムインターフェイス・プログラムと呼ばれる既存の変
換プログラムを指定するか、または、ユーザの神経網適
用業務の要求に合わせたユーザ自身のインターフェイス
・プログラムを書くことができる。

【００１６】トレーニング・プロセス時には、所望の場
合、神経網データ構造からの関連データが、ユーザに表
示され、かつ、登録されるか、あるいは、その一方が行
なわれる。

【００１７】

【実施例】図１には、本発明のコンピュータ・システム
のブロック図が示されている。コンピュータ・システム
１０は、記憶装置１２に接続された主演算処理装置すな
わち中央演算処理装置１１から構成される。記憶装置１
２は、ＲＡＭのような１次メモリ、または、磁気または
光学記憶装置のような２次メモリとすることができる。ＣＰＵ１１は、望ましい実施例の場合、コ・プロセッサ
１３に接続される。コ・プロセッサ１３は、一般的な数
理計算機能（数理コ・プロセッサ）または特殊化神経網
ハードウェア支援機能（神経網プロセッサ）を提供する
ことができる。ＣＰＵ１１に、集中的計算作業負荷を扱
うのに十分な処理能力が備わっていて、許容できない性
能劣化がなければ、コ・プロセッサ１３は不要である。ＣＰＵ１１は、ユーザ・インターフェイス１４にも接続
される。ユーザ・インターフェイス１４によって、開発
者及びユーザは、通常、プログラマブル・ワークステー
ションを介して、コンピュータ・システム１０との通信
を行なうことが可能になる。

【００１８】望ましい実施例の場合、どんなコンピュー
タ・システムでも利用可能であるが、コンピュータ・シ
ステム１０は、ＩＢＭアプリケーション・システム／４
００ミッド・レンジ・コンピュータである。コ・プロセ
ッサ１３は、アプリケーション・システム／４００ミッ
ド・レンジ・コンピュータのプロセッサであることが望
ましいが、ＩＢＭ　　ＰＳ／２のようなパーソナル・コ
ンピュータに見受けられる数理コ・プロセッサ１３でも
かまわない。この場合、ＣＰＵ１１及びコ・プロセッサ
１３は、ＩＢＭ　　ＰＣサポートを介して互いに通信す
ることになる。

【００１９】図２には、フォン・ノイマン（直列）・プ
ロセッサ・システムで、神経網（並列）コンピュータの
シミュレーションを行なうことの可能な方法が示される
。異なる接続トポロジ及び処理装置属性を備えた、多く
の異なる神経網モデルが存在する。ただし、それらは、
一般に適応（変更可能）重み２２によって接続される多
くの「数十、数百、または、数千の）単純な処理装置２
１から構成された、計算システムとして分類することが
できる。処理装置及び重み以外に、神経網モデルは、ト
レーニングの各反復後に、重みを更新することによって
有効に働く学習メカニズム２３を備えていなければなら
ない。

【００２０】神経網モデルは、プログラム及びデータに
従ってデジタル・コンピュータでシミュレートすること
ができる。プログラム２６は、神経網処理装置２１によ
って実行される処理機能をシミュレートし、適応接続重
み２２は、データ２７に含まれている。プログラム２８
は、学習または接続重み適応メカニズム２３を実現する
のに利用される。

【００２１】図３には、本発明の概念レイアウト及びそ
れと適用業務ソフトウェアとを関連づける方法が示され
ている。最高レベルは、適用業務プログラミング・イン
ターフェイス３１（ＡＰＩ）である。ＡＰＩ３１は、神
経網の専門知識に欠けた適用業務開発が、ユーティリテ
ィ・プログラム、及び、適用業務プログラムにおける神
経網シェル３２のデータ構造にアクセスし、利用するこ
とができるようにする、正式に指定されたインターフェ
イスである。

【００２２】神経網シェル３２は、１組のユーティリテ
ィ・プログラム３３と、神経網データ構造５０から構成
される。神経網シェル３２は、従来の計算システムで、
適用業務における神経網を容易かつ効率的に定義し、生
成し、トレーニングし、実行する能力を提供する。

【００２３】例えば、モデル３５〜３８のような神経網
モデルは、神経網シェル３２における全てのユーティリ
ティ・プログラムがアクセス可能な一般的神経網データ
構造５０を定義する形で、神経網シェル３２の支援を受
けることができる。各神経網モデルは、図５に詳述する
この一般的神経網データ構造にマップされる。各神経網
モデルに固有のプログラムは、後述のように、神経網ユ
ーティリティ・プログラム３３に呼び出される。

【００２４】図４には、通常の適用業務プログラム４１
は、神経網シェル３２における１つ以上の神経網ユーテ
ィリティ・プログラム４５〜４８とインターフェイスす
ることによって、神経網適用業務プログラム４０になる
。ユーティリティ・プログラム４５〜４８は、データ構
造５０とインターフェイスする。神経網適用業務プログ
ラム４０（本書では“神経網”とも呼ぶ）によって処理
すべきデータは、入力４２から入る。神経網によるデー
タの実行がすむと、その結果が出力４３から送り出され
る。適用業務プログラム４１及びユーティリティ・プロ
グラム４５〜４８は、適当にプログラムされたＣＰＵ１
１とコ・プロセッサ１３の両方または一方に常駐してい
る（図１）。データ構造５０は、ＣＰＵ１１とコ・プロ
セッサ１３の両方または一方における記憶装置１２と内
部記憶装置の両方または一方に常駐している。

【００２５】図５には、本発明の神経網データ構造５０
が示されている。データ構造５０は、適用業務プログラ
ムでの利用に合わせて神経網モデルを定義できるように
する共通のフレーム・ワークを提供するものである。こ
の共通のフレーム・ワークは、モデルに固有のパラメー
タに関して神経網データ構造５０におけるいくつかのフ
ィールドを規定することによって実現する。　ＡＳ／４
００　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｕｔｉｌｉｔｙ
：　Ｕｓｅｒ’ｓ　Ｇｕｉｄｅ　ａｎｄ　Ｒｅｆｅｒｅ
ｎｃｅ　ＰＲＰＱ　Ｐ８４１８９”と題する添付の付録
　１（注文番号ＳＣ２１−８２０２−０）のページ１０
３〜１０５には、データ構造５０のモデルに固有のフィ
ールドが、逆伝播、ＡＲＴ、特徴自己編成マップ、ＴＳ
Ｐ、及び、ＢＡＭ神経網モデルによっていかに利用され
るかが示されている。付録　１は、本特許出願の提出日
現在において一般に公開されておらず、また、入手もで
きなかった。

【００２６】データ構造５０は、ヘッダ部分６０とボデ
ィ部分９０から構成される。ヘッダ部分６０には、フィ
ールド６１〜７９が含まれている。フィールド６１及び
６２は、もしあれば、他の神経網データ構造に対するポ
インタである。神経網が、直列データ処理に備えて、連
係リストをなすように構成されている場合、第１のポイ
ンタは、前の神経網に連係している。この連係を利用し
て、より大きい神経網内における前のサブ・ネットから
出力を得ることができる。第２のポインタは、次の神経
網に対するポインタである。サブ・ネット・ワークの収
集に基づいて、これらの連係のいずれか、または両方が
、いくつかのサブ・ネット・ワークから構成される複合
（ハイブリッド）神経網において、用いられることにな
る。

【００２７】神経網データ構造を互いに連鎖させること
により、適用業務プログラムのフレキシビリティを増し
、機能を高めることができる。さらに２つの神経網に対
して連係し得るようにすることによって、神経網のモジ
ュールから“超”神経網を構成することが可能になる。

【００２８】フィールド６３は、ボディ部分９０におけ
る次の自由空間に対するバイトのオフセットである。フ
ィールド６４は、神経網データ構造の端部に対するバイ
トのオフセットである。ボディ部分９０は、可変長のデ
ータ領域であるため、データ構造及び次に利用可能な自
由空間のトラック及びサイズをボディ部分９０に保持す
る必要がある。

【００２９】フィールド６５には、神経網の名前が含ま
れている。コインに関する属性情報を含む入力データ（
コインが銅と銀のいずれであるか、人物が左を向いてい
るか、右を向いているか、及び、コインに建物、イーグ
ル、葉、または、トーチが彫刻されているか否か）に基
づいて、コインが、ペニーか、５セント白銅貨か、ダイ
ムか、あるいは、２５セント銀貨かを判定する神経網の
一例について、後述する。この神経網の名前は、ＣＯＩ
ＮＮＥＴであり、この名前は、後述するように、神経網
生成ユーティリティ・プログラムによってフィールド６
５に納められる。

【００３０】フィールド６６には、神経網が位置指定さ
れ、望ましい実施例において必要とされるライブラリの
名前が含まれている。ＡＳ／４００の場合、プログラム
は、ライブラリに納められる。ライブラリは、パーソナ
ル・コンピュータ環境におけるサブ・ディレクトリに似
ている。フィールド６６は、ライブラリのない計算環境
では不要である。フィールド６７には、神経網バージョ
ン識別子が含まれている。この情報は、神経網シェル・
プログラムと神経網データ構造の間の不一致を防ぐため
に用いられる。新しいバージョンすなわち新たにリリー
スされるソフトウェアを開発する際には、既存の神経網
と適合させることが望ましい。エンハンスメントが、基
本的な神経網データ構造に対する変更を必要とする場合
、このフィールドによって、ソフトウェアとデータの不
一致を検出することが可能になる。ソフトウェアは、変
換ルーチンを呼び出して、データ構造のフォーマットを
更新したり、あるいは、ダウン・レベルのデータ構造を
受け入れることができる。

【００３１】フィールド７９には、神経網モデルまたは
タイプの名前が含まれている。神経網モデル名の一例が
、逆伝播に対する“ＢＫＰ”である。

【００３２】フィールド６８には、神経網の現在の状況
が含まれている。可能性のある状態は、神経網が生成中
の場合は、‘ＩＮＩＴＩＡＬＩＺＥ’、神経網がトレー
ニング中の場合は、‘ＴＲＡＩＮＩＮＧ’、または、ト
レーニングが完了したか、その実行準備が整っている場
合は、“ＬＯＣＫＥＤ’になる。

【００３３】フィールド６９は、所望の場合、モデルに
固有の英数字フィールドを記憶する任意選択フィールド
である。フィールド７０は、経過した神経網のトレーニ
ング時間を秒単位で記憶している。

【００３４】フィールド７１〜７４には、特定の神経網
モデルによってさまざまに用いられるさまざまなタイプ
のパラメータが含まれている。フィールド７１には、４
つまでの神経網ブール・パラメータが含まれている。例
えば、逆伝播神経網モデルは、エポック更新及びランダ
ム入力を許可するか、禁止するかの判定を行なうのに、
これらのパラメータのうちの２つを利用する。神経網ブ
ール・パラメータは、神経網フラグとしても知られてい
る。もちろん、所望の場合には、フィールド７１（に加
え、データ構造５０の他のフィールドも）、望ましい実
施例に用いられるパラメータ数の増減に適応するように
、拡大したり、縮小したりすることができる。フィール
ド７２には、神経網サイズのパラメータが含まれている
。このフィールドには、５つまでのモデルに固有の神経
網サイズの整数パラメータが含まれている。フィールド
７３には、５つまでのモデルに固有の神経網に関する牽
引の整数パラメータが含まれている。フィールド７４に
は、学習速度、モーメンタム、エポック誤差等のような
、６つまでのモデルに固有の神経網に関するトレーニン
グの実パラメータが含まれる。

【００３５】フィールド７５は、神経網のトレーニング
・エポック数を記憶している（エポックは、完全な組を
なすトレーニング・データの繰返しである）。フィール
ド７６には、ボディ部分９０における各モデルに固有の
アレイの始端に対するバイトで表わすオフセットのアレ
イが含まれている。フィールド７７には、ボディ部分９
０における各モデルに固有のアレイの始端に対する分解
ポインタのアレイが含まれている。フィールド７８には
、各アレイに保持されたデータ・タイプを表わすパラメ
ータのアレイが含まれている。例えば、神経網モデルに
は、２進入力しか受けつけないものもある。望ましい実
施例の場合、フィールド７８のパラメータに“１”が含
まれている場合、その対応するアレイには、ビット・マ
ップされたデータが含まれている。パラメータが“２”
の場合、その対応するアレイには、単一の精密浮動小数
点データ（デフォルト）が含まれている。“３”の場合
、その対応するアレイには、固定小数点ゾーンの１０進
データが含まれている。これらのパラメータを利用する
ことによって、記憶装置がより効率的に用いられること
になる。

【００３６】ここで、データ構造５０におけるボディ部
分９０の内容について論考する。ボディ部分９０は、あ
る数の（望ましい実施例の場合、１６）モデルに固有の
アレイを含む可変長データ領域である。付録　１のペー
ジ１０３〜１０５には、例示の各神経網モデル毎に、ヘ
ッダ部分６０とボディ部分９０にマップされたアレイが
示されている。例えば、逆伝播モデルは、ボディ部分９
０に対し、ページ１０３に“アレイ・マッピング”の見
出しで示されている、活動、重み、しきい値、重みデル
タといった１１のアレイをマップする。

【００３７】データ構造５０は、後述するように（図１
１、図１２）、神経網生成ユーティリティ・プログラム
によって生成される。教育及び実行ユーティリティ・プ
ログラムは、ヘッダ情報にアクセスし、データ領域アレ
イに対するポインタを初期設定する。さらに、データ領
域アレイのデータは、神経網のトレーニング及び計算プ
ロセスのシミュレーションに用いられる。

【００３８】図６〜図１７には、適正にプログラムされ
たＣＰＵ１１とコ・プロセッサ１３の両方または一方に
よって実施される本発明のフロー・チャートが示されて
いる。図６には、神経網適用業務プログラムの開発プロ
セスにおける主たるステップの概要が示されている。ブ
ロック１１０では、定義すべき新しい神経網モデルが存
在するか否かについて質問する。存在する場合、ブロッ
ク２００で、神経網モデル定義サブ・ルーチン（図７〜
図１０）を呼び出す、存在しなければ、ブロック１２０
において、ユーザが、神経網データ構造の生成を望むか
否かの質問を行なう。神経網データ構造は、各神経網毎
に生成される。例えば、コイン識別神経網に関して、１
つの神経網データ構造が生成される。また、入力数が奇
数か、偶数かを判定するために、もう１つの神経網を生
成したいという場合には、もう１つの神経網データ構造
が生成される。ブロック１２０での答が肯定の場合、ブ
ロック３００で、神経網データ構造生成サブ・ルーチン
（図１１〜図１２）が呼び出される。否定の場合には、
ブロック１３０で、ユーザが神経網のトレーニングを望
むか否かの質問を行なう。神経網には、トレーニング・
データでトレーニングを施して、入力データと所望の出
力結果の関係を学習したり、あるいは、入力データから
関連する特徴を抽出したりできるようにする必要がある
。肯定の場合には、ブロック４００で、神経網教育サブ
・ルーチン（図１３〜図１５）が呼び出される。否定の
場合、ブロック１４０において、ユーザが神経網の実行
を望むか否かの質問を行なう。肯定の場合、ブロック５
００において、神経網モデル実行サブ・ルーチン（図１
６及び図１７）が呼び出される。否定の場合、プログラ
ムは、ブロック１９０において終了する。

【００３９】図７〜図１０には、神経網モデル定義サブ
・ルーチン２００が示されている。例示のため、適用業
務開発者が、逆伝播神経網モデルの定義を望むものと仮
定する。所望の場合、ブロック２０１において、神経網
ストリング・フィールド６９に対し神経網モデルに固有
の意味が割り当てられる。本例の場合、このフィールド
は不要であり、従って、空白ストリングが割り当てられ
る。ブロック２０２において、ブール・パラメータ・フ
ィールド７１に対し神経網モデルに固有の意味が割り当
てられる。本例の場合、２つのブール・パラメータ、す
なわち、エポック更新（Ｙ／Ｎ）及びランダム入力（Ｙ
／Ｎ）が割り当てられる。ブロック２０３では、神経網
サイズ・パラメータ・フィールド７２に対して神経網モ
デルに固有の意味が割り当てられる。本例の場合、５つ
のパラメータ、すなわち、入力数、隠れ層１における単
位数、隠れ層２における単位数、出力数、及び、処理装
置数が割り当てられる。ブロック２０４において、神経
網に関する牽引のパラメータ・フィールド１３に対し神
経網モデルに固有の意味が割り当てられる。本例の場合
、第１の隠れユニット１、最後の隠れユニット１、第１
の隠れユニット２、最後の隠れユニット２、及び、第１
の出力といったパラメータが割り当てられる。ブロック
２０５では、神経網のトレーニングに関するパラメータ
・フィールド７４に対し神経網モデルに固有の意味が割
り当てられる。本例の場合、学習速度、モーメンタム、
パターン誤差、エポック誤差、及び、公差といったパラ
メータが割り当てられる。ブロック２０６では、神経網
アレイ・オフセット・フィールド７６に対し神経網モデ
ルに固有の意味が割り当てられる。逆伝播神経網モデル
において、定義すべき１１のデータ・アレイが存在する
ので、このフィールドには、ボディ部分９０に位置指定
された１１のアレイのそれぞれに関する第１の要素に対
するバイト・オフセットが含まれる。

【００４０】ブロック２１０では、図８の神経網モデル
生成プログラム構築サブ・ルーチンが呼び出される。こ
こで、図８を参照すると、サブ・ルーチン２１０は、モ
デルに固有のルーチンを構築して、後で、神経網データ
構造生成サブ・ルーチン（図１１）によって実行できる
ようにする必要がある。ブロック２１１では、ユーザに
神経網に固有のパラメータ情報に関する指示メッセージ
を与え、エラーのある、一致性のないパラメータ値につ
いてチェックする単純なルーチンを規定する。例えば、
ブロック２１１では、図２０と同様のスクリーンを作成
するルーチンを規定する。とりわけ、図２０のスクリー
ンは、入力ユニット数、隠れユニットＬ１の数、隠れユ
ニットＬ２の数、及び、出力数値数に関する情報につい
てユーザに指示メッセージを与える。

【００４１】ブロック２１２では、一般的神経網データ
構造に対しデフォルトパラメータ値を初期設定し、この
神経網モデルに関するデフォルト神経網データ構造を生
成するルーチンを規定する。全ての神経網モデルは、同
じ一般的神経網データ構造を備えている。各神経網モデ
ルは、それぞれ、それ自体に固有のデフォルトデータ構
造を備えている。従って、同じ神経網モデル（逆伝播の
ような）を用いる全ての神経網適用業務プログラム（コ
イン識別、偶数／奇数識別等）が、固有のパラメータ値
を同じ神経網データ構造に入力することになる。

【００４２】ブロック２１３では、サブ・ルーチン２１
０で構築された神経網モデル生成プログラムに固有の名
前を与え、記憶装置１２（図１）に書き込んで、その保
管を行なう。望ましい実施例の場合、このプログラムは
、データ構造に対するアクセス能力を備えた、所望の言
語で書くことが可能である。ブロック２１９から図７の
ブロック２３０に戻る。

【００４３】ブロック２３０では、図９の神経網モデル
教示プログラム構築サブ・ルーチンが呼び出される。こ
こで図９を参照すると、サブ・ルーチン２３０は、モデ
ルに固有のルーチンが、後で、神経網教育サブ・ルーチ
ン（図１３〜図１５）によって実行できるように書かれ
ることを必要とする。ブロック２３１では、図５のフィ
ールド７７において神経網アレイ・ポインタの初期設定
を行なう単純なルーチンが規定される。ブロック２３２
では、神経網サイズ、牽引、及び、トレーニング・パラ
メータ（フィールド７２−７４）を局所変数に複写する
ためのルーチンが規定される。これは、性能及びプログ
ラミングの信頼性を高めるために行なわれる。ブロック
２３３では、神経網を初期設定するルーチンが規定され
る。ブロック２３３では、神経網教育プログラムによっ
て用いられるカウンタ及び変数の初期設定が行なわれる
。神経網状況フィールド６８が“初期設定”の場合、ブ
ロック２３３において、データ・アレイ値（接続重み）
の初期設定も行なわれ、フィールド６８における状況が
“初期設定”から“トレーニング”に変更される。

【００４４】ブロック２３４では、この神経網モデルに
関する単一の教育ステップを実施するルーチンが規定さ
れる。このルーチンによって、ボディ９０のデータ・ア
レイにおけるデータ値に調整を加え、神経網が所望の機
能を学習できるようにするのに用いられる、神経網モデ
ルに対する依存性の高いメカニズムが得られる。当該技
術の熟練者であれば、その重み調整手順に関する神経網
モデルの説明（付録Ｉのページｖｉｉｉ及びｉｘに引用
した学術論文に見られるような）を理解し、彼らが選択
したコンピュータ言語を用いて、この説明を本発明のデ
ータ構造にアクセスするプログラムに変換するのは簡単
なことである。

【００４５】ブロック２３５では、エポック処理のトレ
ーニングが完了すると実施するルーチンが規定される。このルーチンは、神経網モデルに従って、変数をリセッ
トするような単純なクリーン・アップ手順からより複雑
なデータ・アレイ値の調整まで複雑さが多様になる可能
性がある。当該技術の熟練者であれば、エポック処理に
固有の目的に関する神経網モデルの説明を理解し、彼ら
が選択したコンピュータ表記を用いて、この説明を本発
明のデータ構造にアクセスするプログラムに変換するの
は簡単なことである。

【００４６】ブロック２３６では、サブ・ルーチン２３
０で構築された神経網モデル教育プログラムに固有の名
前を与え、記憶装置１２（図１）に書き込んで保管する
。ブロック２３９から図７のブロック２５０に戻る。

【００４７】ブロック２５０では、図１０の神経網モデ
ル実行プログラム構築サブ・ルーチンが呼び出される。ここで図１０を参照すると、サブ・ルーチン２５０は、
モデルに固有のルーチンが、後で、神経網実行サブ・ル
ーチン（図１３〜図１５）によって実行できるように書
かれることを必要とする。ブロック２５１では、図５の
フィールド７７において神経網アレイ・ポインタの初期
設定を行なう単純なルーチンが規定される。ブロック２
５２では、神経網サイズ、牽引、及び、トレーニング・
パラメータ（フィールド７２〜７４）を局所変数に複写
するためのルーチンが規定される。ブロック２５３では
、神経網に入力データを通すルーチンが規定される。ブロック２５４では、出力結果を神経網実行サブ・ルー
チンを戻すルーチンが規定される。ブ２５５では、サブ
・ルーチン２５０で構築された神経網モデル実行プログ
ラムに固有の名前を与え、記憶装置１２（図１）に書き
込んで保管する。ブロック２５９から図７のブロック２
５０に戻る。

【００４８】望ましい実施例の場合、適用業務開発者ま
たはユーザの便宜上、５つの神経網モデルが事前定義さ
れる。この事前に定義されるモデルは、逆伝播、適応共
鳴理論、特徴自己編成マップ、ＴＳＰ自己編成神経網、
及び、双方向性連想メモリである。従って、これらのモ
デルは、ユーザが神経網モデル定義サブ・ルーチンを用
いて定義する必要はない。

【００４９】残りのフロー・チャートについては、簡単
に既述のコイン識別神経網の例に関連して述べることに
する。ユーザが、コインに関する属性情報を含む入力デ
ータ（銅貨か、銀貨か、人物が左を向いているか、右を
向いているか、及び、コインに彫刻されているのが、建
物、イーグル、葉、トーチのいずれであるか）に基づい
て、コインがペニーか、白銅貨か、ダイムか、あるいは
、２５セント銀貨かの判定を行なう神経網の生成を望ん
でいるものと仮定する。ユーザは、図６のブロック１２
０で肯定応答し、ブロック３００において神経網データ
構造生成サブ・ニーチン（図１１、１２）を呼び出すこ
とによってこの神経網を生成する。ここで図１１を参照
すると、ブロック３０１において、図１９に示すように
、神経網の名前及びテキスト記述情報に関する指示メッ
セージがユーザに与えられる。ユーザは、神経網の名前
として“ＣＯＩＮＮＥＴ”、テキスト記述として“Ｔｅ
ｓｔＢＫＰ　ｎｅｔｗｏｒｋ　ｆｏｒ　Ｃｏｉｎ　ＩＤ
Ｐ　ｒｏｂｌｅｍ　（コイン識別問題に関するＢＫＰ神
経網をテストする）”を入力する。ブロック３０２では
、ユーザに対し神経網モデルの名前について指示メッセ
ージが与えられる。図１９に示すように、ユーザは、逆
伝播神経網モデルに対する略語である“★ＢＫＰ”を入
力する。ブロック３０３では、図７のブロック２６０に
おいてモデル定義ファイルにモデル“★ＢＫＰ”の定義
が行なわれたか否かのチェックを行ない、確認する。定
義が行なわれていなければ、ブロック３０４において、
エラー・メッセージが通知され、ユーザに対し、ブロッ
ク３０１で神経網モデルの名前を再入力するように要求
される。本例の場合、モデル定義ファイルには、“★Ｂ
ＫＰ”が含まれており、ブロック３３０において、図１
２のこのモデルに関するモデル生成プログラム実行サブ
・ルーチンが呼び出される。既述のように、モデル生成
プログラムは、図８のモデル生成プログラム構築サブ・
ルーチンで作成された。このプログラムの名前は、この
モデルに関する教育及び実行プログラムの名前と共に、
全て、モデル定義ファイルに含まれている。

【００５０】ここで、図１２を参照すると、ブロック３
３１において、図８のブロック２１２で規定されたルー
チンを実行することによって、この神経網に関するデフ
ォルト神経網データ構造が生成される。ブロック３３２
では、図２０に示されるように、ユーザに対し神経網に
固有のパラメータに関する指示メッセージが与えられる
。本例の場合、ユーザは、６つの入力ユニット（コイン
の色、コインの半面像、建物、イーグル、葉、及び、ト
ーチのそれぞれに１つ）、２つの隠れユニット（本例の
神経網にとって最適）、４つの出力ユニット（２５セン
ト銀貨、ダイム、白銅貨、及び、ペニーのそれぞれに１
つ）を指定する。ブロック３３３においてチェックを行
ない、ユーザによって与えられたパラメータが許容でき
るか否かが確められる。これらのパラメータについてユ
ーザに指示メッセージを与える図８のブロック２１１で
規定されたルーチンによって、ユーザの入力に対し１−
１０００の出力ユニットといった制限が加えられる点に
留意されたい。ユーザが、これらの範囲外の値を入力す
ると、ブロック３３３において否定応答が行なわれ、ブ
ロック３３４ではエラー・メッセージが通知され、ブロ
ック３３２で、ユーザに対しデータの再入力が要求され
る。さらに、ユーザが一致しないパラメータ情報を入力
すると、やはり、エラー・メッセージが通知される。本例の場合、ユーザが与えるパラメータは、全て、許容
可能であり、従って、ブロック３３５では、ユーザによ
って与えられたパラメータの全てが、ブロック３３１で
生成されたデフォルトデータ構造に記入される。ブロッ
ク３３６では、現在データ構造に常駐しているデータに
基づき、神経網牽引パラメータ・フィールド７３及び神
経網アレイ・オフセット・フィールド７６に記入するた
めの計算が行なわれる。ブロック３３７では、フィール
ド７１におけるブール・パラメータ（本例の場合、両方
とも“Ｎ”に対するもの）と、フィールド７４における
トレーニング・パラメータ（本例の場合、図２３に示す
値に対するもの）の初期設定が行なわれる。ブロック３
３８では、ボディ部分９０に位置指定されるデータ・ア
レイ・フィールドの割当て、及び、初期設定が行なわれ
る。逆伝播神経網モデルの場合、活動、重み、しきい値
、重みデルタ、しきい値デルタ、教育、エラー、デルタ
、神経網入力、重み導関数、及び、しきい値導関数とい
ったアレイが、割り当てられる。これらの値は、全て、
ブロック３３８において初期設定される（神経網モデル
による決定に従って）。ブロック３３８が実行されると
、本例の神経網データ構造には、神経網に対し、極性に
ついて明らかにする入力データからコイン（または、６
つの入力と４つの出力を備えた他の神経網）を識別する
方法を教育するのに必要な全ての情報が含まれることに
なる。サブ・ルーチンは、ブロック３３９から図１１の
ブロック３０５に戻る。ブロック３０５から図６のブロ
ック１３０に戻る。

【００５１】神経網データ構造が生成されると、別のコ
ンピュータ・システムに移送して、教育と実行の両方ま
たは一方を行なうことができるという点に留意のこと。他のコンピュータ・システムは、該神経網データ構造を
生成したコンピュータ・システムとは全く異なるアーキ
テクチャを備えることができ、全く異なるオペレーティ
ング・システムを実行することができる。このフレキシ
ビリティは、データ構造に、異なるコンピュータ・シス
テム間で普遍的に用いることが可能なデータが含まれて
いるために、可能になる。

【００５２】ユーザは、彼が新しく生成した神経網にト
レーニングを施して、コインの識別が行なえるようにす
ることを望んでいるので、図６のブロック１３０で肯定
応答を行ない、ブロック４００において神経網教育サブ
・ルーチン（図１３〜図１５）を呼び出す。ここで第１
３図を参照すると、ブロック４０１において、ユーザに
対し、図２２に示すように神経網及びライブラリの名前
に関する指示メッセージが与えられる。ユーザは、神経
網の名前として“ＣＯＩＮＮＥＴ”、ライブラリ名前と
して“★ＣＵＲＬＩＢ”を入力する。図２２には、所望
の場合、ユーザが彼の特定の神経網の使用性を向上させ
るために書くことができる、カスタムのインターフェイ
ス・プログラムの名前を入力する機会も与えられる。さ
らに、ユーザに対し、トレーニング結果の記録または表
示を望むか否かについて、また、（カスタムインターフ
ェイス・プログラムが存在する場合）トレーニング・デ
ータが、データ・セットから自動的に取り出されるのと
、ユーザが入力キーを押すと、１度に１ステップずつ取
り出されるのと、どちらを望むかについて質問が行なわ
れる。ブロック４０２では、ブロック４０１で指定のデ
ータ構造が存在するか否かを確める。存在しなければ、
エラーが通知され、ユーザは、ブロック４０１に戻され
る。存在する場合、ブロック４０３では、トレーニング
・データが位置指定されているデータ・セットの名前に
関する指示メッセージがユーザに与えられる。図２２に
示すように、ユーザは、トレーニング・データが位置指
定されているデータ・セットとして“ＱＡＮＷＣＯＩＮ
”、データ・セット・メンバとして“ＣＯＩＮＤＥＭＯ
”を入力する。

【００５３】図１８には、本例で用いられているトレー
ニング・データが示されている。該データは、使用性を
向上させ、ＳＱＬまたはｄ　Ｂａｓｅ　ＩＩＩのような
定義されたデータ・ベース・フォーマットを支援するた
め、記号（読取り可能）フォーマットで記憶されている
点に留意されたい。ブロック４０４では、データ・セッ
トの存在が確められ、その結果、ブロック４０５では、
もしあれば、カスタムインターフェイス・プログラムの
名前に関する指示メッセージがユーザに与えられる。デ
ータ・セットに記号データが記憶されている場合、ユー
ザによって指定されたカスタムのインターフェイス・プ
ログラムは、記号データ（人間が理解する）を数値デー
タ（神経網が理解する）に変換するのに必要である。本
例の場合、図２１において、カスタムインターフェイス
・プログラムが指定されているが（ＱＮＷＧＣＯＩＮ）
、このプログラムは、各入力属性を２進ストリングの“
０”または“１”に変換するだけで、図１８に示す記号
トレーニング・データを図１８に示す数値トレーニング
・データに変換した。４桁の出力２進ストリングは、本
例において可能性のある４つの出力状態を表わしている
。カスタムインターフェイスを指定したが、存在しない
という場合、ブロック４０６で肯定応答が行なわれ、制
御の流れは、ブロック４０５に戻る。別様の場合、ブロ
ック４２０において、図１４のこのモデルに関するモデ
ル教育プログラム実行サブ・ルーチンが呼び出される。モデル教育プログラムは、既述のように、図９のモデル
教育プログラム構築サブ・ルーチンで作成されたもので
ある。

【００５４】ここで図１４を参照すると、ブロック４３
３においては、図９のブロック２３１、２３２、及び、
２３３で構築された初期設定ルーチンが実行される。ブ
ロック４２１でチェックを行ない、カスタムインターフ
ェイス・プログラムの指定が行なわれたか否かが確めら
れる。行なわれている場合、本例がそうであるが、ブロ
ック４２２において、カスタムインターフェイス・プロ
グラムからデータを得る（図１８に示す数値データ）。別様の場合、トレーニング・データは、数値フォーマッ
トでデータ・セットに記憶され、ブロック４２３におい
て、そのデータ・セットから直接データが取り出される
。ブロック４２４では、図９のブロック２３４で規定さ
れた神経網モデル従属ルーチンを実行することによって
、教育ステップの１つが実行される。本例の場合、ボデ
ィ９０におけるデータ・アレイのデータ値は、所望の神
経網の出力と実際の神経網の出力との誤差が最小限にお
さまるように調整される。ブロック４２５において、再
び、カスタムインターフェイス・プログラムについてチ
ェックが行なわれる。それが存在する場合、ブロック４
２６においてチェックを行ない、ユーザがデータ構造に
おけるデータ値の表示を望むか否かが確められる。望む
場合には、ブロック４２７において、カスタムインター
フェイス・プログラムによって発生するカスタムスクリ
ーンが表示される。図２７〜図３０には、カスタムスク
リーンが例示されている。カスタムインターフェイス・
プログラムは存在しないが、ユーザがデータ表示を望む
場合には、ブロック４２８で、デフォルトスクリーンが
表示される。図２３に、デフォルトスクリーンが例示さ
れている。

【００５５】もう１度図１４を参照すると、ブロック４
２９においてチェックを行ない、ユーザがデータの登録
を望むか否かが確められる。望む場合、ブロック４３０
で、データのカスタムまたはデフォルト登録が実施され
る。本件のコイン識別例について登録されるデータの一
例が、付録ＩＩに示されている。どちらにせよ、ブロッ
ク４３４でチェックを行ない、１つのエポックが完了し
たか否かが確められる。エポックは、データ・セットに
おける全てのトレーニング・データについての処理が１
回行なわれると、完了したことになる。完了していなけ
れば、制御は、ループをたどってブロック４２１に戻り
、次のトレーニングデータが取り出される。１つのエポ
ックが完了している場合、ブロック４３５において、図
９のブロック２３５で構築されたエポック処理ルーチン
の目的が実施される。本例の場合、エポック処理ルーチ
ンの目的は、全トレーニング・データに関して、どの出
力ユニットも、実際の出力と所望の出力との差が指定の
公差未満か否かを確認することにある（フィールド７４
におけるトレーニング・パラメータの１つ）。公差未満
であれば、フィールド６８における神経網の状況が“ロ
ック”にセットされる。神経網の状況が“ロック”され
ると、データ・アレイの値は、変更できなくなる。

【００５６】次に、ブロック４３１でチェックを行ない
、ユーザの指定した反復数が完了したか否かが確められ
る。完了するまで、ブロック４３１で否定応答が行なわ
れ、流れがブロック４２１へ戻って、もう１回トレーニ
ング・データを反復することになる。トレーニング期間
が終了すると、ブロック４３１で肯定応答が行なわれ、
サブ・ルーチンが、ブロック４０７から図１３のブロッ
ク４０７へ戻る。また、ブロック４０７から図６のブロ
ック１４０へ戻る。

【００５７】ユーザは、彼が新しくトレーニングを施し
た神経網を実行し、コインの識別を行なうことを望んで
いるので、図６のブロック１４０において肯定応答を行
ない、ブロック５００で神経網実行サブ・ルーチンを呼
び出す（図１６、１７）。代替案として、適用業務プロ
グラムが神経網実行サブ・ルーチンを直接呼び出し、そ
れによって、図６をバイパスすることも可能である。

【００５８】ここで、図１６を参照すると、ブロンク５
０１において、図１０のブロック２５１及び２５２で構
築された初期設定ルーチンが実行される。ブロック５０
２で、神経網の名前が決定される。ブロック５３０では
、図１７のこのモデルに関するモデル実行プログラム実
行サブ・ルーチンが呼び出される。このモデル実行プロ
グラムは、既述のように、図１０のモデル実行プログラ
ム構築サブ・ルーチンで作成されたものである。

【００５９】ここで図１７を参照すると、ブロック５３
１において、神経網で入力データを実行し、ブロック５
３３がブロック５１０（図１６）に戻る時、それを神経
網実行サブ・ルーチンに送り返す。ブロック５３１では
、図１０のブロック２５３及び２５４で構築されたルー
チンを実行する。

【００６０】サブ・ルーチン５００は、ブロック５１９
から図６のブロック１９０へ戻り、そこで、プログラム
を終了するか、あるいは、その代りに、それを呼び出し
た適用業務プログラムに戻る。

【００６１】図２７〜図３０には、本例のコイン識別神
経網が、いかにしてペニー、白銅貨、ダイム、及び、２
５セント銀貨の正確な識別を行なったかが示されている
。図３２には、この神経網で、ＢＲＯＮＺＥ　　ＬＥＦ
Ｔ　　ＹＮＮＮ（数値では０１１０００で表わされる）
といった入力データを実行した場合、どうなるかが示さ
れている。該神経網に求められているのは、左半面像と
建物はあるが、イーグル、葉、あるいは、トーチは彫刻
されていない銅貨の識別である。神経網は、このコイン
が白銅貨であると推量するが、白銅貨の推量が当たって
いる確率は０．４８６５３２３にしかすぎない。神経網
が最も確信できるのは、当たっている確率が、１．００
０００に近い場合である。この例の場合、このコインが
白銅貨であることにあまり確信がもてないのは、明らか
である。実際には、こうした属性を備えたようなコイン
はなく、従って、該神経網が、かなりの概念を示したの
は正しかった。

【００６２】

【発明の効果】本発明は、適用業務プログラムが、神経
網モデルを用いて計算を行なうための簡単な方法を提供
するものである。

【図面の簡単な説明】

【図１】本発明のコンピュータ・システムのブロック図
である。

【図２】大規模な並列ハードウェアで実現される神経網
を直列フォン・ノイマン・ベース・コンピュータ・シス
テムでシミュレートできるようにする方法を示す図であ
る。

【図３】本発明の計算環境の概念フレーム・ワークを示
す図である。

【図４】本発明の計算環境の概念フレーム・ワークを示
す図である。

【図５】本発明の神経網データ構造を示す図である。

【図６】本発明のフロー・チャートである。

【図７】本発明のフロー・チャートである。

【図８】本発明のフロー・チャートである。

【図９】本発明のフロー・チャートである。

【図１０】本発明のフロー・チャートである。

【図１１】本発明のフロー・チャートである。

【図１２】本発明のフロー・チャートである。

【図１３】本発明のフロー・チャートである。

【図１４】本発明のフロー・チャートである。

【図１５】本発明のフロー・チャートである。

【図１６】本発明のフロー・チャートである。

【図１７】本発明のフロー・チャートである。

【図１８】本発明に用いられる記号トレーニング・デー
タの例を示す図である。

【図１９】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図２０】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図２１】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図２２】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図２３】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図２４】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図２５】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図２６】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図２７】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図２８】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図２９】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図３０】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【図３１】ユーザに対して表示される、本発明を利用し
た例示の神経網の生成、トレーニング、及び、実行に関
するスクリーンの１つを示す図である。

【符号の説明】

１０．コンピュータ・システム１１．中央演算処理装置１２．記憶装置１３．コ・プロセッサ１４．ユーザ・インターフェイス２１．神経網処理装置２２．適応重みメカニズム２３．学習メカニズム。

Claims

【特許請求の範囲】

【請求項１】（ａ）神経網モデル識別フィールドと、（
ｂ）神経網が、初期設定モードにあるか、トレーニング
・モードにあるか、ロック・モードにあるかを表示する
状況フィールドと、（ｃ）前記神経網モデルに固有の複数のパラメータを記
憶するパラメータ・フィールドと、（ｄ）前記神経網モデルに固有のデータ・アレイを記憶
するアレイ・フィールドとから構成される、神経網デー
タ構造を操作することにより、適用業務プログラムが神
経網モデルを実行できるようにし、それによって、神経
網となるようにするデータ処理方法。
【請求項２】（ａ）前記パラメータ・フィールドが、さ
らに、前記神経網モデルに固有の複数のトレーニング・
パラメータを含むトレーニング・パラメータ・フィール
ドを備えていることを特徴とする、請求項１に記載の方
法。
【請求項３】（ａ）前記パラメータ・フィールドが、さ
らに、前記神経網モデルに固有の複数のブール・パラメ
ータを含むブール・パラメータ・フィールドを備えてい
ることを特徴とする、請求項２に記載の方法。
【請求項４】（ａ）前記パラメータ・フィールドが、さ
らに前記神経網モデルに固有の複数の神経網サイズ・パ
ラメータを含む神経網サイズ・パラメータ・フィールド
を備えていることを特徴とする、請求項３に記載の方法
。
【請求項５】（ａ）前記アレイ・フィールドに、前記神
経網モデルに固有の複数のデータ・アレイが含まれるこ
とを特徴とする、請求項４に記載の方法。
【請求項６】（ａ）前記神経網モデルが、逆伝播神経網
モデルであることを特徴とする、請求項５に記載の方法
。
【請求項７】前記複数のブール・パラメータが、（ａ）
エポック更新パラメータと、（ｂ）ランダム入力パラメータと、をさらに備えている
ことを特徴とする、請求項６に記載の方法。
【請求項８】前記複数のトレーニング・パラメータが、
（ａ）学習速度パラメータと、（ｂ）モーメンタム・パラメータと、（ｃ）パターン誤差パラメータと、（ｄ）エポック誤差パラメータと、（ｅ）公差パラメータと、をさらに備えていることを特
徴とする、請求項７に記載の方法。
【請求項９】前記複数の神経網サイズ・パラメータが、
（ａ）入力数パラメータと、（ｂ）隠れユニット数パラメータと、（ｃ）出力数パラメータと、をさらに備えていることを
特徴とする、請求項８に記載の方法。
【請求項１０】適用業務プログラムが、複数の定義され
た神経網モデルの１つを実行できるようにし、それによ
って、データに関する入力と結果に関する出力を備えた
神経網になるようにするデータ処理方法において、（ａ
）前記複数の定義された神経網モデルのうち選択された
１つに固有の複数のパラメータと、複数のデータ・アレ
イを備えた神経網データ構造を生成するステップと、（ｂ）前記神経網の前記入力において、トレーニング・
データを提示することにより、前記神経網に教育を施し
、前記出力における前記結果が、正しい結果の公差内に
なるまで、前記複数のデータ・アレイの値を繰返し調整
するステップと、（ｃ）前記入力において前記実際のデータを提示するこ
とによって前記神経網を実行し、前記神経網の前記出力
からその結果を検索するステップと、から構成される方
法。
【請求項１１】適用業務プログラムが、神経網モデルを
実行できるようにし、それによって、データに関する入
力と結果に関する出力を備えた神経網になるようにする
データ処理方法において、（ａ）対応するデフォルト神経網データ構造を備えた、
前記神経網に関する複数の定義された神経網モデルから
１つの神経網モデルを選択するステップと、複数のデー
タ・アレイに関する初期値を前記デフォルト神経網デー
タ構造に入力することによって、前記選択ステップにお
いて選択された前記神経網モデルに関して前記対応する
デフォルト神経網データ構造の初期設定を行なうステッ
プと、前記神経網に固有の複数のパラメータに関して指
示メッセージを与えるステップと、前記複数のパラメー
タを前記デフォルト神経網データ構造に入力するステッ
プと、から成る神経網データ構造を生成するステップと
、（ｂ）前記神経網の前記入力においてトレーニング・デ
ータを提示するステップと、前記出力における前記結果
が正確な結果の公差内になるまで、前記複数のデータ・
アレイの値を繰返し調整するステップと、前記調整ステ
ップに応答して、前記複数のデータ・アレイの値をロッ
クするステップと、から成る前記神経網に教育を施すス
テップと、（ｃ）前記神経網の前記入力において実際のデータを提
示するステップと、前記神経網の出力から結果を検索す
るステップと、から成る前記神経網を実行するステップ
と、から構成される方法。
【請求項１２】（ａ）対応するデフォルト神経網データ
構造を備えた、神経網に関する複数の定義された神経網
モデルから１つの神経網モデルを選択するステップと、
（ｂ）複数のデータ・アレイに関する初期値を前記デフ
ォルト神経網データ構造に入力することによって、前記
選択ステップにおいて選択された前記神経網モデルに関
して、前記対応するデフォルト神経網データ構造の初期
設定を行なうステップと、（ｃ）前記神経網に固有の複数のパラメータに関して指
示メッセージを与えるステップと、（ｄ）前記複数のパラメータを前記デフォルト神経網デ
ータ構造に入力するステップと、から構成される、神経
網に関する神経網データ構造を生成する方法。
【請求項１３】入力と、結果に関する出力と、複数のデ
ータ・アレイを備えた神経網データ構造を有する神経網
の教育を施す方法において、（ａ）前記神経網の前記入力においてトレーニング・デ
ータを提示するステップと、（ｂ）前記出力における前記結果が正確な結果の公差内
になるまで、前記複数のデータ・アレイの値を繰返し調
整するステップと、（ｃ）前記調整ステップに応答して、前記複数のデータ
・アレイの値をロックするステップと、から構成される
方法。
【請求項１４】適用業務プログラムが、複数の定義され
た神経網モデルの１つを実行できるようにし、それによ
って、データに関する入力と結果に関する出力を備えた
神経網になるようにするデータ処理システムにおいて、
（ａ）前記複数の定義された神経網モデルのうち選択さ
れた１つに固有の複数のパラメータと、複数のデータ・
アレイを備えた神経網データ構造を生成する手段と、（
ｂ）前記神経網の前記入力においてトレーニング・デー
タを提示することにより、前記神経網に教育を施し、前
記出力における前記結果が、正しい結果の公差内になる
まで、前記複数のデータ・アレイの値を繰返し調整する
手段と、（ｃ）前記入力において実際のデータを提示することに
よって前記神経網を実行し、前記神経網の前記出力から
その結果を検索する手段と、から構成されるシステム。
【請求項１５】（ａ）対応するデフォルト神経網データ
構造を備えた、前記神経網に関する複数の定義された神
経網モデルから１つの神経網モデルを選択する手段と、
（ｂ）複数のデータ・アレイに関する初期値を前記デフ
ォルト神経網データ構造に入力することによって、前記
選択手段によって選択された前記神経網モデルに関して
前記対応するデフォルト神経網データ構造の初期設定を
行なう手段と、（ｃ）前記神経網に固有の複数のパラメータに関し指示
メッセージを与える手段と、（ｄ）前記複数のパラメータを前記デフォルト神経網デ
ータ構造に入力する手段と、から構成される、神経網に
関する神経網データ構造を生成するためのシステム。
【請求項１６】入力と、結果に関する出力と、複数のデ
ータ・アレイを備えた神経網データ構造を有する神経網
に教育を施すためのシステムにおいて、（ａ）前記神経
網の前記入力においてトレーニング・データを提示する
手段と、（ｂ）前記出力における前記結果が正確な結果の公差内
になるまで、前記複数のデータ・アレイの値を繰返し調
整する手段と、（ｃ）前記調整手段に応答して、前記複数のデータ・ア
レイの値をロックする手段と、から構成される、システ
ム。
【請求項１７】第１の記憶装置を備え、第１の操作シス
テムを実行する第１のコンピュータ・システムから、第
２の記憶装置を備え、第２の操作システムを実行する第
２のコンピュータ・システムへ、入力と、結果に関する
出力を備えた神経網を移送する方法において、（ａ）前
記第１のコンピュータ・システムが、複数の定義された
神経網モデルのうち選択された１つに固有の複数のパラ
メータと、複数のデータ・アレイを備えた神経網データ
構造を生成するステップと、（ｂ）前記第１のコンピュータ・システムが、前記神経
網の前記入力においてトレーニング・データを提示する
ことにより、前記神経網に教育を施し、前記出力におけ
る前記結果が、正しい結果の公差内になるまで、前記複
数のデータ・アレイの値を繰返し調整するステップと、
（ｃ）前記第１のコンピュータ・システムにおける前記
第１の記憶装置から前記第２のコンピュータ・システム
における前記第２の記憶装置へ前記神経網データ・構造
を複写するステップと、（ｄ）前記第２のコンピュータ・システムが、前記入力
において実際のデータを提示することによって前記神経
網を実行し、前記神経網の前記出力からその結果を検索
するステップと、から構成される方法。
【請求項１８】入力と、結果に関する出力を備えた神経
網によって用いられる神経網モデルを定義する方法にお
いて、（ａ）複数の神経網モデルに共通した一般的神経網デー
タ構造にアクセスするステップと、（ｂ）前記定義対象の神経網モデルに固有のデフォルト
神経網データ構造を構築するステップとから成り、前記
構築ステップが、さらに（ｃ）前記定義対象の神経網モデルに固有の複数のパラ
メータを前記一般的神経網データ構造に入力するステッ
プを含むことを、特徴とする方法。
【請求項１９】前記構築ステップが、さらに、（ａ）前
記定義対象の神経網モデルに固有の複数のデータ・アレ
イを前記一般的神経網データ構造に入力するステップを
含むことを特徴とする、請求項１８に記載の方法。
【請求項２０】（ａ）前記出力における前記結果が正確
な結果の公差内になるまで、前記複数のデータ・アレイ
の値を繰返し調整するためのルーチンを規定するステッ
プが、さらに含まれていることを特徴とする、請求項１
９に記載の方法。
【請求項２１】（ａ）前記調整ステップに応答して、前
記複数のデータ・アレイの値をロックするステップが、
さらに含まれていることを特徴とする、請求項２０に記
載の方法。