JPH0310366A - 人工ニューラルネットワーク - Google Patents

人工ニューラルネットワーク

Info

Publication number
JPH0310366A
JPH0310366A JP2128158A JP12815890A JPH0310366A JP H0310366 A JPH0310366 A JP H0310366A JP 2128158 A JP2128158 A JP 2128158A JP 12815890 A JP12815890 A JP 12815890A JP H0310366 A JPH0310366 A JP H0310366A
Authority
JP
Japan
Prior art keywords
neural network
artificial neural
optimizing
network
architecture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2128158A
Other languages
English (en)
Inventor
Schafer David
ダビッド　シェファ
Escherman Larry
ラリー　エシェルマン
Karuana Richard
リチャード　カルアナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Gloeilampenfabrieken NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Gloeilampenfabrieken NV filed Critical Philips Gloeilampenfabrieken NV
Publication of JPH0310366A publication Critical patent/JPH0310366A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は人工ニューラルネットワーク、特に、ジェネテ
ィックアルゴリズムを使用して最適化したアーキテクチ
ャを有する人工ニューラルネットワークに関するもので
ある。
（従来の技術） 本発明において人工ニューラルネットワークとは人工ニ
ューロンの高度に結合されたネットワークを意味し、簡
単のために、゛人工°′なる呼称は通常省略する。
人工ニューロン自体は簡単な特性を有するものである。
これらは入力信号を受け、１つ以上の出力信号を発生ず
るスレンホルト回路である。１つのニューロンの入力−
出力関係はニューロン活性化またはしきい値機能と入力
信号の和とによって決まる。この活性機能は簡単なステ
ップ機能、ングモイト関数またはその池の単調に増大す
る機能である。
これらニューロンは高度にし１；合されたネットワ−ク
で信号伝送路により組合わせてニューラルネットワーク
を形成する。これら信号伝送路はこれらに関連するおも
みを有し、従ってニューロンに供給された信号は信号路
に供給された信号と信号路の荷重との積に等しい信号強
度を有する。これがため、ニューロンが受けた信号は信
号伝送路の荷重の値および供給された信号の値の荷重の
値によって決まる荷重付き和である。
ニューラルネットワークのニューロンの相互結合性は、
個別のニューロンの相互結合よりも一層複雑な特性を呈
するようになる。この複雑な特性は、ニューロンがこれ
らを結合する信号伝送路を有し、これら信号伝送路の荷
重の個別の値を有することによって決まる。所望のネッ
トワーク特性はネットワークトポロジおよび荷重値を適
宜に選択することによって得ることができる。荷重値を
選択して特定のネットワーク特性を得る処理は学習と称
される。種々のニューラルネットワークアキテクチャお
よびこれらを学習する技術はご゛パラレルディストリビ
ューテノドプロセソノング°。
第１巻、デー・イー・ラメルハート、ジェー・エル・マ
クレランド、およびピー・アール・グループエディタ、
ＭＩＴ　　プレス、１９８６年に記載されている。
好適に学習されたニューラルネットワークはパターニン
グ認識機能のような興味ある有効な特性を呈する。正し
いアーキテクチュアを有し、好適に学習されたニューラ
ルネットワークは普遍化の可能性を有している。例えば
、入力信号が雑音の影響を受ける場合には、入力信号を
識別するように学習されたニューラルネットワークに雑
音性の入力信号を供給することによりネットワークから
適宜の出力信号を発生せしめるようにしている。
同様に、学習信号の組が割当てられた特性を有する場合
には、学習組に属さず、割当てられた特性を有する入力
信号を供給することによってネットワークから適宜の出
力信号を発生せしめるようにする。この発生の可能性は
、現在行われているニューラルネントワークリサーチの
興味ある素晴らしい活性化のファクタであった。
（） ０ 特定の問題に対する不適半なアーキテクチュアを有する
学習されたネットワークは必すしも学習後正しく普遍化
されるとは限らない。これらは学習に用いる入力信号に
よりネットワークに適宜の出力信号を発生せしめる゛学
習し過ぎ゛の状態を呈しうるようになるが、学習に用い
られず、学習組と相俟って割り当てられた特性を有する
入力信号によるも適宜の出力信号を発生せしめない。こ
の発生の緊急性は”前記学習し過ぎ°゛によって失われ
るようになる。
本発明は、ニューラルネットワークのアーキテクチュア
を最適化して学習し過ぎが発生せす、しかも、学習され
たネットワークが所望の緊急性を呈するようなネットワ
ークアーキテクチュアをも有する人工ニューラルネット
ワークの構体の最適化方法を提供することをその目的と
する。
（課題を解決するための手段） 本発明によれば、二一一うルネノトワークを規定し、そ
のアーキテクチュアを記号ストリングによって表わし得
るようにする。ネットワークの１−組の学習用を設け、
この人力−出力対を学習組および評価組に分割する。初
期に規定されたネットワークを学習組により学習し、次
いで評価組により評価する。これがため最良の性能のネ
ットワークを選択することかできる。
選択されたネットワークを表わす記号ストリングをジエ
ネチックアルゴリズムに従って修正して新たなニューラ
ルネットワークアーキテクチュアを表わす新たな記号ス
トリングを発生させるようにする。次いでこれら新たな
ニューラルネットワークアーキテクチュアを学習組によ
り学習し、評価組により評価し、最良の性能のネットワ
ークか再び得られるようにする。改良されたネットワク
を表わす記号ストリングは、充分に最適なネットワーク
アーキテクチュアか得られるまで継続する。
（実施例） 図面につき本発明の詳細な説明する。
第１図はフィードフォワード型のニューラルネ、トワー
クを示す回路ｈ）ａ明図を示す。このネットワークは入
力ニー−ロン１１〜１４の層１０と、ニューロン２１〜
２４の中間層２０とおよび出力ニューロン３１〜３４の
層３０とを具える。図示のネットワークでは、入力ニュ
ーロンを信号伝送路４１．４２　　・・・　により中間
ニューロンに結合し、この中間ニューロンを信号伝送路
５１．５２　　・・・　により出力ニー−ロンに結合す
る。また、フィードフォワードネットワクの一層一般的
な形状は入力ニューロンから直接出力ニューロンへの信
号（云送路を含むようにする。
簡潔のために、可能な信号伝送路の幾つかを図面から省
略する。
最初、ニー−ロンしきい値および信号伝送路の荷重をあ
る任意の値に設定する。学習後、ニューロンしきい値お
よび信号伝送路の荷重は、ネットワークが学習された特
性を呈するよう値となる。
ジェネティソクアルゴリズムの基礎論理は、Ｊ・■」ホ
ランド著°“アダブテーノヨンインナチエラルアンドア
ーティフィカルノステム°°、ユニパーツティ　オブ　
ミンガンプレス、１９７５年に記載されている。本発明
を実施するに当たり、配列ストリングを用いてニューラ
ルネットワークアーキテクチュアを表わすようにする。
ジェネティノクナルゴリズムは記号ストリングで作動す
るとともにこれらを変化させることによってこれらを表
わすネットワークのアーキテクチュアを変化させるよう
にする。最も頻繁に用いられる記号は２進、即ち、０と
１とであるが、アルゴリズムは２進記号に限定されるも
のではない。
第２図はジェネテインクアルゴリズムのステップを示す
。ニューラルネットワークの初期ポピユレーションを表
わす記号ストリングの初期ポピユレーションＰ（ｉ＝ｏ
）を規定する。このポピユレーションをある規準に従っ
て評価し、次いで、最も適したメンバー、即ち、評価規
準に最も近いメンバーを選択する。選択したメンバーの
適合性かこの規準を満足する場合には、アルゴリズムは
停止する。そうでない場合には、ポピユレーションを表
わす記号ストリングにジエネティック再結合オペレータ
を適用して新たなポピユレーションＰ（ｉ　　１４−１
）を形成する。選択規準がｎ：ｌ：ｉ足され、３ ４ アルゴリズムか停止されるまで、これらステップは繰返
される。
第３Ａ〜３０図はニューラルネットワークアキテクチエ
アが記号ストリングにより表わされる手段およびンエネ
ティックアルゴリズムのｌｉ合オペレータがこれらスト
リングで作動してストリングにより表わされるニューラ
ルネットワークのポピユレーションを変化する手段を示
す。ジェネティノ’）アルゴリズムのフィールドは適応
バイオロジカルターミノロジーを有し、かつ、このタミ
ノロジーは次に記載するように用いる。
第３Ａ図には種々のニューラルネットワークパラメータ
を２進系列にマツプする。全体の２進系列はクロモサム
・と称され、ネットワークパラメタがマツプされるクロ
モサムの特定のサブストリングをジェネスと称する。こ
のジェネスにより表わされるネットワークパラメータお
よび各ジエンに対し用いられるマツピングまたは表現を
以下に例示して説明する。いま、クロモサムがジヱ不ス
により表わされるパラメータ（およびパラメータ値）を
有するネットワークを示すだけで充分であるものとする
。種々のクロモサムによって種々のネットワークアーキ
テクチュアを表わす。
第３Ｂ図はジェネテインク再結合オペレータを適用する
１対のクロモサムを示す。これら２つのクロモサムをペ
アレンツと称し、各々が異なるネットワークアーキテク
チュアを示す。
クロスオーバポイントと称される２つのクロモサムスト
リングに沿う任意の位置を選択する。ペアレントクロモ
サムはクロスオーバポイントで切断され、これにより形
成されるサブストリングは次のように再結合されるよう
になる。第１のペアレントクロモサムの第１のサブスト
リングおよび第２のペアレントクロモサムの第２のサブ
ストリングを結合してオフスプリングと称される新たな
りロモサムを形成する。同様に、第２のペアレントクロ
モサムの第１のサブストリングおよび第１のペアレント
クロモサムの第２のサブストリングを結合して曲のオフ
スプリングを形成する。
これらオフスプリングクロモサムを第３Ｃ図に示す。切
断されたペアレントクロモサムのサブストリングのを結
合してオフスプリング、即ち、クロスオーバポイントを
形成する位置をコロンでマクする。このコロンはクロモ
サムの１部分ではなく、ペアレンツが切断され、その結
果のサブストリングが再結合されてオフスプリングを形
成する箇所を示す単なるマーカーである。この再結合オ
ペレータを１対のクロモサムおよびそのオフスプリング
に適用することによって極めて多数の異なるクロモサム
および関連するニューラルネットワークアーキテクチュ
アを発生させることは明らかである。更に、ジエネテイ
ンクアルゴリズムは任意のビットを生じるとともにクロ
モサムを変化させるミューティジョンを含む。
本発明方法は第４図から明らかである。即ち、ネットワ
ークの初期ポピユレーションは学習用の学習組によって
学習し、学習されたネットワークは学習用の評価組によ
って評価する。
ネットワークは、ポピユレーション平均に対しその特性
評価に従って確率的に再生するように選択する。選択さ
れたネットワークのネットワークアキテクチエアを表わ
すクロモサムはンエネティソクアルゴリズムによって修
正し新たなネットワクアーキテクチュアおよび新たなア
ーキテクチュアを遊端ネットワークを表わすオフスプリ
ングを発生する。次いで新たなアーキテクチュアを有す
るネットワークを学習し評価する。従って最良の特性の
ネットワークをジェネティンクアルゴリズムに従って修
正し、かつ、ある特定の特性規準が満足されるまで処理
を継続する。
例 本発明の１例をデジタルコンビュータンミュレションに
よって実行した。ニューラルネットワークによって学習
すべきタスクは最小の興味あるコーディング問題と称さ
れるパターン認識学習タスクであった。ニューラルネッ
トワークへの入力は４つの２進信号とし、そのうちの最
初の２つの２進信号は出力に関連しない雑音である。次
の２つの２進信号は２の符号化整数の２進乗を表わし、
出力信号は入力信号のグレイ符号化とした。
７ ネットワーク学習はバンクブロパゲーンヨン則（誤差逆
伝搬学習則）によって行った。バックプロパゲーション
則の完全な説明は“°並列分散処理（パラレルデイスト
リビューテッドプロセラソング）”第１巻、特に第３１
８〜３６２頁を参照されたい。
ネットワークアーキテクチュアは第３Ａ図に示すように
１６ビソト２進ストリングによって表わした。
最初の２ビツトはバックプロパゲーション学習比（η）
を示し、次の２ピントはバックプロパゲーションモーメ
ント（α）を示し、その次の２ビツトは初期信号路の荷
重（Ｗ）の値域を示す。続く５ビ、７１−の２組の各組
は中間層を表わす。フラグビットＦ１は第１の中間層が
存在するか否かを示し、残りの４ビツトＮ１はこの中間
層内のニューロンの数を示す。同様にフラグピントＦ２
は第２の中間層が存在するか否かを示し、次の４ビｙ　
ｈはこの第２中間層内のニューロンの数Ｎ２を示す。
これがため、表現は、できるだ（プ大き（て各々か１６
個のニー−ロンの２中間層を有するとともにてきるたけ
小さくて中間層のないネットを発生ずる。
ネットワークパラメータに用いられる特定の表現は次の
通りである。学習比η−１／２°、ここにｎ−１＋クロ
モサム＝１．２．３．４のグレイコード値である。これ
がため、ｎ　−（０，５，０，２５，０，１２５，０，
０６２５）である。モーメントａ　−（１−（ｎ／１０
））、　　ここにｎ＝１＋クロモサム−１９，２，３，
４のグレイコード１直である。従って、α＝　（０，９
，０，８，０，７，０，６）である。
荷重Ｗ＝２／２°、ここにｎ＝１＋クロモサム−１，２
，３，４のグレイコード値である。従って、Ｗ＝（１，
０，０，５，０，２５，０，１２５）である。あるいは
また、ｗ＝２／２°−一定。
ニューロンの活性化関数は簡単なングモイド関数とし、
臨界的としない。
問題を整合させるために、入力ノードの数は４に固定し
、出力ノードの数は２に固定した。
ネットワークの学習用を次の表１に示した。
た。
表Ｉ 本発明方法は表Ｉから最初の８エントリのみを用いて適
用した。表の最初の８エントリのうちの１つをランダム
に選定し、評価組に対し確保した。
表の最初の８エントリのうちの残りの７エントリは学習
組に用い、ネットワークは、二乗誤差の和がプリセット
値０．１０に減少するか、または学習対およびバックプ
ロパゲーションへのイクスポージュアのあらかじめ指定
した数（この例の場合、２０００）後進学習した。ネッ
トワークが学習されると１つの学習用の評価組をこれに
適用し、平均二乗誤差を一般化への可能性の推測として
用いた。
最低の平均二乗誤差の組を選定した。選定したネットワ
ークアーキテクチュアを表わすストリングはジェネティ
ックアルゴリズムに従って修正して、処理を繰り返した
。
はぼ１０００の個別のネットワークアーキテクチュアを
発生し、テストした後ジェネテインクアルゴリズムのポ
ピユレーションは数個のネットワークの特性に集約され
た。個別のネットワークアーキテクチュアの最終のボピ
ュレーンヨンの全部は２１ ２ つの中間層を有し、それらの大部分（３０のうぢの１９
）は第１の中間層に１つのニューロンのミラ有する。最
も優勢な単一のアーキテクチュアを第４図に示す。伝送
路の荷重およびニューロンのしきい値の例を図面に示す
。
まず最初、このアーキテクチュアは問題を解決しなかっ
たものとする。これらは入カバターンの４つの個別のク
ラスとし、ネットワークのチャネルの全部によって情報
を単一のニューロンに入力する。しかし、ボトルネック
ニューロンの活性化レベルまたはしきい値によって入力
の４つのクラスを識別し、２つの雑音入力信号の低い荷
重はネットワークがそれらを無効にする学習を行うこと
を示す。ボトルネックの結合は入力の記録によって行う
。
最後に、発生した最良のアーキテクチュアを、表の最初
の８エントリの全部で繰返し学習し、次いで前に見られ
なかった表の８エントリを用いてテストを行った。これ
を５０回繰返し、テスト組の二乗誤差の総和を決め、回
数に従って８回のテストの内の少なくとも１回の分類が
正しくなかった。
比較のため、この手順を、バックプロパゲーション学習
のみを用いて学習し、各々が１６のニューロンの２中間
層で完全なネットワークで行った。これらの結果を次の
表■に示す。
表■ 総誤差における平均差のし一テストは顕著であった（α
＜　０．００１）。完全なネットワークアーキテクチュ
アは学習用に対し特に過剰であり、即ち、学習過多を呈
した。これは−膜化が損なわれることを意味する。また
、ンエネティノクアルゴリズム適用時に決まるアーキテ
クチュアを厳しく制限することによってほぼ良好な特性
を示し、充分良好な一般化を行うことかできる。
上述した好適な例はフィードフォワードニュラルネソト
ワークについて行った。しかし、本発明は、フィードバ
ンクを有するネットワーク、中間（か（れ）ニューロン
を有さないネットワークその曲のネットワーク構成のよ
うな他の型の最適なネットワークに適用することができ
る。更に、ジェネテインクアルゴリズムは１つ以上のク
ロスオーバーポイントのような一層良好な再結合オペレ
ータを用いることもできる。本発明は上述した例にのみ
限定されるものではなく、要旨を変更しない範囲内で種
々の変形または変更か可能となる。
【図面の簡単な説明】
第１図は本発明ニューロンの１つの中間層を有する１種
のニューラルネットワークのアーキテクチュアを示す説
明図、 第２図はジェ不ティソクアルゴリズムの作動を示す説明
図、 第３Ａ〜３０図はニューラルネントワークアルゴリズム
を記号ストリングで表わす手段およびジェネテインクア
ルゴリズム再結合オペレータによって記号ストリングを
変化する手段を示す説明図、第４図は本発明方法による
１連のステップを示す説明図、 第５図は本発明により達成される最適化ニューラルネッ
トワークアーキテクチュアを示す説明図である。 １０　　・・　入力層 １１〜１４　　・・　入力ニー−ロン ２０　　・・　中間層 ２１〜２４　　・　中間ニューロン ５ Ｇ ３０ 出力層 ３１〜３４ ４１．４２ ５１．５２ 出力ニューロン 信号伝送路 信号伝送路 ７ ヒフ 式−一−＝ ｇ　　　　　：ｌ： Ｕつ Ｃフ 一 ぐ

Claims (1)

  1. 【特許請求の範囲】 １、人工ニューラルネットワークの構成を最適化するに
    当たり、複数のニューラルより成る初期アーキテクチュ
    アを有するニューラルネットワークを規定し、このニュ
    ーラルネットワークのアーキテクチュアを表わすシンボ
    ルストリングを規定し、学習用の組みおよび評価用の組
    みを含む１組のニューラルネットワーク入力を設け、学
    習用の入力を用いてニューラルネットワークを学習し、
    評価用の入力を用いて学習したニューラルネットワーク
    を評価し、ジェネティックアルゴリズムに従ってニュー
    ラルネットワークアーキテクチュアを表わす記号ストリ
    ングを修正し、修正された記号ストリングにより表わさ
    れるニューラルネットワークを学習し、かつ、評価する
    とともに改善されたニューラルネットワークを表わす記
    号ストリングを修正するようにしたことを特徴とする人
    工ニューラルネットワークの構体の最適化方法。 ２、規定された規準に従って、評価され学習されたネッ
    トワークの最高の適性を選択し、選択された最高の適性
    ネットワークで前記ジェネティックアルゴリズムに従っ
    て前記修正ステップを実施するようにしたことを特徴と
    する請求項１に記載の人工ニューラルネットワークの構
    体の最適化方法。 ３、前記ニューラルネットワークを学習するステップは
    、スーパーバイズされたラーンニングによって実施する
    ようにしたことを特徴とする請求項２に記載の人工ニュ
    ーラルネットワークの構体の最適化方法。 ４、前記ニューラルネットワークを学習するステップは
    、スーパーバイズされたラーンニングによって実施する
    ようにしたことを特徴とする請求項１に記載の人工ニュ
    ーラルネットワークの構体の最適化方法。 ５、ニューラルネットワークアーキテクチュアを表わす
    記号ストリングによってかくれたニューロンの層の数お
    よびネットワークの各かくれた層を有するニューロンの
    数を表わすようにしたことを特徴とする請求項１に記載
    の人工ニューラルネットワークの構体の最適化方法。 ６、前記ネットワークはバックプロパゲーション則によ
    り学習するとともにニューラルネットワークアーキテク
    チャを表わす記号ストリングによって初期リンク荷重の
    ラーンニング比、モーメントおよび分散のバックプロパ
    ゲーションパラメータを表わすようにしたことを特徴と
    する請求項１に記載の人工ニューラルネットワークの構
    体の最適化方法。 ７、請求項１に記載の人工ニューラルネットワークの構
    体の最適化方法に従って最適化した人工ニューラルネッ
    トワーク。 ８、請求項２に記載の人工ニューラルネットワークの構
    体の最適化方法に従って最適化した人工ニューラルネッ
    トワーク。 ９、請求項３に記載の人工ニューラルネットワークの構
    体の最適化方法に従って最適化した人工ニューラルネッ
    トワーク。 １０、請求項４に記載の人工ニューラルネットワークの
    構体の最適化方法に従って最適化した人工ニューラルネ
    ットワーク。 １１、請求項５に記載の人工ニューラルネットワークの
    構体の最適化方法に従って最適化した人工ニューラルネ
    ットワーク。 １２、請求項６に記載の人工ニューラルネットワークの
    構体の最適化方法に従って最適化した人工ニューラルネ
    ットワーク。 １３、人工ニューラルネットワークの構成を最適化する
    に当たり、複数の入力ニューロン、出力ニューロンおよ
    び中間ニューロンと、前記入力ニューロンからの出力信
    号を前記中間ニューロンに供給するとともにこの中間ニ
    ューロンからの出力信号を前記出力ニューロンに供給す
    る複数の信号伝送路より成る初期アーキテクチュアを有
    するニューラルネットワークを規定し、このニューラル
    ネットワークのアーキテクチュアを表わすシンボルスト
    リングを規定し、学習用の組および評価用の組を含む１
    組のニューラルネット入力−出力対を設け、この入力−
    出力対の学習組を用いる管理されたラーンニングにより
    ニューラルネットワークを学習し、入力−出力対の評価
    組を用いて学習したニューラルネットワークを評価し、
    ジェネティックアルゴリズムに従ってニューラルネット
    ワークアーキテクチュアを表わす記号ストリングを修正
    し、修正された記号ストリングにより表わされるニュー
    ラルネットワークを学習し、かつ、評価するとともに改
    善されたニューラルネットワークを表わす記号ストリン
    グを修正するようにしたことを特徴とする人工ニューラ
    ルネットワークの構体の最適化方法。 １４、管理されたラーンニングによる学習のステップを
    バックプロパゲーションアルゴリズムによって実施する
    ことを特徴とする請求項１３に記載の人工ニューラルネ
    ットワークの構体の最適化方法。 １５、ニューラルネットワークアーキテクチャを表わす
    記号ストリングによって中間ニューロンの数を表わすよ
    うにしたことを特徴とする請求項１４に記載の人工ニュ
    ーラルネットワークの構体の最適化方法。 １６、ニューラルネットワークアーキテクチャを表わす
    記号ストリングによって初期リンク荷重のラーンニング
    比、モーメントおよび分散のバックプロパゲーションパ
    ラメータを表わすようにしたことを特徴とする請求項１
    ５に記載の人工ニューラルネットワークの構体の最適化
    方法。 １７、請求項１３に記載の人工ニューラルネットワーク
    の構体の最適化方法に従って最適化した人工ニューラル
    ネットワーク。 １８、請求項１４に記載の人工ニューラルネットワーク
    の構体の最適化方法に従って最適化した人工ニューラル
    ネットワーク。 １９、請求項１５に記載の人工ニューラルネットワーク
    の構体の最適化方法に従って最適化した人工ニューラル
    ネットワーク。 ２０、請求項１６に記載の人工ニューラルネットワーク
    の構体の最適化方法に従って最適化した人工ニューラル
    ネットワーク。 ２１、ネットワーク入力信号を受け、これに応答して出
    力信号を発生する複数の入力ニューロンと、これら出力
    信号を受けネットワーク出力信号を発生する複数の出力
    ニューロンと、入力信号を受け出力信号を発生する複数
    の中間ニューロンと、複数の信号路よりなり、入力ニュ
    ーロンからの出力信号を前記中間ニューロンに供給する
    とともに中間ニューロンからの出力信号を出力ニューロ
    ンに供給する信号伝送手段とを具え、前記中間ニューロ
    ン、ニユーロンスレシホルド機能および信号路の荷重の
    数が、ジェネティックアルゴリズムによる管理されたラ
    ーンニングおよびネットワーク修正により最適化された
    値を有することを特徴とする最適化された人工ニューラ
    ルネットワーク。
JP2128158A 1989-05-19 1990-05-19 人工ニューラルネットワーク Pending JPH0310366A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US35400489A 1989-05-19 1989-05-19
US354,004 1989-05-19

Publications (1)

Publication Number Publication Date
JPH0310366A true JPH0310366A (ja) 1991-01-17

Family

ID=23391506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2128158A Pending JPH0310366A (ja) 1989-05-19 1990-05-19 人工ニューラルネットワーク

Country Status (2)

Country Link
US (2) US6601053B1 (ja)
JP (1) JPH0310366A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929993B2 (en) 2017-09-29 2021-02-23 L'oreal Automated imaging system for evaluating the curl of a keratinous substrate

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0310366A (ja) * 1989-05-19 1991-01-17 Philips Gloeilampenfab:Nv 人工ニューラルネットワーク
US20020059154A1 (en) * 2000-04-24 2002-05-16 Rodvold David M. Method for simultaneously optimizing artificial neural network inputs and architectures using genetic algorithms
US6839749B1 (en) * 2000-07-10 2005-01-04 International Business Machines Corporation Network representation and manipulation thereof
US6907418B2 (en) * 2000-12-21 2005-06-14 Metabiz Co., Ltd. Advertisement servicing system using e-mail arrival notifying program and method therefor
WO2004068456A2 (en) * 2003-01-17 2004-08-12 Ayala Francisco J System and method for developing artificial intelligence
US7493295B2 (en) * 2003-01-17 2009-02-17 Francisco J. Ayala Method, system and computer program for developing cortical algorithms
US8712942B2 (en) * 2003-03-24 2014-04-29 AEMEA Inc. Active element machine computation
US8019705B2 (en) * 2003-03-24 2011-09-13 Fiske Software, LLC. Register and active element machines: commands, programs, simulators and translators
US7398260B2 (en) * 2003-03-24 2008-07-08 Fiske Software Llc Effector machine computation
US8010467B2 (en) * 2003-03-24 2011-08-30 Fiske Software Llc Active element machine computation
WO2005008572A1 (en) * 2003-07-11 2005-01-27 Computer Associates Think, Inc. Method and apparatus for automated feature selection
US20050159994A1 (en) * 2003-07-11 2005-07-21 Huddleston David E. Method and apparatus for plan generation
US7324979B2 (en) * 2003-08-29 2008-01-29 Bbn Technologies Corp. Genetically adaptive neural network classification systems and methods
US7269525B1 (en) 2004-06-16 2007-09-11 Western Digital Technologies, Inc. Binning disk drives during manufacturing by evaluating quality metrics prior to a final quality audit
US7236911B1 (en) 2004-06-16 2007-06-26 Western Digital Technologies, Inc. Using a genetic algorithm to select a subset of quality metrics as input to a disk drive failure prediction algorithm
US8316263B1 (en) 2004-11-08 2012-11-20 Western Digital Technologies, Inc. Predicting disk drive failure at a central processing facility using an evolving disk drive failure prediction algorithm
EP1828961A2 (en) * 2004-12-17 2007-09-05 Koninklijke Philips Electronics N.V. Method and apparatus for automatically developing a high performance classifier for producing medically meaningful descriptors in medical diagnosis imaging
EP1866818A1 (en) * 2005-03-31 2007-12-19 Koninklijke Philips Electronics N.V. System and method for collecting evidence pertaining to relationships between biomolecules and diseases
US20060293045A1 (en) * 2005-05-27 2006-12-28 Ladue Christoph K Evolutionary synthesis of a modem for band-limited non-linear channels
US7370019B2 (en) * 2005-06-23 2008-05-06 Ecole Polytechnique Federal De Lausanne Method and device for evolving a network using a genetic representation
US20070143234A1 (en) * 2005-12-16 2007-06-21 Taiwan Semiconductor Manufacturing Company, Ltd. Method and system for intelligent model-based optical proximity correction (OPC)
US20070288410A1 (en) * 2006-06-12 2007-12-13 Benjamin Tomkins System and method of using genetic programming and neural network technologies to enhance spectral data
DE102007050434A1 (de) * 2007-10-22 2009-04-23 Henkel Ag & Co. Kgaa Verfahren und Anordnung zum computergestützten Ermitteln mindestens einer Eigenschaft einer Haarcoloration basierend auf einer Formulierung aus chemisch reaktiven und/oder unreaktiven Rohstoffen, Verfahren und Anordnung zum computergestützten Ermitteln einer Formulierung einer Haarcoloration basierend auf chemisch reaktiven und/oder unreaktiven Rohstoffen, und Verfahren und Anordnung zum computergestützten Trainieren eines vorbestimmten Modells zum computergestützten Ermitteln mindestens einer Eigenschaft einer Haarcoloration basierend auf einer Formulierung aus chemisch reaktiven und/oder unreaktiven Rohstoffen
US8786288B2 (en) * 2008-07-23 2014-07-22 Baker Hughes Incorporated Concentric buttons of different sizes for imaging and standoff correction
WO2010019919A1 (en) 2008-08-14 2010-02-18 University Of Toledo Multifunctional neural network system and uses thereof for glycemic forecasting
US9026768B2 (en) 2009-09-14 2015-05-05 AEMEA Inc. Executing machine instructions comprising input/output pairs of execution nodes
EP2483850A2 (en) * 2009-09-28 2012-08-08 Aria Networks Limited Apparatus and method for determining optimum paths in a multi-layer network using a routing engine
US9152779B2 (en) 2011-01-16 2015-10-06 Michael Stephen Fiske Protecting codes, keys and user credentials with identity and patterns
US10268843B2 (en) 2011-12-06 2019-04-23 AEMEA Inc. Non-deterministic secure active element machine
WO2014055718A1 (en) 2012-10-04 2014-04-10 Aptima, Inc. Clinical support systems and methods
CN104463326B (zh) * 2014-12-09 2017-02-22 浙江大学 一种标准12导联心电信号重建方法
CN104866904B (zh) * 2015-06-16 2019-01-01 中电科软件信息服务有限公司 一种基于spark的遗传算法优化的BP神经网络并行化方法
US11464456B2 (en) 2015-08-07 2022-10-11 Aptima, Inc. Systems and methods to support medical therapy decisions
RU2602973C1 (ru) * 2015-09-30 2016-11-20 Федеральное государственное бюджетное образовательное учреждение высшего образования "Кубанский государственный технологический университет" (ФГБОУ ВО "КубГТУ") Контроллер управления обучением нейронной сети с генетическим алгоритмом
US11315018B2 (en) 2016-10-21 2022-04-26 Nvidia Corporation Systems and methods for pruning neural networks for resource efficient inference
US10783801B1 (en) 2016-12-21 2020-09-22 Aptima, Inc. Simulation based training system for measurement of team cognitive load to automatically customize simulation content
US10339450B2 (en) 2017-09-08 2019-07-02 DeepCube LTD. System and method for efficient evolution of deep convolutional neural networks using filter-wise recombination and propagated mutations
WO2019049127A1 (en) * 2017-09-08 2019-03-14 DeepCube LTD. SYSTEM AND METHOD FOR EFFICIENT EVOLUTION OF DEFRONES DEEP CONVOLUTIONAL NETWORKS USING FILTER RECOMBINATION AND PROPAGATED MUTATIONS
US10257072B1 (en) 2017-09-28 2019-04-09 Cisco Technology, Inc. Weight initialization for random neural network reinforcement learning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140530A (en) * 1989-03-28 1992-08-18 Honeywell Inc. Genetic algorithm synthesis of neural networks
JPH0310366A (ja) * 1989-05-19 1991-01-17 Philips Gloeilampenfab:Nv 人工ニューラルネットワーク

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929993B2 (en) 2017-09-29 2021-02-23 L'oreal Automated imaging system for evaluating the curl of a keratinous substrate

Also Published As

Publication number Publication date
US20030212645A1 (en) 2003-11-13
US6601053B1 (en) 2003-07-29

Similar Documents

Publication Publication Date Title
JPH0310366A (ja) 人工ニューラルネットワーク
Yao et al. A new evolutionary system for evolving artificial neural networks
Vonk et al. Automatic generation of neural network architecture using evolutionary computation
Hong et al. Evolution of appropriate crossover and mutation operators in a genetic process
US5832466A (en) System and method for dynamic learning control in genetically enhanced back-propagation neural networks
US20020059154A1 (en) Method for simultaneously optimizing artificial neural network inputs and architectures using genetic algorithms
Zhang et al. Synthesis of sigma-pi neural networks by the breeder genetic programming
Pearson et al. Evolving neural networks using the “Baldwin effect”
Merelo et al. Optimization of a competitive learning neural network by genetic algorithms
Pearson et al. Evolving neural network structures: An evaluation of encoding techniques
Esparcia-Alcazar et al. Evolving recurrent neural network architectures by genetic programming
JPH06111038A (ja) ニューラル・ネットワーク及びその操作方法
JP3757722B2 (ja) 多層ニューラルネットワークユニット数最適化方法及び装置
Santos et al. Evolutionary generation and training of recurrent artificial neural networks
Zhao et al. Optimizing radial basis probabilistic neural networks using recursive orthogonal least squares algorithms combined with micro-genetic algorithms
Batchis An evolutionary algorithm for neural network learning using direct encoding
Mallory et al. Optimizing neural network architecture through a coarse genetic algorithm
JP3310009B2 (ja) ニューラルネットワークシステム
Van Truong et al. An Ensemble Co-Evolutionary based Algorithm for Classification Problems
Vai et al. Applications of neural networks optimized by the genetic algorithm to microwave systems
Sherstnev et al. Comparative analysis of algorithms for optimizing the weight coefficients of a neural network when adjusting its structure applying genetic programming method
Born et al. Designing neural networks by adaptively building blocks in cascades
Moberg Childhood Habituation in Evolution of Augmenting Topologies (CHEAT)
Trường et al. An Ensemble Co-Evolutionary based Algorithm for Classification Problems
Yao et al. From evolving a single neural network to evolving neural network ensembles