JP4282760B2 - 有用な情報の自律的発生装置 - Google Patents

Description

本発明は人間の心のなかの創造力を模倣する内的なイメージおよび追加的なメカニズムをシミュレートするためのプロセスに関する。本装置は人工神経回路網（ＡＮＮ）テクノロジーの領域の最近の進歩を使用して新しいコンセプト、デザイン、音楽、プロセス、発見および問題解決の完全に自律的な発生を可能にする。本テクノロジーを使用して得られる有用な情報の形式のいくつかの典型的な例を以下に説明し記載する。本装置は機械応答をそのつどの目的に適応させ、それにより計算機を、種々の刺激への人間の応答の仕方と通信し、またそれを解釈するのにあまり硬直的でなくするのに使用される。一層一般化された意味では、本装置または機械は自由意志および意識の連続的な流れと等価的な流れを供給し、それを通じて本装置は行動の新規なコンセプトまたはプランまたは他の有用な情報を定式化し得る。
本発明以前に人工神経回路網（ＡＮＮ）による生物学的システムの模倣はパターン認識、ニューラルコントロールおよび実験データの発生のような非創造的な仕事のために使用された。本装置はそのなかでシステムが行動の新規なプランおよびオリジナルなデザインまたは創作を合成するＡＮＮの新しいアプローチおよび新しい応用に相当する。われわれが自律的システムまたは“創造的機械”と呼ぶこれらのシステムは工学的発明を越えて審美または情緒の領域に入る想像力に富む行為を実行し得る。
本装置は２つの必須の構成要素を用いる。すなわち（１）ある問題領域におけるトレーニングを含んでおり、漸進的に摂動され、また摂動の結果としてコンセプトを連続的に出力する神経回路網、（２）有用な出力を識別しかつ分離するべく第１の回路網の出力を連続的にモニターする第２またはパトローリング神経回路網。このタンデム配置は創造力およびおそらく注意意識のモデルと考えられ、またこの内的なイメージは摂動される回路網のなかで自発的に発生され、他方において第２のパトローリング回路網は審美的アピールを含むユーティリティもしくは他の有用な特性を処理する特定のイメージに連続的に注意を払っている。用いられる摂動はノイズの導入、回路網のリラクゼーションまたはデグラデーションなどを含む任意の多数の異なる手段により達成され得る。以上に説明した２つの構成要素は後で一層詳細に説明する。
本システムが外部情報を受け取る必要がないことを強調することは重要である。その代わりに、情報は含まれている回路網の特性化パラメータに用いられる任意の数の確率論的および／または系統的なプロセスの結果として自発的に出現する。自走する神経回路網のこのタンデム配置およびそのポリシング-カウンターパートにより、類似に露出または摂動される既知の装置または機械により発生されるものよりも質的に優れている概念を発生することが可能である。
従来の技術の説明
本発明者は、ＡＮＮの入力または重みにある種の形式のノイズが与えられると、もしベクトル完成プロセスが回路網のトレーニングの間に遭遇される出力ベクトルを能動化するのに失敗するならば、新規な出力が生じ得ることを実証してきた。このような出力は一般に既知のトレーニング出力の組み合わせの形態をとり、また一般にそれが訓練された環境を模倣する。従って、知られているマウンテイン-レンジのようないくつかの装置または対象物の表面プロフィルを発生するべく訓練された神経回路網は、もし入力がランダムなシミュレーションを受けるならば、非常に尤もらしいが見慣れないマウンテイン-レンジを作り出す傾向があろう。同様に、クラシック音楽を作り出すことのみを訓練された神経回路網は、ランダムな入力にさらされる時に、潜在的な可能なクラシックテーマを作り出す傾向があろう。本発明者は、静的回路網が数学的研究において検出されてきたいくつかの非常に新規な出力を生じてきたことを示してきた。しかし、知られているすべてのケースでは、それらはそれらの新規性に対して人間のオペレータにより隔離されてきた。対照的に、本装置はこのような回路網の出力を自律的に監視し、また、ポリシングまたはパトローリング神経回路網のなかで確立されたいくつかの予め定められた規範に基づいて、出現するコンセプトを選ぶ。このようなコンセプトはいくつかの目的に対する音楽または音楽上のテーマを作り出すこと、またはコーヒー用マグカップのようないくつかの模様をデザインすること、またはプロセス計画オペレーションを作り出すこと、または問題を解決すること、および多くの他の応用を含んでいてよく、そのいくつかは後で一層詳細に説明する。
知られているＡＮＮはインプット-アウトプット-マッピングのようないくつかの領域で比較的高い精度を達成してきた。本発明は、有用な情報を生ずるべくＡＮＮの慎重なデグラデーション、従ってまたこのような精密なマッピングのコラプションの使用を教示する。こうしていくつかの知識領域を反復するべく訓練された回路網は回路網デグラデーションの低いレベルにおいて既知の模様のかなり代表的な例を発生し得る。たとえば、自動車のデザインの場合に、回路網のなかに存在する制約のゆえに回路網デグラデーションの低いレベルにおいて既存の車のかなり代表的な例を発生し得る。換言すれば、理にかなったデザインが作られる。回路網のデグラデーションの漸進的により高いレベルにおいて、このような回路網の制約は新規かつより珍しいハイブリッドな自動車のデザインを作るべくさらにリラックスし、そのいくつかは有用な応用ニッチまたはマーケットを満たし得る。通例から新規への移行を行う鍵は回路網のデグラデーションに関する制御および特定の回路網パラメータをそれらが訓練された値からリラックスまたは摂動する能力により達成される。こうして本発明による装置は通例の周囲または通例の付近をデザインし、また、いくつかの制約により制限されずに、創造的デザイナーがするのとほとんど同じ仕方で新しいデザインを創造する道を提供する。入力、内部活性化、重みおよびバイアスへの種々の形態の摂動の導入の結果として、このような既知のシステムはプロセスを制御し、またはオブジェクトまたはデザインを創造し得る。こうして本発明による装置により発生される情報はその後にプロセスなどを制御するのに使用するために蓄積され、および／またはある所望の仕方で発生されてきた出力を修正するその固有の決定に使用され得る。こうして本発明は、上記の２つの要素を含んでいる機械を使用してデザインまたは創造的な仕事を行うための他の道具および非常に広いベースの道具を提供する。しかし、１つの仕事の実行から別の仕事または別の目的の実行へその作動モードを自律的に変更することに対象装置を細同調またはトグルすることが意図されている。
無数の仕方で回路網を内部で修正し得ることは、発生され得る実行可能なコンセプトの数に膨大な数値的卓越性を可能にする。本発明によるタンデム配置はこの仕事での完全な自律性を可能にする。
発明の目的
創造力をシミュレートするための新規な手段の構成および作動を教示することが本発明の主要な目的である。
他の目的は有用かつ想像力に富む出力情報を発生するため、以前に訓練された人工神経回路網を摂動させることにある。
他の目的は、所望の出力を選び、また他の出力を排除するために、摂動させる神経回路網からの出力情報を監視することにある。
他の目的は神経回路網に与えられる摂動の程度を制御することにより神経回路網のなかに制御可能な変化を生じさせることにある。
本発明の上記および他の目的および利点は添付図面と結び付けての好ましい実施例の以下の詳細な説明を考察した後に明らかになろう。
【図面の簡単な説明】
図１は本発明の教示に従って作動するべく接続されているアラート連合センター（ＡＡＣ）と組み合わされたイマジネーション-エンジン（ＩＥ）と呼ばれる装置のブロック図である。
図２はいずれか１つまたはそれ以上が所望の出力情報を表すべく選ばれ得る複数個の出力を生ずるべく外部源からの摂動が本発明による装置にどのようにして与えられるかを示す（モードＡ）。
図３はいずれか１つまたはそれ以上が所望の出力情報を表すべく選ばれ得る複数個の出力を生ずるべくコネクション重み切り詰めの形態の摂動が本発明による装置にどのようにして与えられるかを示す（モードＢ）。
図４は新規な処置を表すべく選ばれ得る複数個の出力を生ずるべくコネクション重み切り詰めの形態の摂動が回帰回路網にどのようにして与えられるかを示す（モードＣ）。
図５はコーヒー用マグカップに対する所望の形状をデザインおよび／または製造するのに使用される本発明による装置の１つの実施例を示す。
図６は図５のコーヒー用マグカップを製造するのに使用される手段のブロック図である。
図７はコーヒー用マグカップに対する所望の形状を製造する際に本発明による装置により制御される作動部材の１つの形態を示す図である。
図８は受容可能および受容不可能なコーヒー用マグカップのデザインの例を示す。
図９は回帰回路網を利用して音楽ヴァースを作り出すために使用される本発明による装置の入力および出力の実施例である。
図１０は受容可能な音楽を作り出すのに用いられる回路網の能動化を示し、ここではトレーニングがソング「トウィンクル・トウィンクル・リットル・スター」、「デイジィ」および「マリー・ハッド・ア・リットル・ラム」の組み合わせを作り出す。
図１１は本発明による装置が出力を音に変換する仕方を示す。
図１２は図９に示されている装置により作り出される１０の音楽フレーズを示す。
図１３は簡単なフィードフォワード回路網およびその回路網の入力およびコネクション重みの双方に与えられる摂動を利用して音楽フレーズを作り出すために使用される本発明による装置の入力および出力の組み合わせを示す。
図１４は非回帰フィードフォワード回路網を使用して作り出された受容可能な形態の音楽フレーズを示す。
図１５は図１３の装置により作り出された５０の新規な音楽テールまたはフレーズを示す。
図１６は新規な自動車のデザインを作り出すために使用される時に本発明による装置により作り出される入力および出力を示す。
図１７は本発明による装置により作り出される２つの自動車のデザインを示し、デザイン（１）は少なくとも３０ｍｐｇ、２５，０００．００ドル以下のコストを達成し、またユーザーの満足度に関して好ましいレーティングを有し、またデザイン（２）は８秒以内に６０ｍｐｈに加速可能であり、また少なくとも１５０ｍｐｈの最高速度を達成する。
好ましい実施例の詳細な説明
参照符号により一層詳細に図面を参照すると、図１中に参照符号２０を付されているのは本発明に従って構成されたシステムである。システム２０は２つの基本的な構成要素、一つはイマジネーション-エンジン（ＩＥ）２２、もう一つはアラート連合センター（ＡＡＣ）２４を含んでいる。ＩＥ２２は、漸進的に摂動されて、ＡＡＣ２４に供給される出力を生ずる人工神経回路網（ＡＮＮ）である。ＡＡＣ２４も人工神経回路網であり、これはＩＥ２２への１つまたはそれ以上のフィードバック-コネクション２８を有し得る。ＩＥまたはイマジネーション-エンジンは、ＩＥの訓練に抗して与えられ、またその重み、バイアス、入力、出力または内部能動化に与えられる通常はランダムノイズまたは摂動の形態の入力情報を受ける本発明による装置の部分を成している。イマジネーション-エンジンはこの回路網が内部もしくは外部で摂動され、また、摂動またはノイズの存在中にパターン完了をなし遂げる試みの結果として、回路網の訓練に包含されているある所与の知識領域を通じて自由にさまよう出力を発生するアイデアを運ぶために記述されている。出力はリサイクルされ得る。ＩＥの出力はＡＡＣにより監視またはパトロールされる。ＩＥおよびＡＡＣは、なにがなし遂げられるべきか、また必要とされる入力および出力端の性質に依存する複数個の関係の１つまたはそれ以上にグループ化または結合され得る。ＩＥおよびＡＡＣは複数個の結合されたＡＮＮを含んでいる一層複雑なシステムに組み合わせられ得るし、またある度合の創造力を必要とする問題を含む一層多くの含まれている仕事を実行し得る。
神経回路網が、ニューロンの間の接続強度が漸進的に変えられるシナプシスな摂動プロセスを受ける時には常に、このようなプロセスが回路網が既に見ているまたは訓練されている環境特徴のメモリを能動化することは、すべての神経回路網に共通であることが見い出されている。その後に、回路網がその最初に訓練された状態から展開し続けるにつれて、このような環境特徴はハイブリッド化または並置された特徴に組み合わされる。たとえば、牛および鳥のイメージを含む種々の動物のイメージを生ずるべく訓練された神経回路網は最初に低レベルのシナプシスな摂動の間にこれらの動物および鳥のランダムでインタクトなイメージを生ずる。シナプシスな接続強度の漸進的に強くなる摂動がいま、一部は牛であり、一部は鳥である飛んでいる牛のイメージを含むハイブリッド化されたイメージを生ずる。換言すれば、ＩＥのなかに包含されている同一のユニバースが、制約が次第に除かれるにつれて、解きほぐれ初め、また新しい聞いたことのない組み合わせが現れ出る。同様な理由で、インタクトな神経回路網は、人工神経回路網であろうと生物の神経回路網であろうと、それら自体の外部で生起するノイズまたは他のプロセスによって、新規な環境イメージを生ずるべく能動化され得る。このようなノイズは他の周囲の回路網の機能、リラクゼーションおよびデグラデーションおよび生物回路網または複雑な回路網実行の通信により発生される。結果は内部で発生される摂動を使用する時のそれと類似しており、まっすぐな環境特徴およびハイブリッド化された環境特徴の双方が自発的に現れる。
これは、処理ユニットのある部分が必要とされる訓練またはマッピングに補充されずにとどまるように、複数個のニューロンのＩＥを構成することによっても成就され得る。これらの束縛されていないニューロンに摂動の影響を与えると、ＡＡＣにより捕獲または処理または選択され得る有用なコンセプトの発生が有意義に増大される。本発明による装置の第２の主要な構成要素であるＡＡＣはＩＥにより発生される有用な情報または並置を識別するべく訓練されているＡＮＮに類似している。従って、ＡＡＣはわれわれの例では特定の動物に対するようないくつかの特徴または条件を眺めている日和見的な回路網である。典型的な状況では、ＡＡＣはＩＥにより合成されたハイブリッドに数値または他のスコアを割当てるべく訓練され得る。また、１つまたはそれ以上の分離したアルゴリズムが後での考察および洗練のために潜在的に有用なコンセプトを記憶し得るし、または代替的にハードウェア条件での結果に直ちに影響を与えるのに使用され得る。いくつかの実施例では、ＡＡＣへの入力端のいくつかがＩＥの入力端に接続され得ないが、他の目的に対しては自由に残されていることも意図されている。このようにしてＡＡＣ選択規範は最初にまたは図３に示されている例に対しては作動中に調節され得る。
組み合わされたＩＥおよびＡＡＣに対する３つの異なる作動モードを以下に説明する。これらのモードは別々にまたは種々の組み合わせで使用され得る。これらはモードＡ、ＢおよびＣとして説明される。モードＡでは、乱数発生を含む任意の数の技術がＩＥに新規な入力を与えるのに使用され得る。その結果、ＩＥは新規な入力に基づいてベクトルを完成しようと試み、通常その結果としてその確立された訓練出力の変更または並置が行われる。ＡＡＣは次いでこれらの結果としてのＩＥからのハイブリッド化された出力のユーティリティをチェックし、また図２中にＡ−Ｚとして示されている規範を選ぶべく値を割当てる。選択規範が満足される時、ハイブリッド化された出力は直ちに利用され、またはその後の使用のために記録され得る。
モードＢでは、固定された値がＩＥの入力端にクランプされているが、その重み、バイアスまたは内部能動化は、それらをそれらの最初の値から摂動させる乱数発生を含む任意の数の数値技術により摂動される。回路網相における内部完了プロセスは、ＩＥの出力端に出現する新しい条件または並置されたコンセプトを生ずる。ＡＡＣは次いでその固有の訓練に基づいてそれらをそれらの有用性に関して仕分けする。モードＡの場合のように、これらの新しいコンセプトは回路網がリラックスするにつれて実時間で利用され得るし、またはその後の使用のためにアーカイブ-ファイルのなかに記憶され得る。
モードＣでは、ＩＥ摂動が作用のプランまたは所与の問題を解く手順を作り出すのに使用される。このようなシステムは図４に示されている。この場合には、ＩＥはその固有の出力をそれぞれの入力端にフィードバックし、また手順は一連のステップからなっており、その各々はさきのステップに付随的である。モードＣでは、ＡＡＣは各ステップが所望の結果の到達時に許容可能かつ有用なステップを形成するそのユーティリティを保証することを検査する。またモードＣでは、ＡＡＣはたとえば所与の重みまたはステップの除去、変更または交換により任意のスナージにおけるＩＥのアーキテクチュアを変更するのに使用され得る。モードＣでは、作動を支配するアルゴリズムはＩＥのなかでランダムに選ばれ、また一定の値、たとえば零に設定された重みを有する。ＡＡＣは次いでそのユーティリティまたは他の目的に対するシステム構成を評価する。もし評価された状態が許容可能なものでないならば、ＡＡＣは一時的に除去された重みを交換する決定を行い、また駆動アルゴリズムに除去のための新しい重みを選ぶべく通報する。一端所望のシステム構成が得られると、システムはＩＥからより多くの重みを除去し始める。ＡＡＣはオーバーオールなターゲット構成が得られたか否かをアラート（警報）している。もし肯定であれば、アルゴリズムは手順を成す成功裡の作動シーケンスを記憶し、またはある外部装置またはハードウェアメカニズムを制御するべくこの情報を直ちに運ぶ。この仕方で、ＩＥとしての役割をするＡＮＮは、人間の脳が働く仕方と若干類似の仕方で、計算機またはその類似物を使用してのコンセプトまたはアイデアの記憶を助ける。これはこの装置では関係者または機械のユーザがＩＥに対するフィードバックを作ることにより達成され、ＩＥでは異なる摂動がＩＥに対しその出力を上げるか変化するなどのいくつかの目的のために与えられる。多重のＩＥおよびＡＡＣの使用により一層複雑な出力が得られ、またいくつかの場合には一層正確かつ精密なデータが発生され得る。たとえば、この形式の多くの分離した回路網は、それにより多くの異なるＡＡＣの使用を必要とするコンセプト選択プロセスに使用され得る。
上記のモードまたは並置のいずれでも摂動因子の任意の組み合わせがＩＥのなかに新規なコンセプトを発生するのに使用され得る。このような摂動は（ａ）重み、（ｂ）バイアス、（ｃ）能動化、（ｄ）外部入力信号、（ｅ）回路網のなかの任意の所与のユニットへの内部入力信号、または（ｆ）回路網のなかの任意の所与のユニットからの内部出力信号のような種々の因子を組み合わせ得る。類似の仕方でパラメータａ〜ｆは（１）それらの値を零のようなある一定の値に連続的に設定すること、（２）乱数表により得られるようなある不規則な数をそれらの最初の値に連続的に追加すること、それらを乱数表から得られた乱数により置換することによりそれらの値を連続的に変更すること、（４）通常ある遅れ定数を有する時間依存性の因子によりそれらの値を多重倍すること、（５）これらのパラメータが最初の値の周りでランダム-ウォークを行うことを許すべく乱数表を通じて得られる正および負の乱数を連続的に追加すること、（６）ある統計的な周波数分布に従う数を追加すること（ここで、このような数を選ぶ確率確率関数に従う）、（７）設定された時間依存性の統計的分布に従う数を追加すること、および／または（８）上記の因子のいずれかを、重みおよびバイアスがそれらの訓練値からさまようのにつれてＩＥがその最初の制約された条件から漸進的にリラックスした制約へ滑らかに移行するように、ある徐々に増大する振幅因子により漸進的に多重倍することにより種々の手段により摂動され得る。完全には回路網のマッピングまたはトレーニングにおいて補充されていないニューロンにこのような摂動を特別に与えることにより高められる結果が得られることが見い出されている。
要約すると、新規なコンセプトに到達する自律的探索手順が説明されてきた。また、このような探索手順は種々の知識領域に応用可能であり、また２つの別々の神経回路網の相互作用により到達される。第１のＩＥ回路網はその訓練の知識領域のなかの出力を生ずるべく訓練されている。任意の数のＡＮＮ特徴への摂動の導入はその接続強度およびバイアスの制約のもとに有意味な出力を生ずる知識領域を通じてＩＥをさまよわせる。回路網摂動のレベルが増すにつれて、制約はそれらの訓練された値から一層劇的にリラックスし始める。また連合センターまたは出力装置に警報するのにＡＡＣにより検出かつ利用され得る非在来のコンセプト並置が出現する。この技術の主な強さはＩＥ回路網をその知識領域のなかのその知識の既知の特徴を簡単に複製する状態から常に少し新しい並置コンセプトが出現する摂動のその次の状態へ徐々にかつ系統的に摂動させ得るその能力である。在来のものから穏やかに非在来のものへの微妙な変化はＡＡＣにより自律的に識別かつ選択され得る新規かつ潜在的に有用な発明を生じ得る。こうして本発明による装置はその探索スペースを多くの異なる問題への解決を捜すことに制限し、またそれをユニークな仕方で行う。
コーヒー用マグカップ-デザイン
いま図５〜８を参照すると、新規なコーヒー用マグカップなどのような模様のデザインおよび製造に使用され得る本発明による装置の実施例が示されている。本コーヒー用マグカップは審美的に望ましく、また有用な機能を提供し得る。しかし、本発明による装置がコーヒー用マグカップの製造に制限されることなく芸術的な仕事を含む多くの他のデザインおよび形状を作り出すのに使用され得ることは明らかである。本装置を本装置に三次元の形態で対象物、この場合にはコーヒー用マグカップを製造させるべく、レース、ステレオリソグラフィックまたはポッターホイールを含む他の作動装置とインタフェースすることも可能である。図５中には本装置２０が右側に、またその上に取付けられた粘土の小山を有するポッターホイールが左側に示されている。また図５中には、図解的な形態で、コーヒー用マグカップを所望の形状に形成するべく粘土４６の塊にこうして作動する装置またはオペレータ部材４８も示されている。整形手段４８に対する制御はＩＥ出力に与えられる制御アルゴリズムを信号化する美しさおよび機能出力により選ばれるようなＩＥ２２の出力により行われる。
図６は図５に示されている手段の論理フローダイアグラムである。このダイアグラムはＩＥ２２と、ＡＡＣ２４と、導線５８を経てＩＥに戻されるノー出力とデザインを実行と記入されているステップ５４を経て導線５６を経てＩＥに戻されるイエス出力とを有する出力決定ブロック５２とを含んでいる。ブロック５２は、「ＩＥ出力がしきいを越えるか？」と記入されている。イエス出力５４は、マグカップの形状を整形するような仕方でテムプレートまたは可動ピンのような装置を制御する。
図７は、どのようにＩＥ２２の種々の部分の出力がこの場合には所望の形状を作り出すべく粘土４６のボディと係合する手段を有するソレノイド４８を制御するのに使用されるかを示す。ソレノイド６２は組立体４８の一部であり、またばね６０により発生され、またＩＥ出力に比例する電流により発生される磁気力によりオフセットされるばね張力により作動されるものとして示されている。
図８は、審美的に満足であり、また実用性のあるものと、最小のユーティリティ値を有するものとを含む種々のコーヒー用マグカップのデザインを示す。カップ-デザインは参照符号４６Ａ〜４６Ｌを付されている。
コーヒー用マグカップのデザインにあたって、種々のオプションが審美的および実用的な好みに関してアセンブルされなければならず、またこの情報がＡＡＣのなかにエンコードされなければならない。これは、一緒になってプロフィルまたは潜在的に可能なマグカップ-デザインをシミュレートする垂直に一列に並べられた種々の長さのストライプを発生する計算機コードを使用して行われ得る。これらのデザインは不規則な長さおよび幅のストライプを使用して陰極線管などの上に表示され得る。またランキング-スコアを使用して美しさおよび実用性に関する意見が集められ得る。こうして得られた情報は２つの別々の神経回路網、ＩＥおよびＡＡＣを訓練するために使用されるべきスプレッド-シートの上に置かれ得る。ＩＥは入力およびＡＡＣが入力および出力の意義を反転するにつれて形状がいま入力および美しさ／ユーティリティ-レーティングとしての役割をし、またこれらが出力となるように美しさおよびユーティリティを使用して訓練されている。
音楽
図９〜１５は音楽作品または音楽フレーズを作り出すのに使用される本発明による装置７０を示す。図９を参照すると、装置７０は前記の構成のように一緒に結合されて示されているＩＥ７２およびＡＡＣ７４を含んでいる。ＡＡＣはＩＥの種々の出力のなかから選ぶように、またブロック７６で出力音楽レーティングを作り出すように訓練されており、このレーティングは「レーティングがしきいを越えるか？」と記入されているブロック７８に与えられる。もしレーティングがしきいを越えないならば、出力がリード８０上に発生され、この出力は「新しいノートを無視する」と記入されているブロック８２に与えられ、またこの出力端は「重みを更新」と記入されているブロック８４および「ランダムな重み切り詰めを実行」と記入されているブロック８６を含む他のブロックに与えられ、またリード９０上でＩＥにフィードバックされる。もしブロック７８の出力端がイエスであれば、出力は「バッファに新しいノートを加える」と記入されているブロック８８を通じてＩＥの条件をさらに変更するべくＩＥにフィードバックされる。図９とコーヒー用マグカップの製造と結び付けて先に説明したデザインとの間の差は、図９中では出力がＩＥおよびＡＡＣの訓練に関係する特定の仕方で配置されている音楽トーンであり、また出力端が説明されるように音楽フレーズまたはテーマであることである。音楽作品または音楽テーマを作り出す際に、本発明による装置は前記のモードＡ、ＢおよびＣを実施する類似のリラクゼーション技術を用い、またこうしてオリジナルな音楽テーマの有意義な合成を達成する。この実施例でのＩＥは「トウィンクル・トウィンクル・リットル・スター」、「デイジィ」および「マリー・ハッド・ア・リットル・ラム」のような多数のソングを実行するべく学習する回帰回路網である。示されているような回路網は図９中に示されているように８−１０−８アーキテクチュアを利用しており、回路網の出力は入力としてフィードバックされている。最初の２つの入力はソング（Ｓ１）、（Ｓ２）をエンコードし、次の４つ（Ｎ１−Ｎ４）はノート-オーダーを示し、また最後の２つ（Ｆ１）、（Ｄ１）は任意の所与のノートのピッチおよび継続時間を含んでいる。回路網の出力は音楽シーケンスのなかの次のノートに対する適切な値を持つ値のすべてと類似の意味を持つ。図１０中に示されているような回路網は（Ｌ１〜Ｌ４）で示されている４つの相（１〜４）を有する。回路網の出力は同一の意味を達成するが、いまはシーケンスのなかの次のノートを表す。いずれも所望のマッピングを達成するために必要なニューロンの２つの隠された相が存在する。これは図１０中にニューロンの２つの中央の列により示されている。最も左の入力Ｓ１−Ｓ２を（０、１）、（１、０）または（１、１）の値に設定することにより回帰回路網はそれぞれ「トウィンクル・トウィンクル・リットル・スター」、「デイジィ」および「マリー」を演奏する。回路網の入力端のすべて、特にＳ１およびＳ２への乱数の供給は回路網を１つのソングから他のソングへジャンプさせ、チューンを並置し、また音楽を作り出す。
再び図１０を参照すると、（１）異なったレベルの能動化による個々のニューロンの収縮および膨張の形態での回路網能動化、（２）それらのピッチを含むノートの最新の訓練の帯状記録紙記録、および（３）３つの訓練メロディのいずれかの線形組み合わせとして同時に作用する回路網の出力を分類するべく訓練されてきた別々の回路網の出力が示されている。この後者の特徴はハイブリッド化されたソングのなかの個々のチューンの重みを想像するのに助けになる。このような音楽のハイブリッド化は図１０中でわれわれがＡＡＣにより選択されておりまた実行されている「トウィンクル」および「マリー」の組み合わせを見るところで生起している。ＩＥの訓練は任意の特定のソングのなかで相い続くノートの間のマップを作り出すことにより成就される。入力として回路はソング-ナンバーに対して２値コード化されたラベルを与えられている。たとえば、２値コード化されたソング-ナンバー１−３はノードＳ１およびＳ２への入力であり、２値コード化されたノート-オーダー１−３１はノードＮ１−Ｎ４への入力であり、また周波数および継続時間値はノードＦ１およびＤ１への入力である。訓練のためのターゲットは同一の２値コード化されたソング-ナンバー（出力ノートＳ１およびＳ２）、１の値によりインクレメントされる２値コード化されたノート-オーダー（出力ノードＮ１−Ｎ４）および出力ノードＦ１およびＤ１のなかのソングの次の周波数-継続時間対を含んでいる。ソングのラップ-アラウンドは音楽シーケンスのなかの最後のノートを最初のノートへマッピングすることにより達成される。これまでに説明してきたことはＩＥの作動に関する。いま、ＩＥからの出力端に作動するＡＡＣの機能および訓練を説明する必要がある。訓練目的に対して訓練計算機コードが１／ｆ分布に従うノートのシリーズから成る４つのノートのシリーズを発生するべく書かれ、その特徴はわれわれが音楽として受け入れるすべてのサウンドの特性である。このトーンのシリーズは評価を受け、その後に評価する人間が０−１０ポイントスケール上でその美的な値に応答することを要求された。この種の約１００の試行の後に、各々がメロディから成る周波数のシリーズがそれらのコンセンサス-ランキングに沿ってスプレッドシートに通された。従って、入力は数値スコアから成る訓練に対するターゲット値に沿うノート-シーケンスから成った。実際のメロディは訓練セットのなかで実現され、またそれらのアピールに対する１０の値でランク付けされた。他方においてランダム発生器からのノイズは０のランキング値でスプレッドシートのなかに埋められた。このデータでの訓練に続いて、訓練された神経回路網ＩＥおよびＡＡＣが同一の計算機コードのなかに埋められた。
ＩＥはループのなかに置かれ、その入力端に零と１との間の値が乱数発生器から供給され、こうしてＩＥの出力端に複合メロディを発生した。いつでも演奏されるたかだか４つのノート（４つの周波数-継続時間の対）を含んでいるバッファがＡＡＣの８つの入力によりサンプルされ、各々がその音楽的受容可能性についてレーティングされた。１０ポイントスケール上で８のしきいを越える最良の音楽テーマが演奏され、また分離したファイルにアルカイブされた。本発明の装置により作曲された音楽の発生は図１１中に示されている要綱により達成された。ＡＡＣにより受容可能と思われるＩＥからの出力は計算機への相い続くノートの周波数および継続時間の双方を含むサウンド指令のシリーズとして連続的に伝達される。これらの全指令はディジタルからアナログ信号に変換され、またスピーカに供給され、そこでサウンドが聞かれ得る。従って、本発明による装置が受容可能なノート-シーケンスを発生するにつれて、それは直ちに、装置のオペレータが作り出された音楽を聞くことができるように、それらをオーディオ出力装置に中継する。ＩＥにより発生される次の４つのノートは同様にバッファに加えられ、また演奏される（以下同様）。ＡＡＣにより捕獲されたこれらのメロディの１０のサンプルが図１２に示されている。それらの周波数ＦはＨｚで示されており（１オクターブが示されている）、また各ノートの継続時間Ｄは秒の１／１８の単位で与えられている。
オリジナルな音楽を合成する第２のアプローチは３−１６−２０のノーダルアーキテクチュアおよびＩＥ２０−１０−１のノーダルアーキテクチュアのＡＡＣから成るように変更された本発明による装置の使用を含んでいる。前者は音楽フレーズまたはテーマから成るノート-シーケンスを生じた。続いて、ＡＡＣがこの試行メロディ-フレーズをその音楽的受容可能性に関してチェックする。これは図１３中に示されている。この場合ＩＥは、所与の音楽フレーズのなかの最初の３つのノートのトーン周波数（すなわちＨｚで）に関するパターン完成を実行するべく訓練されている。訓練のための音楽フレーズは２０のよく知られたソングからの非常に理解しやすいセグメントから成っている。こうして最初の３つのノートが与えられると、回路網は音楽シーケンスの残りのものを供給するべく訓練された。出力は１０の相い続く周波数-継続時間対から成っており、周波数はヘルツで、また継続時間は１／１８秒の単位で与えられた。
同一の装置のなかでＡＡＣはポピュラーなメロディ-テーマからの２０のノート-セグメント、乱数表から選ばれた周波数から発生されたトーンの５０例がおよびノイズおよび上記のポピュラーなメロディ-テーマにのみ訓練された類似のＩＥへのノイズの導入により発生された約１００の試行メロディの演奏により訓練される。訓練のためのターゲット値はポピュラーなテーマに対して１の数値スコア、ＩＥが発生したメロディへの０−１の数値ランキング（ヒューマン-パネリストにより決定されるような）および乱数表を使用して発生されるノイズに対する０の数値スコアから成っていた。
ＩＥの内部接続重みへの時変性入力および時変性摂動の双方のＩＥ切り詰め導入の種々の組み合わせを使用して本発明による創造力機械が、１１．０００の音楽的に受容可能なテーマまたはフレーズがあつめられるまで、自律的に運転することが可能にされた。このプロセスにより作り出された典型的な音楽フレーズが図１４に示されている。図１５には本発明による装置により作り出された５０の代表的な音楽フレーズが示されている。リストの最上段には各列のなかに示されているナンバーに対する周波数および継続時間に関する識別子が示されている。換言すれば、図１５は各トーンの周波数および継続時間が指示されており、聴覚的に再現可能な音楽テーマのナンバーが示されている。
自動車デザイン
本発明による装置の他の応用は、モードＡおよびＢでＡＡＣがＩＥのアーキテクチュアを変更しまたＩＥ定数へのある種の入力を保持する決定を自律的に行うことを許される場合である。この例の趣旨は自動車または車をその主要な仕様および特性に関してデザインすることである。これはその所望の性能、保険適用、担保保証、盗難の確率および期待されるユーザーの満足度に関するいくつかの概念に基づいてなされる。本発明による装置を作り出すときの２９のデザイン仕様の性能特性は図１６中のＩＥへの可能な入力として示されている。ＡＡＣは他方においてマップをデザイン仕様から性能特性へ反転する。回路網ＩＥおよびＡＡＣの双方は２９−１０−２９のノーダル-アーキテクチュアを利用する。図１６中に示されている構造１００はＩＥ１０２、ＡＡＣ１０４およびＡＡＣからの出力端１０６を含んでおり、出力端１０６は「カンディデート自動デザインがパーフォーマンス規範を満たすか？」と記入されている決定ブロック１０８と接続されている。ブロック１０８はイエス出力端１１０を有し、この出力端はアルカイブ-デザイン-ブロック１１２に接続されており、このブロック１１２は分岐１１６を通じて装置１００の入力端に接続されている。ブロック１０８の出力端は分岐１１８および１１６を経て装置１００の入力端に接続されている。分岐１１６は「ＩＥコネクション重みに摂動を与える」と記入されているブロック１２０を経てＩＥ１０２の入力端に接続されている。ブロック１２０は「探索がＮサイクル以上継続したか？」と記入されている他のブロック１２２に接続されており、このブロックは出力端１２４を有する。ブロック１２２の出力端１２４は「スケルトン化ＩＥ」と記入されているブロック１２６に接続されており、ブロック１２６の出力はＩＥ１０２への入力として与えられ、また「ランダム-パフォーマンス-ファクタをＩＥに入力」と記入されている入力ブロックに接続されている。ブロック１２４は分岐１３０を通じてＩＥ１０２の入力端への同一の入力ランダム-パフォーマンス-ファクタ-ブロックに接続されている他の出力端１２８を有する。
作動中ＩＥ入力は乱数表からの供給された値である。これらの２９のコンポーネント-ベクトルの各々が回路網を通じて伝播されるにつれて、物理的に実現可能な自動車デザインが、その２９のデザイン仕様に関して規定されてその出力端に現れる。ＩＥからの出力の各集合は次いでＡＡＣ１０４の入力端に供給され、そこでフィードフォワード伝播により仕様の特定の集合からの結果としての性能特性を生ずる。これらの性能特性は次いで、適切なデザインが得られているか否かを決定するべく所望の性能特性と比較される。これはＡＡＣのなかに訓練されているものである。もしデザイン特性が規範を満足するならば、そのカー-デザインが陰極線管のような周波数の上に表示される。もしそのデザインがこれらの要求を満足しないならば、追加的なランダム入力がＩＥ１０２に供給され、また、ＡＡＣ１０４により類似の仕方で評価されるべき他のカンディデデイト-デザインを発生するべく、新しい摂動がＩＥコネクション重みに与えられる。図１７は少なくとも３０ｍｐｇのハイウェイ-マイル数、たかだか２５．０００ドルの小売価格および本発明による装置により合成された（１）、０、（−１）レーティング-スケール上の計画されたユーザー満足度を有する車のデザインを示す。
この場合重要なことは、ランダム-コンポーネントならびにＩＥに与えられる内部摂動から成る入力ベクトル上でベクトルの完成を実行することにより、回路網が物理的に実現可能なカー-デザインのみを作り出すことである。また、この例では、カーブ重量およびタイヤ寸法のような特性は馬力のような因子により現実的なスケールとされている。こうして無数のナンセンスな仕様が、訓練された神経回路網のなかでコネクション強度により与えられるソフトな制約により、ＩＥのなかで除去される。もし本発明による装置が数値性能規範を与えられるならば、探索時間が延長されよう。従って、もしＩＥ１０２を通じての１０の伝播のような予め定められた数のフォワード伝播の後に、性能規範が満足されていないならば、アルゴリズムが探索を局限しようと試みてＩＥ１０２からの重みの制御された切り詰めを指令する。この場合、所望の範囲を含む性能値の予め定められたエンベロープのなかに入っているか否かを見るべく、全体装置１００を通じてランダム化されたいくつかの入力ベクトルを伝播しながら、重みはＩＥから１つずつ除去される。この範囲の外側でＡＡＣ出力を発生する重みが除去されるべきであれば、それは置換される。一層ラジカルな自動車デザインが要求されるならば、このような仮説的な自動車の性能を予測するＡＡＣに関係して、ＩＥのコネクション重みにアルゴリズム摂動の振幅のシステマティックな増大が行われよう。
本発明がここに説明された目的に限定されずに多くの目的に使用され得ることは当業者に理解されよう。重要なことは、一方はＩＥとして作動し、他方はＡＣＣとして作動する２つの神経回路網または神経回路網の群を使用することにより無数の可能な用途が想像し得ることである。これらの用途はデザイン、問題解決、選択、製造プロセスの開発および多くの他の領域にわたり得る。
以上にいくつかの目的に対して創造力をシミュレートし、また有用な情報を自律的に発生する新規な装置を図示し説明してきたが、多くの変更および応用が当業者により可能であり、それらは下記の請求の範囲によってのみ限定される本発明の範囲に属するものとする。

Claims (10)

1. 所定の創作活動の分野内の所望のコンセプトを決定するための人工神経回路網ベース（２０、７０、１００）のシステムであって、
   入力部と出力部を有する第１の人工神経回路網（２２、７２、１０２、１０４）であって、前記入力部で前記第１の人工神経回路網へと入力が供給される時に、任意の時点で適用可能な特定の動作要因に従って前記出力部で出力を生成するよう動作可能な第１の人工神経回路網と、
   前記第１の人工神経回路網に関連し、前記第１の人工神経回路網の前記出力部で生成される前記データ出力を観察するモニタ（２４、５２、７４〜７８、１０４〜１０８）と、
   前記第１の人工神経回路網の一つ以上の動作要因を摂動させ、それにより、前記第１の人工神経回路網により前記第１の人工神経回路網の出力部で生成される出力内に、前記第１の人工神経回路網の摂動されない動作要因によって制約される変化を起こさせる、前記第１の人工神経回路網を摂動させる手段（５６、５８、７２、８４〜８６、９０、１０２、１１６、１２０〜１３０）と、を備え、
   前記第１の人工神経回路網は、所定の創作活動の分野で予め訓練されて特定の知識領域を内部に確立し、前記確立された知識領域に初期適用可能な動作要因に従って、前記入力部で前記予め訓練された第１の人工神経回路網に供給される入力のパターンに応答して確立された出力を生成するよう通常動作可能であり、
   前記第１の人工神経回路網を摂動する手段は、前記予め訓練された第１の人工神経回路網による出力の生成に応答して動作し、前記予め訓練された第１の人工神経回路網の他の摂動を起こし、
   前記モニタは、前記予め訓練された第１の人工神経回路網の前記出力部において生成された前記データ出力の検出に応答して作動し、それにより、前記システムは、複数の入力-摂動-出力マッピング関係を一定時間にわたって確立し、前記第１の人工神経回路網が適切に摂動されると、前記第１の人工神経回路網の出力で新しいコンセプトを合成し、前記モニタを介して前記第１の人工神経回路網により生成された有用な出力を同定するよう動作可能であることを特徴とする人工神経回路網ベースのシステム。
2. 前記モニタは、前記予め訓練された第１の人工神経回路網の前記出力部で生成された前記観察されたデータ出力の中から、予め定義された基準を満足する前記観察されたデータ出力における一定のデータパターンを同定するよう動作する比較器部分（２４、５２、７８、１０８）を備え、前記予め定義された基準を満足するデータ出力の同定により、前記所定の創作活動の分野内の特定のコンセプトが決定されることを特徴とする、請求項１に記載のシステム。
3. 前記第１の人工神経回路網を摂動する手段は、前記予め訓練された第１の人工神経回路網の摂動を実質的にランダムに起こさせるよう動作可能であることを特徴とする、請求項１に記載のシステム。
4. 前記予め訓練された第１の人工神経回路網を摂動させる手段は、前記予め訓練された第１の人工神経回路網に内部摂動を導入する手段（８４〜８６、９０、１１６、１２０）を含み、それにより、摂動されていない動作要因によって決まる動作に変化を起こさせ、それにより、前記予め訓練された第１の人工神経回路網に供給される入力の所与のパターンに対して、かかる神経回路網の摂動が無いときの前記予め訓練された第１の人工神経回路網による該所与の入力パターンに応答して生成されるであろう対応する標準データ出力とは異なるデータ出力を、前記予め訓練された第１の人工神経回路網の前記出力部にて生成させ、前記異なるデータ出力は前記予め訓練された第１の人工神経回路網の摂動されない動作要因によって決まるが、前記所定の創作活動の分野内の異なるコンセプトを同定することを特徴とする、請求項２に記載のシステム。
5. 前記予め訓練された第１の人工神経回路網を摂動させる手段は、前記予め訓練された第１の人工神経回路網に外部摂動を導入し、前記予め訓練された第１の人工神経回路網の前記入力部における前記特定の入力パターンを変化させ、それにより、前記特定の入力パターンに応答して出力が生成されると、入力−出力データペア関係を確立する手段（７２、１１６、１２２、１３０）を備えることを特徴とする、請求項２に記載のシステム。
6. 前記予め定義された基準は、かかる予め定義された基準を満足する前記予め訓練された第１の人工神経回路網の出力が前記所定の創作活動の分野において望ましいコンセプトであるように、選択されていることを特徴とする、請求項４に記載に記載のシステム。
7. 前記予め訓練された第１の人工神経回路網は、スプレッドシートアプリケーションのスプレッドシート内に実装されることを特徴とする、請求項４または５に記載のシステム。
8. 前記モニタは、予め訓練された人工神経回路網を備えることを特徴とする、請求項４または５に記載のシステム。
9. 前記予め定義された基準は、前記予め訓練された第１の人工神経回路網からのデータ出力内の特定の所望パターンを表すように選択され、それにより、前記予め定義された基準が満たされると、前記決定された入力−出力ペア関係はかかる予め定義された基準を満足する前記データ出力をもたらすデータ入力を同定することを特徴とする、請求項５に記載のシステム。
10. 前記外部摂動を発生させる手段は、前記予め訓練された第１の人工神経回路網への変化させられた入力を生成する手段を備えることを特徴とする、請求項５に記載のシステム。

Images