JPH10510083A - ルールベースデータ処理装置のための行動予測 - Google Patents

Abstract

(57)【要約】 ＲＴＡ又は同様のルールベースエージェント(102)は、内部予測モジュール(100)を具えることによってその環境の仮想的シミュレーションを構成することができる。予測モジュールは、エージェントの行動を定める母集団(106)とタンデムに走行するルール母集団を含む。予測モジュールのルールは、エージェントの行動状態変化の予測を表し、それらの精度は、一層高いフィットネス割合を与えられる一層正確なルールと周期的にチェックされる(110)。遺伝アルゴリズム(108)はミューテーションオペレータを定め、これにより最も高いフィットネスを持つルールから他のルールが作られる。予め定められたフィットネスのレベル（所定の精度）に到達した時に、外部（実世界）刺激に代わる直接制御によって、予測モジュールルールが環境の仮想的シミュレーションをエージェント行動に与える(116)。

Description

【発明の詳細な説明】 ルールベースデータ処理装置のための行動予測 本発明はルールベースデータ処理装置及びこのような装置で用いるための行動 予測を最適化する方法に関する。 ルールベースプロセッサシステムは、行動が１つの値に対して実行される簡単 な動作又はルールである行動言語をサポートすることができる。この場合、ルー ルがイベント（行動状態変化）間の論理的及び一時的な関係を決定する。従って ルールの条件部分（またルールの左側行動としても知られている）に対応するイ ベントがルールの応答部分（右側行動）に対応する次のイベントの原因になる。 このようなルールベースリアルタイム言語の１つの例は、Proceedings of the E uropean Simulation Multiconference 1991 の第226-231 頁に記載されているリ アルタイムエイブル（Real Time ABLE）（ＲＴＡ）である。エイブルは、エージ ェント行動言語Ｅを意味し、エージェント及び多重エージェントシステムをシミ ュレートするための高度同時生成ルール言語である。エイブルは、時間と生成ル ールシステムとの密接な統合を行う。この言語は、（仮想論理回路のための）ア ンド素子、オア素子、遅延素子及びその他のような多数の素子の相互接続を含む 表現にコンパイルされるので便利である。ＲＴＡは、しっかりした生成ルールシ ステムを得るためのサーチ計画とは異なり、プロパゲーション技術を用いる。ル ールベース言語の他の例は、R.A.Brooksによる「The Behaviour Language;User' s Guide」（AI Memo 1227，Massachusetts Institute of Technology Artificia l Intelligence Laboratory、1990年４月）に記載されている。 自動エージェントが特定の環境に置かれた場合、その行動即ち能動性は、それ 自体の中で起こる原因プロセス及びその環境の中で起きる原因プロセスの両者の 生成物である。それは、観察される行動を生成するこれら２組の原因プロセスの 相互作用である。 ディテールの微細レベルにおいては、エージェントの行動は、その内部状態に おける変化に対応するイベントのシーケンスとして記述することができる。これ らのイベントは、エージェントのプログラムを形成するライセンスによって直接 的に、及び、エージェントがそれと相互作用を行う時にエージェントの行動に影 響するエージェントの環境における原因プロセスによって間接的に、引き起こさ れる。 エージェントのためにその環境の行動を予測的にモデル化するための従来の方 法は、エージェントが、明示的にプログラムされたそれのシミュレーションを具 えること、又は、エージェントそれ自体をプログラムして明示的なモデルを作り 維持することである。しかしながら、いずれの技術もプログラミングの問題を生 ずる。エージェントの環境における多くのエンティティが同時に作用し、従って エージェントが現在意図することに係わりのないシミュレーションが必要になる ので、このようなシミュレーションの実行は高価になる。 プログラムされたシミュレーションを避ける１つの技術が、David Chapman 及 びPhilip E.Agre による「Abstract Reasoning as Emergent from Concrete Act ivity 」（MIT AI Laboratory Technical Report,1986 ）に提案されている。彼 らの提案は、人工知能（ＡＩ）システムにおける内在化の概念をモデル化しよう とするものであり、エージェント自体の機能を用いて仮想的なシミュレーション を創成し、知覚的な入力を構成するものである。エージェントの観点からは、フ ィードバックによって誘起されたエージェントの内部状態の動きが現実の知覚か ら得られる動きと区別できないので、彼らは、これを「心の眼」の創成と言って いる。仮想的なシミュレーションのChapman 及びAgreの技術は、一度その環境か ら離れたエージェントの行動の学習を可能にする点で利点をもたらすが、一方、 その技術が如何にしてルールベースシステムに適用できるかについては何も示唆 していない。 従って、本発明の１つの目的は、ルールベースシステムにおけるエージェント に対し、エージェント自体が感知した環境の仮想的シミュレーションを発生する ための手段を提供することである。 本発明によれば、第１組のルールによって定義される１又は複数のエージェン トが格納されているメモリー手段を含み、各ルールが条件部分及び対応する応答 部分からなり、各ルールの条件部分が１又は複数の特定のエージェントの行動状 態又は外部入力の存在を必要とし、更に、満足するいずれかの前記条件に対し、 対応する応答を発生する応答手段を具えるデータ処理装置において、第２組のル ールを格納し、前記第１組及び第２組を並列に走行させるように構成され、第２ 組のルールの各々が第１組のルールに関する１又は複数のエージェントの状態変 化の予測を発生し、更に、予め定められた基準に従って第２組の１又は複数のル ールの予測精度を監視し、精度のレベルが前記予め定められた基準に対比して合 致するか又は超えるまで前記第２組の１又は複数のルールを選択的に修正し、且 つ第２のルールの組の予測に依って第１組の１又は複数のルールのエージェント の状態を変化させるように動作する手段を具備することを特徴とするデータ処理 装置が提供される。 第２組のルールの予測（発生される応答）に基づいて第１組のルールの応答部 分をトリガーすることにより、第１組のルールによって管理されるエージェント が、それらの環境−条件部分の満足の通常の原因−に応答するかのように反応す る。このように、第１組のルール（エージェント）と第２組のルールとの相互作 用を通して、環境の仮想的シミュレーションが行われる。これらの第２組のルー ルを、ここでは予測モジュールと呼ぶこととする。 それぞれのフィットネス値が第２組のルール（予測モジュール）の各々に対し て装置の中に保持され、これらの値は、各ルールに対する予測精度のレベルが相 対的に高いか低いかにより、装置によって増加され又は減少される。これらの修 正されたルールが、ルールの予測精度が予め定められたしきい値レベル未満であ ってそのルールが予測モジュールのルールの組から除かれる場合にのみ、（「元 の」ルールを置き換えるのではなく）予測モジュールのルールの組に加えられる ことが望ましい。 以下に説明するように、ルール修正に適した１つの装置は遺伝アルゴリズムの 使用を含み、この装置は、このような遺伝アルゴリズムが適用される予測モジュ ールルールの染色体表現を発生するように構成されることが望ましい。 更に本発明によれば、ルールベースデータ処理システムにおける第１組のルー ルからなるエージェントのための環境の仮想的シミュレーションを発生する方法 であり、前記各ルールが、条件を定める１又は複数の行動及び前記条件が満足さ れた時に発生される対応する応答を定める他の１又は複数の行動の形である方法 であって、他の組のルールからなる予測モジュールを具え、各々の前記他の組の ルールのそれぞれの応答が、前記エージェントによる前記環境との相互作用に応 答する第１の組のルールの特定の行動についての状態変化に関する予測を含み、 エージェントを前記環境との相互作用的相関関係におき、予め定められた基準に 従って予測モジュールのルールによる予測の精度を監視し、精度のレベルが前記 予め定められた基準に対比して合致するか又は超えるまで予測モジュールの１又 は複数のルールを選択的に修正し、且つ、エージェント及び予測モジュールのル ールの相互作用にのみ基づいて、環境の仮想的シミュレーションを発生すること を特徴とする方法が提供される。 仮想的シミュレーションを用いることにより、環境の明示的モデルは不要にな り、エージェントの設計が簡単になり、プログラミングの問題及びシミュレーシ ョンを行うために必要な計算リソースを減らすことができる。更に、明示的内部 モデルを表現し維持するために発生するより深刻な問題をも回避することができ る。 学習なしに環境を表現する能力を自動的に向上させるニューラルネットワーク について、いくつかの提案が行われている。本発明の利点は、学習したことが一 組の記号化されたルールであるということであり、続いて、標準的なコンピュー タハードウェアで効率的に実行することができるということである。 多くの機械学習システムは、例えば、クラス化システムのバケットの組又はニ ューラルネットのバックプロパゲーションアルゴリズムのような、システムのパ ラメータの間にクレジットを分配するために明示的な機構を必要とする。本発明 においては、各ルールフィットネスが直接評価され、多くの場合続いてクレジッ トが直接割当てられるので、クレジット割当ての問題が低減されている。 本発明の他の特徴及び利点は後に及び請求項に記載される。 本発明は、以下に特にＲＴＡエージェントを参照し添付図面を用いて例示の方 法により説明される。 図１はエージェントアーキテクチャの論理回路表現、 図２は図１のエージェントアーキテクチャの状態テーブル表現、 図３は対応する予測モジュールを伴うエージェントの図式表現、 図４は遺伝アルゴリズムによる予測モジュールルールの連続的修正の効果を示 す図、及び 図５は本発明を実施するデータ処理装置のブロック図である。 説明のために、図１は、単純なＲＴＡシステムからコンパイルされたエージェ ント８の非同期論理回路表現を示す。３つの単純な行動ａ、ｂ及びｃ（レジスタ 10、12、14）は、16、18及び20でレジスタとして表現される３つの異なるルール において、それぞれのレジスタが動作状態であるか否かに従ってイネーブル又は ディセーブルであり、且つ論理機能と時間表記（遅延素子）との結合によって実 現されるルール機能と結合される。この図は、応答を定める行動ｃに対して状態 変化を有する各々のルールを持つ単純な実現例を示す。これによる状態変化の回 路を通る一般的なプロパゲーションは左から右に向かう。更に複雑な実行例とし て、行動ｃが応答を定める行動ｂを持つルールの条件部分の一部を構成した例に おいては、状態変化プロパゲーションは更に図の右から左へ（例えばｃからｂへ ）向かうことがある。 図１の実行例においては、レジスタ10（行動ａ）が複数の独立したスタート又 はサポート入力22及び複数の独立したストップ又はリジェクト入力24を有する。 スタートとサポートとの差異及びストップとリジェクトとの差異は、後述するよ うに、ライセンスの結果を受信するかスキーマの結果を受信するかである。行動 の出力ａは、それぞれ、第１遅延素子26の入力に、短い（１マイクロ秒）遅延素 子28を経てアンド素子30の第１入力及びアンド素子32の第１入力に接続される。 （他の時間の単位を使ってもよいことが既に明らかであるとしても）遅延素子26 は10.0秒の遅延を設定し、それにより素子26の出力は、入力がターンオンした10 秒後にターンオンする。しかしながら、この出力は入力がターンオフすると同時 にターンオフする。遅延素子26の出力は、（ＲＴＡによって要求されるように） アンド素子34でルール機能レジスタ16の入力と結合され、遅延素子36を通ってレ ジスタ14（行動ｃ）の第１スタート入力に接続される。レジスタ14は出力60を有 する。素子36の遅延（10マイクロ秒が適当）により、読取り前に状態が確定され る。 レジスタ12（行動ｂ）は複数のスタート又はサポート入力38及び複数のストッ プ又はリジェクト入力40を有する。行動ｂの出力は、アンド素子30及び32の第２ 入力にそれぞれ接続される。アンド素子30の出力はアンド素子42でルール機能レ ジスタ18の出力と結合され、そこから（同様に読取り前に状態を確定するため） 遅延素子44を経てレジスタ14の他のスタート入力に接続される。アンド素子32は 1.0秒の遅延を持つ他の遅延素子46の入力に接続された出力を有する。遅延素子 46の出力は、アンド素子48でルール機能レジスタ20の出力と結合され、（同様に 読取り前に状態を確定するため）遅延素子50を通って、レジスタ14のサポート入 力及びインバータ52の入力に接続される。インバータの出力はレジスタ14のリジ ェクト入力に接続される。 図１のエージェントは、次のＲＴＡプログラムルールを実行する。 a/10.0 --> c (1) (a & b)/1.0 ==> c (2) a>>b-->c (3) (1)及び(3)はライセンスと呼ばれるルールの型の例である。(1)は、行動ａ（ レジスタ10）の状態が既に10秒間連続的に設定されている場合に、行動ｃ（レジ スタ14）の状態を設定する効果を有する。図１において、このライセンスは、レ ジスタ10とレジスタ14のスタート入力の１つとの間に接続された遅延26によって 達成される。(3)は、行動ａの状態が行動ｂ（レジスタ12）の状態の前に与えら れるべきことを要求する AND＿THENライセンスである。行動ａ及びｂが同時に出 力された時には、遅延28が正しい順序を確実に実現する。 (2)は、ライセンスに類似するが、条件が満足されると同時にスキーマが消滅 し従ってスキーマの結果が廃棄されるとの付加的な効果を具える、スキーマと呼 ばれるルールの型である。この例においては、行動ａ及びｂ（レジスタ10及び12 の出力）が両者共 1.0秒間連続的に設定される場合に、行動ｃの状態が設定され る。この効果は、遅延素子46を経てレジスタ14のサポート入力に接続されたアン ド素子32の出力によって提供される。しかしながら、行動ａの状態又は行動ｂの 状態がリセットされた場合は、行動ｃの状態もリセットされなければならない。 この効果は、アンド素子32の出力とレジスタ14のリジェクト入力との間に接続さ れたインバータ52によって達成される。 表示素子は、プロパゲーション又は装置の前方チェーニング特性によってエッ ジトリガーされると見做すことができる。レジスタ素子10、12の入力及びレジス タ素子14の出力は、一般的に他のエージェント及び／又はそれらの環境を表示す る更に大きい非同期論理回路の他のセクションに接続される。 このようなエージェントの論理的表現は、図２に示されるように、テーブルの 形でデータ処理装置のメモリーに格納される。図１に示された行動（レジスタ素 子10、12、14）、時刻表記（遅延素子26、28、36、44、46、50）、論理機能（素 子30、32、34、42、48、52）及びルール機能（レジスタ素子16、18、20）が、そ れぞれ、このテーブルで行を持つ。テーブルの各々の行は、素子番号EN（分かり 易くするため、図１に示されるような素子の参照番号が用いられる）、デバイス の状態フラグＳ、デバイスのキュー状態フラグＱ（後で説明する）、内部状態IN T 及びプロパゲーション機能スタートアドレスSAを識別する。テーブルの行が関 係する素子の状態が変化する（ここではイベントという）と、プロパゲーション 機能が実行され、このような変化によって影響を受ける全ての素子に適切な変化 を起こさせる。これらのプロパゲーション機能は、一定のメモリー位置又はスタ ートアドレスSAに配置されることが望ましい。１つのイベントによって影響を受 ける全ての素子についてサーチをするようなことをせずに、このようにプロパゲ ーションによって素子の状態を変化させることにより、装置が効率的に動作する ことができる。 エージェントの環境の仮想的シミュレーションの発生を可能にするため、図３ に示すように、エージェント102 の中に予測モジュール100 が作られる。モジュ ール100 は、リンク104 を介して、エージェントがその環境と相互作用を行う時 に、エージェントの行動106 の中で起きる一連のイベント（行動状態の変化）を 監視する。予測モジュール100 は、ＲＴＡルールの進化する母集団として構成さ れ、その予測は遺伝アルゴリズム108 によって最適化され、それらのルールはエ ージェントの行動を定めるＲＴＡプログラムと並列にリアルタイムで走行する第 ２ＲＴＡプログラムを形成する。学習プロセスが行われている間、予測モジュー ルのイベント予測が実際にはエージェントの行動に影響を与えない（即ち、予測 モジュールの動作はエージェントの行動には「見えない」）と仮定すると、予測 モジュールによって予測されたイベントは、遺伝アルゴリズム（後で説明する） による進化を通してエージェントの実世界の環境で実際に起こるイベントと相関 を持つようになる。 予測モジュールにおける各ルールのフィットネスが、その予測（112 で表され る）とエージェント（114 で表される）中に起こるイベントの流れとを比較する ことによって（110 で）評価される。イベントを正しく予測するルールは高く評 価され、実際に起こらないイベントを予測するルールは低く評価される。この基 準によって高いフィットネスを持つルールが結合されて新しいルールになり、低 いフィットネスのルールは削除される。 遺伝アルゴリズムが或る時間走行した後は、予測モジュール100 におけるＲＴ Ａルールの母集団は高いフィットネスを持つルールを含み、従って精度よくエー ジェントの行動を予測することになる。エージェントの行動106 はエージェント の環境との相互作用を持ち続けているので、外部行動入力を予測モジュールから の直接行動制御（点線116 で表示）で置き換える−実際には予測モジュールルー ルをエージェント行動のそれらに加える−ことによって、エージェントの環境の 仮想的シミュレーションを発生することができる。 この技術は、ＲＴＡのようなルールベースシステムの表現的な能力及び所望の 行動を持つ構造を進化させる遺伝アルゴリズムのパワーを利用している。ＲＴＡ ルールは、エージェントの原因行動と物理的プロセスを記述し実行する、便利で 有効な手段を提供するために、何年にもわたって開発されてきた。各々のルール は独立に且つ他の全てのルールと並列に動作するので、従って一組のＲＴＡルー ルは、それに対して遺伝アルゴリズムが動作することができる、独立して行動す る個体の望ましい母集団である。 ＲＴＡルールのようなルールの重要な特徴は、それらの計算は状態駆動ではな く変化駆動であるので、ルールの大きな母集団をリアルタイムで実行することが できることである。これは、大部分の時間、それらの入力が状態を変化させず、 従って計算時間を必要としないので、母集団の大部分のルールが非動作状態であ ることによる。これは、個別のエージェントの内部で、それが相互作用を行う時 に、ルールの大きな母集団に対してリアルタイムで遺伝アルゴリズムが走行する と考えることを可能にする。 ＲＴＡルールのようなルールの他の特性は、それらが、ルールの条件が満足さ れた時からルールによって予測されたイベントが実際に起きるまでの遅延時間を 決定するタイミング情報を含むことであり、従ってＲＴＡルールの複数の組が、 エージェントの原因行動及び未来の状態変化のような物理的プロセスの時間依存 の観点を記述しシミュレートすることができ、この特性により、それらが、予測 モジュールで利用するために特に適したものになっている。 実用上、遺伝アルゴリズム108 が、予測ルール母集団の中の最もフィットする 個体を交配することにより進化を擬制し、更にフィットする子孫を生成する。遺 伝アルゴリズムのパワーの多くが、個体をフィットするようにする基礎のための 無条件のサーチで得られるクロスオーバー動作に由来する。従ってこれらは、そ の行動がそれらの構造に依存するＲＴＡルールのような個体を進化させるのによ く適している。 遺伝アルゴリズムは次の５つの成分を必要とする。 −母集団中の個体の染色体表現、 −初期母集団の源又は初期母集団の創成方法、 −フィットネスについて個体を区分する評価機能、 −子孫の構造を決定する遺伝オペレータ、 −アルゴリズムのパラメータの値（例えばミューテーション速度）。 遺伝アルゴリズムにおける染色体表現は、（直接に又は間接に）ルールの構造 、その時間遅延、及びそれが関係するエージェントの状態の特定の成分を表すビ ットストリングであることが望ましい。ビットストリング表現に代えて、ＲＴＡ コンパイラによって内部的に用いられるルールのツリー構造表現に対して直接動 作する遺伝オペレータを与えてもよい。 初期予測ルール母集団は、外部オペレータによってＲＴＡ中で、エージェント の環境についての初期前提を表す一組のルールとして定義され、それは、予測モ ジュール及びエージェントの内部状態の成分の結合に利用可能な、予めロードさ れたルールの母集団からの擬似ランダム選択であってもよいし、又は、対象の行 動状態変化の型に適用される統計的考察に基づくエージェントの監視の期間の後 、及び対象の行動状態変化間の一時的な関係の型に適用される統計的考察に基づ くエージェントの監視の期間の後における、少なくとも部分的な選択であっても よい。これらのいずれの場合においても、関連するエージェントの内部状態の成 分の範囲の基本的な計画を確実に与えるため、予めロードされた母集団が強制的 な選択を含むことができる。 110 （図３）で用いられるような評価機能は極めて重要な特徴である。前述し たように、これは、元のエージェントと並列に動作するＲＴＡネットワークを形 成する予測モジュール中のＲＴＡルールの組によって発生される予測に適用され る。これにより、エージェントの自己のＲＴＡルールが実行されるレートと殆ど 同じレートで、予測モジュールの全てのルールのフィットネスを評価することが 可能になる。 図４のＩは、多数の時間間隔Ｔにわたる図３のエージェント102 における行動 状態変化に関する二値表現Ｘの一部を示すもので、「１」は行動スイッチングが オンを表し、「０」は行動スイッチングがオフを表し、「−」は行動状態変化が ないことを表す。更に、行動予測表現Ａ、Ｂ、Ｃ、Ｄ（即ち、予測モジュールの ４つのルールに基づく同一時間間隔についての予測）の初期母集団も示されてい る。評価機能が各ルールの予測に基づいてそのルールについてのフィットネス値 を決定する。これらのフィットネス値（純粋に説明上の百分率値が図示されてい る）により、最も正確で、後続処理のために最も望ましい基礎を与える予測ルー ルが決定される。第１の例の場合には、これらはＡ及びＣを生成するルールであ る。上述のように、幾つかの予測モジュールルール（例えばＡを生成するもの） は、例えば行動のスイッチングオンのような行動イベントの１つの型のみを予測 するが、これは、適当なポイントでの行動のスイッチングオフを予測する他のル ールがある場合には、仮想的シミュレーションにおいて問題を生じさせることは ない。 予測Ａ及びＣを生成するルールから、例えば予測ルール間でパラメータを交換 することによって、予測Ｅ及びＦを導出する他の予測ルールが生成され、IIに示 すように、これらの予測と実際のルール適用対象Ｘとの比較によってこれらのル ールのフィットネスが更に評価される。予測Ａ及びＣを生成するそれぞれのルー ルのフィットネスが、Ｉにおける第１のテスト以後変化していることに注意すべ きである。これは、高い評価及び低い評価の集積によるこれらのルールの継続的 な評価によるか、或いは、これらのルールが個別に適用されたミューテーション によるものである。これから、長時間にわたるテストによって測定されたフィッ トネスにおいて、予測Ａが最も改善され、一方予測Ｃは劣ることが分かる。予測 Ａ及びＣを与えるルールの第１の子孫（予測Ｅを与えるルール）は極めて高いフ ィットネスを持つが、一方、予測Ｆを与える第２の子孫は低いフィットネスを持 つことが分かった。従って、第２世代の修正は予測Ａ及びＥを与えるルールに基 づいて行うことが望ましく、第２世代は２つのルールの組合せ又はそれぞれに適 用される別個のミューテーションを含む。 予測モジュール中のそれぞれのルールは、それが適用された時にその予測が、 小さい時間窓の中における予測されたイベントの実際の生起と比較されるように 配置される。例えば、予測モジュールルールの１つは、行動ａがスイッチオンし た１秒後に（予測）行動ｃがスイッチオンすることを要求する a/1.0 -> c である。評価のために、このルールは a/0.8 -> c/0.4 と修正される。これは、実際に予測時刻の前後に+/- 0.2 秒の時間窓を生成し、 ａがスイッチオンして 0.8秒後にｃが 0.4秒間スイッチオンすることを示す。こ のような修正は、ルールが窓（窓が無いと行動ｃのスイッチオンが継続する）の 後でリセットになる利点を有する。マッチングがあると、即ちその時間窓の中で 予測されたイベントが実際に起きる（そのエージェント中の行動ｃがスイッチオ ンする）と、ルールについてのフィットネス値が増加される。予測されたイベン トが起きないか又は時間窓の外側で起きると、フィットネス値は減少される。 上述のように、フィットネス評価機能は、ルールの予測が（時間において、及 び行動に関して）実際に生起するイベントから離れている程度によってルールに 与えられるフィットネスの高い評価／低い評価により、部分的な成功の評価を可 能にするという利点がある。エージェントの中においては、行動状態変化（例え ば外部入力又はコンパイルされた非同期論理回路を通るプロパゲーション）に対 する１つを超える原因の存在が完全に可能であることが認識されるべきである。 予測モジュールルールがエージェントのルールの組を再生することはないが、エ ージェントにおけるエージェント環境の要因による行動状態変化の規則性を予測 するコンパイルされたルールの組に基づいて、エージェントの環境をモデル化す る。 上述の例において、常にエージェント行動ｃがターンオンすることを予測し、 他の（予測されていない）原因により他の時にエージェント行動ｃがターンオン するか否かに関わらずこれが実際に起きるとすれば、このルールは極めて高いフ ィットネスを持つことになる。このルールは、イベントの予測を失敗して低い評 価を得ることはなく、起きないイベントを予測するために低い評価を得ることが あるだけである。 遺伝オペレータにとって、良好な最適化及び空間のカバーを与えるためには、 少なくともクロスオーバー及びミューテーションオペレータが必要である。ツリ ー構造の染色体表現が用いられると、これらのツリー上で作用することが定めら れる（更に複雑なシステムにおいては、含まれる）ためには特定のオペレータが 必要である。オペレータが起こさせる変化がルールの意味構造に関して敏感であ るように、例えばミューテーションが分離を結合に換えることができるように、 オペレータを定めることが望ましい。 最後に、エージェントの相対的な複雑さのような要因に基づいて、アルゴリズ ムのパラメータが選択される。多数の行動からなる１つのエージェントについて は、多数のルールのファイアに基づいてフィットネスの評価を行うことができる ように、ミューテーション速度を比較的遅くしなければならない。図４の例にお いては、比較的低いミューテーションレートが、これらのルールに対して、IIに おける予測を与えるミューテーションされた第１のルールの組についての基礎を 形成する前に、比較的高い数の実際のルールファイアの生起数Ｘに対して、予測 Ａ、Ｂ、Ｃ、Ｄのそれぞれのフィットネスを評価することを可能にしている。 ルールの組を形成する１つの方法は、（エージェントの内部状態の特定の行動 に関する）各イベントの型が、全体としてイベントを予測する能力を具えるそれ 自身のルールの組を持つことである。 上述のように、予測モジュールのルールに定義された条件は、エージェント自 身の内部状態の成分に限定され、従って、イベントを予測するルールは１層であ る。更に強力なシミュレーション能力を持つために、この技術を多層のルールに 拡張することができる。この場合、予測モジュールシステムは、中間のイベント を予測するルールへの還元をプロパゲーションする手段を具える必要があり、そ のため一層複雑になる。 進化の期間に続いて仮想的シミュレーションを発生するため、次に予測モジュ ール中のルールが元のエージェントを形成するルールと相互作用を行う（図３の 116 ）。この場合、環境への外部リンクは実際にはもはや存在しないが、エージ ェントがあたかもその環境と相互作用を行うように振舞う。このように、エージ ェントは、エージェント自身の行動に対する予測モジュールの監視によって動的 に形成されるその環境の仮想的シミュレーションと相互作用を行う。このシミュ レーションは環境の状態変数が明示されず、且つ、シミュレートされた環境が、 それがエージェントの内部予測モジュールによって生成されるそのエージェント の「心の眼」に見えるだけであるという意味で仮想的である。 現実の環境と相互作用を行う場合、複雑な行動の場合には、正確な予測を進化 させることができるために、遺伝アルゴリズムに対し、同一の状態について多く の表現を示すことができるので、進化は遅い。この周りの道は、エージェントに とって、予測と補正のための機会の頻度を増すための特別な状態に繰り返し入る ことを強制することであるということができる。 １層の明示的記号化ルールの表現的限界により、作用の「粗い」予測シーケン スが急速に現実から遠ざかることがあるが、これは短い期間の予見のための顕著 な問題を与えることはない。前述のようなルールの多層の組はこの状態を改善す るかも知れない。 この予測及びシミュレーション能力は、問題を予知するために（従って回避す るために）又は他のエージェントの動作を予想するために、適切にプログラムさ れたエージェントで利用することができる。このようなエージェントは、純粋に 反応的に動作する同様のエージェントに比較して一層インテリジェントに見える 筈である。 関連する可能性は、エージェントを、予想されず従って特別な注意が必要なイ ベント又は状態を識別するために、その仮想的シミュレーションを実際に起きる 行動と比較することによって予測モジュールの結果を利用するために配置するこ とができることである。 予測モジュール仮想的シミュレーションに対する他の利用の可能性は、エージ ェントの意図的な行動を自動的な行動に変える手段を提供することである。意図 的な行動が充分に繰り返されると、一定時間の後、予測モジュールが行動を予測 できるようになり、従ってそれを再現することができる。この場合、元のエージ ェントが、意図的な行動の原因に反応することなしに自由に他の事柄に向かうこ とができる。この自動的行動の繰り返しによる学習は、エージェントが、他のエ ージェントの行動をコピーすることによって、技術を学習するための基礎を与え る。更に、上述のように、エージェントを繰り返しガイドし且つ補正することに よってエージェントを訓練する基礎を与えるために用いることができる。 更に他の可能性は、予測モジュールからの予測を、閉鎖と共にコピーするため の手段を与えるためのエージェントの知覚プロセスを補うために用いることがで きることである。言い換えれば、エージェントの環境における感覚的行動は、エ ージェントが現にそれらを直接感じるための充分な情報を得ていないとしても、 連続的にエージェントに明らかになる（即ち、予測モジュールによって予測され る）ような傾向がある。 図５は本発明で用いるデータ処理装置のブロック図である。ランダムアクセス メモリー（ＲＡＭ）200 は多数の分割された格納領域を具える。その第１である 202.A においては、素子番号EN、状態Ｓ、キュー状態Ｑ及び、図２に関して説明 したようにコンパイルされたエージェントのルールの組のためのプロパゲーショ ン機能スタートアドレスSAを含むテーブルを保持し、202.B においては、コンパ イルされた予測モジュールルールの組のための対応テーブルを保持する。エージ ェント及び予測モジュールは、プロパゲーション機能PFがスタートアドレスでス タートし、ＲＡＭの別個の領域である部分204.A 及び204.B にそれぞれ格納され る。ＲＡＭ200 は、エージェント及び予測モジュールの未来の状態変化のための 他の格納領域208.A 及び208.B 、それぞれのイベントスタック210.A 及び210.B 、及びプログラム記憶212 を更に具える。プログラム記憶212 は、中央処理ユニ ット（ＣＰＵ）220 のための動作命令セットを保持する。プログラム記憶212 及 びプロパゲーション機能204 は、必要な場合は、例えばリードオンリーメモリー のような他のメモリー装置に格納することができる。 ＲＡＭ200 は、データバス222 及びアドレスバス224 により既知の方法でＣＰ Ｕ220 に接続される。更に既知の方法でクロック（ＣＬＫ）226 がＣＰＵ220 に 接続される。ＣＰＵは、条件行動の満足に応答して、テーブル202.A 及びプロパ ゲーション機能記憶204.A からのコンパイルされたエージェントに対して動作し 、対応する応答を定める１又は複数の他の行動を発生する。プログラム記憶212 は、更に予測モジュールの動作を定めるこれらのルール及び適用されるべき遺伝 アルゴリズムを含む。ＣＰＵには、例えばエージェントが外部の装置又はプロセ スの制御下にある場合に用いるための外部インタフェース230 、及び、上述のよ うに予測モジュールのための初期前提データの入力を可能にするユーザー入力23 2 が具えられる。 ＲＡＭ200 は、少なくとも現在の予測ルールの母集団のコンパイルされた形の レコードを（202.B 及び204.B に）コンパイルされたエージェントルールの側に 、及び、これらのルールのレコードを（格納領域206 に）コンパイルされない形 −これは評価のための染色体的表現として適している−で保持する。206 から20 2.B 及び204.B への予測モジュールルールのコンパイルは、望ましくはＣＰＵ22 0 の制御の下に、コンパイラ段236 によって行われる。 未来のエージェント素子の状態変化のための格納領域208.A は、複数の時間間 隔Ｔ及び素子番号ENを含む２行テーブルとして配置される。素子番号ENのいずれ の番号も、これらの素子の状態が全てその時間間隔の間に変化する特定の時間間 隔Ｔに対応させて格納することができる。このテーブルは時間間隔Ｔの連続的な シーケンスとして配置されるが、プログラムの動作によって要求される時に素子 番号及び時間間隔を挿入するために便利であるためには、素子番号が格納されて いる時間間隔のみを含むスタックを用いることが望ましい。未来の予測モジュー ル素子の状態変化に対して対応する配置は領域208.B に具えられる。 一般的に、必要な場合に更に他の素子状態変化を遅延させることができるとし ても、全てのエージェント及び遅延素子に対応するものを除く予測モジュール素 子状態変化が、現在の時間間隔で実行されると予想する。時間遅延なしに生起す るこれらの素子状態変化は、近い未来、即ち、現在の時間間隔の後で且つイベン トが特定される次の時間間隔に移動する前における実行のため、イベントスタッ ク210.A 、210.B にそれぞれ置かれる。 動作については、（230 を経て供給される外部刺激に対する応答に適している ）各エージェントのための行動が走行している間、ＣＰＵは、エージェントの状 態変化Ｘの染色体的表現を周期的に発生し、これを予測モジュールが並列に走行 する時に生成される予測Ａ、Ｂ、Ｃ、Ｄと比較し、毎回予測に基づくそれぞれの ルールに対応するフィットネス値を更新する。予め定められた期間の後、ＣＰＵ 220 が最もフィットする予測ルールを決定し、プログラム記憶212 からの遺伝ア ルゴリズムを適用し、予測ルールの第１ミューテーションセットを発生する。（ 例えば図４のIIにおける）ミューテーションされたルールから得られる予測は、 次に、後続のミューテーションをガイドするための他の評価に用いられる。図５ には独立のハードウェア比較／評価段234 が示されているが、この手順は同様に ソフトウェアによりＣＰＵ220 で遂行されることが容易に理解されるてあろうこ とに注意すべきである。 予測ルールについての進化の所望の期間に続いて、又は予め定められたしきい 値フィットネスレベルに到達した時、エージェントのためのコンパイルされた予 測ルールが既にコンパイルされた形で存在する、これらの格納領域 202、 204、 208、 210の下位領域から上位領域へ転送される。この部分集合は次にＣＰＵ22 0 によって、存在するエージェントのルールとタンデムに走行され（外部入力23 0 はディセーブルになる）、それからのファイアを決定する。このようにして、 エージェントが、あたかもまだ外部刺激に応答するかのように反応を続ける。 上記において、自己の環境との相互作用の間におけるそれ自身の行動の規則性 を再生するための学習によって、その環境の仮想的シミュレーションを自動的に 構成するための、エージェントのための手段を説明した。この考察的能力は、エ ージェントにより定刻前にその動作を計画するために用いられ、従って一層イン テリジェントに行動することができる。エージェントによるこの学習メカニズム の他の可能な用途は、その動作の効果を予想し、予想していないイベントを識別 し、新しい技術を獲得することである。 本開示を読むことにより、当業者には他の変化が明らかになろう。そのような 変化は、データ処理装置及びそれらの部品の分野で既知の他の特徴及び上述の特 徴に代えて又はこれに加えて用いられる特徴を含むことがある。本出願において は請求項が特徴の特定の組合せで表現されていたとしても、本出願の開示の範囲 は更に、明示的であると否とにかかわらず、ここに請求しているいずれかの請求 項と同一の発明に関するか否かにかかわらず、及び、本発明と同一の技術的課題 の一部又は全部を軽減するか否かにかかわらず、ここに開示されている如何なる 新規な特徴又は如何なる特徴の新規な組合せをも含むものである。出願人は、本 出願又はこれから継続する他の出願の係属中に、上記特徴及び／又は上記特徴の 組合せについて、新しい請求項が提出されることがあり得ることをここに明記す る。

Claims (1)

1. 【特許請求の範囲】 １．第１組のルールによって定義される１又は複数のエージェントが格納されて いるメモリー手段を含み、各ルールが条件部分及び対応する応答部分からなり、 各ルールの条件部分が１又は複数の特定のエージェントの行動状態又は外部入力 の存在を必要とし、更に、満足するいずれかの前記条件に応答するため、対応す る応答を発生する応答手段を具えるデータ処理装置において、第２組のルールを 格納し、前記第１組及び第２組を並列に走行させるように構成され、第２組のル ールの各々が第１組のルールに関する１又は複数のエージェントの状態変化の予 測を発生し、更に、予め定められた基準に従って第２組の１又は複数のルールの 予測精度を監視し、精度のレベルが前記予め定められた基準に対比して合致する か又は超えるまで前記第２組の１又は複数のルールを選択的に修正し、且つ第２ のルールの組の予測に依って第１組の１又は複数のルールのエージェントの状態 を変化させるように動作する手段を具備することを特徴とするデータ処理装置。 ２．更に、第２組の各ルールについて得られるそれぞれのフィットネス値を保持 する記憶手段を具え、予測精度を監視し、相対的に高い又は相対的に低い予測精 度に応答して前記フィットネス値を増加又は減少させるように構成される請求項 １に記載の装置。 ３．前記第２組の１又は複数のルールを選択的に修正する手段が、予め格納され た遺伝アルゴリズムに従ってルールを修正することができるプロセッサを具える 請求項１又は２に記載の装置。 ４．修正された第２組のルールをその組に加え、予め定められたしきい値レベル 未満の予測精度を持つルールを第２組から除くように構成される請求項１乃至３ のいずれか１項に記載の装置。 ５．ルールベースデータ処理システムにおける第１組のルールからなるエージェ ントのための環境の仮想的シミュレーションを発生する方法であり、前記各ルー ルが、条件を定める１又は複数の行動及び前記条件が満足された時に発生される 対応する応答を定める他の１又は複数の行動の形である方法であって、 他の組のルールからなる予測モジュールを具え、各々の前記他の組のルール のそれぞれの応答が、前記エージェントによる前記環境との相互作用に応答する 第１の組のルールの特定の行動についての状態変化に関する予測を含み、 エージェントを前記環境との相互作用的相関関係におき、予め定められた基 準に従って予測モジュールのルールによる予測の精度を監視し、 精度のレベルが前記予め定められた基準に対比して合致するか又は超えるま で予測モジュールの１又は複数のルールを選択的に修正し、且つ エージェント及び予測モジュールのルールの相互作用にのみ基づいて、環境 の仮想的シミュレーションを発生する方法。 ６．予測モジュールの１又は複数のルールを選択的に修正するステップが、その 又は各々の前記ルールの染色体表現を発生し、それに予め格納されている遺伝ア ルゴリズムを適用する請求項５に記載の方法。