JPH0877090A - マルチエージェントシステム - Google Patents

Abstract

(57)【要約】 【目的】 本発明はマルチエージェントシステムに関
し、自動的に新たな介在エージェントを追加できるよう
にして、高い柔軟性と、自己組織化能力を持たせたシス
テムを実現することを目的とする。 【構成】 入力エージェント１と、出力エージェント３
と、介在エージェント２を備えたマルチエージェントシ
ステムにおいて、評価信号を利用して新たなエージェン
ト情報を生成するエージェント情報生成手段５を付設
し、新たな介在エージェントとして、他のエージェント
と通信信号を交換する入出力バッファ１３と、エージェ
ント情報を保存するエージェント情報保存部１２と、入
力バッファの状態と評価信号のセットである評価付デー
タを保存するデータ保存部１１と、エージェント情報を
利用して評価付データから入出力バッファの内容を更新
する入出力装置１９で構成される追加エージェントを逐
次追加可能に構成した。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、評価信号を利用して、
適応すべき外部からの入力信号に対して出力信号を生成
するマルチエージェントシステムに関し、特に、相互に
通信信号を交換するための、それぞれの複数の入力信号
を受信する入力エージェント、出力を行う出力エージェ
ント、エージェント間の通信を介在する介在エージェン
トにより構成されたマルチエージェントシステムに関す
る。

【０００２】本発明のマルチエージェントシステムは、
例えば、評価に応じて行動を変化させて現実世界に対応
する自律ロボットなど、そのシステム内部の複雑な処理
を分散する必要があり、かつ、柔軟な適応能力と自己組
織化能力が必要とされる知能システム等に利用可能であ
る。

【０００３】

【従来の技術】図９は従来例の説明図であり、図９中、
１は入力エージェント、２は介在エージェント、３は出
力エージェントを示す。以下、図９に基づいて従来例の
マルチエージェントシステムを説明する。

【０００４】従来、例えば、図９に示したようなマルチ
エージェントシステムが知られていた。このマルチエー
ジェントシステムは、複数の入力エージェント１と、複
数の介在エージェント２と、複数の出力エージェント３
等で構成されている。

【０００５】入力エージェント１は、外界から入力信号
を受け取り、他のエージェントに通信信号を送るもので
ある。出力エージェント３は、他のエージェントから通
信信号を受け取り、外界に出力信号を送出するものであ
る。

【０００６】介在エージェント２は、内部で処理を行
い、他のエージェントと通信信号を交換するものであ
る。この場合、介在エージェント２の或るものは適応的
であり、時には外界からの評価信号を学習に利用するも
のである。前記各エージェントの内部構成としては、例
えば、ニューラルネットワーク等を用いて構成する。

【０００７】

【発明が解決しようとする課題】前記のような従来のも
のにおいては、次のような課題があった。すなわち、従
来のマルチエージェントシステムでは、各介在エージェ
ントの他のエージェントや、接続関係や、通信信号の処
理方法等が固定的であった。そのため、新たなエージェ
ントを自動的に追加することができず、エージェントの
構造は変化できなかった。従って、高い柔軟性と、自己
組織化能力は実現できないという課題があった。

【０００８】本発明は、このような従来の課題を解決
し、マルチエージェントシステムが自動的に、新たな介
在エージェントを追加することができるようにして、高
い柔軟性と、自己組織化能力を持たせたマルチエージェ
ントシステムが実現できるようにすることを目的とす
る。

【０００９】

【課題を解決するための手段】図１は本発明の原理説明
図であり、Ａ図はマルチエージェントシステムの構成
図、Ｂ図は追加エージェントの構成図である。

【００１０】本発明は前記の目的を達成するため、相互
に通信信号を交換するための、それぞれ複数の入力信号
を受信する入力エージェント１と、外界に出力信号を送
出する出力エージェント３と、エージェント間の通信を
介在する介在エージェント２を備え、評価信号を利用し
て、適用する外部からの入力信号に対して出力信号を生
成するマルチエージェントシステムにおいて、評価信号
を利用して新たなエージェント情報を生成するエージェ
ント情報生成手段５を付設し、前記エージェント情報生
成手段５により、新たな介在エージェントとして、他の
エージェントと通信信号を交換する入出力バッファ１３
と、前記エージェント情報を保存するエージェント情報
保存部１２と、入出力バッファ１３の状態と評価信号の
セットである評価付データを保存するデータ保存部１１
と、エージェント情報を利用して評価付データから入出
力バッファの内容を更新する入出力装置１９で構成され
る追加エージェント６を逐次追加可能に構成した。

【００１１】また、マルチエージェントシステムにおい
て、前記構成の外、次のように構成した。 (1) ：エージェント情報として、接続情報と、属性情報
を用いた構成とした。

【００１２】(2) ：入出力装置として、それ自身が内部
に持つパラメータを用いて、外部から与えられた入力か
ら、出力を求める機能を有するコンソートボックスを用
いた構成とした。

【００１３】(3) ：エージェント情報生成手段として、
その内部のトライアルエージェントは、評価信号を利用
して強化学習によりエージェント情報を決定し、そのエ
ージェント情報を利用して追加エージェントを生成する
ように構成した。。

【００１４】(4) ：追加エージェントとして、データ保
存部を持たず、入出力装置が外界に対して適応的でない
エージェントとして構成した。 (5) ：追加エージェントとして、データ保存部を持た
ず、入出力装置が外界に対して適応的であり、外界から
の評価信号に基づいて適応的に学習を行うエージェント
として構成した。

【００１５】

【作用】前記構成に基づく本発明の作用を、図１に基づ
いて説明する。入力エージェント１は、外界から入力信
号を受け取り、他のエージェントに通信信号を送る。出
力エージェント３は、他のエージェントから通信信号を
受け取り、外界に出力信号を送出する。介在エージェン
ト２は、内部で処理を行い、他のエージェントと通信信
号を交換する。この場合、介在エージェント２の或るも
のは適応的で、時には外界からの評価信号を学習に利用
する。

【００１６】前記エージェント情報生成手段５では、ト
ライアルエージェントにより、前記評価信号を利用して
エージェント情報を決定し、そのエージェント情報を利
用して追加エージェント６を逐次生成する。

【００１７】前記のようにして生成された追加エージェ
ント６は、他のエージェントと通信信号を交換する入出
力バッファ１３と、前記エージェント情報を保存するエ
ージェント情報保存部１２と、評価付データを保存する
データ保存部１１と、入出力装置１９を備えている。

【００１８】そして、エージェント情報保存部１２に
は、エージェント情報として、接続情報と属性情報が保
存されており、データ保存部１１には評価付データが保
存されており、前記データ保存部１１には、入出力バッ
ファ１３の状態と評価信号を併せた評価付データが保存
されている。また、入出力装置１９は、前記エージェン
ト情報を利用して、評価付データから入出力バッファ１
３の内容を更新する。

【００１９】以上のようにして、エージェント情報生成
手段５のトライアルエージェントが、新たなエージェン
ト情報を生成し、これを利用して新たな追加エージェン
トを逐次生成することができる。

【００２０】従って、マルチエージェントシステムが自
動的に、新たな介在エージェントを追加することができ
るようになり、高い柔軟性と、自己組織化能力を持たせ
たマルチエージェントシステムが実現できる。

【００２１】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図２〜図８は、本発明の実施例を示した図であ
り、図２〜図８中、１は入力エージェント、２は介在エ
ージェント、３は出力エージェント、５はエージェント
情報生成手段、６は追加エージェント、７はトライアル
エージェント、１０はコンソートボックス、１１はデー
タ保存部、１２はエージェント情報保存部、１３は入出
力バッファ、１５は入力選択手段、１６はエージェント
情報保存部、１７はトライアル出力生成手段、１９は入
出力装置を示す。

【００２２】§１：マルチエージェントシステムの説明
・・・図２参照 図２は実施例のマルチエージェントシステム構成図であ
る。図示のように、マルチエージェントシステムは、複
数のエージェントで構成されており、これらのエージェ
ントとして、入力エージェント１、介在エージェント
２、出力エージェント３が存在する。

【００２３】また、前記マルチエージェントシステムに
は、エージェント情報生成手段５を備えており、このエ
ージェント情報生成手段５により生成され、新たに追加
された追加エージェント６が存在している。

【００２４】この場合、エージェント情報生成手段５
は、トライアルエージェント７を備えており、このトラ
イアルエージェント７により追加エージェント６を生成
する。なお、前記追加エージェント６は、新たな介在エ
ージェントとして追加されるものである。

【００２５】入力エージェント１は、外界から入力信号
を受け取り、他のエージェントに通信信号を送るもので
ある。出力エージェント３は、他のエージェントから通
信信号を受け取り、外界に出力信号を送出するものであ
る。介在エージェント２は、内部で処理を行い、他のエ
ージェントと通信信号を交換するものである。

【００２６】前記介在エージェント２のあるものは、外
界に対して適応的で、時により外界からの評価信号を学
習に利用する。内部構成としては、例えば、ニューラル
ネットワーク等が利用される。

【００２７】そして、エージェント情報生成手段５に設
けられたトライアルエージェント７は、前記評価信号を
利用してエージェント情報を決定し、そのエージェント
情報を利用して追加エージェント６を生成する。

【００２８】§２：追加エージェントの説明・・・図３
参照 図３は追加エージェントの構成図である。前記エージェ
ント情報生成手段５のトライアルエージェント７により
生成された追加エージェント６は、例えば、図３に示し
たような構成のエージェントである。

【００２９】この追加エージェント６は、他のエージェ
ントと通信信号を交換する入出力バッファ１３と、前記
エージェント情報（トライアルエージェントから送られ
た情報）を保存するエージェント情報保存部１２と、評
価付データを保存するデータ保存部１１と、入出力装置
としてのコンソートボックス１０（詳細は後述する）に
より構成される。

【００３０】エージェント情報保存部１２には、接続情
報と属性情報（トライアルエージェントから送られたエ
ージェント情報）が保存されており、データ保存部１１
には評価付データが保存されている。この場合、接続情
報は、コンソートボックスの各ノード毎に、通信信号を
送信、及び受信する宛て先のエージェントのＩＤ、及び
ノードのＩＤが含まれる情報である。

【００３１】また、前記属性情報は、コンソートボック
スを動作させるためのノード毎の情報である。前記評価
付データは、通常のデータに対して、そのデータの報酬
性と嫌悪性の評価を付加したデータである（詳細は後述
する）。

【００３２】前記コンソートボックス１０は、データに
属性情報と蓄積された評価付データを利用して、入出力
バッファ１３内の情報を更新するものである。前記入出
力バッファ１３は、現在のエージェントの出力の状態が
保持され、接続情報に従って、他のエージェントと通信
信号の送受信を行う。

【００３３】前記データ保存部１１は、入出力バッファ
１３の状態と評価信号を併せた評価付データを蓄積す
る。 §３：トライアルエージェントの説明・・・図４参照 図４はトライアルエージェントの構成図である。前記の
ように、エージェント情報生成手段５に設けられたトラ
イアルエージェント７は、評価信号を利用してエージェ
ント情報を決定し、そのエージェント情報を利用して追
加エージェント６を生成するものであり、例えば、図４
に示したように構成する。

【００３４】すなわち、トライアルエージェント７は、
他のエージェントに通信信号を送るトライアル出力生成
手段１７と、入力選択手段１５と、エージェント情報保
存部１６を備えている。このトライアルエージェント７
では、新たなエージェントを生成するために、以下に説
明する強化学習を行う。

【００３５】前記トライアル出力生成手段１７は、試験
的に出力接続情報を生成すると同時に、それらに対し
て、試験的に通信信号を送り出すものである。つまり、
他の様々なエージェントに対して、試験的に通信信号を
送る動作を行う。

【００３６】そして、外界からの評価信号が小さい内は
この動作を繰り返すが、評価信号が大きくなると、トラ
イアル出力生成手段１７は、その時の出力接続情報をEn
d 属性（change）と共に新エージェント情報として蓄え
る。

【００３７】同時に、入力選択手段１５は何らかの方法
で、多くの入力可能な通信信号の中から入力接続情報を
選択するものである。その方法としては、評価信号を受
け取った時刻に変化した通信信号を用いる方法、或いは
ランダムに選択する方法などがある。

【００３８】それら入力接続情報は、Fixed 属性情報
（force & effect）と共に、新エージェント情報として
蓄えられる。最後に、この新エージェント情報が、追加
エージェントに送られる。なお、前記属性情報等につい
ては、コンソートボックスの説明として後述する。

【００３９】§４：評価付データの利用方法の説明・・
・図５参照 図５は評価付データの説明図である。本実施例で使用す
る評価付データ（特に図３参照）の利用方法は次の通り
である。

【００４０】先ず、評価付データの構造は、通常のデー
タ（例えば、各入出力ノード毎の値）に対して、そのデ
ータに対する報酬性と嫌悪性の評価を付加したものであ
る。すなわち、図５のＡ図に示したように、評価付デー
タは、通常のデータに報酬性評価Ｒと嫌悪性評価Ｐを付
加した構造になっている。

【００４１】エージェントが評価付のデータを利用する
方法を説明するためには、先ず、エージェントの動作方
法について説明する。これには、リアクティブ動作と、
プランニング動作の２つがある。

【００４２】：リアクティブ動作 リアクティブ動作は、図５のＢ図に示したように、入力
（現在の入力状態）に対して決まった出力（動作）を行
う動作方法である。本実施例では、入力状態とマッチす
る評価付データの内で、評価の良いデータに基づき出力
を決定する。

【００４３】：プランニング動作 この動作は、図５のＣ図に示した方法である。この方法
では、出力により入力状態が変化することが記述されて
いるデータを用いる。動作の結果として望ましい入力状
態（ゴール入力状態）と、現在の入力状態から適切な出
力を決定する動作方法である。

【００４４】本実施例では、現在の入力状態と、ゴール
入力状態がマッチする評価付データに基づき出力を決定
する。以上、２つの動作を同じデータを用いて行うため
に、評価付データが使用されている。

【００４５】§５：強化学習の説明 適応的な入出力装置に学習を行う方法を、次の視点で分
けることができる。 ：教師有り学習 この方法は、入力と出力のペアを与えて、それ自体を覚
える方法である。つまり、正解を与えて、それ自体を覚
える方法である。例えば、ニューラルネットワークにお
けるバックプロパゲーション等は、この例である。

【００４６】：教師無し学習 この方法は、正解の出力を特に与えないまま、学習を行
う方法である。例えば、自己組織化がこのカテゴリに含
まれ、例として、人間の第１次視覚野のシミュレーショ
ン等がある。

【００４７】前記、に示した学習方法の中間的な存
在として、本実施例で使用する強化学習がある。このた
め、強化学習は、半教師有り学習などと呼ばれることも
ある。つまり、強化学習では、出力の正解それ自体を与
えることはないが、入出力装置が正しい出力を行った場
合には、報酬性信号を与え、場合によっては、好ましく
ない出力を行った場合に、嫌悪性信号を与える。

【００４８】強化学習による入出力装置の基本動作は、
報酬性信号を受け取ると、その直前の入出力関係を強化
する。つまり覚え込もうとする。これに対して、嫌悪性
信号は、常に利用されるわけではなく、また、利用方法
も様々である。強化学習は、現実の生物における学習に
最も近いと考えられており、いわゆる「アメとムチ」に
よる学習方法である。

【００４９】なお、強化学習方法の１例を記載した刊行
物としては、例えば、人工知能学会誌、人工知能学会発
行、Ｊｕｌｙ、１９９４、Ｖｏｌ．９、Ｎｏ．４、Ｐ．
５８０〜５８７「強化学習における報酬割当ての理論的
考察」の項があるので、参照されたい。

【００５０】§６：コンソートボックスと、モードの説
明・・・図６、７参照 図６はモードの説明図、図７はノードのモードと、入出
力状態説明図である。コンソートボックス（図３参照）
とは、それ自身が内部に持つパラメータを用いて外部か
ら与えられた入力から出力を求めるブラックボックスの
ことであり、パラメータを持った関数とも言うことがで
きる。

【００５１】入力としては、それぞれモードを持った入
力ベクトルと、出力ベクトルを対としたベクトルであ
り、モードに応じてコンソートボックス内での処理の結
果、得られた出力ベクトルと、元の入力ベクトルとの対
で作成したベクトルが出力として返る。

【００５２】このコンソートボックスが表す基底クラス
コンソートボックスが存在し、ユーザ作成のコンソート
ボックスは、これを継承することで、統一的なプログラ
ミングが可能となる。

【００５３】一方、モードとは、各ノードの属性を表
す。属性には外部からの入力を受ける「force 」、内部
へ情報を伝達する「effect」、自分自身の変更を許す
「change」の３つの組み合わせにより、「General 」、
「Forced-End」、「Fixed 」、「Stock 」、「Interpla
yer 」、「End 」、「Constant」、「Alone 」の８種類
が存在する。

【００５４】このモードに応じて、各ノードの書き込み
の可否、他ノードへの情報伝達の可否といった動作が決
定される。その名前と属性の関係は図６の通りである。
ここで、外部への出力可否は、モードの状態には含まれ
ていない。これは、どのノードの値も自由に外部へ出力
できるとしたからである。なお、内部表現は、各ビット
が、前記「force 」、「change」、「effect」を表すビ
ットに対応しているが、ファイル上では、読込型（Ｇ、
Ｎ、Ｆ、Ｓ、Ｉ、Ｅ、Ｃ、Ａ）が使用される。

【００５５】また、各モード値の時の各ノードの入出力
状態を図にしたのが、図７である。なお、前記コンソー
トボックスに関する詳細な説明は、本出願人が既に出願
済みの特願平６−４２２００号（平成６年３月１４日出
願）、「信号処理装置」の明細書、及び図面を参照され
たい。

【００５６】§７：追加エージェントの変形例の説明・
・・図８参照 図８は追加エージェントの変形例である。この変形例
は、図３に示した追加エージェントのデータ保存部１１
を無くし、コンソートボックスを入出力装置１９で構成
した例である。

【００５７】従って、図８に示した追加エージェント
は、データ保存部が無く、入出力バッファ１３と、入出
力装置１９と、エージェント情報保存部１２で構成され
ている。そして、前記入出力装置１９自体が評価信号を
利用して学習を行う。

【００５８】このように、追加エージェントとして、デ
ータ保存部を持たず、入出力装置１９が外界に対して適
応的であり、外界からの評価信号に基づいて適応的に学
習を行う追加エージェントが構成できる。

【００５９】また、前記追加エージェントの更に変形例
としては、前記入出力装置１９が学習を行わず、入出力
装置１９が外界に対して適応的でない追加エージェント
とすることもできる。

【００６０】なお、前記追加エージェントのエージェン
ト情報保存部１２に保存されるエージェント情報は、例
えば、入出力装置１９のＩＤなどを用い、複数の入出力
装置の候補の中から選択できるようにしても良い。

【００６１】以上のようにして、追加エージェントとし
て、データ保存部を持たず、入出力装置が外界に対して
適応的でないエージェントとしたり、追加エージェント
として、データ保存部を持たず、入出力装置が外界に対
して適応的であり、外界からの評価信号に基づいて適応
的に学習を行うエージェントにしたりすることが可能で
ある。

【００６２】

【発明の効果】以上説明したように、本発明によれば次
のような効果がある。 (1) ：評価信号を利用して、エージェント情報生成手段
が新たなエージェント情報を生成する毎に、これを利用
して新たな、それ自身適応的な追加エージェントが順次
生成できる。

【００６３】(2) ：例えば、マルチエージェントシステ
ムをロボットなどに利用した場合に、単に、エージェン
ト毎の適応を行うのに比べて、システムに新たな情報構
造を追加することで、柔軟な適応を可能とする高い適応
性と、自己組織化能力を実現できる。

【００６４】(3) ：入力エージェントと、出力エージェ
ントだけなどの簡単なシステムから出発して、自動的に
エージェントを追加し、複雑なシステムを構築すること
が可能になる。

【００６５】(4) ：マルチエージェントシステムが、自
動的に、新たな介在エージェントを追加することができ
るので、高い柔軟性と、自己組織化能力を持たせたマル
チエージェントシステムが実現できる。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】実施例のマルチエージェントシステム構成図で
ある。

【図３】実施例における追加エージェントの構成図であ
る。

【図４】実施例におけるトライアルエージェントの構成
図である。

【図５】実施例における評価付データの説明図である。

【図６】実施例におけるモードの説明図である。

【図７】実施例におけるノードのモードと、入出力状態
説明図である。

【図８】実施例における追加エージェントの変形例であ
る。

【図９】従来例の説明図である。

【符号の説明】

１ 入力エージェント ２ 介在エージェント ３ 出力エージェント ５ エージェント情報生成手段 ６ 追加エージェント ７ トライアルエージェント

───────────────────────────────────────────────────── フロントページの続き (72)発明者 長田 茂美 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (6)

【特許請求の範囲】
1. 【請求項１】 相互に通信信号を交換するそれぞれ複数
   の入力信号を受信する入力エージェントと、 外界に出力信号を送出する出力エージェントと、 エージェント間の通信を介在する介在エージェントを備
   え、 評価信号を利用して、適用する外部からの入力信号に対
   して出力信号を生成するマルチエージェントシステムに
   おいて、 前記評価信号を利用して新たなエージェント情報を生成
   するエージェント情報生成手段を備え、前記エージェン
   ト情報生成手段により、 新たな介在エージェントとして、他のエージェントと通
   信信号を交換する入出力バッファと、前記エージェント
   情報を保存するエージェント情報保存部と、入力バッフ
   ァの状態と評価信号のセットである評価付データを保存
   するデータ保存部と、エージェント情報を利用して評価
   付データから入出力バッファの内容を更新する入出力装
   置で構成される追加エージェントを逐次追加可能にした
   ことを特徴とするマルチエージェントシステム。
2. 【請求項２】 前記エージェント情報として、接続情報
   と、属性情報を用いたことを特徴とする請求項１記載の
   マルチエージェントシステム。
3. 【請求項３】 前記入出力装置として、それ自身が内部
   に持つパラメータを用いて、外部から与えられた入力か
   ら出力を求める機能を有するコンソートボックスを用い
   たことを特徴とする請求項１記載のマルチエージェント
   システム。
4. 【請求項４】 前記エージェント情報生成手段として、
   評価信号を利用してエージェント情報を決定し、そのエ
   ージェント情報を利用して追加エージェントを生成する
   トライアルエージェントと、強化学習を用いたことを特
   徴とする請求項１記載のマルチエージェントシステム。
5. 【請求項５】 前記追加エージェントとして、データ保
   存部を持たず、入出力装置が外界に対して適応的でない
   ことを特徴とした請求項１記載のマルチエージェントシ
   ステム。
6. 【請求項６】 前記追加エージェントとして、データ保
   存部を持たず、入出力装置が外界に対して適応的であ
   り、外界からの評価信号に基づいて適応的に学習を行う
   ことを特徴とした請求項１記載のマルチエージェントシ
   ステム。