JPH0887483A

JPH0887483A - ネットワーク合成方法

Info

Publication number: JPH0887483A
Application number: JP6221515A
Authority: JP
Inventors: Yuji Sato; 裕二佐藤
Original assignee: GIJUTSU KENKYU KUMIAI SHINJOHO; GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO; Hitachi Ltd
Current assignee: GIJUTSU KENKYU KUMIAI SHINJOHO; GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO; Hitachi Ltd
Priority date: 1994-09-16
Filing date: 1994-09-16
Publication date: 1996-04-02

Abstract

(57)【要約】【目的】ニューラルネット上の有効な２次元部分構造
を活かしたニューラルネットの合成を単純な操作で実現
する方法を提供すること。【構成】遺伝子タイプの学習技術を用いたネットワー
クの合成方法であって、ネットワーク自体を２次元の染
色体として定義し、ネットワーク上の２次元部分構造単
位(ピラミッド構造単位等)の置き換えを行って、求める
ネットワークを合成することを特徴とするネットワーク
合成方法。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ネットワーク合成方法
に関し、より詳細には、遺伝子タイプの学習技術を用い
たニューラルネットの合成方法に関する。

【０００２】

【従来の技術】バックプロパゲーション学習方式を始め
として、従来のニューラルネットの学習方式は、予めニ
ューロン間の結線情報を与えておき、ニューロン間の結
合荷重を学習する方式が一般的である。すなわち、ニュ
ーロンの数およびニューロン間の結線情報は、試行錯誤
により予め人間が与えなければならず、経験に依存する
大変な作業であった。この問題を解決する一つの手段と
して、遺伝的アルゴリズムを用いたニューラルネットの
合成が研究され始めている。例えば、「遺伝的アルゴリ
ズム」(産業図書(1993年),第236頁から第243頁)に、遺伝
的アルゴリズムを用いたニューラルネットの構造決定あ
るいはニューロン間の結合荷重の学習方式が示されてい
る。以下、図１２から図１７を用いて、遺伝的アルゴリ
ズムを用いたニューラルネットの合成に関する従来技術
を説明する。

【０００３】図１２において、１００１は５つのニュー
ロンから構成されるニューラルネットを示している。各
ノードがニューロンに対応する。ニューロン間の矢印
は、ニューロン間に結線があり、矢印の方向に信号が伝
搬することを示している。このニューラルネット１００
１のニューロン間の結線情報、すなわち、ネットワーク
構造は、結合行列を用いて定義可能である。結合行列５
０１の中で、「１」は結合が存在することを示し、「０」は
結合が無いことを示す。従来例では、この結合行列５０
１の各行を１行に繋ぎ合わせた、１次元のビット列を染
色体３００１として定義していた。染色体３００１は、
２５ビットの構成長を持つ。言うまでもなく、染色体の
長さが短いほど、記憶容量は少なくてすむ。また、後で
図１５において述べる、「交差」という操作で有効なビッ
ト列が破壊される可能性も、ビット列の長さが短いほど
低い。そこで、より短い構成長でニューラルネット１０
０１を定義する染色体４００１の例を、図１３に示す。

【０００４】図１３において、ニューラルネット１００
１のネットワーク構造は、信号の伝搬方向を考慮した結
合行列６０１で定義されている。図１２に示したと同様
に、結合行列６０１の中で、「１」は結合が存在すること
を示し、「０」は結合が無いことを示している。また、
「ｘ」は信号の伝搬方向を考慮した場合、定義不可能であ
ることを示している。結合行列６０１の各行を、定義不
可の部分を除いて１行に繋ぎ合わせた１次元のビット列
が、染色体４００１である。図１２に示した染色体３０
０１の構成長が２５ビットであったのに対して、染色体
４００１の構成長は８ビットで済んでいる。このニュー
ラルネットに対応した１次元の染色体を使って、遺伝的
アルゴリズムにより、目的とするニューラルネットに対
応する１次元の染色体を学習する方式が、従来の方式で
ある。

【０００５】図１４に、遺伝的アルゴリズムの処理手順
の一例を示す。手順１では、ニューラルネットに対応し
た１次元の染色体集団の発生を行う。図１３に示した染
色体４００１は、その一例となる。このような染色体
を、個体総数が一定になるようにランダムに発生させ
る。次に、手順２で、各個体すなわち染色体の、適応度
の計算を行う。適応度の計算方法は、予めユーザが与え
るのが一般的である。次に、手順３で、淘汰と増殖を行
う。すなわち、適応度を考慮して、各個体の増減を行
い、次世代の個体集団を決定する。適応度を考慮した各
個体の増減だけでは、現時点で最大の適応度を持つ個体
が、集団中に占める割合が高くなるだけで、新しい探索
点が生じない。すなわち、ランダムに発生した、初期集
団で最終解が決定してしまう。

【０００６】そこで、手順４および５では、１次元の染
色体に対して、「交差」と「突然変異」という操作により、
探索空間の拡大を行う。図１５に、交差の例を示す。生
成された次世代の複数個の個体の中から、二つの個体の
ペアを複数組ランダムに選択し、それぞれに対して交差
と呼ぶ操作を実行する。交差は、二つの個体の遺伝子型
をランダムな位置で部分的に入れ換える操作であり、単
純ＧＡ(遺伝的アルゴリズム)では、「１点交差」と呼ばれ
る最も基本的な交差を実行する。図１５に示す例では、
ニューラルネット１００１に対応した染色体４００１
と、ニューラルネット１００２に対応した染色体４００
２に交差４０１を施し、染色体４００３と染色体４００
４を得る場合を示している。染色体４００３と４００４
は、それぞれ、ニューラルネット１００３と１００４に
対応する。

【０００７】次に、突然変異の例を、図１６に示す。最
も一般的な単純ＧＡにおける突然変異は、各個体の遺伝
子に相当する各ビットを、突然変異率の生起確率で、
「０」を「１」、あるいは、「１」を「０」に変更する操作であ
る。ここで、突然変異率とは、突然変異の生起確率を示
す。図１６に示す例では、ニューラルネット１００１に
対応した染色体４００１の下位２ビット目が、突然変異
４０３の操作により「０」から「１」に反転し、染色体４０
０４が生じる場合を示している。次に、手順６で、生成
された次世代の集団が、進化シミュレーションを終了す
るための評価基準を満たしているかどうかを調べる。終
了条件が満たされている場合は進化シミュレーションを
終了し、現時点の個体(すなわち染色体)に対応したニュ
ーラルネットを最終解とする。終了条件が満たされてい
ない場合は、手順２の各個体の適応度の計算に戻って、
進化シミュレーションを続行する。

【０００８】上記従来例では、遺伝的アルゴリズムを用
いたニューラルネットの構造決定を紹介した。また、以
下に述べる如く、遺伝的アルゴリズムを用いてニューロ
ン間の結合荷重を求めることも可能である。図１７は、
ニューロン間の結合荷重に対応した染色体の例を示して
いる。図１７において、１００１は５つのニューロンか
ら構成されるニューラルネットを示している。各ノード
がニューロンに対応する。ニューロン間の矢印は、ニュ
ーロン間に結線があり、矢印の方向に信号が伝搬するこ
とを示している。矢印に付加された数値は、ニューロン
間の結合強度、すなわち結合荷重を示している。図１７
の例では、各結合荷重を２進数に変換した後１行に繋ぎ
合わせた、１次元のビット列を染色体４００１として定
義している。ニューロン間の結合荷重に対応した染色体
４００１から求める結合荷重に対応する染色体を決定す
る操作は、上記図１４から図１６で示した操作と同様で
ある。

【０００９】図１２から図１７で紹介した遺伝的アルゴ
リズムを用いたニューラルネットの合成に関する従来技
術の問題点は、ニューラルネットという多次元の構造を
１次元の染色体に対応させた上でランダムな位置での交
差を行っているために、ネットワーク上の部分構造が保
持されにくいという点である。例えば、ネットワーク上
のある「４×４の部分構造」が非常に有効であるとして
も、その構造は、図１２で示した染色体上では、分散配
置されてしまう。例えば、図１２において、ノード３が
ノード０およびノード１に接続するという部分構造が有
効であったとする。この構造は染色体３００１の中で、
２１ビットの構成長に分散配置されてしまう。図１３に
示した染色体構造をとることにより、この情報は２ビッ
トの構成長と改善される。

【００１０】しかし、１回の交差で破壊される可能性が
低くなっても、図１４に示したように、交差は繰り返し
適用され、かつ、交差位置はランダムに設定されるため
に、結局、最後まで破壊されずに存続する確率は殆ど０
に等しくなる。更に、有効な２次元部分構造が大きくな
ればなるほど、１次元染色体上での対応する構成長は長
くなり、交差する時に破壊される確率が高くなる。ま
た、このような部分構造をコピーしたり、違う場所にず
らしたりすることはできない。実際のニューラルネット
では、同一または類似の部分構造の反復を内部構造とし
て持っている例が多く、従来手法は非現実的である。こ
のような問題点をふまえ、グラフ生成システムを利用し
たニューラルネットの合成が提案されている。例えば、
「遺伝的アルゴリズム」(産業図書(1993年),第243頁から
第250頁)に一例が示されている。以下、図１８から図
２０を用いて、第２の従来例を示す。

【００１１】第２の従来例の特徴は、図１３に示したよ
うにネットワークの構造に対応した染色体を定義するの
ではなく、図１８に示すようにネットワークの生成規則
を染色体として定義することである。例えば、ニューラ
ルネット１００４を生成する過程および生成に使用され
るグラフ生成ルールが、それぞれ、図１９と図２０に示
されている。この技術では、図２０に示したグラフ生成
ルールに対応した染色体を、遺伝的アルゴリズムにより
獲得する。ここでは、ネットワーク生成ルールを染色体
として定義しているために、２次元の部分構造を維持し
やすいという特徴を持つ。一方、通常の遺伝的アルゴリ
ズムの操作の他に、図１９に示すような文法の成長操作
および図２０に示すような複数種類の生成ルールを記憶
しておくことが必要である。すなわち、第１の従来例に
比べて、複雑な操作および多くの記憶容量が必要であ
る。また、ネットワークの構造そのものではなく構造生
成の文法規則を染色体として定義するために、染色体を
見ても、対応するニューラルネットが直観的にイメージ
しづらいという問題点があった。

【００１２】

【発明が解決しようとする課題】本発明は上記事情に鑑
みてなされたもので、その目的とするところは、従来の
技術における上述の如き問題を解消し、ニューラルネッ
ト上の有効な２次元部分構造を活かして、ニューラルネ
ットの合成を単純な操作で実現する方法を提供すること
にある。

【００１３】

【課題を解決するための手段】本発明の上記目的は、遺
伝子タイプの学習技術を用いたネットワークの合成方法
であって、ネットワーク自体を２次元の染色体として定
義し、ネットワーク上の２次元部分構造単位の置き換え
を行って、求めるネットワークを合成することを特徴と
するネットワーク合成方法によって達成される。

【００１４】

【作用】本発明に係るネットワーク合成方法において
は、ニューラルネット自体を２次元の染色体と考え、ニ
ューラルネット上の２次元部分構造単位の２次元交差を
行う手段を用いる。従って、ニューラルネット上の有効
な２次元部分構造を活かしたニューラルネットの構成が
可能である。実施例の中で説明するように、あるニュー
ロンの出力値が意味ある定常状態にあると言えるための
必要十分条件は、このニューロンを頂点としてニューラ
ルネットの入力層を底辺とするピラミッド構造内の結線
情報およびニューロン間の結合荷重が確定したことに相
当する。従って、上記交差の単位となる２次元部分構造
としてあるニューロンを頂点として入力層を底辺とする
ピラミッド構造を用いることにより、有効な２次元部分
構造を維持する確率は高くなる。また、本発明に係るネ
ットワーク合成方法では、具体的な操作を行うために、
あるニューロンとその入力元になり得る可能性のあるニ
ューロンとの間の遷移行列の集合から構成される列を染
色体として定義する。従って、遷移行列の各行が上述の
ピラミッド構造に対応し、遷移行列内のある行を入れ換
えるという単純な操作だけでピラミッド構造単位の２次
元交差が実現できる。ピラミッド構造のコピーも、遷移
行列内のある行のコピーという単純な操作で実現でき
る。染色体から、ニューラルネットの層数および構造が
一目で把握できる。

【００１５】

【実施例】以下、本発明の実施例を図面に基づいて詳細
に説明する。図２１に、本発明の特徴を示す、２次元遺
伝的アルゴリズムの処理手順の概要を示す。図１４に示
した従来の処理手順との違いは、ニューラルネット自体
を２次元の染色体と定義している点(手順１)および２次
元の交差(手順４)，２次元の突然変異(手順５)を行う点
にある。以下、これらの違いの詳細およびこれらの違い
による効果を説明する。図１は、本発明の基本的な考え
方を示す、２次元交差の一例である。図１において、１
００１〜１００４はニューラルネット、ニューラルネッ
ト内の５つのノードはニューロンを表わす。図１では、
ニューラルネット自身を２次元の染色体と考え、ニュー
ラルネット上の２次元部分構造１０１および１０２の置
き換えという交差２０１を行っている。交差の単位とな
る２次元部分構造には、あるニューロン(例えば、ノー
ド３)を頂点として、入力層(例えば、ノード０と１)を
底辺とするピラミッド構造を採用している。これは、以
下の理由による。

【００１６】今、あるニューロンがＮ本の入力を持つと
し、各入力の信号の強さをＳ１〜ＳＮ、各入力信号に対
する結合荷重をＷ１〜ＷＮ、このニューロン自体の出力
の強さをｘとすると、形式ニューロンの動作は、次式の
離散時間の差分方程式で記述される。式中のｈは、しき
い値である。

【数１】

【数２】形式ニューロンの各入力および出力は、「１」または「０」
の値をとり、「１」はニューロンが興奮・発火した状態、
「０」はニューロンが興奮しない状態に、それぞれ、対応
する。

【００１７】(数１)から言えることは、あるニューロン
の出力が意味ある定常状態になったと言えるためには、
そのニューロンの入力元となるニューロンとの間の結線
情報および結合荷重が確定し、かつ、入力信号が定常状
態になっている必要がある。あるニューロンの入力信号
とは、そのニューロンの入力元となるニューロンの出力
信号である。今、着目しているニューロンの入力元とな
るニューロンの出力信号が意味ある定常状態となる条件
についても同様のことが言える。この条件を再帰的に繰
り返して考えると、結局、あるニューロンの出力が意味
のある定常状態になるということは、このニューロンを
頂点として入力層を底辺とするピラミッド構造内の結線
情報およびニューロン間の結合荷重が確定したことと等
価である。すなわち、ニューラルネット上の意味のある
部分構造は、あるニューロンを頂点として入力層を底辺
とするピラミッド構造になる可能性が高い。従って、こ
のようなピラミッド構造を単位とした交差が有効となる
可能性が高い。

【００１８】図１に示す２次元交差を単純な操作で実現
する具体的な方法の一つを、図２から図５を用いて説明
する。図２は、２次元遷移行列を用いた染色体表現の一
例である。図２において、１００１は５つのニューロン
から構成されるニューラルネットを示している。各ノー
ド(例えば、ノード４)が、ニューロンに対応する。ニュ
ーロン間の矢印(例えば、リンク１３)は、ニューロン間
に結線があり、矢印の方向に信号が伝搬することを示し
ている。図２では、あるニューロンとその入力元となる
可能性のあるニューロンとの間の遷移行列の集合から構
成される列を、ニューラルネットに対応した染色体とし
て定義している。すなわち、出力層１１３と他のニュー
ロンの間の遷移行列Ｍ１１、および、中間層１１２と入
力層１１１との間の遷移行列Ｍ１２の集合２００１を、
染色体として定義している。遷移行列の各行が、前記ピ
ラミッド構造に対応している。

【００１９】遷移行列Ｍ１１およびＭ１２の中で、「１」
は結合が存在することを示し、「０」は結合が無いことを
示している。染色体２００１から、ニューラルネット１
００１の層の数およびあるニューロンに着目した場合の
ピラミッド構造が、一目で把握できる。以下、染色体２
００１を用いた２次元交差を示す。図３は、遷移行列を
用いた２次元交差２０１の例を示している。染色体２０
０１〜２００４は、いづれも遷移行列の集合から構成さ
れる列で定義されており、それぞれニューラルネット１
００１〜１００４に対応している。図１で示した、ノー
ド３を頂点として入力層、すなわちノード０と１を底辺
とする２つのピラミッド構造１０１と１０２を置き換え
るという２次元交差２０１は、染色体２００１を構成す
る遷移行列Ｍ１２の２行目と染色体２００２を構成する
遷移行列Ｍ２２の２行目を置き換える操作に対応する。
すなわち、上述の如く、ニューラルネット上のピラミッ
ド構造単位の置き換えという交差２０１が、染色体を構
成する遷移行列内の対応する行の置き換えという単純な
操作で実現できる。

【００２０】また、ニューラルネット上のピラミッド構
造をコピーしたり、違う場所にずらすという操作は、染
色体を構成する遷移行列内のある行をコピーしたり、違
う場所にずらすという単純な操作で実現できる。図２２
は、先に図３に示した２次元交差の処理手順を示すフロ
ーチャートである。図２３に示す従来の１次元交差の処
理手順との本質的な差異は、以下の通りである。すなわ
ち、従来は、ニューラルネット上の特徴を無視して１次
元に展開した染色体上で、単に、ランダムに交差位置を
決定して置き換えを行っていたのに対して、本発明に係
るネットワーク合成方法では、例えば、図２に示す如き
染色体表現をとり、かつ、遷移行列を構成する単位行の
置き換えを行うようにした点が異なっている。

【００２１】すなわち、ニューラルネット上のあるニュ
ーロンを頂点として、ニューラルネットの入力点を底辺
とするあるピラミッド構造をランダムに選んで、置き換
えを行っている点である。前述の如く、これにより、交
差で有効な部分構造が破壊される確率が非常に低くなる
という効果が得られる。有効なピラミッド構造が複数存
在する場合は、幾つかのピラミッド構造をまとめて扱え
ると効率が良い。図４に、階層単位の２次元交差の例を
示す。図４において、１００１〜１００４はニューラル
ネット、ニューラルネット内の５つのノードはニューロ
ンを表わす。図４では、ニューラルネット自身を２次元
の染色体と考え、ニューラルネット上の２次元部分構造
１０３と１０４の置き換えという交差２０２を行ってい
る。

【００２２】交差の単位となる２次元部分構造には、幾
つかのピラミッド構造を組み合わせた、階層単位の構造
を採用している。図４の例では、ノード２を頂点とする
ピラミッド構造とノード３を頂点とするピラミッド構造
を組み合わせた階層からなる交差を示している。図５
は、遷移行列を用いた階層単位の２次元交差２０２の例
を示している。染色体２００１〜２００４は、いづれも
遷移行列の集合から構成される列で定義されており、そ
れぞれニューラルネット１００１〜１００４に対応して
いる。先に図４にで示した、中間層および入力層から構
成される階層１０３と１０４を置き換えるという２次元
交差２０２は、染色体２００１を構成する遷移行列Ｍ１
２と染色体２００２を構成する遷移行列Ｍ２２を置き換
えるという操作に対応する。すなわち、ニューラルネッ
ト上の、幾つかのピラミッド構造から構成される、階層
単位の置き換えという操作２０２は、染色体を構成する
遷移行列内の対応する遷移行列の置き換えという単純な
操作で実現できる。

【００２３】図６に、ニューラルネット自身を２次元の
染色体と考えた場合の突然変異の例を示す。図６におい
て、１００１と１００４はニューラルネットを表わし、
ニューラルネット内の５つのノードはニューロンを表わ
す。突然変異は、ノード間の結線情報の付加もしくは削
除に対応する。図６の例では、突然変異２０３により、
ノード２とノード４の間に結線がない状態１０５から結
線がある状態１０６に変異した例を示している。図７
は、遷移行列を用いた突然変異２０３の例を示してい
る。染色体２００１と２００４は、いづれも遷移行列の
集合から構成される列で定義されており、それぞれニュ
ーラルネット１００１と１００４に対応している。図６
で示した、ノード２とノード４の間の結線を生成させる
という突然変異２０３は、染色体２００１を構成する遷
移行列M11の下位から２ビット目を０から１に変更する
操作に対応する。

【００２４】すなわち、ニューラルネット上の任意のノ
ード間の結線情報の付加もしくは削除という突然変異２
０３は、染色体を構成する遷移行列内のあるビットを０
から１に、もしくは１から０に変更するという単純な操
作で実現できる。図２４は、先に図７に示した２次元突
然変異の処理手順を示すフローチャートである。図２５
に示す従来の突然変異の処理手順との本質的な差異は、
以下の通りである。すなわち、従来は、ニューラルネッ
ト上の特徴を無視して１次元に展開した染色体上で、単
に、ある確率で突然変異を行っていたのに対して、本発
明に係るネットワーク合成方法では、例えば、図２に示
す如き染色体表現をとり、かつ、遷移行列を構成する行
の中で、ある確率で突然変異を行うようにした点が異な
っている。

【００２５】すなわち、ニューラルネット上のあるニュ
ーロンを頂点として、ニューラルネットの入力点を底辺
とするあるピラミッド構造間で突然変異を行うことによ
り、ピラミッド構造の多様性を向上する操作を行ってい
る点にある。結局、図２１に示す如く、図２で示した遷
移行列を用いた２次元染色体の定義を用い(手順１)、第
１の従来例の交差および突然変異に代えて、本発明によ
る２次元交差および突然変異(手順４と手順５)を行うこ
とにより、ニューラルネット上の有効な２次元部分構造
を活かしたニューラルネットの合成が単純な操作で可能
となる。以上、図１から図７では、ニューラルネットの
構造を合成する例を示した。ニューロン間の結合荷重を
同様にして求めることも可能である。図８は、遷移行列
を用いたニューロン間の結合荷重定義の例を示してい
る。図８において、１００１は５つのニューロンから構
成されるニューラルネットを示している。各ノード、例
えばノード４、がニューロンに対応する。

【００２６】ニューロン間の矢印(例えば、リンク１３)
は、ニューロン間に結線があり、矢印の方向に信号が伝
搬することを示している。なお、ここでは、ニューロン
間の結線の有り無し、すなわち、ニューラルネットの構
造が、予め与えられている場合を想定している。矢印に
付加された数値は、ニューロン間の結合強度、すなわ
ち、結合荷重を示している。ここでは、結合荷重を実数
値を用いて表現する例を示している。図８の例では、あ
るニューロンとその入力元となり得るニューロンの間の
各結合荷重を用いて遷移行列を定義している。結線が無
いニューロン間の結合荷重は０として定義している。各
遷移行列内の数値が異なるだけで、構造は図２で示した
遷移行列と全く同じである。従って、２次元交差２０
１、２０２および突然変異２０３が、前記実施例と同様
に適用できる。

【００２７】唯一の違いは、ニューラルネットの構造を
染色体に対応させた場合、突然変異で遷移行列の要素が
０から１、または、１から０に変化したのに対して、ニ
ューロン間の結合荷重を染色体に対応させた場合は、突
然変異で遷移行列の要素が任意の実数値にランダムに変
化する点と、構造を固定しているため結合荷重０の部分
は突然変異の対象にならない点である。図９は、遷移行
列を用いたニューロン間の結合荷重定義の第２の例を示
している。遷移行列内の結合荷重値として２値表現を用
いている以外は全く図８の例と同じである。唯一の違い
は、突然変異において、図８の例では遷移行列の要素が
任意の実数値にランダムに変化するのに対して、図９で
の例では２進数表現された遷移行列の要素のあるビット
が０から１、または、１から０に変化する点である。

【００２８】以上、ニューラルネットの構造を求める場
合およびニューロン間の結合荷重を求める本発明の方式
を示した。ニューラルネットの構造および結合荷重を一
度に求めることも可能である。図１０に、遷移行列を用
いてニューラルネットの構造およびニューロン間の結合
荷重を一度に求める例を示す。構造を求めてから結合荷
重を求める場合に比べて、これら２つを一度に求めるこ
とにより、ネットワークの合成に必要な学習時間の短縮
になる。図１０において、１００１は５つのニューロン
から構成されるニューラルネットを示している。各ノー
ド、例えばノード４、がニューロンに対応する。ニュー
ロン間の矢印、例えばリンク１３、はニューロン間に結
線があり、矢印の方向に信号が伝搬することを示してい
る。矢印に付加された数値は、ニューロン間の結合強
度、すなわち結合荷重を示している。

【００２９】図１０の例では、あるニューロンとその入
力元となり得るニューロンの間の各結合荷重を用いて遷
移行列を定義している。遷移行列の各行が、前記ピラミ
ッド構造に対応する。結合荷重０は、ニューロン間に結
線が無いことを示している。構造の合成も並行して行う
ことを考えているので、図８や図９の場合と異なり、荷
重０の部分も突然変異等の操作の対象になる。各遷移行
列内の数値が異なるだけで、構造は図２で示した遷移行
列と全く同じである。従って、２次元交差２０１，２０
２および突然変異２０３が、前記実施例と同様に適用で
きる。唯一の違いは、突然変異でとり得る荷重値が０，
１，−１の３値存在する点である。ここでは、結合荷重
値として、０，１，−１の３値の場合を示したが、実数
値を扱うことも可能である。

【００３０】以上、２次元遷移行列を用いる実施例を示
した。なお、本発明では、交差の単位となるピラミッド
構造の多様性が必要となるが、この多様性に関しては、
初期集団数を適切に多数設定することで対応できる。ま
た、突然変異率を、従来例よりも、少し高めに設定する
ことでも対応できる。更に、遷移行列内のある行に関し
て、従来の１次元の交差を並行して適用することも考え
られる。変形例として、あくまでも１次元の染色体を用
いて、ニューラルネット上の２次元部分構造を活かした
交差を行う例を、図１１に示す。図１１は、図１０に示
した遷移行列の各行を１行に繋ぎ合わせた、１次元のビ
ット列を染色体と定義する例である。図１１において、
２次元交差２０１は交差位置を限定した２点交差に対応
する。すなわち、２１，２２または２３の位置における
２点交差に対応する。

【００３１】２次元交差２０２は、交差位置を限定した
１点交差に対応する。すなわち、２４の位置に限定した
交差に対応する。突然変異は、図１６に示した従来方式
と同様である。交差位置を限定した２点交差および１点
交差を行うことにより、１次元染色体でも、２次元染色
体を用いた２次元交差と同様の効果を得ることが可能で
ある。但し、限定する交差位置を記憶する必要が有る。
また、２次元の場合と異なり、染色体からニューラルネ
ットの層の数や、あるニューロンに着目したピラミッド
構造を一目で把握することはできない等の問題点は残
る。なお、上記実施例は本発明の一例を示したものであ
り、本発明はこれに限定されるべきものではないことは
言うまでもないことである。例えば、本発明は、当然、
一般的な有向グラフの合成にも適用可能である。何故な
らば、ニューラルネットにおいて、結合荷重を固定して
考えることにより、有向グラフに対応し、更に、信号の
伝般方向を無視することにより、ノードとリンクから構
成される一般のネットワークに対応するからである。

【００３２】

【発明の効果】以上、詳細に説明した如く、本発明によ
れば、ニューラルネット上の有効な２次元部分構造を活
かしたニューラルネットの合成を単純な操作で実現する
方法を実現できるという顕著な効果を奏するものであ
る。より具体的には、ニューラルネット自体を２次元染
色体と考え、ニューラルネット上の２次元ピラミッド構
造単位の交差を行う手段を有するために、ニューラルネ
ット上の有効な２次元部分構造を活かしたニューラルネ
ットの合成が可能である。また、上記具体的な実現手段
として、遷移行列から構成される染色体を定義し、この
遷移行列内のある行の置き換えという操作で上記交差を
行うために、単純な操作のみでニューラルネットの合成
が可能である。また、染色体を見ただけで、対応するニ
ューラルネットの構造が把握できる。

【図面の簡単な説明】

【図１】本発明の基本的な考え方を示す２次元交差の例
を示す図である。

【図２】遷移行列を用いたニューラルネットの構造定義
の例を示す図である。

【図３】遷移行列を用いた２次元交差の例を示す図であ
る。

【図４】階層単位の２次元交差の例を示す図である。

【図５】遷移行列を用いた階層単位の２次元交差の例を
示す図である。

【図６】突然変異の一例を示す図である。

【図７】遷移行列を用いた突然変異の例を示す図であ
る。

【図８】遷移行列を用いたニューロン間の結合荷重定義
の例を示す図である。

【図９】遷移行列を用いたニューロン間の結合荷重定義
の例を示す図である。

【図１０】遷移行列を用いたニューラルネットの構造お
よびニューロン間の結合荷重定義の例を示す図である。

【図１１】交差位置を限定した１次元交差の例を示す図
である。

【図１２】１次元染色体を用いたニューラルネットの構
造定義の例(従来技術)を示す図である。

【図１３】１次元染色体を用いたニューラルネットの構
造定義の例(従来技術)を示す図である。

【図１４】遺伝的アルゴリズムの処理手順例を示す図で
ある。

【図１５】交差の従来例を示す図である。

【図１６】突然変異の従来例を示す図である。

【図１７】１次元染色体を用いたニューロン間の結合荷
重定義の例を示す図である。

【図１８】染色体とネットワーク生成規則の対応例を示
す図である。

【図１９】文法エンコード法によるネットワークの成長
例を示す図である。

【図２０】ＸＯＲネットワークの生成に使用されるグラ
フ生成ルールを示す図である。

【図２１】本発明の特徴を示す２次元遺伝的アルゴリズ
ムの処理手順を示す図である。

【図２２】２次元交差の処理手順を示すフローチャート
である。

【図２３】従来の１次元交差の処理手順を示すフローチ
ャートである。

【図２４】２次元の突然変異の処理手順を示すフローチ
ャートである。

【図２５】従来の突然変異の処理手順を示すフローチャ
ートである。

【符号の説明】

１００１〜１００４ニューラルネット０〜４ニューロン１０１,１０２ピラミッド構造１０３,１０４２次元部分構造２０１,２０２２次元交差２０３突然変異２００１,３００１染色体

Claims

【特許請求の範囲】

【請求項１】遺伝子タイプの学習技術を用いたネット
ワークの合成方法であって、ネットワーク自体を２次元
の染色体として定義し、ネットワーク上の２次元部分構
造単位の置き換えを行って、求めるネットワークを合成
することを特徴とするネットワーク合成方法。
【請求項２】前記置き換えを、ネットワーク中のある
ノードを頂点とし、入力層を底辺とするピラミッド構造
単位の、２次元部分構造内の結線情報とノード間の結合
情報のうちの少なくとも一方の置き換えで行うことを特
徴とする請求項１記載のネットワーク合成方法。
【請求項３】前記２次元部分構造単位の置き換えを、
あるノードとその入力元になり得る可能性のあるノード
との間の遷移行列の集合から構成される列を染色体と定
義し、前記遷移行列内のある行を、他の染色体内の対応
する行と置き換える操作で行うことを特徴とする請求項
２記載のネットワーク合成方法。
【請求項４】前記２次元部分構造単位の置き換えを、
あるノードとその入力元になり得る可能性のあるノード
との間の遷移行列の集合から構成される列を染色体と定
義し、幾つかの遷移行列を、他の染色体内の対応する遷
移行列と置き換える操作で行うことを特徴とする請求項
２記載のネットワーク合成方法。
【請求項５】前記ネットワークおよびノードは、それ
ぞれ、ニューラルネットワークおよびニューロンである
ことを特徴とする請求項１から４のいずれかに記載のネ
ットワーク合成方法。