JP3287738B2 - 関係関数探索装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、予め入力データ群
と出力データ群が与えられている場合に、それらの入力
データ群と出力データ群の関係を最も満足する関係関数
（入出力関係を表す関数）を自律的に探索する関係関数
探索装置及びその方法に関する。

【０００２】

【従来の技術】近年のコンピュータ技術の発達により、
サンプルとして入力データと出力データ（複数組の場合
を含む）をコンピュータに与え、コンピュータによって
与えられた入力データと出力データの関係を学習し、そ
の学習した関係に基づいて新たな入力データに対してそ
の関係に見合う出力データを出力する技術が開発されて
いる。このような技術としてたとえばニューラルネット
ワークが挙げられる。

【０００３】ニューラルネットワークとは、多入力−出
力の計算ユニットを、重みつきの方向性リンクによって
神経網状に結合してネットワークを構成したものであ
る。各々の計算ユニットは入力値に対して一つの出力値
を算出し、それを重みつきのリンクを介して他の計算ユ
ニットに処理を伝幡し、最終層の計算ユニットは、最終
的な出力データを出力する。

【０００４】このニューラルネットワークの挙動、すな
わち一定の入力値に対して出力する出力値は、そのリン
クの結合の形態、各リンクの重み、計算ユニットの関数
によって定められる。

【０００５】ニューラルネットワークに学習の目標とし
て入力データと出力データのサンプルを与えた場合、ニ
ューラルネットワークは初期値の重みによって入力デー
タを処理してある出力データを出力する。次にニューラ
ルネットワークは、この出力データと学習目標の出力デ
ータとを比較し、その誤差、通常出力値と目標値の二乗
誤差の総和を求め、この誤差が最も小さくなるように各
リンクの重みを調整する。この学習の処理は、「誤差逆
伝幡」と呼ばれており、各リンクの重みをパラメータと
する非線形回帰の問題として処理することができる。

【０００６】このように学習したニューラルネットワー
クは、新な入力データに対しても、先にに学習目標とし
て与えた入出力データの関係によく近似した形で出力デ
ータを出力するすることができる。

【０００７】しかし、上記ニューラルネットワークは、
学習目標として与えられた入出力データの関係を近似し
て新たな入力データに対してそれに見合った出力データ
を出力することができるが、その学習した入出力関係は
外部からは把握することができなかった（このことを、
入出力関係が「陽でない」また「陽表的でない」とい
う）。

【０００８】ニューラルネットワークの方法は、入出力
関係が陽表的でないために、その入出力関係の妥当性を
論理的な観点から評価することができなかった。つま
り、ニューラルネットワークでは、学習した入出力関係
がどの程度学習目標の入出力データの関係を数値的に評
価することができるものも、その入出力関係がどのよう
な形（関数の形）を採っていて、それが論理的に確から
しいか否かを推定することができなかった。

【０００９】このため、経済、金融、経営、マーケティ
ング、自然科学等の分野で実際にニューラルネットワー
クを用いて近似や予測をする場合、その近似または予測
した結果が正しいか否かを推定することができず、実用
化への妨げとなっていた。

【００１０】一方、上記ニューラルネットワークに対し
て、入力データと出力データの入出力関係を陽表的に求
める統計的な関数近似法が知られている。この統計的近
似法としては線形重回帰や非線形重回帰などが一般に知
られている。

【００１１】線形重回帰は Ｙ＝ａＸ1 ＋ｂＸ2 ＋ｃ のような線形関数を入出力関係として想定し、この線形
関数で最も入力データと出力データに適合するパラメー
タａ，ｂ，ｃを定める方法である。

【００１２】一方、非線形重回帰は、上記線形重回帰を
さらに拡張し、 Ｙ＝ａＸ1 ＾2 ＋ｂＸ1 ＋ｃＸ2 ＋ｄ のような非線形関数を関係関数として想定してパラメー
タａ，…，ｄを定める方法である。

【００１３】しかし、上記統計的関数近似法は、入出力
関係を与える関数が固定的な形を有しているので、上記
線形関数および非線形関数以外の適当な入出力関係を満
足することはできなかった。

【００１４】上記統計的関数近似法に対して自由な形の
関係関数を求める方法がスタンフォード大学のJohn Koz
a 教授によって提唱されている。Koza教授は、最初にラ
ンダムに関係関数を所定の個数生成し、これらの関係関
数から遺伝的アルゴリズムによる進化の方法によって繰
り返し進化させ、最終的に与えられた入出力関係に適合
した関係関数を生成するものであった。

【００１５】上記遺伝的アルゴリズムによる進化の方法
は、最初に現在存在している複数の関係関数をそれぞれ
染色体のＤＮＡ配列のように一連の構成要素の連なりと
して取扱い、それらの関係関数の要素の一部をたがいに
交換させ（これらを“交叉”という）、あるいは一定の
確率で関係関数の要素の一部に新たな要素を投入し（こ
れを“突然変異”という）新たな入出力関係の集団を生
成する。次に、その生成した関係関数候補を評価し、関
係関数候補の集団から、与えられた入出力関係に適合し
たものを選択し、選択した関係関数候補の集団について
さらに、進化、評価、選択の処理を繰り返す。このよう
に繰り返し進化、評価、選択の処理を行うことによっ
て、最終的に入出力関係を満足するものを得る。

【００１６】上記進化、評価、選択によって一つの関係
関数の集団から他の入出力関係の集団を生成すること
を、遺伝的アルゴリズムによる進化の方法では“一世代
の進化”という。遺伝的アルゴリズムによる進化の方法
によれば、世代の進化を繰り返すことによって、当初ラ
ンダムに作った入出力関係がその形を変え、与えられた
入出力関係をより満足するものが選択される一方、入出
力関係を満足しないものは淘汰され、最終的に与えられ
た入出力関係をもっとも満足する関係関数が生成され
る。

【００１７】

【発明が解決しようとする課題】しかしながら、上記Ko
za教授による遺伝的アルゴリズムによる関係関数探索の
方法では、最適な関数生成への収束性が低く、殆ど実用
的な用途に供することができなかった。

【００１８】すなわち、Koza教授による方法では、加減
乗除、指数関数、対数関数、三角関数等の要素となる関
数（以下、これらをまとめて関数要素という）と、これ
ら関数要素に乗じる係数や加える定数等のパラメータの
数値をすべてランダムに選択して関数を構成していた。
このため、一つの定まった関数の形についても、パラメ
ータの相違によって無数の関数が存在した。このパラメ
ータの影響によって入出力条件に適した関数の形への収
束性がきわめて低かった。

【００１９】また、進化させる各世代の関数の候補の中
に入出力条件を満足する素質を有する関数を存在させる
ために、各世代の関数の個数を多くしなければならなか
った。このため、処理するコンピュータはきわめて大き
な容量と処理能力を有しているものでなければならなか
った。

【００２０】

【課題を解決するための手段】上記課題を解決するため
に、本願請求項１に係る関係関数探索装置は、関数要素
と記号で表したパラメータとをツリー構造で生成する操
作を繰り返して関係関数の集団を生成する関数生成手段
と、遺伝的アルゴリズムによる進化の手法によって、現
在の関係関数の集団を次世代の関係関数の集団に進化さ
せる世代進化手段と、前記世代進化手段によって進化し
た各関係関数のパラメータの最適な数値を、線形回帰手
法あるいは非線形回帰手法によって推定するパラメータ
推定手段と、前記パラメータ推定手段によってパラメー
タに最適数値が入った関係関数に対して、所与の入出力
データに対する適応度を評価する評価手段と、前記評価
手段によって適応度が高いと評価された関係関数を優先
的に選択し、数値のパラメータを記号に表して前記世代
進化手段の処理に戻す選択手段と、を備えていることを
特徴とするものである。

【００２１】本願請求項２に係る関係関数探索装置は、
請求項１の装置において、前記世代進化手段によって生
成された関係関数を、数式的に同義な単純な形に書き換
える関数単純化手段を備えていることを特徴とするもの
である。

【００２２】本願請求項３に係る関係関数探索装置は、
請求項１の装置において、関係関数の数式としての形を
検査し、数式として不合理な関係関数を選別してパラメ
ータの推定の対象から除外する不合理関数検査手段を備
えていることを特徴とするものである。

【００２３】本願請求項４に係る関係関数探索装置は、
請求項１ないし３のいずれかの関係関数探索装置におい
て、前記世代進化手段は、交叉、突然変異、不均衡進化
の少なくとも一つの方法によって、関係関数を進化させ
ることを特徴とするものである。

【００２４】本願請求項５に係る関係関数探索装置は、
請求項１ないし３のいずれかの関係関数探索装置におい
て、前記パラメータ推定手段は、線形回帰の方法、Guas
s-Newton法、Levenberg-Marquart法、Steepest Descent
法、Quasi-Newton法、Simplex 法、Weighting 法、Ridg
e Regression法、Full Newton 法のいずれかによって各
関係関数候補のパラメータの最適値を推定することを特
徴とするものである。

【００２５】

【００２６】

【００２７】

【００２８】

【００２９】

【００３０】

【発明の実施の形態】以下に本発明の実施の一形態につ
いて添付の図面を用いて説明する。図１は、本発明によ
る関係関数探索装置の一構成例とその処理の流れを示し
ている。本実施形態の関係関数探索装置１は、外部の情
報処理装置２と組み合わされて使用される。関係関数探
索装置１は、関数生成手段３と、世代進化手段４と、関
数単純化手段５と、不合理関数検査手段６と、パラメー
タ推定手段７と、評価手段８と、選択手段９とからな
る。一方、情報処理装置２は、入力手段１０と、処理装
置１１と、出力手段１２と、記憶手段１３とからなる。
ここで、本発明による関係関数探索装置は、上記実施形
態のように外部の情報処理装置と組み合わされる独立の
装置とする他、それ自体に入力手段、出力手段、記憶手
段等を備えた構成とすることもできる。

【００３１】さらに好ましくは、処理装置と入力手段と
記憶手段と出力手段とを備えた一般的な構成の情報処理
装置において、装置の動作を規定したソフトウェアを起
動することにより、本発明の関係関数探索装置を実現す
ることもできる。

【００３２】次に本実施形態の関係関数探索装置の処理
について以下に説明する。上記実施形態の関係関数探索
装置１では、最初に入力と出力の関係を求めたい入力デ
ータと出力データ（これをまとめて入出力データとい
う）を、情報処理装置２の入力手段１０によって記憶手
段１３の入出力データファイル１４に格納する。同時
に、入力手段１０によって、関係関数（入出力データの
関係を表わす関数）を求める際の遺伝的アルゴリズムに
よる進化の条件、すなわち進化を行う関係関数の候補の
数（これを集団サイズという）、交叉する確率（これを
交叉率という）、突然変異率、進化を繰り返す数（これ
を世代数という）、適応度の許容値、選択時の確率の配
分等を入力する。

【００３３】上記遺伝的アルゴリズムの進化の条件の入
力により、関数生成手段３は、それら条件に基づいて関
係関数の候補を多数生成する。これら生成された関係関
数候補は、進化のための関係関数候補の母集団を形成す
る。

【００３４】ここで、候補となる関係関数の生成の方法
について説明する。関数生成手段３は、情報処理装置２
の記憶手段１３の関数要素ファイル１５から所定個の関
数要素を取り出し、これら関数要素と変数とパラメータ
とをランダムに配列する。上記関数要素は、ベキ乗（＾
ｎ）、ｓｉｎ、ｃｏｓ、ｌｏｇ、ｅｘｐ、…等の関数の
他、加（＋）、減（−）、乗（＊）、除（／）等の演算
子も含む。上記変数は、入力データを代入する部分であ
り、入力データの次数だけ存在する。上記パラメータ
は、係数や定数等、最終的には具体的な数値を代入する
ものであり、関数生成の段階ではａ，ｂ，ｃ，…等の記
号で表わしたものである。

【００３５】たとえば、関数要素と変数とパラメータ配
列が（Ｘ1 ）（＾）（ａ）（−）（ｂ）（＊）（Ｘ1 ）
（＊）（Ｘ2 ）（＋）（ｃ）（＊）（Ｘ2 ）（＾）
（ｄ）（−）（ｅ）となった場合、この配列は下記の関
係関数候補 Ｙ＝Ｘ1 ＾a −ｂＸ1 Ｘ2 ＋ｃＸ2 ＾d −ｅ を意味している。（ ）内はこの関係関数候補の構成要
素（関数と変数とパラメータとを含む）となる。

【００３６】同様にたとえば、関数要素と変数とパラメ
ータの配列が、（Ｘ1 ）（＋）（ｂ）（＊）（ｓｉｎ）
（（ｃ）（＊）（Ｘ2 ））となった場合、これは下記の
関係関数候補 Ｙ＝Ｘ1 ＋ｂｓｉｎ（ｃＸ2 ） を意味している。

【００３７】このようにすべての関係関数候補は、関数
要素と変数とパラメータ等の構成要素の線形配列によっ
て表わされる。したがって、関数生成手段３は、関数要
素と変数とパラメータとをランダムに組み合わせて線形
に配列することによって関係関数の候補を生成すること
ができる。

【００３８】上述方法により、関数生成手段３は、予め
入力手段１０によって指定した集団サイズに達するまで
関係関数候補を生成し、これを関係関数候補の母集団と
して関係関数ファイル１６に格納する。

【００３９】次に、世代進化手段４が、関係関数ファイ
ル１６から関係関数の候補の母集団を取り出し、これを
遺伝的アルゴリズムの手法によって進化させる。この遺
伝的アルゴリズムの手法による進化には、交叉、突然変
異、不均衡進化の諸方法がある。本発明の関係関数探索
装置１では、上記いずれの方法によって遺伝的アルゴリ
ズムによる進化を行ってもよい。

【００４０】上記「交叉」とは、生物の遺伝において染
色体が一対ずつカップリングし、遺伝子の一部を交換し
て新たな遺伝子配列の染色体を得る遺伝子操作を真似た
ものである。すなわち、関係関数候補を関数要素、変
数、パラメータ等の構成要素からなる一連の配列として
取扱い、それらの関係関数候補を一対ずつ相対させ、関
数要素、変数、パラメータの一部を交換させて、新たな
一対の関係関数の候補を得るのである。このことを上記
例示した関係関数候補を用いて模式図によってさらに詳
しく説明する。

【００４１】図２は、二つの関係関数候補の交叉の様子
を示している。今、交叉前の関係関数候補を Ｙ1 ＝Ｘ1 ＾a −ｂＸ1 Ｘ2 ＋ｃＸ2 ＾d −ｅ Ｙ2 ＝Ｘ1 ＋ｂｓｉｎ（ｃＸ2 ） とする。これらの関係関数候補は、図２に示すようなツ
リー構造に表わすことができる。ツリーの分節点（ノー
ドという）は、各関数要素を示している。一方、ツリー
の末葉部分（リーフという）は、パラメータあるいは変
数を示している。

【００４２】交叉は、ツリー構造の任意のノードで行な
われ、この場合そのノード以下のノードとリーフは一つ
のかたまりとして交叉される。たとえば、図２に示すよ
うにＹ1 のノード１７とＹ2 のノード１８で交叉が行わ
れると、Ｙ1 のノード１７以下のｃＸ2 ＾d とＹ2 のノ
ード以下のｓｉｎ（ｃＸ2 ）がそれぞれ一かたまりとし
て互いに交換される。この結果、Ｙ1 とＹ2 はそれぞ
れ、下記のＹ1 ′とＹ2′とに進化する。 Ｙ1 ′＝Ｘ1 ＾a −ｂＸ1 Ｘ2 ＋ｓｉｎ（ｃＸ2 ）−ｅ Ｙ2 ′＝Ｘ1 ＋ｂｃＸ2 ＾d このようにして、母集団の関係関数候補のすべては、二
つずつ組み合わされ、交叉され、これによって新しい関
係関数候補の集団が生成される。この生成された関係関
数候補の集団は、母集団に対して“次世代集団”とい
う。この次世代集団の関係関数候補は、関係関数ファイ
ル１６に格納される。

【００４３】「交叉」が関係関数候補の構成要素を互い
に交換するのに対して、「突然変異」は個々の関係関数
候補の構成要素を変化させて新しい関係関数候補を生成
する。

【００４４】すなわち、本装置における「突然変異」
は、対象となる関係関数候補のすべての構成要素に対し
て、一定の確率で変化させる。変化はランダムであり、
それぞれの関数要素、変数、パラメータを無関係な関数
要素、変数、パラメータに置き換える。これによって、
新しい関係関数候補からなる次世代集団が生成される。
この突然変異による関係関数候補の次世代集団も、関係
関数ファイル１６に格納される。

【００４５】次に「不均衡進化」の方法について説明す
る。「不均衡進化」は、一つの関係関数候補から複数の
（たとえば二つの）子の関係関数候補を生成し、これら
の子の関係関数候補には、親とそっくりの子と、親の要
素の一部が変化した子とが混在するようにする。このよ
うに、親と異なる資質の子が混入する世代進化を繰り返
すことによって、元の親とそっくりの個体から全く異な
る個体までの多様な個体が生成され、その中の適応度が
高いものを選択することによって最適な関係関数に収束
することができる。

【００４６】図３は上記不均衡進化の様子を概念的に示
したものである。図３において、一つの親の関係関数候
補は、二つの子の関係関数候補を生成する。それぞれの
親の関係関数候補は、子を生成する際にleading 鎖とla
gging 鎖という子をコピーするためのひな型を二つもっ
ている。

【００４７】leading 鎖１９（図３において下向きの矢
印によって示す）は、子を生成する際に親の形質をそっ
くり継承し、これをひな型として相手方のlagging 鎖２
０（図において上向きの矢印によって示す）を複製し、
子を生成する。複製される側の鎖は、図３において破線
で示す。一方、lagging 鎖２０は、子を生成する際に親
の形質（ここでは関係関数候補の構成要素）に一定の確
率で突然変異ｅを混入させる。この突然変異ｅを含んだ
形をひな型にして相手方のleading 鎖１９を複製し、親
と形質の異なった子を生成する。

【００４８】上記不均衡進化を繰り返すことによって、
最初の親の形質をそっくり継承した個体と、突然変異が
累積して最初の親と極めて異なる個体と、その中間の形
質の個体とからなる多様な個体を生成することができ
る。図３は、３世代進化した場合を示しており、１世代
進化で２個の突然変異ｅがlagging 鎖２０に混入すると
して、３世代目には突然変異ｅを全く含まないものか
ら、４個の突然変異ｅを含むかなり異なるものまで、３
種類４個の個体が生成される。

【００４９】上記「交叉」と「突然変異」と「不均衡進
化」の各遺伝的アルゴリズムの進化の方法は単独で用い
てもよく、また、組み合わせて使用することもできる。
たとえば、交叉を行った後に一定の確率で突然変異さ
せ、あるいは不均衡進化させた後に全体の関係関数候補
に対して一定の確率で突然変異を生じさせる等すること
ができる。

【００５０】次に世代進化手段４によって進化した関係
関数候補のそれ以降の処理について図１に戻って以下に
説明する。

【００５１】関数単純化手段５は、関係関数候補の母集
団から関係関数候補の次世代集団が生成された後に、上
記次世代の関係関数候補を関係関数ファイル１６から取
り出し、単純化ルールファイル２１を参照しながら、こ
れらを数式的に同義の単純な形の関数に書き換える。

【００５２】これは、世代進化手段４は、関係関数の構
成要素を全くランダムに交叉等するので、関係関数の一
部にたとえば（ａ＋ｂ＋ｃ）Ｘ1 やａｂｃＸ1 のような
部分が存在することがある（ここでａ，ｂ，ｃはパラメ
ータ、Ｘ1 は変数）。これらの関数部分は単純な形に書
き換えることができるので、関数単純化手段５は、（ａ
＋ｂ＋ｃ）Ｘ1 をｄＸ1 （ｄはｄ＝ａ＋ｂ＋ｃからなる
あらたなパラメータ）、ａｂｃＸ1 をｄＸ1 （ｄはｄ＝
ａ×ｂ×ｃからなる新たなパラメータ）に書き換える。
これによって取り扱うべきパラメータ等が減少し、以降
に述べるパラメータの推定、評価、選択等の諸処理をよ
り簡単に行うことができる。単純化ルールファイル２１
には、数式を単純化できる判断条件と単純化した後の形
の単純化ルールが多数格納されている。

【００５３】このようにして関数単純化手段５は、各関
係関数候補について単純化ルールファイル２１の単純化
ルールを参照して判断し、該当する場合には、関係関数
候補を書き換えた後に関係関数ファイル１６に格納す
る。

【００５４】次に、不合理関数検査手段６は、関数単純
化手段５によって単純な形に書き換えられた関係関数候
補を関係関数ファイル１６から取り出し、検査ルールフ
ァイル２２を参照しながら数式として不合理な関係関数
を選別し、後に述べるパラメータの推定や評価等の処理
の対象とする。

【００５５】数式として不合理なものとは、たとえばlo
g （負の数）、（負の数）の1/2 乗、等のようなもので
ある。不合理関数検査手段６は、数式として不合理な関
係関数候補を排除して、合理的な関係関数候補のみから
なる集団をつくって関係関数ファイル１６に格納する。

【００５６】次にパラメータ推定手段７が上記不合理関
数検査手段６によって選別されて格納された関係関数候
補の集団を関係関数ファイル１６から取り出し、各関係
関数候補のパラメータの最適な数値を具体的に推定す
る。

【００５７】今、入力データｘ1 ，…，ｘn と出力デー
タｙ1 ，…，ｙn の関係を示す関係関数をｆとすると、
関係関数ｆが入出力関係を近似しているか否かはパラメ
ータの数値の組合せ、すなわちパラメータのベクトルΘ
＝（θ1 ，…，θk ）による。

【００５８】この場合、最適な関係関数の探索は、パラ
メータ空間内の探索に置き換えられる。この最適なパラ
メータの探索は、出力データｙｉ（ｉ＝１，…，ｎ）と
所定のパラメータのベクトルΘの関係関数ｆ（ｘｉ，
Θ）との二乗誤差の総和を最小にするように行う。ここ
で、出力データｙｉ（ｉ＝１，…，ｎ）と関係関数ｆ
（ｘｉ，Θ）の二乗誤差の総和は、下式のように書き表
すことができる。 具体的には、上記Ｓ＾2 （Θ）が減少する方向にパラメ
ータのベクトルΘに微少な変更を加えて、逐次的最適パ
ラメータのベクトルに、すなわちその関数の形における
最適な関係関数に至るようにする。

【００５９】上記パラメータの推定、すなわちパラメー
タ空間におけるパラメータベクトルの探索の方法として
公知のGauss-Newton法、Levenberg-Marquart法、 Steep
estDescent 法、Quasi-Newton法、Simplex 法、Weighti
ng 法、Ridge Regression法、Dennis,Gay and Welsch
によるFull Newton 法のいずれかを用いることができる
（Sen Srivastava,Springer Verlag著によるRegression
Analysis Theory,Methods and Applications 参照）。

【００６０】たとえば、好ましいSteepest Descent法に
よれば、関数Ｓを各パラメータで偏微分して、その最急
降下方向であるgradient方向にパラメータを変更する。
すなわち、 Θ(r+1) ＝Θ(r) −α(r) Δ(r) で示すようにΘを逐次変化させる。

【００６１】ここで、Θ(r) はｒ回目に求めたΘ、Δ
(r) はΘ(r) における最急降下方向、すなわち、Ｓ＾2
（Θ）のθ1 ，…，θk における偏微分の最大値、α
(r) はΘ(r) の最急降下方向への変化の幅を示してい
る。

【００６２】Steepest Descent法では、α(r) を適当な
値とすることにより、Θの変化を繰り返すことによりＳ
＾2 （Θ）は最小値をとるようになり、このときのパラ
メータベクトルΘ（＝θ1 ，…，θk ）を最適パラメー
タと推定して関係関数の具体的な形を決定する。

【００６３】パラメータ推定手段７は、上記方法によっ
て各関係関数の候補の最適パラメータを推定し、関係関
数ファイル１６に格納する。

【００６４】次に評価手段８は、パラメータ推定手段７
によって具体的に特定された各関係関数の候補につい
て、入出力データファイル１４を参照し、各関係関数候
補の適応度を算出する。この場合、適応度は先に算出し
た二乗誤差の総和Ｓ＾2 （Θ）とすることもできるし、
また、入出力データの組に軽重を与え、重要な入出力デ
ータの組に適応する関係関数候補により高い適応度を与
えることもできる。評価手段８によって適応度を与えら
れた関係関数候補は関係関数ファイル１６に格納され
る。

【００６５】次に選択手段９は、現在の関係関数候補の
中から適応度が高いものを中心に関係関数候補を選択す
る。

【００６６】上記選択手段９による選択方法としてはル
ーレット法とエリート保存法とこれらを組み合わせたも
のとがある。

【００６７】ルーレット法は、適応度に比例した確率を
各候補に割り当て、適応度の高い候補を高い確率で選択
するようにしたものである。この方法によれば、現在適
応度が低いものも選択されることがあり、その選択され
たものが将来進化によって最適なものに進化する可能性
を担保することができる。

【００６８】これに対してエリート保存法は、適応度の
高い候補から順に一定の数の候補を選択するものであ
る。この方法は、現在適応度が高いものは必ず選択され
る利点を有する反面、現在適応度が低いが素質が良いも
のは淘汰される欠点も有している。

【００６９】本実施形態の選択手段９による選択は、上
記ルーレット法とエリート保存法の長所を組み合わせた
ものである。すなわち、適応度の高い順に候補をエリー
ト保存法によって一定数選択し、残るものについてはル
ーレット法によって選択するものである。これにより、
適応度が高い候補が必ず選択され、また、現在適応度が
低くても進化によって適応度が高いものになる候補も一
定の確率で選択される可能性を残すことができる。

【００７０】選択手段９によって選択された関係関数の
候補は、関係関数ファイル１６に格納される。このとき
適応度が所定の基準値以内となった極めて適応度が高い
関係関数候補は、パラメータに具体的な数値を代入した
形で適合解として出力される。このような適合解が見つ
からない場合は、選択された関係関数候補は記号による
パラメータを備えた形で関係関数ファイル１６に格納さ
れる。この場合、次の世代進化では、前世代で選択され
た関係関数候補の集団が新たな母集団として遺伝的アル
ゴリズムによる世代進化に供される。

【００７１】上記遺伝的アルゴリズムによる進化、関数
の単純化不合理関数の検査、パラメータの推定、評価、
選択の一連の処理を、遺伝的アルゴリズムによる一世代
の進化という。関係関数探索装置１は、この遺伝的アル
ゴリズムによる世代進化を繰り返すことによって、関係
関数候補を入出力関係を満足する方向に徐々に変化さ
せ、最終的に最適な形の関係関数を得ることができる。

【００７２】なお、上記関数単純化および不合理関数検
査は、いずれもパラメータの推定を容易にするためのも
のであり、必要に応じて省略することができる。

【００７３】以下に、Koza教授による従来の関係関数探
索装置との比較における本発明の関係関数探索装置の効
果について説明する。

【００７４】図４は、本発明による関係関数探索装置と
Koza教授による関係関数探索装置の最適解への探索の経
過を比較して示している。

【００７５】図４に示すように、Koza教授の関係関数探
索装置による関係関数候補の適応度は全体として増加す
る傾度にあるものの、各世代進代後の適応度は激しく増
減する。これに対して本発明による関係関数探索装置の
関係関数候補の適応度は、世代進代ごとに増加し目標た
る関係関数の最適解にほぼ直線的に到達することができ
る。

【００７６】したがって世代進化の繰り返し回数におい
ても、本発明による関係関数探索装置は、Koza教授によ
る装置に比べて大幅に少ない回数によって同一の目標に
到達することができる。

【００７７】このような現象が生じるのは、Koza教授の
装置では関係関数候補を生成するのに係数や定数部分に
具体的な数字を代入した形で生成していることに原因が
ある。このように係数や定数に具体的な数字を代入した
形の関係関数では、適応度の低さの原因が、関数の形に
よるものか、係数等の数値によるものかの判断ができ
ず、目標に向っての収束性が悪く、通常の計算機の処理
能力では関係関数の探索はほとんど不可能であった。

【００７８】これに対して、本発明による関係関数探索
装置では、関数の形とパラメータを切り離し、関係関数
の形の進化を中心とし、各関係関数の形において最適な
パラメータの数値を求めている。このため、関係関数の
候補は進化によって急速に最適な関係関数の形に近づ
き、最終的にはパラメータに具体的な数値を代入した形
で関係関数を決定することができる。これにより、実際
に通常の容量と処理能力を有する計算機によっても合理
的な範囲で関係関数の探索を行うことができる。

【００７９】

【発明の効果】以上の説明から明らかなように、本発明
による関係関数探索装置は、与えられた入出力データの
入出力関係を表わす関係関数の候補を関数要素と変数と
パラメータ記号とによって構成し、これらの関係関数の
候補を交叉、突然変異、不均衡進化等によって進化さ
せ、しかる後にパラメータを非線形回帰等の手法によっ
て推定する。関係関数候補の評価は、パラメータを推定
した関係関数候補に対して行い、適応度が高い関係関数
の候補をその形の関数（パラメータを記号によって表わ
したもの）として次世代の候補に残してゆく。これによ
り、通常の処理能力と容量の電子計算機によって、与え
られた入出力データの入出力関係を陽表的な関数の形で
素早く求める関係関数探索装置及びその方法を実現する
ことができる。

【図面の簡単な説明】

【図１】本発明による関係関数探索装置の一構成例とそ
の処理の流れを示したブロック図。

【図２】「交叉」の様子を概念的に示した図。

【図３】「不均衡進化」の様子を概念的に示した図。

【図４】本発明による関係関数探索装置とKoza教授によ
る関係関数探索装置の、最適解探索の経過を比較して示
したグラフ。

【符号の説明】

１ 関係関数探索装置 ２ 情報処理装置 ３ 関数生成手段 ４ 世代進化手段 ５ 関数単純化手段 ６ 不合理関数検査手段 ７ パラメータ推定手段 ８ 評価手段 ９ 選択手段 １０ 入力手段 １１ 処理装置 １２ 出力手段 １３ 記憶手段 １４ 入出力データファイル １５ 関数要素ファイル １６ 関係関数ファイル １７ ノード １８ ノード １９ ｌｅａｄｉｎｇ鎖 ２０ ｌａｇｇｉｎｇ鎖 ２１ 単純化ルールファイル ２２ 検査ルールファイル

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平７−28649（ＪＰ，Ａ) 特表 平４−503876（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 3/00 - 3/12 G06F 17/10 ＪＩＣＳＴファイル（ＪＯＩＳ) ＩＮＳＰＥＣ（ＤＩＡＬＯＧ)

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】関数要素と記号で表したパラメータをツリ
   ー構造で生成する操作を繰り返して関係関数の集団を生
   成する関数生成手段と、 遺伝的アルゴリズムによる進化の手法によって、現在の
   関係関数の集団を次世代の関係関数の集団に進化させる
   世代進化手段と、 前記世代進化手段によって進化した各関係関数のパラメ
   ータの最適な数値を、線形回帰手法あるいは非線形回帰
   手法によって推定するパラメータ推定手段と、 前記パラメータ推定手段によってパラメータに最適数値
   が入った関係関数に対して、所与の入出力データに対す
   る適応度を評価する評価手段と、 前記評価手段によって適応度が高いと評価された関係関
   数を優先的に選択し、数値のパラメータを記号に表して
   前記世代進化手段の処理に戻す選択手段と、 を備えていることを特徴とする関係関数探索装置。
2. 【請求項２】前記世代進化手段によって生成された関係
   関数を、数式的に同義な単純な形に書き換える関数単純
   化手段を備えていることを特徴とする請求項１に記載の
   関係関数探索装置。
3. 【請求項３】関係関数の数式としての形を検査し、数式
   として不合理な関係関数を選別してパラメータの推定の
   対象から除外する不合理関数検査手段を備えていること
   を特徴とする請求項１に記載の関係関数探索装置。
4. 【請求項４】前記世代進化手段は、交叉、突然変異、不
   均衡進化の少なくとも一つの方法によって、関係関数を
   進化させることを特徴とする請求項１ないし請求項３の
   いずれかに記載の関係関数探索装置。
5. 【請求項５】前記パラメータ推定手段は、線形回帰の方
   法、Guass-Newton法、Levenberg-Marquart法、Steepest
   Descent法、Quasi-Newton法、Simplex 法、Weighting
   法、Ridge Regression法、Full Newton 法のいずれかに
   よって各関係関数のパラメータの最適値を推定すること
   を特徴とする請求項１ないし請求項３のいずれかに記載
   の関係関数探索装置。