JP3831150B2 - 再配置可能型セルラニューラルネット - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は再配置可能型セルラニューラルネットに関し、特に、ニューロン数，各ニューロン相互の結合の有無および結合の重みを問題に応じて柔軟に変化させることができ、しかも容易に製作可能な繰返し構造によって構成されるニューロセルラオートマトンを再配置可能な再配置可能型セルラニューラルネットに関する。
【０００２】
【従来の技術】
近年人工ニューラルネットによる情報処理技術が発展してきている。人工ニューラルネット（以下、単にニューラルネットと称する）は脳の神経回路網を模倣して、単純で均一な情報処理を行なうユニット（ニューロン）を多数結合してネットワークを構成するものであり、通常のコンピュータと比べて非常に柔軟な処理が行なえると期待されている。
【０００３】
ところで、個々のニューロンは単純な情報処理しか行なえないので、ニューラルネットを本来の神経回路網が行なっているような複雑な処理に使おうとすると、極めて多数のニューロンを相互接続しなければならない。
【０００４】
ニューラルネットの特徴はその柔軟性である。これはニューロン相互の結合の強さが変えられるという点に由来する。さらに言えばこれはタンパク質などで構成され、自由に変形・成長できる生物の神経回路網を模倣したためである。
【０００５】
一方、電子回路などのハードウェアは固体でできており、製作後では変更できないため、調節する必要のある箇所は予め可変デバイスで構成する必要がある。しかし、ニューラルネットの調節点は大規模なネットでは極めて多数となり、それに必要な配線などを考慮すると、予めすべてを組み込んでおくのが困難であるという問題が明らかになった。
【０００６】
本願発明者らは、特開平７−１０５１６４号公報において、セルラオートマタの上でニューロンを成長させてニューラルネットを形成させるというアイディアを提案した。また、特開平１０−２８３３３７号公報において、成長情報をセル空間に分布させることで成長をより簡単に実現する方法を提案した。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記２つの方法では、成長がランダムに設定された成長情報に基づいて起こるため、無駄な軸索および樹状突起を成長させてしまう可能性がある。上記２つの方法はいずれも遺伝的アルゴリズムを用いて機能を進化的に獲得させるものであるが、無駄な軸索・樹状突起は機能に関係しないので、それを省くことはできない。無駄な軸索・樹状突起があると、たとえば装置をＣＭＯＳ回路を使って実現した場合にはその分装置の消費電力が増加してしまうという欠点がある。
【０００８】
また、無駄な軸索・樹状突起が生成されてしまうと、セルラオートマタ上の空間を効率的に利用できないという問題もある。これらはさらには電子回路などハードウェアでの入力セルラオートマタ装置の実装を図る上で、ニューラルネットの低密度化として反映され、装置の物理的規模の増大，消費電力の増大あるいはニューラルネットの機能の低下という問題につながる。
【０００９】
それゆえに、この発明の主たる目的は、機能に関係しない軸索・樹状突起を省き、また進化的手法で得られたニューラルネットを機能を変えずに簡潔化することのできるような再配置可能型セルラニューラルネットを提供することである。
【００１０】
【課題を解決するための手段】
請求項１に係る発明は、状態を保持する状態記憶機構をもつセルが多数個格子状に配列され、各々のセルは現在のセルの状態とその近傍のセルの状態をもとに同期して次の状態を更新する状態更新機構を有するセルラオートマタにおいて、その上に１個ないし複数個のセルからなるニューロンを配置し、予め配置した成長情報に基づいてニューロンの軸索および樹状突起に相当するセル群を成長させるセルラニューラルネットであって、ニューラルネットの動作に不必要な軸索および樹状突起を検出する検出手段と、検出された不必要な軸索および樹状突起を除去する除去手段とを備えて構成される。
【００１１】
請求項２に係る発明では、さらに不必要な軸索および樹状突起を除去した後の残された軸索および樹状突起の配置を変更する配置変更手段を備えて構成される。
【００１２】
請求項３に係る発明では、さらに、配置の変更された軸索および樹状突起を構成するセル以外のセルを利用して新たなニューロンを成長させる手段が設けられる。
【００１３】
【発明の実施の形態】
図１はこの発明の一実施形態によるニューロン型オートマトンを用いた再配置可能型セルラニューラルネットの概略ブロック図である。図１を参照して、３つのセルラオートマトン２ａ，２ｂ，２ｃによって構成されたセルラオートマトン１が設けられる。各セルラオートマトン２ａ，２ｂ，２ｃは、自己のセル３０と自己のセル３０の周囲に４つのセルとしてのＮ（北）セル３１と、Ｅ（東）セル３２と、Ｓ（南）セル３３と、Ｗ（西）セル３４の状態が入力信号として入力されるように、格子状に相互結合されている。
【００１４】
各セル３０〜３４は、状態記憶手段としての状態保持機構４と状態更新手段としての状態更新機構５とを有している。状態保持機構４は各セルを成長させるための状態を記憶するメモリとそのメモリの内容を書換えるための電子回路を含み、状態更新機構５は自己のセルと近傍のセルの状態に基づいて次の状態を更新する。
【００１５】
図２は図１のニューロン型セルラオートマトンの各セルにおける状態導出の原理を示す図である。図２に示すように、自己の現在の状態が９である中央のセルにおいて、自己の状態９とＮ，Ｅ，Ｓ，Ｗのセルの状態１８，１６，１１，５によって自己の次の状態４が導出される。このように、状態を保持するのが状態機構４であり、状態を更新するのが状態更新機構５である。
【００１６】
図１において、ある状態になっている各セルラオートマトン２ａ，２ｂ，２ｃに対象とする問題を表わす信号７を入力する入出力部６が設けられている。そのため、入出力部６には対象とする問題を表わす信号７が入力されていて、それを各セルラオートマトン２ａ，２ｂ，２ｃに出力し、逆に、その出力に応じた各セルラオートマトン２ａ，２ｂ，２ｃの出力結果を表わす信号９ａ，９ｂ，９ｃが入出力部６に入力されている。また、入出力部６の出力が入力される評価部８が設けられ、各セルラオートマトン２ａ，２ｂ，２ｃの出力結果を表わす信号９ａ，９ｂ，９ｃと対象とする問題を表わす信号７がこの評価部８に入力される。
【００１７】
評価部８では、入力された各セルラオートマトン２ａ，２ｂ，２ｃの出力結果を表わす信号９ａ，９ｂ，９ｃが対象とする問題７にどの程度適用したかを表わす適用度が演算され、その演算結果である評価値を表わす信号１０が評価部８の出力として評価反映部１１に入力される。評価反映部１１の出力は、入力された評価値を表わす信号１０に基づく次の各セルラオートマトンの初期状態ならびに次の状態保持機構４および状態更新機構５の動作が決定された結果を表わす信号１２であり、セルラオートマトン２ａ，２ｂ，２ｃのそれぞれに入力される。
【００１８】
図３は図１に示した状態保持機構を示す図である。図３に示すように、状態保持機構４は非公開用の８ビットと、周囲のＮ，Ｅ，Ｓ，Ｗの４つのそれぞれのセルに対応する公開用の８ビットから構成されている。非公開部分は、セルタイプ部分４１が２ビット，ゲート部分４２が２ビット，成長情報部分４３のための３ビットおよび未使用部分４４の１ビットからなっている。非公開部分は、次のように意味づけされている。
【００１９】
セルタイプの部分４１には、
００＝０：空白セル
０１＝１：軸索セル
１０＝２：樹状突起セル
１１＝３：ニューロンセル
が設定される。ここで、空白セルは成長も何も生じないセルであり、軸索セルはニューロンセルから動作信号を送り出す方向に向くセルである。すなわち、軸索セルは、動作信号伝搬の上流となる１つの方向に入力ゲートを有し、残りの３つの方向に出力ゲートを有しており、自己の状態および入力ゲートに入力される状態に応じて、他の３つの方向に動作信号を出力する。また、樹状突起セルは、ニューロンセルに向かって動作信号を集めるセルである。すなわち、樹状突起セルは、動作信号伝搬の上流となる３つの方向に入力ゲートを有し、伝搬先となる方向に１つの出力ゲートを有し、他の３つの方向から動作信号を受け、自己の状態と他の３つのセルの状態に応じて１つの方向に動作信号を出力する。ニューロンセルは、神経細胞の本体となるセルである。
【００２０】
また、ゲートの部分４２には、
００＝０：Ｎ
０１＝１：Ｅ
１０＝２：Ｓ
１１＝３：Ｗ
が設定される。ここで、Ｎは北，Ｅは東，Ｓは南，Ｗは西を表わし、軸索セルの唯一の入力ゲートの方向あるいは樹状突起セルの唯一の出力ゲートの方向を示している。
【００２１】
また、成長情報の部分４３には、次の情報が設定される。
０００＝０：成長停止
１００＝４：左折れ
０１０＝２：直進
００１＝１：右折れ
１１０＝６：左分岐（左方と前方に分岐）
０１１＝３：右分岐（右方と前方に分岐）
１０１＝５：Ｔ字分岐（左方と右方に分岐）
１１１＝７：３方向分岐（左方と前方と右方に分岐）
また、図３の各公開部分４５〜４８は、次のように意味づけされている。
【００２２】
成長モードにおいては、
００＝０：成長信号がない。
【００２３】
０１＝１：軸索成長信号
１０＝２：樹状突起成長信号
１１＝３：未使用
が設定される。機能動作モードでは、信号の強さを表わす２進数が設定される。
【００２４】
図４は図１に示した状態更新機構を示す図である。図４において、状態更新機構５は（ａ）に示す公開状態更新機構５１と、（ｂ）に示す非公開状態更新機構５２とから構成されている。公開状態更新機構５１は合計２４ビットの入力でＮ，Ｅ，Ｓ，Ｗの各セルに対して２ビットを出力するために４個設けられ、非公開状態更新機構５２は合計２４ビットの入力から８ビットのデータを自己のセルの次の非公開状態とするために１個設けられる。
【００２５】
図５はニューロンセルが成長信号を出している様子を示す図であり、図６は図５に示したニューロンセルが軸索および樹状突起を成長させた様子を示す図である。
【００２６】
図５に示すように、２個のニューロンセル２０，２１が配置されているとすると、これらのニューロンセル２０，２１の状態保持機構４の２ビットのセルタイプ部分４１にはニューロンセルを示す１１＝３が格納されている。
【００２７】
また、ニューロンセル２０，２１以外のセルの状態保持機構４のセルタイプ部分４１には空白を示す００＝０が格納されている。ニューロンセル以外のセルの状態保持機構４の成長情報部分４３には直進を示す０１０＝２などが設定されている。
【００２８】
ニューロンセル２０，２１は図５に示すように成長信号を出力するものとする。すなわち、ニューロンセル２１は状態保持機構４の公開部分のＮセルおよびＳセルの部分４５，４７に軸索成長信号を示す０１＝１が設定されており、またＥセルおよびＷセルの部分４６，４８には樹状突起成長信号を示す１０＝２が設定されている。このため、ニューロンセル２１は図５に示すように成長信号を出力する。すなわち、ニューロンセル２１はＮ方向およびＳ方向に軸索成長信号を出力し、Ｅ方向およびＷ方向に樹状突起成長信号を出力する。
【００２９】
ニューロンセル２１のＳ側セルが軸索成長信号を受取ると、その状態保持機構４のセルタイプ部分４１が空白を示す００＝０から軸索を表わす０１＝１に変わる。また、このセルはＮ側から成長信号を受取るので、ゲート用の部分４２にはＮを表わす００＝０が設定される。さらに、このセルの成長情報は直進なので、Ｓ側セルの公開部分で受取ったと同じ軸索成長情報０１を与える。この成長は連鎖的に進む。
【００３０】
図６は図５に示したニューロンセルが軸索および樹状突起を成長させた様子を示しており、セルラオートマトン上のすべてのセルは空白，軸索，樹状突起，ニューロンの４つのセルに分類される。この分類は状態保持機構４のセルタイプの部分４１の値によって決定される。
【００３１】
ところで、図６に示したセルラオートマトンにおいて、軸索２２と樹状突起２３が接触している箇所はシナプスと呼ばれ、軸索２２から樹状突起２３へ信号の拡散が起こる。一方、軸索２２同士あるいは樹状突起２３同士では信号の伝搬は起こらない。樹状突起２３に信号を伝搬しない軸索２２の部分は不要であり、同様に軸索２２から信号を受取らない樹状突起２３の部分は不要である。さらには、他のニューロンと信号のやり取りを行なわないニューロンは不要となる。このような不要なニューロン２１，軸索２２および樹状突起２３が形成されるのは、前述のごとくランダムに設定された成長情報に基づいてニューロン２１などが成長するためである。そこで、以下に、この発明の実施形態として、不要なニューロンや軸索や樹状突起を削除する方法について説明する。
【００３２】
図７〜図１１はこの発明の一実施形態の動作を説明するために軸索と樹状突起の配置されたオートマトンを示す図であり、図１２は不必要な軸索および樹状突起を検出する動作を示すフローチャートであり、図１３は不必要な軸索および樹状突起を除去した後、残された軸索と樹状突起の配置を移動する動作を説明するためのフローチャートである。
【００３３】
図７に示したニューラルネットはすべてのニューロン２１と軸索２２と樹状突起２３とを図示したものであり、不要な軸索や樹状突起のセルが含まれている。図８は不要なセル２４を横線で示している。このような不要なセル２４は図１２に示すフローチャートに基づいて検出される。すなわち、図８に示す不要なセル２４に対してマークをつける。そして、マークをつけたセルを空白セルに戻し、マークをつけたセルの上流のセル中の分岐情報からマークをつけたセルへの情報を消去する。空白に戻されたマークを外し、上流セルの分岐情報の数が０であればその上流セルにマークをつける。この動作を繰返し、マークのつけられている不要なセルを順次空白セルに戻す。
【００３４】
図９は図８に示した不要なセルを除去したニューラルネットを示す。図９に示すように、不要なセルを除去したニューラルネットと、不要なセルが存在する図７に示したニューラルネットを対比すれば明らかなように、不要なセルを除去することによって、ニューラルネットの動作にかかるエネルギー消費が節約されるとともに、セルラオートマタ空間中に空き空間を作りだすことができる。この空き空間を利用して、軸索２２と樹状突起２３とが再配置される。
【００３５】
図１０は図９で作りだされた空き空間を利用して、軸索２２と樹状突起２３のセルを再配置した図であり、図１３はセルを再配置するための動作を示すフローチャートであり、図１４はその動作を説明するための図である。
【００３６】
たとえば、図１４に示すように、この樹状のセル３０を点線で示すように直線となるように配置する場合、末端のセル３１を選択し、そのセル３１からニューロンセル２１までの経路を検出する。そして、経路中の屈曲点で或る条件を満たす組を検出する。ここで、或る条件とはニューロンセル２１から見て右折れ３２と右折れ３３を有しているかなどであり、これに限らず右折れ−Ｔ字分岐，右分岐−右折れ，右分岐−Ｔ字分岐を有しているかの条件があり、左折の場合も同様の条件が設定される。
【００３７】
図１４の右折れ３２の直前のセルから右折れ３３の直後のセルへの直線経路（図１４の点線で示す経路３４）を調べ、ニューロンセルや軸索や樹状突起がなければ、すなわち空白セルであれば、旧経路および新経路上のセルの分岐情報を適切に変更する。すなわち、図１４に示した例では、右折れ３２の直前のセルに点線で示す直線経路３４方向の分岐情報を加えかつ右折れセルへの分岐情報を外す。そして、直線経路３４上のセルの分岐情報をすべて直線経路方向に設定する。この一連の動作を繰返すことによって、図９に示す迂回しているセルを直線のセルに配置換えすることができる。図９に示すセルを配置換えして示したのが図１０のセルラオートマタである。
【００３８】
図１１はこれまでの操作によって確保された空間に２個の新たなニューロンを配置し、軸索２２と樹状突起２３とを成長させたものである。この場合、分岐情報を増加させることによってセルを成長させることができる。たとえば、当該セルが右折れであれば右分岐あるいはＴ字分岐などに変更することによってセルを成長させることができる。また、再度最初からニューラルネットの成長を行なえばネットワークの付加になる。
【００３９】
上述のごとく、この実施形態によれば、ニューラルネット中の不要な軸索と樹状突起を検出してニューラルネット中から取除き、最後に残ったニューロンと軸索と樹状突起を再配置し、セルラオートマタ空間中の空き領域において新たなニューロンを成長させることができる。それによって、不要な軸索や樹状突起の動作にかかるエネルギー消費を節約でき、不要な軸索や樹状突起を取除いた空き空間を利用してニューロンや軸索や樹状突起を再配置することにより、新たなニューロンおよび成長情報を分布させることができ、ニューラルネットワークのさらなる高機能化を図ることができる。
【００４０】
なお、今回開示された実施の形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００４１】
【発明の効果】
以上のように、この発明によれば、ニューラルネットの動作に不必要な軸索および樹状突起を検出して除去することにより、ニューラルネットの機能を変えずに簡潔化することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態によるニューロン型セルラオートマトンの概略ブロック図である。
【図２】図１のニューロン型セルラオートマトンの各セルにおける状態導出の原理を示す図である。
【図３】図１に示した状態保持機構を示す図である。
【図４】図１に示した状態更新機構を示す図である。
【図５】ニューロンセルが成長信号を出している様子を示す図である。
【図６】図５に示したニューロンセルが軸索および樹状突起を成長させた様子を示す図である。
【図７】不必要な軸索と樹状突起の配置されたセルラオートマトンを示す図である。
【図８】不必要な軸索と樹状突起を検出したセルラオートマトンを示す図である。
【図９】不必要な軸索と樹状突起を除去したオートマトンを示す図である。
【図１０】不必要な軸索と樹状突起を除去した後、残された軸索と樹状突起を再配置したオートマトンを示す図である。
【図１１】図７〜図１０の操作で確保された空き領域を利用してさらに２個のニューロンを配置して軸索と樹状突起を成長させたオートマトンを示す図である。
【図１２】不必要な軸索と樹状突起を検出する動作を示すフローチャートである。
【図１３】軸索と樹状突起を再配置する動作を示すフローチャートである。
【図１４】セルを再配置する動作を説明するための図である。
【符号の説明】
２ａ，２ｂ，２ｃ セルラオートマトン
３ セル
４ 成長状態導出機構
５ 安定期状態導出機構
６ 入出力部
８ 評価部
１１ 評価反映部
２０，２１ ニューロンセル
２２ 軸索セル
２３ 樹状突起セル
２４ 空白セル

Claims (2)

1. 状態を保持する状態記憶機構をもつセルが多数個格子状に配列され、各々のセルは現在のセルの状態とその近傍のセルの状態をもとに同期して次の状態を更新する状態更新機構を有するセルラオートマタにおいて、
   その上に配置された１個ないし複数個のセルからなるニューロンを基点として、予め各セルに設定された各セルとその近傍のセルとの間の動作信号伝搬を規定する成長情報に基づいてニューロンの軸索および樹状突起に相当するセル群が成長するセルラニューラルネットであって、
   動作信号の相互伝搬が生じず、ニューラルネットの動作に不必要な軸索および樹状突起を検出する検出手段と、
   前記検出手段によって検出された不必要な軸索および樹状突起を除去する除去手段と、
   前記不必要な軸索および樹状突起を除去した後の残された軸索および樹状突起の配置を変更する配置変更手段とを備えた、再配置可能型セルラニューラルネット。
2. さらに、前記配置変更手段によって配置の変更された軸索および樹状突起を構成するセル以外のセルを利用して新たなニューロンを成長させる手段を備えた、請求項１に記載の再配置可能型セルラニューラルネット。

Images