WO1989009457A1 - Processing of high-order information with neuron network and minimum and maximum value searching method therefor - Google Patents

Description

明 棚 発明 の名称

神経回路網 に よ る髙次情報処理方法及び

そ の た め の最小 · 最大値探索方法 技術分野

本発明 は 、 認識な どの従来の計算機で は解決困難な問 題を解決 で き る神経回路網 の構成方法 と 、 画像認識 、 初 期視覚処理 、 運動制御 、 数値解法な どへ の応用 に 関 す る 背 技術

従来 、 多層型神轻 回路網 に よ る学習 、 記億 、 識別 な ど に つ い て 、 Mc I I eard and Rumel hartに よ る 、 " Para l lel Distributed Processing I and I " ( H I T Press, 1 9 8 5 ) に おい て 論 じ ら れ て い る が 、 最も高度 に 発展 し た 生体の脳生理学的な知見 は全 く 反映さ れて お ら ず 、 し か も実際的な応用 を 前提 と し た 場合 に 問題 と な る 回路 網 の構造 、 計算の髙速性 、 な ど につ い て 議論 さ れて い な い 。 さ ら に 、 時間 に 依存す'る対象 に 対す る 回路網 の構成 方法 に つ い て も述 べ ら れ て い ない 。

—方、 神経回路網 を エネ ル ギ ー 最小化問題 と し て 解 く 方法 は 、 " Hop-f ield S Tank" ( Sc ience, Voに 2 3 3 PP. 6 2 5 - 6 3 3 ( 1 9 8 6 ) ) に お い て 述 べ ら れ て い る が 、 対象 と し て い る 神経回路網 は単層 に 限 ら れて お り 、 しかも実用的な計算時間内 に は解が求ま ら ない場合 がある 。

以下、 神経回路網をエネルギー最小化問題と して解く 際の最小 ， 最大値探索方法の従来技術について説明する 与えら れた コ ス 卜 関数 E の最小値 （ 最大値） を求める 場合に おい て 、 コス ト 関数が多数の極'値を持つ場合に は 従来法である確定的な山登 り法では、 この最小値を求め るこ と は一般に 困難であっ た。 なぜな らば、 初期値と し てある槿値の近傍の値が与え られた時には、 確定的なた めに近傍の極小値に落ち込み、 そこか ら は脱出できない 従って、 最小値は求ま らない。 従来、 この問題の解決の' ために 、 シミ ュ レ一ティ ッ ドアニ ー リ ング （ Simulated Anneal ing ) と呼ばれる確定的な山登 り法が提案されて きた 。 単鈍な言い方をすれば、 山 を登るだけではな く あ る確率で山を下る こ とも許す事に よ り 、 最終目 的地に達 し ょ う と するものである。 最もよ く 用 い ら れている方法 は、 E の最小値問題を例に採る と 、 次のよ う になる 。 先 ず、 直接に コ ス 卜 関数 E を考えるかわ り に 、 ポルツマ ン 分布 P〜 e X p ( — E / Ί ) の最大化を考える 。 ここ に 導入 し た 、 パラメ ー タ Tは溫度と呼ばれ、 ラ ンダム ノ ィ ズを発生させ確率的な取 り扱いを許すため に導入 したも のである。 従っ て、 E の最小値に達 した時に は、 T を 0 にもっ て ゆき 、 誤差な し にその最小値に停留させる必要 がある 。 Tを どの よう に し て低温に し てゆ く かの

Coo I i ng schedu I &を決める こ とが 、 シ ミ ュ レ一ティ 、ソ ド ₀ ア ニ ー リ ングの最大の 課題で あ る 。

従来 か ら 良 く 用 い ら れて い る Geman 兄弟 の ス ケジ ユ ー ノレ は IEEE Transaction on Pattern Analysis and

Machine Intel l igence, voに 6 , PP. 7 2 Ί 〜 7 4 1

( 1 9 8 5 ) で議論 さ れて い る よ う に 、 ボルツマ ン分布 に 従っ て 状態を発生 さ 、 Τ ₀ を正 の定数 と し て 、 Τ

( t ) = T ₀ / og ( t + ) と するも ので あ る 。 こ こ に 、 t は モ ンテ カ ル ロ シ ミ ュ レ ー シ ョ ン の 回数 に相 当 す る も の で 、 こ こ で は 時間 と 定 義 す る 。 も ち ろ ん 、 t を大 き く す る と 、 T ( t ) は 0 に な る 。 こ の方 法で う ま く い く 例 は す で に い く つ か報告さ れ て い る が 、 必ず し も適用 で きな い場合も多 い 。 ま た 、 最近 Physics Letters , vol. 1 2 3 , PP. 1 5 7 - 1 6 1 , ( 1 9 8 7年 ） に お いて Szu と Hartley に よ り 論 じ ら れて い る よ う に 、 Pの 最大値へ の収束度を高め る た め 、 ポル ツ マ ン分布の 代わ り に 分布の広が り が大き い ロ ー レ ン ツ分布をも ち い て 、

T ( t ) = T ₀ / ( t + 1 ) な る ス ケ ジ ュ ー ルも 提案 さ れて い る 。 し か し 、 こ れ ら の ス ケ ジ ュ ー ル に 共通す る欠 点は 、 最小化 す べ き コ ス ト 関数の 関数形が全 く 考慮 さ れ て いな い こ と で あ る 。 どの 様 な コ ス 卜 障壁 （ 極小値 と そ の近傍の極大値で の コ ス 卜 の 差 ） を の ぼ り 、 いつ 最終値 に 達す る の か （ いつ 、 Tを 0 に す る か ） が 、 T ( t ) に 反映 さ れ て い な い 。 数字的 に は 、 両者 と も無限 時間経過 すれば 、 必ず 所望 の Pの最大値 に 到 達 す る こ と が証明 さ れ て い る 。 し か し 、 実際 に は シ ミ ュ レ ー シ ョ ン実行可 能 な有限時間内 に最小値に達する場合もあるが 、 そ うでな い場合も多いので、 それ ら の利用価値は必ず しも髙 く な い。

以上のスケ一ジュールに共通する欠点は、 最小化すベ き コ ス ト 関数の関数形が温度 T に反映されていない こ と である 。 従って ： 実際に はシミ ュ レーシ ョ ン実行可能な 有限時間内 に おいて最小値が求ま ら ないこ とが多い。 発明の開示

本発明の目 的は、 生体生理学的知見に基づく 、 あるい はその知見から推察される シナプス構造を取 り入れた最 適な神経回路網の構造を決め 、 特徴抽出、 特徴铳合、 記 億などの高度な情報処理機能を実現可能に し 、 その ロバ ス ト な認識能力を活か した画像認識、 運動制御等への応 用、 ま た はその並列処理能力 を活か した最適問題、 大規 摸数値解法等への応用を可能に する神経回路耩 に よる高 次情報処理方法を提供する こ とである。

上記目 的を達成するための課題は 、

1 . 特徴抽出

2 . 特徴統合

3 . 記憶

を行う 神経回路網を具体的に構成する こ とである 。 脳で は上記のプ ロ セスを順次行っ て いるのであるが、 生理学 的知見 と して は、 1 . につ いて視覚情報処理系、 3 . に つ いて はシナブス結合の可塑性 と し てわずかに分っ てい る に すぎな い 。 2 . は現在 盛ん な研究分野で あ る が 、 铳 一 的な見解が得 ら れる ま で に は至っ て い な い 。 本発 明 の 神経回路網 に よ る高次 情 報処理方法 は脳 を模倣 し た 情報 処理方法で あ る が 、 1 . の プ ロ セ ス に 関 し て は 、 視覚情 報処理系で の生理学的知見 に 基づ く 神経回路網 を構成 し 3 . の プ ロ セ ス に 関 し て は 、 シ ナプス結合の可 塑性を利 用 し た 記億回路 を構成 す る 。 1 . 〜 3 . のプ ロ セ ス と も 基本的に は周 じ機能を有す る神経素子で構成 さ れ る も の で あ る が 、 神経素子 の状態を表わ す 意味が異な る 。 そ の 具体的な構成法 に つ い て は " 実施例 " の項で述 べ る 。

本発明 の他の 目 的 は上記従来技術の 問題点を改善 し た 最小 · 最大値探索方法を提供す る こ と に あ る 。 こ の 目 的 を達成す る た め に 、 溫度 T が 時簡 t の みな ら ず 、 関数 E に も依存 す る 、 つ ま り 、 T = T ( t , E ) と す る 。 度 T の E への依存性 を決 め る た め の指針 と し て 、 初期状態 か ら 、 最終 目 標で あ る 最小値を与え る状態 ま で に 至る 時 刻 を最小 に する こ と を要求 す る 。 t 〗 を最終 時刻 と し て ， こ の t が最小 に な る よ う に E を定 め る 。

ボル ツマ ン分布 e X p ( - E / T ) の 1 次元空 間で の 最大化問題を例 に 採 る と 、 シ ミ ュ レ ー テ イ ツ ド ア ニ ー リ ン グ法 の基本手顚 は 、 次 の 様 に な る （ 第 Ί 1 図 ） 。 先ず 、 e X p ( - E / T ) = e χ ρ { ー / ( Ε ( x ) / 1 ) ' d x } と 書 き直 す 。 こ こ に 、 記号 ' は空 間変数 につ い の 微分 を 、 / — cl x は積分 を 表わ す 。 T が t の み 数 と す る と 、 こ の式 は 単な る 等式 で あ る 。 今 、 & る 状態 X ( ブロ ッ ク 20 1 ) と次に発生 し た状態 x ' ( ブロ ッ ク 20 2 ) における コ ス ト の差を厶 Ε = Ε ( χ ' ) — Ε ( X ) = Ε ( X ) とする と （ プロ ック 203 〉 、 X ' に移行する確率 （ ブロ ッ ク 204 ) は 、

m a [ 1 . e x p i— A ( E T〉 } 】 となる。 状態 X か ら状態 X ' への移行を許すかどう かは、 こ の値と 0 から 1 までの一様乱数 77 ( プロ ック 205 ) と比較する こ と によ り 決める 。 従って、 も し 、 △ E く 0であれば、 必ず X ' に移行 し 、 Δ Ε ^ Οであれば、 つ ま り 、 よ り 髙 いコ ス ト になった と しても、 厶 Εの値で定 ま る確率で移 行を許すのである （ プロ ック 206 , 20 7 ) 。

ある与え られた初期状態か ら 、 最大値に 向かう動的過 程を次の時間発展微分方程式で規定する。 d x ( t ) Z d t -— 「 H' ( t , x ) + ξ ( x )

(a) こ こ に 、 H ( t , x ) = E ( x ) / T ( t , E ) と定 義 し 、· 温度は一股に t , Eあるいは X とも に依存するも の と仮定する。 ま た、 正のパラメ ータ Γは、 平均値 0の 加法的ガウス型ノ イ ズ （ X ) の分散値 とする 。 この動 的方程式 は、 す く な く も と定常状態において ポルッマ ン 分布 e X p { - H ( t , X ) } を与える こ と は次の様に し て簡単に分かる 。 ある時刻 t に状態が X なる値を とる 確率を P ( t , X ) とする と 、 式 （a) に対する確立微分 方程式 は

d P ( X ) / d V d { ' ( X ) P }

Z d X + Γ d ^L P / d 2

( b ) と な る 。 定常状態 に お け る分布 P s は 明 ら か に

e x p ( 一 H ) に 比例 する 。 従っ て 、 最大値の採索方法 は 、 そ の P の最大値近傍 に お い て は 、 シ ミ ュ レ ー テ イ ツ ド ア ニ ー リ ン グ と 周様 に ボルツマ ン分布を利用 す る こ と に な る が 、 そ こ へ の 動 的過程 に お い て は 、 以下 に 述べる 様 に 、 あ る意味 に お いて は 、 よ り 効率的な確率分布を使 用 す る 。

目 的の H ( t , X ) を決め る た め の 針 と し て 、 先ず 最小時間 で探索 す る こ と を要求す る 。 つ ま り 、

f d て = t ( c )

を最小 に す る 。 こ こ に 、 は初期 時刻 、 t ·] は 最終 時 刻で あ る 。 t 〗 は予め分 か ら な い ので 、 こ こ で は未知の 数で あ る 。 t を最 小 に す る に は 、 直観 的 に 言っ て 、 混 度 T を 可 能 な 限 り 高め て お け ば、 容易 に 最大値近傍に 到 達で き る 。 し か し 、 問題 と な る の は 、 そ こ で の 揺 ら ぎ が Tに 比例 し て 大き く な る こ と で あ る 。 す なわ ち 、 そ の 近傍 に は す ぐ に 到達で き る が 、 真 の 最大値 に 抑 え る た め に は 、 逆 に T を小さ く し な け ればな ら な い 。 こ の 卜 レ ー ド 才 フ 的な関係を、 最小化すべきコ ス ト 関数 J で表現す る と 、 た とえば、 正の定数 L を用 いて 、

J = / { L Z 2 T ^L + 1 } d て なる関数が適 ¾であ τ 0

る 。 式 （ a ) の中に は Tではな く 、 H が入っ ているので、 与え ら れた コ ス ト E と H を用 いて、

J = < ¹ { L Z 2 ( H ' / E ' ) ^ + 1 } d r >

て 0

( d ) に拡張する。 こ こ に 、 く ··· > は確立 P ( t , X ) での平 均を意味する 。 Tが X に依存 しない場合に は、 明 ら かに 前述 した コ ス 卜 に等 しい。

問題を整理する と 、 式 （a ) に従う 動的方程式に対 し 、 式（d ) の コ ス トを最小化するた めの ¾適な関数 H * を決 める こ とである 。 そのための具体的手顚は "実施例 " の 項で述べる。

図面の簡単な説明 第 1 図 は本発明の一実施例の概念、 第 2 図は神経回路 網の構成方法、 第 3 図 は特徵抽出回路網、 第 4 図 は特徴 铳合回路網、 第 5 図は記億回路耩 、 第 6 図は画像認識へ の応用例、 第 7 図 は運動制御への応用例 、 第 8 図 は最適 制御への応用例 、 第 9 図 は ^定偏微分方 程式への応用例 第 1 0 図 は本発明の他の実施例である最小最大値探索装 置の アルゴ リ スムの全体概念、 第 1 1 図 はシミ ュ レーテ イ ツ ド ア ニ ー リ ン グ の 計算方法 、 第 1 2 図 お よ び第 1 3 図 は本発 明 の応用 例 、 第 1 4 図 は 、 本発明を画像処理 に 利用 し た場合の 画像処理 シ ス テ ム をそれぞれ示 す 図 で あ る o

発 明 を実施 する た め の最良 の形態

ま ず 、 本発明 に も と づ く 神経回路網 の原理 に つ い て 説 明 する 。

特徴抽 出用 の神轻 回路 網 は 、 第 3 図 （c) に 示す よ う 階 層 的 に 構成 さ れ た 網で あ る 。 神経素子 3 3 1 は各層 3 3

2 に 2 次元 的 に 配置 さ れ 、 隣接 ϋ Ρ に の み神経素子間の 結合 3 3 3 があ る も の と す る 。

具体 的な 回路構造を決め る に 当 り 、 生理学的な知見を 参考 に す る 。 現在 ま で に よ く 知 ら れて い る の は 、 視覚野 と 運動 に 関 す る Μ Τ野で あ る 。 こ こ で は前者の特徴抽出 に 関 す る 、 Hubel と Wieselに よ る " Recept ive f ields, b i nocu I a r interact ion and funct ional archi tecture i n the cat' s vi sual cortex" は Physiol , London , Vol . 6 0 , PP. 1 0 6 - 1 5 4 , 1 9 6 2 ) の 研究 を参照 す る 。

第 3 図 （a ) は 、 大脳 皮 質 の視覚領域 （ 第 1 次視覚野 は あ る い は 、 N し 野 ） に お け る方位選択 性 を示す 実験で あ る 。 大脳皮質 の表面 3 1 か ら 電極 3 2 を な な め に 注入 し て ゆ く と 、 網膜の受容野 を横 © る光 ス リ ツ 卜 の傾 き の特 定 な値 （ 実験で は 1 0 " 間 隔 ） に 反応 す る細胞群が 層 を な している 。 表面垂直方向へ は左右の眼か ら の細胞が集 中 している こ とか ら 、 モジュール構造になっ て いる こ と になる （ 第 3 図 ( b ) ) 。 左右眼か らの情報が交互に現わ れる こ とを除けば、 視覚野ではこのモジュール構造に よ り 、 プ リ ミ ティ ブな特徴を階層的に抽出 して いる こ とに なる 。 た とえば、 図形の各辺をそれに対応する屠が反応 して、 抽出 し ている こ と になる。 し かも 、 各層 に は不均 一性はな く 、 全 く 周種の神経素子で構成されている にも かかわ らず、 情報だ伝達される に ともない 、 自 己組織-化 の結果と して頗次異つた情報を抽出 しているのである 。

今、 この過程を数学的に表現する と

( i ) = S C Κ _Λ ( q q i G ( q ) ] ( 1 ) と耋ける。 こ こに 、 は回路耩の履の番号、 G ( q ) は 光ス リ ツ 卜 の方位あるい はその方位に対応する回転対称 なフ一リ エ波数 q をもつ入力情報 （ 図形 ） 、 K ( q , q ) は ^ 層で方位 q を抽出する核関数、 S は回路網 で行う 演算、 F ( J2 ) は油出された層以外 は 0 になる P 数を表わす。 q ( i = , 2 , ··· 〉 は、 上記の例では 1 0 ^β 間隔の角度を与える 。

以上の よう な生理学的知見 に基づき、 式 （ 1 ) の機能を 実現できる人工的な神経回路網を構成する 。 神経素子間 の結合構造の一例 を、 第 3 図 （d ) に示す 。 下位の層 に位 置する隣接する 4 個の神経素子の状態の関数 と し て 、 上 位層 の 素子状態が 決定 さ れる 。 以 下で は 、 具体的な素子 状態 の決定方法 に つ い て 述 べ る 。 今 、 履 の 2次元位置 「 - ( X , y ) に お け る素子状態 を f < r ) で -表わ す , そ し て 、 隣接層 上 の素子間 の結合 を 、

i ( r ) F i ( { I -1 ) ) + ξ a ，

( 2 , 3 , ··· )

(2)

なる状態方程式 で表わ す 。 こ こ に 、 ） は — 1 層 の素子を ま と め て 表わ し 、 £ _Λ は付加雑音 、 F _fl は 素 子間の結合 の一般的な関数を表わ す 。 入力 層 （ ^ = 1 ) で は 、 f 〗 ( Γ ) が与 え ら れて いる も の と す る 。 従来の 神経回路網で は 関数 と し て シ グモ イ ド 閲数 の よ う な 非線型飽和 関数で与え ら れる が 、 脳で の 情報処理 は多数 の 素子が 協調 * 競合勁作の 結果 と し て 、 ミ ク ロ な素子機 能 に 依存 し な い普還 的な処理が 行 わ れて い る は ずで あ る そ こ で 、 こ の 段 階で は 、 F に 対 し て 特別 な 関数型 は仮 定 し な い 。

式 （2) を変形 し 、 次 の よ う に 書 き 改 め る 。

1 δ H({f . ,})

f , ( r) 一 f , .. ( Γ) = ― + ,

' i -1 ^{0 1} ' -1

(3) こ こ に 、 H ( { f ^ ^ } ) は を 与え れば定 ま る 関数 T _ は 正 の定数で あ る 。 ま た 、 Z δ f _ ·]は f _】 につ い て の汎関数微分を表わ す。 後で見る よ う に 、 物理 系 とのアナ ロ ジーか ら 関数 Hは系のエネルギー を表わす こ と に なるが、 F を与えた 時に常に Hが存在する と は 限らない 。 以下では、 式 （3) が与え られたもの と して 、 定式化を推める。 式（3) は層番号 につ いての階差方程 式で、 jg が大きぃ場合に は言ゎゅる ひ！^！^！^ー ^!^ 型の 確率微分方程式が導ける。 P ( f „ (r) ) を層 ί 、 位 置 「 での素子状態が f _Λ ( Γ ) である確率 と する と 、 δ

W ))一 ^P ( l ( 丁 ~~ P f )） d r,

δ²

Sf δ ¹

(4) となる 。 こ こに、 Dは付加ガウス型雜音 の分散である が以下で は簡単のた め 1 と お く 。

が十分大きい場合の式 （4) の定常解 P ^s は

P ^s 〜 e x p ( - H ( { f } ) / T _τ )

(5) となる 。 つ ま り 、 入力された情報 （信号 ） が十分 に多数 の層を通過する と 、 式 （5 ) で記述さ れる分布に接近 して ゆ く こ と になる 。 上式の分布はポルツマン 、 あるい はギ ブス分布 と呼ばれているもので 、 Ηは采のエネルギー 、 T は温度に对応する こ と に なる 。 と こ ろ で 、 式 （ 2 ) で 表わ さ れ る 層 間 の 素子状態 の 関係 を 、 式 （ 5 ) の確率分布 を用 い て

ex (- H ({ f ^ ))/ T ) = F exp (- H ({ f ^

^{/ T} -1 (6) と定義 す る 。 こ こ に 、 F は以下 に 定義 す る 、 神経回路網 で行う 演算子で あ る 。 演算子 F に 課せ ら れる基本的な作 用 は 、 特徴抽 出 回路 2 "1 に お い て は 、 粗視化 で あ る 。 つ ま り 、 下履 に 位 置 す る素子状態 の平均的な値が 、 上履 に 伝播さ れ る こ と に な る 。

2： f Γ — Γ (7) r ' ί -1 ( ' ) → ΐ i ( r ) 左辺 の和 は 、 位置 Γ の 回 り に 存在 す る素子 に つ い て の 和 で あ る 。 こ の粗視化 に よ り 、 ロ ー カ ルな f _ の ゆ ら ぎ は小さ く な る 。 し か し 、 Η ( { f ^ _ } ) の 中 に 埋 め こ ま れ た特徴 は 失 れな い よ に F を定 め な け ればな ら な い 確率分布の変環式 (6) の 直観的な解釈 は 、 雑音成分 を消 ¾[] し て も特徴成分 か ら な る確率分布 は変化 し な い こ と を 要請 し て いる こ と で お る 。 粗視化 に よ り 一 旦 、 餍空 間 が 縮小 さ れる の で （ 第 3 図 (e) ) 、 元 の大き さ に 戻 す作用 ¾ F に 含 ま れな け れば な ら な い 。 以上 の操作 は繰込み群変換 と 呼 ばれる操作 で あ る 。 式 (6) よ り は 、 周 波数頜域 q で表わ し た 方 が便利 が よ い 。 exp

(8) こ こ に 、 f は f （ r ) をフ ー リ エ変換し た値、 2 q は最隣接近傍につ いてのみ式 （ 7 ) の和を とつ たので 、 周 波数空間では 2倍の拡大するための変換である。 ま た 、 ス は定数であ り 、 ΐ _Λ .·! ( q ) ^→ ス £ _1 f ( 2 q ) の操作で は雜音成分は混入 しない 。 具体的なエルギ ー H を与えれば、 上記の要請を満足する演算子 F 、 つ ま り 、 定数 ； I _ί と と の闋係が定ま る 。

エネルギー H ( { ΐ _η ) ) は J2 層での素子の結合関係 を表わすものである 。 一般に 、 Hは Η=Ω // (Vf ² dr+Q₂/f(V² f ^^) ² dr+-

+ rXTf .₁clr + u//f „₁ ⁴ clr+". (9) と書ける 。 空間微分▽は隣接する素子間の結合を表わす Ω Q 0 . 「 ， u は定数である 。 今 、 素子状態を + 1

( 発火 ） 、 一 1 (休止 ） で表現する と 、 すべて の素子状 態の反転 { f „ } → 一 i f _n } に対 して H は不変と考え ら れるので、 H に は { ΐ } の偶数次数の項 しか含ま れ ない。 つ ま り 土 1 の定義は便宜なものに し かすぎないか らである 。 式 （9 ) の第 1 項は最隣接素子間 の結合関係を 表わ し 、 素子間結合の最も重要なロ ー カ ルな特徴をエネ 15 ルギ 一 と し て 表現 し た も ので あ る 。 従っ て 、 こ の項 は ど の層 に お い て も不変で あ る こ と が望 ま れる 。

以上の要請 に し た がっ て 、 式 （9) の フ ー リ エ変換 を式 (8) に 代入 し 、 右辺の変換を実行す る と 、 λ 4 / V T ^ / T (10) i -1 -1 を得 る 。

式 （10)か ら 分かる こ と は 、 T = 4 Τ ^ _·|な る温度ス ケジ ュ ー ルが あ る 臨界的な値 に なっ て い る こ と で あ る 。 なぜな ら ば 、 こ の時 ス __{1 =}= 1 と な り 単純な平均操作 に 対応 す る ので 、 信号が層 を伝播 す る に 従っ て し だい に 空 間的 に 均一な分布 に な り 、 最終 的 に は 、 一定分布の信号 しか得 ら れな い 。 こ れは 、 極端な平滑化処理で 、 す べ て の情報 が失わ れる こ と に な る 。 そ こ で 、

ε ョ 4 一 ( Τ ^ / T _fl ^ ) な る微小璗 を導入 し 、 式 （a) 内 の非線型項 を残す こ と に す る 。 こ う し て 、 式 （8) を実 行す る と 、

r h r u

I -1 i 丁

-1 ' u h ₂ ( u i -1 丁 -1 )

(11 ) な る 係数間 の 関係を 表わ す方程式 が得 ら れる し し に h 1 h 2 は非線 な 関数で あ る 。 が 大 き い時 の式 (11 )の解 の 挙動 は 、 「 <2 = 0 ( 6 ) < 0 , u ^ = 0 ( s ) > 0となる 。 こ こ に 、 0 ( ε〉 は εの才 ーダ程度の値を意味する。 式（ 11 )に現れない Q 2 な どの 項はすべて 0 ( ε ² ) 程度の微小量とな り 、 省絡できる 結局、 T = 4 T なる溫度スケジュールを仮定する と、 iが大きい層に対 して、

H = Ω！ f (▽ 2

i -1 d r + r i i -1 d r

+ u i i -1 d r (12)

なる普還なエネルギー に接近する。

が大きい場合の具体的な係数は

Λ Λ

r ε ^u i = ε

9 1 4 4 ♦ C Τ と なる。 こ こに 、 Λは最大周波数 （ - 2 π /厶， △は空 間分解能 〉 、 Gは定数である 。 温度 Τ は ^ が大きい と Τ 〜 4 のよう に増加するので 、 u は非常に小さな 値となる 。 この こ とを考慮に入れ、 式 （12)のエネルギー を フ ー リ エ成分 F ^ （ q ) を用 いて表わす と次の よ に なる

_Λ (q) I² +「^ (q) I² ] dq

(13) し こで簡単のため、 Ω_† = 1 と規格 した 。 こ れによ り 本 質的な特徴抽出機能が変化するこ とはない。

確率分布を表わす式（5) と式 （13)の Hか ら 、 q r

i -1 I な る フ ー リ エ周波数の成分

F _1 ( - I r ^ ^ l ) が確率 の最大値 を与 え る こ と が分か る 。 つ ま り 、 <δ — 1 層 に お い て は

F - 1 ( "- I Γ _Λ _τ I ) 成分の みが抽 出 さ れ る こ と に な る 。 今、 r _fl の初期値 Γ 〗 を最大周波数 Λか ら 決 め る と 、 r < Γ ぐ Γ < Γ の よ う な願に 従っ て 、 式 （13)の値 に 近づい て ゆ く 。 つ ま り 、 下層 （ ^ ^小 さ い場合 ） に おい て 髙周波数成分を、 上履 （ ^ が大き い場合 ） に は低周波数成分 を抽 出 す る こ と が 可 能 と な る （ 第 3 図 け） ) 。

以上 の よ う に 構成 し た 特徴抽 出 回路辋で 、 先 に 示 し た 生理学的実験事実を模擬 し え る こ と を確認す る 。 光 ス リ ッ 卜 は あ る点 を 中心 に し た 点対称の被視覚物体で あ る 。 あ る方向 （ た と え ば垂直方向 ） を基準 に し 、 与 え ら れ た 方向 の光ス リ ツ 卜 3 7 1 の禝製 3 7 2 を第 3 図 （ 9 ) の よ う に 作る 。 す る と 、 複 製 を 含め た ス リ ッ 卜 群 は周 方 向 の 周期 関数 と し て it— に 決 ま る 。 こ の よ う に し て 作成 し た ス リ ツ 卜 を上記 回 路網 に 入力 す る 。 式 （ 13 )の 周 波数 q は 周方向周波数 と 考 え れ ば 、 逐次特 定 の 周波数を取 り 出 す こ と が 可 能 と な る 。

2. 特徴統合 回路網

特徴抽 出 回路網で抽 出 さ れ た プ リ テ ィ ブな 情報 、 た とえば、 図形の鲩郭な ど 4 1 4 が特徴铳合回路網 に入力 される （第 4 .図 （a》 ） 。 第 4 図 （a ) は 、 特徴銃合回路耩 の一例 と して、 3 層 に よる情報の铳合過程を示す。

第 1 履 4 1 3 に位置する神経素子 4 1 7 は 、 それぞれ プ リ ミ ティブな情報を担つ て いる。 各情報は排他的なの で、 第 1 層の全て の神経素子間 に負の値で結合する 。 つ ま り 、 ある一つ のプリ ミ ティ ブ情報に対応する素子が発 火状態にあれば、 他の素子は休止状態でなければなら な い。 もち ろん、 多 く のプ リ ミ ティ ブ情報が周時に入力 さ れた場台に は、 対応する素子が発火状態になるので、 そ れら の素子間 に は負の結合は必要と しない 。 一般には、 第一層内の素子間 に は锫合がな く て もよい 。

第 2層 4 1 2 に位置する神経素子 4 1 6 は、 第 1 層か ら のプ リ ミ テイブな情報で構成される情報 、 た と えば図 形に対応ずけ ら れている。 従って、 各図形を構成する辺 に対応 し た第 1 雇の素子と は正の値 4 1 8 で結合 し 、 そ れ以外の素子と は負の値 4 1 9 で結合する 。 各図形は排 他的なので、 第 2 層内の素子 圜 に は負に結合する 。

第 3 層 4 1 1 に位置する神経素子 4 1 5 は、 第 2 層か ら の情報で構成される高次な情報、 た と え ば複合された 図形に対応ずけ ら れて いる 。 従っ て 、 各複合図形を構成 する図形に対応 した第 2 層の素子とは正で結合 し 、 それ '以外の素子と は負で結合する 。

以上の よ う な特徴統合過程は生理学的に確認されてい る こ とで はな く 、 代替案はい く つ も考え ら れる 。 た と え 10 ば 、 こ の例 で は 3 曆 の神轾 回路耩 を 用 い て い る が 、 対 称 に よ っ て は 2 層 で も 、 あ る い は 4 層 で あ よ い 。 ま た個 々 の神経素子 の表わ す 状態 は 、 Ί 個 の情報 に 対 応さ せ て も ま た 情報を多数の 素子 に 分散さ せ て も よ い 。

第 4 図 （ b ) は 、 各層 の神轻素子 の状態を具体的 に 計算 す る た め の概念図 を示す 。 層 4 2 1 の 注目 す る 素；？ i の 状態を 4 2 2 で表わ す 。 変数 X j ( i = "l , 2 , N ) は + 1 ( 発火状態 ） 、 一 1 ( 休止状態 ） と す る 。 注 目 す る素子へ の入力 は 、 周 じ廣 内 の素子 j 4 2 3 と 他の 層 内 の素子 k 4 2 4 か ら の合計であ る 。 前者は -一般 に 負 の効果を もつ ので一 W jj¹ ( < 0 ) 4 2 5 なる結合を 、 後者 は正 、 負 の両方の結合 W_{J k} ² 4 2 6 を す る 。 つ ま り 全入力 は

- ∑ W X + (15)

と 表わ せ る 。 全入力 が あ る し き い 値 よ り も 大 き け れば素 子 は発火 し 、 そ う で な け れば休止 す る 。 こ の手頗で各羼 の各素子状態を 決定 す る こ と も 可 能 で あ る が 、 も う 少 し エ レ ガ ン ト な 方法を 以下 に 示す 。 式 （ 15 )と X j の積 を と る と 、 発火 、 休止の両状態 に お い て こ の積 は 最大値 と な る ので 、

E ( { X } ) = - ∑ W ： j X ： X ： + ∑ Θ X (16)

I j ^{J J} i を最小に する状態を求めればよい こ と になる。 こ こ に 、 W j j= - W j j¹ + W j j² , 0 は しきい値を表わす。

こ のよ う に素子状態をエネルギー 関数式 （ 16 )の最小値 を与える状態と し て決定する方法は、 Hopf ield 8 Tank に よる " Computing w i th neural ci rcuits" ( Science Voに 2 3 3 , PP. 6 2 5 - 6 3 3 , 1 9 8-6 ) に示され ているが 、 本発明のよう に多層 に存在する神経素子を扱 つ ているもので はなく 、 単一層内の素子のみを考えて い る 。 こ の方法では、 先に示 し た下履か ら頃に計算 してゆ ぐので はな く 、 一挙に全ての層の素子の状態を並列的に 計算できる。 したがって 、 式 （ 16 )の定式化は並列計算向 の アルゴ リ ズムである.。

式（ 16 )のエネルギーの最小値を求める こ と は、 実際非 常に困難である 。 なぜな ら ば、 状態 X j が ± 1 の 2 値な ので、 多 く の極小値が現われ真の最小値が う ま く 求ま ら ない 。 この よ う な背景のも と 、 K i rkpatr ί ck, Ge I att, Vecchiに よ る " Optimizat ion t>y simulated anneal i ng " ( Sc ience Voに 2 2 0 , PP. 6 7 1 - 6 8 0 , 1 9 8 3 ) は確率的繰返し に よる最小値探索方法である s ί mil I a ted anneal ing 法を発明 し た 。 この発明の本質は、 潟度とい う パラ メ ー タ を導入する こ と に よ り 、 状態にゆ らぎを与 え、 極小値か ら脱出できる よ う に し た こ とである 。

H 0 p t i e I d と Ta n kは、 さ ら に 、 x j =·- ± 1 の非連続 Sか ら x i = tan h ( y j Z定数 ） なる変換を通 じ 、 連続量 y j ( - oo < y j く ∞ ) の 問題に した方が よ り低いエネ ルギ一が得 ら れる こ と を見い出 し た 。 こ の方法の欠点は 非常に 時間がかかる こ と cある。 し の点を改良 し た最小 ♦ 最大値探索方法につ いて は 、 後述する 。

エネルギー式 （16)の最小化は上記のよ う な方法 に 限ら れた もので はな く 、 代案 と して 、 た と えば、 以下の方法 がある 。 こ の方法は 、 上記の'方法 と は異な り連統化のた めの tan h 関数を導入 しな く て すむので、 計算性能がす ぐれて いる 。 シ ミ ュ レ ー テ イ ツ ド アニ ー リ ング法 に よ り エネルギーの最小化の代 り に 、 確率 e p ( - E / T ) の最大化を考える 。 こ こ に 、 T は正 の八ラメ タ ーであ る こ の確率を連続変数 z ( - oo < Z ： < 00 ) を導入 し て 次の よ う.に書き改める と ができる e X D ( 一 Eノ T )

/ 门 exp[ ∑ z j + ( W ) _U j J d i =l 2 i I， J

(17) し れは、 等式

( 2 π ) / Π e d

i

1

を利用 すれば容易 に証明でき る。 ま た 、 （ W ) ² j」は行 列 Wの平方根の （ j , i ) 成分を意味する 。 簡単の た め こ こで は 、 し き い値 0 を 0 し 、 結合定数 W _uは添字 i j に 関 し対称 （ W W ： j ) と仮定 した し の仮定 に よ

J り 本質的なァルゴ リ ズムの特徴は失われない 。

式 （17)の積分の核閿数を X 〖 の闋数 と見なす と 、 その

1 最小値は明 ら かに 、 X 一 Θ [ ( W ) J I I と

J

求ま る 。 ま た、 核闋数を の関数と見なす と 、 下に凸

な 2次関数なので、 z _Ί = ∑ ( W ) ² I j X j が核関数の 最大値を与える 。 ここ に、 S はその引き数が正の とき 1 負のとき - 1 となるステップ状の関数である。 従って

X

X 一 θ [ Ζ ( W ) 2

J « ： ]

Θ [ I w (18)

と なり 、 神経素子の基本的な機能を表わす こ と になる つ ま り 、 式 （17)の核関数の連続変数 に関す る最大化 を実行すればよい 。

第 4図 （C ) は 、 神経素子状態 X | 43 1 がその隣接素 子 X i 43 2 と W j j 43 3を通 じて結合 し て いる元の神 経回路網 と 、 式 （17)に従っ てそれと等価な連続変数 Z 4 3 4を素子状態に する回路網 との関係を示す。 等価な 回路網の結合定数は 、 す べて Ί である 。 そ し て 、 等価回 路網で計算し た変数 Z i 43 4か ら結合定数の平方根

( W ) の積和演算 4 3 7お よび比較演算 4 3 8を通 し て 、 素子状態 X j 4 3 9 を決定 す る 。

こ の よ う に し て 構成 し た 等価回路 の特徴 は 、 Hopf ield と Tankの よ う に 連続化の た め に 新 た に tan h 関数を導入 す る必要 は な い の で 、 計算時間 < C P U 時間 ） が少な く て 済む。 さ ら に 、 式 （ 17)の核関数 は z | の 2 次関数な の で 、 そ の 最小値 を与え る状態 z i の お お ま か な値が予測 で き 、 し か も 、 極小値が存在 し な い こ と か ら 、 初期状態 か ら 最小値 を与 え る状態 ま で急速 に 収束す る こ と が期待 で き る 。 元 の最小化問题で は 、 X i が 2 値な の で 、 無数 の極小値が現れ 、 初期値を決 め る の が極 め て 困難で 、 し かも適切 な初期 値を定 め な いで最小値状態 が求 ま ら ない 場合 が多かっ た 。

以上 の方法 の具体的な アルゴ リ ズム を 、 第 4 図 （ d ) に 示 す 。

[ アルゴ リ ズム ]

①計算の 開 始 。

②与 え ら れた 結合定数 Wの平方根を求め る 。 一 例 と し て 、 ∑ X ； X _k」· - W i」·を 求解 す る こ と に よ り

k

X = ( W ^L ) を決 定 す る （ ブ ロ ッ ク 4 4 1 〉

I J II JJ

③連 続変数 Z ( i 1 , 2 , N ) の初期 値を設 定 す る （ ブ ロ ッ ク 4 4 2 〉

1

④ Z i を も と に 、 X ,· = — [ ∑ Z ： ( W ² ) 」 | ] か ら 神絰素子状 態 X ： を 決め る （ ブ ロ ッ ク 4 4 3 ) 。 こ こ に、 S はその引き数が正の とき 1 、 その他の とき

— 1 と なるステップ関数である 。

⑤④で決定 した X j をも と に 、 式 （1 7 )の核関数を最大 に する Z i を、 例えばモ ンテカ ルロ法を用 いて計箅 する （ ブ ロ ック 4 4 4 ) 。

' ⑥収束判定を行い、 収束 し なければ④， ⑤を繰り返 し 実行 し 、 収束すれば次のステップに移る （ ブ ロ ッ ク 4 4 5 ) 。

⑦計箅の終了。

3. 記億回路網

特徴铳合回路網で铳合された図形な どの高次情報は、 第 5 図 （a ) に示すよ う な神経回路辋で記憶される 。 高次 情報の入力パタ ー ン 5 1 4 は最下位の入力履に入力 さ れ 上位の層 に伝播 し、 最上位の出力履で出力パタ ー ン 5 1 5 が出力 される 。 各層内 5 1 1 に配置されている神経素 子 5 1 2 は、 入力パタ ー ン に対応 して 、 一次元あるい は 二次元的に並べら れて いる 。 また 、 .各素子状態は発火状 態の時 Ί 、 体止状態の時一 1 の 2 個の値 しか と ら ないも のとする 。 多値の場合 に は、 素子数を増加する こ とで取 り 扱う こ とができる 。

記憶回路網の主な機能は、 学習 5 1 8 によ り 、 入出力 パタ ー ンの関係を記憶する こ と にあ る 。 た と えば、 ク ラ ス分けの よ う に入力パタ ー ンが どの ク ラ ス （ 出力パタ ー ンを ク ラス と する 〉 に入るのかを記億 し た り 、 手書き文 字認識のよ う に手書き文字 とそれに対応する正 しい文字 と の 関係を 記憶 す る 。 あ る い は 、 そ の勁作が未知 な 制 対象 に 対 し 、 学習 に よ り 、 適 切 な制卸 も 可 能で あ る 。

こ の よ う な多層神経 回 路網 で学習 さ せ る方 法 は

HcC \ I e I and , Rume I hart に よ る " Paral lel Distri ut Peocessing I and I " ( HIT Press , 1 9 8 6 ) すで に 開発 し て い る が 、 以下 に 示す欠点の た め 、 そ の 用 化が狭い 範囲 に 限定 さ れ て い る 。

( 1 ) シナプス結合構造

上記文献 に 示さ れて い る よ う.な従来法 に お い て は 記億を す ベ て の シ ナ プ ス結合 に 分散 さ せ る と い う 観 か ら 、 すべ て の素子閭 に シ ナプス結合を張 り 巡 ら し 各 シ ナプス の担 う 情報量 は わず かな も の に な り 、 連 記憶の よ う に不完全 な 情報 が与 え ら れて も 完全 な情 を想起 す る こ と が で き る 。 し か し 、 各 シ ナ プ ス結合 学習 に よ り 変更 す る た め の 時 閭 がそ の総数 に 比例 す の で 、 膨大な 計算 時 P を 必要 と し 、 実用 的 に は望 ま く な い構造で あ る 。

(2) 学習 アルゴ リ ズム

上記文献 に 示さ れて い る 従来 の学習 ア ルゴ リ ズム ゾ Sッ ク プ ロ パゲ ー シ ョ ン で あ る 。 こ の方法で は ま ず シ ナプス結合 の適 当 な初期 値 を 設定 す る 。 こ の 初期 ナ プス結合 に 基づい て 素子状態を下瞎 か ら 上層 に 向 て 顚次計算 す る 。 出 力 さ れ た 値 は一 般 に 望 ま し い教 ノヽ。 タ ー ン 5 1 6 と は異 な る の で 、 そ れ ら の差 5 1 7 求 め る 。 そ し て 、 そ の差 を 低減 す る よ う に シ ナ プ ス 合を修正 5 1 9 する 。 以上の操作を差が 0 になる まで 繰 り返す。 こ のよ う なフ ィ ー ドパッ ク機能を本質 とす る方法は直観的に分か り 易 く プロ グラム化が容易であ る反面、 計算時間面での効率はよ く ない。

( 3 ) 記億の生理学的知見

上述 し た よ ラ なシナプス結合の可塑性を基準に した 記億は、 生理 的に長期記億に粗当するものである。 しか し 、 心理 的な実験 に よ る と 、 長期記憶の他に、 シナプスの可 性を前提と.し ない短期記億の存在が明 ら かにされてお り 、 その両記憶メ カ ニズムを工学的に 応用するこ とで、 従来よ り もさ ら に性能の高い記憶方 法が得 られる可能性が秘め ら れて いる 。

以上の背景のも と 、 本発明.で は記億に関する新 し い方 法、 その代案を与える。 以下で は 、 長期記憶 と短期記憶 を別々 に る

3. 1 . 長期記

神経回路網で はデータ あるい はパタ ー ン はその ま ま の 型で記億される ので はな く 、 シナプス結合の値 と し て 回 路網-内 に分散 し て記憶さ れる 。 つ ま り 、 分散的に符号化 される 。 今、 入力パタ ー ン と し て N 個のデー タ I |

( i = 1 , 2 , . N ) が与え ら れた と する。 一般に 、 入力 タ ― ン は 次元、 2 次元、 2 値、 多値のいずれで あっ て ち よい 。 値の場合 はデー タ個数を殖やす こ と に よ り 、 入カデー タ I _Ί は 2 値に変換できる ので 、 .以下で は I ； は 2 値とする 入力 パ タ ー ン I j 5 1 4が上層 の方 に 伝播さ れて ゆ く 過程 は 、 次 の よ う に 定式化で き る 。 神轾素子 へ の全入力

T _v と 出力 の 関係を 、 = F ( Τ ν ) と す る 非線型 関 数 Fは 、 飽和状態で 出力 1⁵ が ± Ί と な る よ う な 関数で 、 し き い値 をもっ た シ グモ イ ド 関数 が 代表的で あ る 。 ·2 曆 内 の 素子の 出力 を f i と す る と

( ) = F {J I. W ij ( 〉 f j ( 1 ) }

(19) な る 関係式 が得 ら れる し し W ( J2 ) は （ ^ 一 1 ) 屨 内 の i 素子 と ^ 層 内 の i 素子 と の シ ナ プ ス結合の値を 示す 。 W j jの す ベ て の j (ςつ い て 値を も っ と 、 （ ー 1 ) ϋ内の すべ て の素子 と の結合が存在 す る こ と を表わ す 。 ( - 1 ) 層 内 の素子 に つ い て の和 は 、 入力 デ ー タ 数 N と は異 つ て も よ い 。 式 （ 19 )の 関係を入 力 層 ( = 1 ) か ら 出力層 ( = L ) ま で順次適用 し て ゆ く と 、

( し ） W j ( し ） F { ∑ W」 レ （ L 一 Ί )

{ ∑ W _pq ( 2 ) I j } } }

(20) を得 る 。

従っ て 、 学習 に よ り 記憶す る こ と は 、 式 （20)の 出 力 f j ( L ) が 教師パ タ ー ン 5 1 6 と 等 し く な る よ う に シナプス結合 W | j ( ^ ) ( i = 2 . 3 . …， L ) を決 定する こ とにある 。 ところで、 式 （20 )は N 個の方程式系 であ り （ こ こで 、 出力 も N 個ある と仮定する ） 、 未知係 数 W _u ( ) は、 全ての素子が結合 している とする と 、 N ² ( L 一 1 ) 個ある 。 つ ま り 、 未知数が過冗長となつ ている。 一シナプス当 り の情報躉は N Z N ² ( L - 1 ) = 1 / N ( L - 1 ) の大きさ と考えるこ と ができる 。 N あるい は丄 が大きい と、 各シナプス はわずかな情報 しか 担つ て いないので、 た と えぱ連想の よ う な柔钦な処理が 可能 となる 。 し か し 、 実際の脳に おいて は、 N が 1 0 0 億以上もあるこ とか ら上記の比は実質的に 0 になる 。 ま た、 脳では全て の神経素子がシナプス結合を して いるわ けでもない。 この こ.と は、 シナプス拮合におる種の構造 が存在する こ と を示唆 している 。 さ ら に 、 脳内の一様な 神経回路網を考える と、 与え ら れた入力の種類に依存す るよ う な対象依存型の構造を形成 し ている と は考え ら れ ない 。

本発明で は、 脳生理学的知見 に基づき 、 シナプス結合 の最適な構造を決定する 。 従来の 工学的応用を目指 し た 神経回路網では、 各シナプス結合 は学習 に よ り変化 し て ゆ く が、 各シナプスの担 う 情報 は平均的に は全く 一様で ある。 つ ま り 、 W 」 （ ^ ) の添字 i , j に 関する依存性 はあ ま り 大き く ないのである 。 こ のため 、 すべてのシナ ブスを変更し なければな ら ない こ と にな り 、 計算時間的 に実用化を困難に し ている 。 現段階 におけ る脳生理学的 実験 は 、 シ ナ プス結合 の詳細 な 構造 ま で は 明 ら か に し て い な い 。 む し ろ 、 あ る種の 統計的 、 つ ま り マ ク ロ な構造 ぐ ら い し か把握 し て い な い の が現況であ る 。 し か し な が ら 、 そ のマ ク ロ な構造 は ミ ク ロ な シ ナプス結合構造 か ら 定つ て い る の で 、 以下 に 示 す よ う な方法で 、 ミ ク ロ な シ ナプス構造を推察す る こ と は可 能で あ る 。

第 5 図 （b) は 、 Hurakaro i et alに よ る " A q u a I i t a t i v e Study of Synapt ic Reorganizat ion i n Red Nuc leus Neurons af ter Lesion of the Nuc l eus I n t e r p o s i t i t u s of the Cat ，， ( Bra i n Research, Vo l , 2 4 2 , PP. 4 1 - 5 3 . Ί 9 8 2 ) に よ っ て 、 実験的 に 得 ら れた マ ク ロ な構造 の一例で あ る 。 上 図で は 、 大脳 一赤核シ ナプス の 変性終末が付着す る シ ナ プ ス 数 丁 5 2 2 を 付着場所で あ る樹状突起 の直径 R 5 2 4 を そ の樹状 突起の翊胞中心か ら の 距離 X 5 2 3 の 関数 と し て 表わ し た も の で あ る 。

2

上 図 に お い て 、 丁 〜 R _ ひ （ ひ - 一） 、 下 図 に お い て

3

R 〜 x 一 ^μ ( β = ) な る 関係が得 ら れ て い る _η こ こ に 〜 な る 記号 は 比例 関係 を表わ し て い る 。 以上 の 結 果 は 、 数多 く のサ ンプル を用 い て 得 ら れた 統計 fi: に 関 す る お の で あ る 。 両 図 は 一 見無 関係 の よ う に 見 え る が 、 シ ナ プス 結合構 造 か ら の帰着 と し て 深 い 関係が存在 す る 。 こ れを 示 す こ と に よ り 、 シ ナ プ ス結 台 の 最適 な 構 造が 推察で き る 。 樹状突起の分岐は、 第 5 図 （ c ) に示すよ う に 2 分岐で ある 。 n 回分岐する と合計 2 ⁿ 本の突起 5 3 1 に なる 。 こ の分岐はかな り一般に見 ら れる樹状突起の分岐方法で ある 。 樹状突起中を伝播する信号 はパルス列であ り 、 そ れが情報の伝達媒体である 。 従っ て 、 情報の伝達効率が 各分岐に よっ て異なる はずである 。 た とえば、 樹状突起 の断面を円で近似する と、 伝達効率は直径 R に依存する 今、 n 回分岐 し た枝の直径を R _n 5 3 2 、 その次の分 岐 し た枝の直径を R _{n + 1} 5 3 3 と する 。 こ の枝を流れる 情報を I _p 5 3 4 、 I _{n + 1} 5 3 5 で表わす 。 こ こでは等 価回路的に情報の流れを電流の流れに置きかえている 。

の枝で消費される エネルギー を考える 。 電力 に相当 す るエネルギ一 は 、 明 ら かに I / R に比例する た だ し 、 抵抗は突起の断面積 4 π R に は反比例する とを用 いている の枝が空間 に 占める休積は

4 π R _n ² X ( 枝の長さ ） であるが、 正体系は可能な限 Ό 少ない空間で済ませる よ う に調整 している と考え られ る。 先のエネルギー と この体積のすべ て の枝につ いての 和をとる と 、

I " ² · ゥ - 2 +∑ ( 4 7Γ R _n ¹ X長さ ） X 係数 （2 1 ) 、 ' n

n R _n. n

となる 。 こ こ に 、 係数を次元を合わせるた めの正の定数 である 。 こ れを最小化する こ と は、 同 じ情報遒を伝致す る の に 可 能な 限 り 少な いエネルギ ー 、 可 能な 限 り 少な い 空 間 を利用 す る こ と に よ り 達成す る こ と を数学的 に 表現 し た も ので ある 。 今 、 長さ 、 係数を一 定 に す る は 、 式 (21 )の R _n に つ い て の微分 を 0 に お く こ と に よ り 、

R (22)

な る 関係を見た す 場合 に 、 式 （21 )が最小 に な る こ と が分 かる 。 2 分岐 し た枝に 流れる電流 に 関 し 、

I _η = 2 I _{η + 1} が成立す る ので 、 こ れ と 式 （22)よ り

R η +1

(23)

R Γ2

を得る 。 つ ま り 、 1 回 の分岐で樹状突起の 直径 は

1 / に な る 。

細胞 か ら 出 る 初期 の樹脂突起の直径を R o と す る と R 0 / Γ2 R _η と な る ので η回 の分岐で

2 ⁿ

x ^{2 β}

(24)

本の枝が現わ れる 。 こ こ に 、 全枝の 長 さ を X と し 、 R _η 〜 X — な る 関係 を用 い た 。 式 （24)は細胞中 心か ら 距離 X に あ る 分岐枝の 総数を表わ す式 に なっ て い る 。

式 （21)は シ ナ プス結合の ミ ク ロ な構造 に 関 す る仮説で あるが 、 こ の仮説に羞づいて導いた一連の結果式 （22)〜 式 （24)が生理学的実験事実である第 5 図 （b) を説明 し う るものである こ と を以下に示す。 第 5 図 （c) に示すよう に 、 直径 L の球を考える。 こ の球の内部の細胞から球の 表面にた ど り つ 'く 樹状突起の総数 Qを計算する。 この球 内 に細胞が一様に分布している とする と 、 式 （24)よ り 球 表面にたど りつ く 全樹脂状突起数は次の よ う になる 。

Q〜 ^L X ^2fJ X d X sin θ ό θ ό ψ

〜 L ^{2 3 +2} (25) こ こで 、 x d x sin 0 c! 0 d は球内の微小体積を、 Θ 、 は極座標系における独立な角度を表わ .す。 式（25) は Qが球の直径 し に関 し 、

L ^{23 +2}の依存性を示 して いる。

一方、 別の観点か ら Q に対する別の数式を導く 。 全樹 状突起数 Q は明 ら かに 、 球の直径 L と球表面におけるシ ナプス結合数 T に関する 。 この関係を一般に Q = f ( L , T ) (26) と表わ す 。 T依存性は、 第 5 図 （b) の実験事実を取 り 入 れるため に考慮 したものである 。 今、 直径 し の球の代り に 、 直径 し ' = b L ( b > ) なる小さなスケールで 考える。 こ の変換に伴い 、 丁 、 Q はそれぞれ、 丁 ' - b ^{k 1}丁 、 Q ' = b ^k2 Qな る 値 に 変換さ れる 。 丁 、 Q は と も に 球表面で定義さ れ て い る 値な の で 、 明 ら か に k ₁ = 2 、 k ₂ - 2 で あ る 。 つ ま り 、 元 の ス ケ ー ル し に 対 し 、 小さ な ス ケ ー ル L ' を単位 に し て す ベ て の ¾ を計 測 す る と 、 2 次元的 に あ ら わ さ れ る 量 T、 Qは 表面積の 加 に 比例 し て増加 する 。 こ の よ う に 変換 し た で計測 し て も 、 式 （ 26 )で表わ さ れ る 関係式 は変化 し な い 。 し た がっ て 、

Q ' = f ( L ' , T ' ) f ( し ， T 〉 = b -k2 ( b ^{_ 1} し b ^{k 1} し ）

(27)

を得 る 。 球の 直径 L は任意な ： ίΐな の で 、 す べ て の し に つ い て 上式 を 篛足 す る IQ数 f ( L ， Τ ) を求 め る必要があ る 。 結果 は 、

-k2

f ( L , T し f ¹丁 ） (28)

と な る し し に 、 f は式 （27 )だけ で は 定 ま ら な い 関 数で あ る 。 と こ ろ で 、 実験 か ら 、 シ ナ プス数 Tは 、 T〜 R 2 X ² の よ う に 細胞中心 か ら の距離 X に 依 存 す る 式 ( 24 )よ り Q 〜 X 2/3 な る 式 を こ の 関係式 に 代入 す る と Q 9457

34

2

〜丁 ひ なる團係式を得る 。 これは一本の樹犹突起に P し て得ら れた ものであるが 、 多数の樹状突起の桀合休に対 し ても 、 同様に成立するも の とす 。 する と 、 式 （28)の

. 2 2

k 一 - 未知関数 f は f ( Κ ^κ ' T ) 〜 し ^α Τ ^α なる依存性を示 すこ と になる 。 従っ て、 式 （28)は

2 2

-k₉ + - - (29)

Q〜 し Γ となる 。 これが全樹状突起数 Q に対する別の表式である 式 （25)と式 （29)の L依存性か ら 、

2 k

2 3 + 2 = - k ₂ + (30)

を得る。 この関係式 に 、 k = k ₂ 2を代入する と

2

一 一 3 = 2 (31 )

2

こ の関係式 は、 ま さ し く 、 実験式 ひ - 一， i3 = 1 で成立

0 するものであ り 、 以上 に仮定 し た シナプス結合の ミ ク ロ な構造が正 しい こ と を示 し て いる 。 つ ま り 、 シナプス結 合の最適な構造が、 式 （21 )の関数を最小に す る よ う に 決 つ ているのであ る 。 情報 を電流 に 対 応さ せ て い る ので 、 伝達媒体の樹状突 起の 断面積 4 R _n ² に 比例 （ 式 （22) ) し 、 一 回 の分布 で伝達可 能な情報量 は "！ ノ 2 に な る 。 第 5 図 （ d ) に 、 分 妓 5 4 1 に 従っ て 伝達可 能 な情報 呈 · 5 4 2 の割 合を示 す 。 本図 か ら 、 6回 分岐す る と 、 元 の 情報垦 の 1 %程度 に な り 、 実質上 、 情報伝達不可 能 に な る 。 ま た 、 3 回程度で も Ί 0 % に な る 。 つ ま り 、 実質 的 に 、 3 〜 4 回 の分皎を 考え れば十分 に なる 。 た と え ば 、 神経素子 5 4 5 が 、 上 層 5 4 3 内 の素子 と 結合 し て い る場合を考 え る と 、 素子 5 4 5 直上 の素子の回 り の 2⁴ = 1 6個 の素子 群 5 4 4 と の結合の みを考え れば 良い 。 こ こ で 、 樹脂突起の分岐 は 中心 に な る素子 か ら近接す る素子 に 頗次分 妓 し て い く も の と し 。

樹状突起 を伝達 す る 情報量 は 、 人 工 的な 神 経回 路網で は シ ナ プス結合 の大 き さ W _u ( 式 （16)) と し て表わ さ れ て い る ので 、 W j」の大 き さ は第 5 図 （ l ) の 表 に 従っ て 、 そ の大き さ を 変 えな け ればな ら な い 。 た と え ば 、 上層 と 下層 の周 じ 位 置 で の 素子結合 を 出 発 点 に す る と 、

W _nn(i), i ^{/ W} i, i = 0 . 5 , W _{sn ( i ) J} / W ^ i / W j ₍ j = 0 . 2 5 な ど と な る 。 こ こ に 、 π n ( i ) は i の最隣接素子 、 s n ( i ) は こ の 第二 隣接素子を表わ す 。 も ち ろ ん 、 記億 の こ と を考 え る と 、 学習 に よ り シ ナプ ス 結合が修正 さ れな け ればな ら な い が 、 そ れ に よ る 修正度 は小 さ い も の と 考 え ら れる 。 従っ て 、 上 の 比 は あ ま り 大 き く 変化 し な い も の と 思わ れる 。 以下で は 具 休 旳な学 則を考える 。

従来の学習法であるパックプ ロ パゲーシ ョ ン法は、

HcCI lendと Rumelhart に よる " Paral lel Distributed Processing ' I and I ，， （ HIT press, 1 9 8 6 ) に詳 し く 論 じ ら れている。 その基本的な考え方は、 式 （20)で 与え ら れた出力 ず 卜 （ し 〉 を用いて 、 次の 2乗誤差 eを 最小に する よ う にシナプス結合を、 上羼か ら下層へ照次 定めて ゆ く 。

e ∑ { f i ( L ) - d ： } 最小化

2 i

(32) 具体的に は、 d e / d W j j ( ^ ) = 0 ( = L ， ヒ ー 1 …， 2 ) を頫次最急勾配法に よ り定めてゆ く 。 バックプ 口バゲ一シ ヨ ン法では、 すべて の素子間 に結合されたシ ナプス結合に対し、 式 （32)に よ り修正 し てゆ く 。 このた め、 シナブス数 ² ( L - 1 ) に比例 した計算時閽がか かる ため、 実用的には有効な学習法でなかっ た。 しか し た とえば、 第 5図 （d) のよ う なシナプス結合構造にする -と 、 全結合数は、 1 6 N ( し一 1 ) とな り 先の数に比ベ 1 6 X N になっている。 Ί Ο Ο 0素子数を考える と、 わ ずか . 6 %である 。 分岐数を 5 と し てち、 3 . 2 %程 度に しかすぎない o

[ ァルゴリ ズム ]

以下、 処理手顚を第 5 図 （e) に よ り 説明する ①計算の 開始 。

②素子状態 f i ( ί ) ( i - 1 , 2 , …， L 〉 お よ び シ ナプス結合 w _u ( ^ ) ( I 2 , 3 , …， L ) の 初期値を設定 する ( ブ ロ ッ ク 5 5 1 )

②素子状態 ( ) ( a 1 , 2 , ··· , し ） お よ び シ ナプス結合 W i j ( ） ( = 2 , 3. , … ， し ） の 初期値を 設定 す る 。 （ ブ ロ ッ ク 5 5 1 )

③与え ら れ た 入力 か ら 素子状態 ( ） を下靨 か ら 上曆 へ願次式 （1 9 )に 従 っ て 計算 す る か 、、式 （1 7 )を用 い て 最小化 を実行 し て f i ( ) を 決定 す る 。 （ プ ロ ッ ク 5 5 2 )

④第 5 図 （d ) の よ う に 決 め ら れた 分岐数 に 従っ て シ ナ ブス結合構造を定 め 、 そ れ ら の シ ナプス に 対 し 式 ( 32 )を最小 に する よ う に 結合定数 W i j ( ^ 〉 を上層 か ら 下層 に 向っ て頫次修正 す る 。 （ プ ロ ッ ク 5 5 3 )

⑤収束判定 を行 い 、 収束 し な け れば③ 、 ④を繰 り 返 す 。

収束 す れば⑥の エ ン ド へ 。 （ ブ ロ ッ ク 5 5 4 )

⑥計算 の終 了 。

以上 に 考案 し た学習法 の他 、 以下 に 示す よ う な 代案が あ る 。

代案 1 .

従来の バ ッ ク プ ロ パゲ ー シ ョ ン法 や第 5 図 （ e ) の ァ ル ゴ リ ズ ム で示 し た 方 法で は 、 シ ナ プ ス 結合 W i jが す べ て 独立 と の仮定 に 基づい て い る 。 そ こ で先の 考案 し た 学習 法で は生理学的知見 に 基づい て 、 伝達情報 と い う 観点か ら必要十分な結合構造を決定 し た 。 その結果、 学習 にか かる時間を短縮する こ とを可能と した 。 しか し 、 人工的 な神経回路網 において は別の観点か ら シナプス結合を低 減できる 。

今、 層間ではすべて の神経素子が結合 し ている とする （ シナプス結合 W j j ( <2 〉 を別な変数.€ «j ( i ) から生成 する。 つ ま り 、 元の N ² 個の結合変数の代り に 、 それよ り も次元の低い変数か ら生成するのである。 その次元を M と し 、

W j j ( ) = ώ> [ ^ _k ( i ) ] ,

M < N ( 33 ) と する。 こ こ に 、 ω は生成関数、 ξ ( k = 1 , 2 , … Μ ) は Μ次元の変数と する。 式 （33 )は、 第 5 図 （a ) に示 し fc方法の一般化になっている。 ある層の j 素子が上層 の各素子と結合し ている状況を考える。 シナプス結合

を電流、 R _uをその断面の直径、 とする と 、

+ ( 4 π R j i ² ) x係数 } ( 3 4 )

を最小に する よう に、 R j jを決めればよい 。 ただ し 、

R '_u = 0 の とき はその （ i , j ) 間 に は拮合がないもの する 代案 2

今 ま で の方法 は 教 師パ タ ー ン d j 5 1 6 が与 え ら れた 時 に 、 2乗誤差式 （ 32 )が最小 に な る よ う に 上騰 か ら 下曆 に 向っ て 、 シ ナ プス結合 を顚次修正 し て ゆ く 。 こ の よ う な橾 り 返 し 法以外 に も 、 シナプス結合を手早 く 決定す る 方法が あ る 。 つ ま り 、 解析 的 に 決定 す る こ と で あ る 。

式 （20)の 関数 F は非線形飽和 関数で あ る が 、 た と え ば シグ モ イ ド 関数を使用 す る 。 シ グモ イ ド 関数 は 大 ま か に 言っ て 、 飽和 す る部分、とそ の部分 に は さ ま れた 線形 に 変 化 す る 部分 に 分 け る こ と が で き る 。 こ の線形変化 を F = A + B x と 近似 す る 。 今す ベ て の素子 が こ の部分で挙動 し て い る場合 を想定 し て 、 シ ナ プス結合 を 決定 す る 。 本 発明で は例 と し て 、 3 曆 の神経回路網 を 考 え る 。 式 （20) を こ の近似 を用 い て 書き改め る と

A + B { A I W j j(3) + B ∑ W j j (3) ∑ W _jk(2)Iし }

(35) と な る 。 こ の方程式 を満 た す W j j ( 3 ) W j j ( 2 ) を 決 め れ ば よ い た と え ば 、 W j j ( 3 ) 7? i (3) € j (2) な の分離型 シ ナ プス結合 を仮定 す れ ば、 ^{W i}j⁽³⁾ 」

W ij (2) = ζ (36) と決ま る 。 こ .こで、 ζ j は平均値 0 、 分散び ² のラ ンダ ム変数と する。 この よ う に定め ら れた シナプス結合を用 ると 、 従来の よ う な繰 り返 しが必要な く なる 。

実際に は、 すべての素子が線形領域で作動 し ていない ので、 それら に 0いて は式 （36)が成立せず別に扱わなけ れぱな ら ない。

式 （36)は、 また別な使い方がある 。 一般に、 従来法の パッ ク プ ロパゲ一 シ ヨ ン法等ではシナプス結合の初期値 は値の小さなランダム数で発生させる と よ り 結果が得ら れる 。 こ れは、 初期 に おいて、 回路網の状態が最も不安 定な状態にあれば、 安定な状態に早 く 収束 ^ る と考え ら れているか ら である。 つ ま り 、 シナプス結合の初期値 と して 、 式 （ 36 )を用 いる こ と ができる 。

代案 3.

従来法はその計算アルゴリ ズム に差はあるものの 、 素 子状態を計算する部分 と、 学習 に よる シ ナプス結合の修 正部分 に分けていた 。 しか し 、 直観的 ¾ え易さ は と し て 、 分けて 計算する必要性はない 。 こ こでは、 両者を同 時に実行する アルゴ リ ズムを示す。 学習 は式 （ 32 )に基づ い てい るの と周様に し て 、 素子状態を計諱する部分も、 前述の Hopf ieldの考え に 従っ て 、 エネルギ ー の最小化 に 基本 を お く 。 素子状態 お よ び学習 の両者を 考慮 し た エネ ルギ 一 は 、

= ∑ { - W i J ( I ) ( a ) ( - ) }

+ { f i ( L ) - d ： } 最小化

(37) な る こ に 、 kは 正 の定数で あ る こ の よ う に 定式 化す る と 、 素子状態 f i ( ） 5 6 1 も シ ナプス結合 W j j ( ) 5 6 2も同 時 に 決定 す る こ と が可 能 と な る ( 第 5 図 （Π ) 。 つ ま り 従来法 の よ う に 、 素子状態→ シ ナ プス結合の 決定 の繰 り 返 し は必要な く 、 周 時 に 実行で き る ので 、 並列計算機上 へ の イ ンプ リ メ ン 卜 に ち向 い て い る こ と に な る 。

先 に 導入 し た 分離型 シ ナプス結合 、 W _U ( J2 》 - ξ j ( ) € j ( JZ — 1 ) を導入 す る と さ ら に 簡単な式 に なる 。 こ こ に 、 ( ） は新 し い変数 5 6 3 で あ る の式 を式 （37)に 代入 す る

E = 一 ( I ) ( i ( L ) - d j } (38) とな り 、 決定すべき変数 は N ( L - 1 ) と鎵少する。 こ こ に 、 F ^ ( ·δ 〉 = ； （ ) f | ( ^ ) であ る。

3；2 短期記億

長期記億は --口で言う と 、 情報のシナプス結合への写 像、 ある い は符号化である 。 短期記憶は g期記億のメ カ 二ズ厶 と は全 く 異つ た方法で、 情報を記憶する 。 第 5 図 (g ) は、 Lindsay と Norman ( Human Information

Processing： An Introduction to Psyc ology , 1 9 7 7 ) で示されて いる記憶に 関 する心理学的実験である。 Ί 9 人の被検者が 1 秒あた り 1 語の割合で提示さ れた 3 0個の互い に関連のない語に耳を傾けた 。 各 リ ス 卜 の呈 示終了 ごとに、 被换者に は 1 . '5分時間が与えら れ、 自 分の好きな順序で思い出せる語をすベて書く よ う に 求め ら れた 。 書き終つ て 5秒か ら T 0秒後に新 しい リ ス 卜が 提示された。 こ れ と周 じ 手続きが 8 0回 く り返さ れた 。 この時の再生率 5 7 1 を語を示さ れた頓序である系列位 置 5 7 2の関数と し て表わ し たのが、 系列位置曲線 5 7 3 である 。 こ の曲線-の特徵 は、 最も斩 し く 提示さ れた語 か ら 7前後まで に再生率は減少 し 、 それよ り 以前の語は ほぽ同 じ再生率を示 し て い る こ とである 。 前者の部分を 短期記憶 5 7 5 に 、 後者を長期記億 5 7 4 に対応さ れて いる 。 . 短姐記億では、 人 に与え ら れたデ一 を一時的に 貯蔵 する メ カ ニズムである 。 それ ら のデー タ の 内 、 あ る基準 に従っ て 、 必要なデー タ を選択 し 、 長期記憶に移行させ -

43 る 。 従来 の 工学的応用 を 目 指 し た 記憶 は 長期 記憶で あ り 短期記憶 に 関 し て は全 く 考慮さ れて い な か っ た 。 従っ て 与 え ら れ た デ ー タ の 内必要な デ ー タ を 記憶 す る 前 に 予 め 選択 し な け ればな ら な い 。 つ ま り 、 選択 の判 断 は 神経回 路網外 の前処理 と し て 新 た に 考え な け れば な ら な い 。 こ れ に 対 し 、 短期記憶の メ カ ニズム を有す る祌経回路網で は 、 こ の よ う な選択機構 を 回路網 内 に 内蔵で き る 。

さ ら に 、 短期記憶 は 、 長期記憶 へ の移行 に 関 し 、 重要 な側面を持っ て い る 。 前述 し た よ う に 、 短期 記億 に お い て は シ ナプス 結合 は可塑性 を示 さ ず一 定で あ る 。 シ ナ プ ス結合不変で 記憶す る た め に は 、 何 ら か の規則 に 従っ て シ ナプス結合が决つ て い る はずで あ り 、 従っ て 長期記憶 に 移行 し た と し て も そ の結合構造が そ の規則 か ら 大幅 に 異 な る ど次の短期記憶 がで きな く な っ て し ま う 。 す なわ ち 、 シ ナ プス結合の お お ま かな値 は 、 短期 記憶 の 時点で 決め て い る こ と に な る 。 そ こ で 、 以下で は 、 系 列 位置曲 線 に 見 ら れる短期 記憶の心理学的実現 を 説 明 し 得 る モ デ ルを構築す る と と も に 、 シ ナ プス 結台 に 課せ ら れた 規則 を解明 す る 。

神経素子状態 の挙動 を表わ す 方程式系 は 、 式 （1 6 )あ る い は式 （ 1 9 )で記述 さ れ る 。 両者 は 等価 な メ カ 二 ズ ムで導 出 さ れ た も の な の で 、 こ こ で は :式 （ 1 6 )を考 え る 。 ま ず 、 短期記億 に お け る 記億 を 式 （ 1 6 )の 中 で ど の よ う に 表現で き る かを考察す る 。 シ ナ プス 結合 W j」·は 不変な の で 、 長 期 記億の よ う に W j」·の 中 に 符号化 す る わ け に は ゆ か な い 。 そ こで、 短期記億を式 （16)の極小値に対応させるこ と に する。 系列位置曲線 5 7 3 に よる と 、 約 7前後の状態が 記億できる こ とを示 して いるので、 それに対応 してその 値前後の極小値が必要である。 つ ま り 、 その ための シナ ブス結合 に課せ ら れた条件を求める こ と になる。 今、

k

W る と 、 素子数が

I J 一定 ( i , 丄に依存しない ） とす

k

十分大きい場合に は、 しぎ ヽ値 0の符号に応じて 、

X

I =一 1 あるい は X i が式 （16)の最小値を与える 。

- 式 （16)の動的過程を考える と 、 これ以外の極小値は存在

X

しな ぐ 、 すベて の神経素子が周じ値を とる状態が唯一の 記億になる 。 従っ て、 W ■ · =

、 ^vv リ 一定 （ に， j に依存 し ない ）

p

で は系列位置曲線が説明でぎない。 i /

エネルギ一の極小値への動的過程を、 次の確率方程式 で記億する E

_ -—

8

P ({ X }, t) -一 X t )] d

(39)

こ こ に 、 ρ は時刻 t に状態が { X ) なる確率分布、 ω は 遷移確率である 。 上記確率方程式が定常状態において、 定常分布 e X ρ ( - E ( { X } ) ) を与え るための必要

1 ·

条件は ω ( X ； ) =— [ 1 x j tan h

^J 2

J w 一 0 となる

k

直接式 （39)を積分する代 り に 、 状態 x ； の平均値 < X > X p ( { x } (40)

{X} を 考 え る 。

こ こ で 、 シ ナプス結合 W j jが次 の よ う な 値を と-る も の と す る （ 第 5 図 ） )

+ 1 , P 個 の 隣接素子

W · · = f

u — 1 , 「 個 の 隣 接素子 今 、 系列位置曲線を得る た め の実験の よ う に 、 被検者 に つ ぎつ ぎ に語 を提示 す る状況を考 え る 。 こ の 時 、 各語 に 対応す る神経素子群 5 9 1 ( 第 5 図 （ i ) .) が つ ぎつ ぎ に 発火状態 に なっ て ゆ く 。 も ち ろ ん 、 各素子群 は 第複 し て も よ い 。 い ず れ に し て も 、 語 を顒次提示 ^ る こ と は 、 各素子 （ 群 ） の結合 す る素子 が増加 す る こ と に 対応する つ ま り 、 （ p + r 〉 を増加 す る こ と に な る 。 そ こ で 、 素 子状態の平均値 < X j 〉 を P + r の （1 数 と し て 、 そ の 挙 動 を調 べ る 。

T h 0 u I e s s , Anderson, と Pa lmer ( Phi losophica l magazine, Vol . 3 5 . p. 5 8 3 , 1 9 7 7 ) に よ る と 、 平均値 く x i >. は 、 式 （ 40 )を 実行 す る と 近似的 に 、 46 d

<X; >=-<x； >

dt

tan h C∑W_ik<x_k >-∑W_ik ² (1-く x_k ) <x_f >1

(41) な る方程式 に従 う 。 - 一殺 に 異つ た 定常状態 に対 し て は異つ た < X j 〉 対応する ので 、 式 （41)の定常解の個数が短期記億の個 に なる 。 锆粜は 、 Choiと Hubermar こ よ る " D I g i ta I dynamics and. the simulation of magnetic systems ( Physical Revie B, Vol . 2 8 , pp. 2 5 4 7 - 2

5 4 , Ί 9 8 3 ) にも示さ れて いる よ う に 、 第 5 図 (丄 の よ う に なる 。 結合素子数 （ P + 「 ） 5 1 0 1 が小さ 時は一つ の定常状態 5 1 0 2 し か存在 し ない が 、 （ P r ) を増加 し て ゆ く と 、 頓次分岐を起 こ し て、 2 , 4 8 個 と定常状態が 卜 リ ー 状 5 Ί 0 3 に 増えて ゆ く 。 と ろが 、 8 假を与える （ P + 「 〉 の値か ら さ ら に大き く る と 、 定常状態が存在 し ない 、 カ オ テ ィ ッ ク な状態 5 0 4 に なる 。 つ ま り 、 こ の神経回路網 に は 8 ϋ以上の 常状態 （ エネル ギ ー の極小値 〉 は存在 し ないこ と に な 以上の結果か ら 、 短期記億 は 、 正負 の ラ ン ダムな シ プス結合を有 す る神経回路網 で実現で き る こ と が判明 た 。 'さ ら に 前述の考察か ら 、 長期記憶 にお いて お 、 ほ ラ ンダムな シ ナプス結合を仮定 すれば よ い こ と が分 か 以下本発 明 の実施例を適用 対 象別 の項 目 に分類 し て 明 する 。 1. 認識問題

1. 1 動画像の 認識

1.2 初期視覚

2. 制御 問題

2.1 運動制御

2.2 最適制御

3. 数学問題

3.1 非定常偏微分方程式 の解法

1. 認識問題

1.1 動画像 の認識

第 2 図で は 、 大脳皮質の視覚領域で の方位選択性抽出 回路か ら 始め て 、 高次情報処理用 の 神経回 路網 を構成 し し し で は 、 そ の 回路網 を応用 し て 、 劻画像を認識す る た め の 神経 回路網 を構成 す る ο

心理学的知見 に よ る と 、 人が物 を認識す る 時 に は 、 認 識対象 の物 の物理的信号 （ 画像 ） と 脳 内 の 微念 （ ィ メ 一 ジ ） の両者 の協調 あ る い は競合作用 が必要で あ る 。 ど ち ら か一方 だけ で は δ ιΧ^で き な い場合 が 多 い 。 つ ま り 、 シ ス テ ム に 入 る多 く の物理 的信号か ら 特徴 を抽 出 し 、 铳合 し 、 記憶 と の マ ッ チ ン グ に よ り 意味 の あ る 認 識を 行 う 。 従っ て 、 第 2 図 の一般 的な構造 に 加 え て 、 記億か ら 特徴 統合への フ ィ一 ドバッ ク機構が必要となる （ 第 6 図 ( a ) ) 。 入力 か ら特徴抽出回路網 6 1 T でプ リ ミ ティ ア な特徴を抽 出 し 、 -特徵統合回路網 6 1 2 でそれ らのプ リ ミ ティ ブな特徴を銃合 し 、 記億回路網 6 1 3 に記憶され ている イ メ ー ジ とマツチングする 。 入力情報 と して は、 単位時間に測定 した 2 フ レーム分の画像 6 2 1 , 6 2 2 の濃淡変化比較を行う 。 これを画像の各メ ッシュごと に 行い 、 動きの存在を確認する 。 ただ し 、 どの方向 に動い て いる かは未知なので、 入力画像 6 2 3 では、 変化のあ る画素にマ 一 ク を付ける 。 ま た 、 これだけで は向きが判 新できないので、 おお まかな向きの '情報も別 に持つ 。

こ のよう に して作成 した画像を、 第 3 図 に示した特徴 抽出回路辯 6 1 3 で動きの直線的方向を抽出する。 さ ら に 、 特徴統合回路網 6 1 2では、 抽出された直線方向を 連続 し た直線群 6 3 1 と し て動きの方向を決める。 しか し 、 第 6 図 （c ) の 6 3 1 の よ う な不自然な動き は一般に ない 。 すなわち 、 動き に対する概念、 具体的に はなめ ら かな曲線 6 3 2 になる等を記憶回路網 6 1 3 に内存 じて お り 、 こ れとマッ チングする こ と に よ り なめ ら かな曲線 6 3 2 を構成する 。

1 . 2 初期視覚

初期視覚 における運動方向知覚、 奥行き知覚などのさ ま ざま な処理は、 入力デ一タ か ら解を同定する逆問題 と して定式化できる 。 すなわち 、 対象 と する問題か ら 自然 と 導出 さ れる方程式系 と 、 そ れ だ け で は解 が決 ま ら な い た め に 何 ら か の先験 的情報 に 基づ く 制約条件が必要で あ る „ 今 、 求め る べ き変数 を X 、 入力 デ ー タ を I と す る と

E"({ X ) }= E ₁ ({ X } , { X })+ ^ E ₉ ({ X })

(42) の最対化問題 と定式 化 で き る 。 E は方程式系 に 、 E ₂ は 制約条件 に対応す る エ ネルギ 一 で 、 ス はそ の 比 を表わ すパ ラ メ ー タ で あ る 。 従っ て 、 式 （17)の所で述 べ た 様な 方法が 有効 に 利用 で き る 。

以下で は 、 具体的な定式化を考察す る た め 、 運動方向 知覚 を 考え る 。 入力 画像 （ 2 値 と す る 〉 I は運動方向 に '対 し 一定で変化 し な い ので 、

3 1 t + ( V I ) * V - 0 (43) と な る 。 こ こ に 、 - ( d d X , d / d ) 、

V ( V V _y ) 、 は 時間 、 ▽ は微分 べ ク 卜 ル 、 V は運動 方向 の速度 ベ ク ト ルを表わ す " エ ネルギ ー E ·] と し て は 、 上式 の 2 乗の積分 を と る 。 次 に 先験 的制御条件 と し て は 、 ノ イ ズを 除去 す る と い う 意 味 に お い て 、

2

// { (▽ · V _χ + ( ▽ V、， ) ) ^α X ^d y

(44)

と お く 。 両者を合わ せ て r Γ I

Λ Μ I + ^: Λ ^: Λ^{: :} Μ

? § 、 ¾ ¾ ( ! ^Λ Λ Λ ) = ^! Λ 19 $ ° ¾

^{! Λ} I . Q / \ θ Ζ = ^! Μ 02 1 I α 5 / I δ 2 = ^! Μ

- いに 1 _ρ S — ^Π § ( 2 + ₂ ^{! Λ} I ) = _Λ ^! Μ

SL l' ⁱ Q Z 一 ! Q ( Ζ + _Ζ 1 ) = _Χ ^{Γ !} Μ

^ ° ¾ ¾ ?

ョ

(910 ,

に 01

^{! Λ} Λ^{! Χ} Λ^{! Λ} I ^{! U} I Ε + { ^!Λ Λ^! Μ +^!Χ Λ ^! Μ } I

Λ X

? j- w ¾ r ' ！ ^ co M^ s

^八 ' X 、 ¾、')ュ j: $臈 て ） ?1翳画 。 § ：?

( ） ^ΛΡ ^ΧΡ { ^ΛΛ ^ΧΛ ^ΛΙ ^ΧΙ Ζ+ ( ^ΛΛ ^ΛΙ+ ^ΧΛ ^ΧΙ) ΘΖ^

( ^ΛΛ*厶） + ^ΛΛ ^ΛΙ+ ( ^ΧΛ·Δ) Υ+ ^ΧΛ ^Χ1)ίΓ = 3

I I I I I I

05

.I£00/68df/lDd .Sfr60/68 ΟΛ\ の よ う に ま と め る こ と がで きる 。 こ こ に 、 W j j , h ,· は 上 記の定義式 か ら 容易 に 導 け る 。

こ こ で式 （ 17 )を利用 す る と 、 結局 問題 は次式 の 確率の 最大化 問題 に 帰着で き る 。 IlexpC一一 ΣΖ; +∑Zj (W ²) ijV: +∑hj V： ] dZ; (48) i 2 ¹ ij ^J リ I j I I I こ れの最大化 は 、 シ ミ ュ レ一テ ィ ッ ド ア ニ ー リ ン グ法等 を用 い れば実行で き る 。

2'.1 運動制御 · 運動 制御 さ は 、 ロ ボ ッ 卜 マ ニ ピュ レ ー タ の制御の よ う に 、 時 間 に依存 す る 目 標 の軌導 d _d ( t ) に 追従 す る よ う に シ ス テ ム へ の入力 u ( t ) を 決定 す る こ と で あ る

( 第 7 図 （a) ) 。

口 ポ ッ 卜 マ ニ ピュ レ ー タ を例 に と り 説明 す る 。 今 、 Θ を n 次元 関節角 ベ ク ト ル と す る と 、 運動方程式 は

R ( ^ ) { Θ ) + A { Θ Θ ) + B ( Θ ) = u

(49)

と 畫 け る 。 こ こ に 、 左辺第一 項 は憤性項 、 第二 項 は コ リ オ リ ♦ 遠心力項 、 第三 項 は重力 項 、 右辺 は n 次元 の 関節 ト ル ク を 表わ す 。 一方 、 マ ニ ピ ュ レ ー タ のハ ン ドル の位 置 、 方向 ベ ク ト ルを X で表 わ せ ば 、 運動学の原理 か ら X = f ( Θ ) , X = J ( Θ ) Θ ( 50 )

X = H ( θ ) Θ + J ( θ ) Θ ( 5 1 ) と なる 。 こ こ に 、 J ( Θ ) はヤ コ ビア ンであ る 。 X に対 する運動方程式か ら 、 ハ ン ドルに作用する力 、 モーメ ン 卜 のベ ク ト ル P は

U = J ¹ ( Θ ) P ( 52 ) と表わされる。 こ こ に 、 T は行列の転置を示す。 運動制 御 は 、 八ン ドルの位置、 方向 X ( t ) が X _d ( ΐ ) に追 従する よ う に関節角ベク ト ル U ( t ) の時間依存性を決 定する こ とである （ 第 7 図 （a ) ) 。

し か し、 口ボヅ 卜 マニ ピュ レー タ の制御 は、 その動特 性の非線型性やパラメ ー タ の不確定性、 さ ら に は作業空 と関節空問の間の非線型性な ど に よ り 完全な精度での モデル化はほとん ど不可能である 。. 従って 、 ま ず 、 神経 回路網 に よ り シス テムの動特性を周定する必要性がある そ こで 、 時間依存性をもつ神絰回路耩の動的過程を次の よ う に規定する 。 て x i ) - -X : ( i ) + W ( ) y ( - 1 )

(53)

2 . 3 , , し y ( Jl ) = Θ ( x ( ) ) (54) し し に 、 て は 時定数 、 は し ぎ い値関数を表わ す 。 ま た 入力 層 に 対 し て は u が入力 さ れ 、 出力 屬 に 対 し て

X j ( L ) = X の 成分 と す る 。 シ ナ プ ス 結合 W

は 時間依存性 を有 し て い る か 、 .あ る い は一 定 の値で あ る 第 7 図 （b) は 、 神経 回 路網 が学 す る と 同 時 に 、 学習 が終了 す る と 単な る フ イ ー ド フ 才 Ό一 制 に な る 。 つ ま り 、 □ ポ ッ ピュ レ一タ の 出力 X が 目 標執道

) と 異 な る 閻 は 、 そ

x d ⁽ ΐ の差 X - X

d ( ) に 応 じ て 、 関節 卜 ル ク の 制御則 よ り u T を計算 す る 。 さ ら に 、 未学習 の祌経回路網 へ の ^x d ) 入力 よ り 閧節 卜 ル ク u _N を計 算 し 、 u = u マ 二 ュ

N が ビ レ ー

T ^{L u} タ に 外力 と し て 入力 さ れる ο 兀全 に 学習 が終了 す る と 、

U U ( u 0 ) と な る の で 、 神 経 回 路網 か ら の 卜 ル ク u _Ν が直接マ ニ ピユ レ一タ に 入 力 さ れ 、 フ イ ー ドバ ッ ク 制御 か ら フ ィ ー ド フ 才一ヮ一 ド $iJ に 移動 す る 。

神経 回路網 に お け る 学習 は 以 "F の よ う に 行 う 。 — つ の 方法 は バ ッ ク プ ロ パゲ ー シ ョ ン法 と 同様 に —∑ ( X ： ( し ） X ( t ) ) (55) 2

なる誤差を最小にする よう なシナプス結合を決める こ と である 。 つ ま り

• d E

W： ： ( ) = - C (56)

^J ^ W j j ( i )

に よ り 、 シナプス結合を胯間的に変化させる こ とである 。

別な方法 と して 、 最適制御理論における Bal akr i shnan の ε法を利用でぎる 。 つ ま り 、

1 し 《 2 Ε = Χ {—∑ ∑ IIて x (_2) +Xi (i) -∑W_n ( ) _vi (i-1 ) ir

2ε i i=2 ' j ^{u yj}

1

+-∑ (Xj (L) -X_di (t) ) dt (57) を最小に する uを決定す るこ とである 。 た だ し 、 入力層 ( = 2 ) に対 して は uが追加されて いる 。 この問題を 解く 神経回路網は、 一般的な最適制御理論の問題 と して 、 次の項で詳細 に述べる 。

2,2 最適制御問題

神経回路網の並列処理能力 を活か して 、 最適制御問題 への有効な応用 が考え ら れる 。 最適制御問題は、 一般に 、 あ る評価関数 の最小 （ 最大 〉 化 と し て 定式 化さ れる ので か な り の 問題が適用 可 能で あ る 。 こ こ で は そ の 一例 と し て 、 B a I a k r ί s h n u nの ε 法 に 対 し 、 適用で き る こ と を示す 今 、 対象 の シ ス テ ム の動 的過程 を

X ( = f ( x ( t ) , u ( t ) ) ,

(58) た だ し 、 X ( ) = X な る微分方程式 に 従 う も の と す る 。 こ こ に 、 x ( t 〉 は 時刻 t で の.状態変数 、 1= は与え ら れた 関数 、 u ( t ) は 時刻 t で の 操作変数 、 X ⁰ は初期 時刻 t ₀ で の X の値 を 示 す 。 評価関数 と し て t

f y ( x ( t ) , u ( ΐ ) ) d t

の 最小化を考え る 。 こ こ に 、 y は 与 え ら れた 関数 t ·! は 最終時刻 を示 す 。 ^3題 は 上 記勅 的過程 に 従 う シ ス テ ム に 対 し 、 評 ffi 関 数 を最小 に す る よ う な 操作変数 u ( t ) お よ び状態変数 X ( t ) を 決定 す る こ と で あ る 。

S 法で は 、 上記 の 問 題 を t 1 ¹ へ

E = { ""- - II x — f ( x , u , t ) ) l +

2 ε

g ( χ , u , t )· } d t (59)

の最小化問題 と し て定式化する。 こ こ に 、 は適当 な空間での ノルムである 。 今、 内積 （ X ， ΐ ) ≤ c ( 1

+ II X II ^ ) , c ： 定数 とする と 、 ε→ 0で Ε を最小に す る解が、 元の閊題の解に収束する こ と が証明されてい る （ 坂和 、 最適システム制御理論、 コ ロ ナ社、 昭和 4 7 年 ）

x 、 u などの変数を 2値変数 X U ： で表現するた め 、

X = ∑ 2 ' X _t ( t ) _f υ = ∑ 2 ' U j ( t ) ,

(60)

ただ し X i ( 0 ) = ± 1 , U | ( 0 ) = 上 1

なる変換を行う 。 そう する と 、 E は

E = X {— II 12 'Χ: -f (X: , U'i , ΐ) II² +g (X; , U; , t)}dt to 2ε i l l ^{1 1}

(61) と なる 。

神経回路絹 にマッ ピングするた め 、 時間を時 11メ ッシ ュに きざみ、 各素子は X i あ るいは U を表わす よ う に す る と 、 第 8 図 の よ う に な る 。 各層 は周一 時刻 に お け る X j , U j を表わ し 、 層 閭の結合 は与 え ら れた 問題 f , gの構造 に依存す る 。 . 3. 数学 問題

3.1 非定常偏微分方程式 の解法

神経回路網 の 並列処理能力 を 活か し た 応用 と し て 、 微 分方程式 、 さ ら に 一 般 的 に は偏 微分方程式 の解法が あ る 神経素子 間 の 協調 · 競合作用 を基本 と す る神経回 路網 の 特徵 は 、 そ の作用 が周 時別 に 整 列 的 に 行わ れる こ と で あ る 。 た だ し 、 実際的な 計算 ァブ ロ ー チで あ る モ ン テ カ ル 口 法で は 、 単位 時 間 に 1 個 の素子状態を変更 し 、 繰 り 返 し を 十分行 う こ と に よ り 、 周 時刻 で の 並列処理 を模擬 し て い る 。 こ の 同 時刻 協調 ♦ 競合動作 が以下 に 示す よ う に 微分方程式解法 に 重要 な役割 を は た す 。

今 、 与え ら れ た 偏微分方程式 が次 の よ う に 耋 かれて い る と す る 。

d U

( U , V U V u ) (62) d ΐ 一般性 を失 う こ と な く 、 一 次元 の 問題を 考え る 。 つ ま り

U = U ( X , t ) 、 u = 5 u / .5 x ,

V ² u = d ² / d ² 。 x は 位置 を表わ す 。 連続量 x に 閬 す る方程式 を 計算機で 数値計算 す る た め X を有 隈な微小区間 に分割 し 、 その区間上で上記方程式を書き 直す。 差分法、 有限要素法、 境界要素法などほ とんどす ベて の数値計算法は こ の よ う な方法で連続な方程式を非 連続な方程式 に書き直す 。 た とえば、 有限要素法では 、 各要素内での u を

U = Φ u ( 6 3 ) と内揷補間する 。 こ こ に 、 Φ ^ は捕間関数、 u ひ は有限 要素の節点での値、 ο: は 1 次元の場合区間の両端を赛ゎ

5

8

よ すため Ί と 2 である 。 2 次元の三角形要素で は ひ = 1 2 , 3 である 。 各要素に おける重み.関数を、 上記 と周様 に u * = ∑ Φ u ^ * と する 。 元の偏微分方程式に u - ∑ Φ _α u _α を代入 し 、 両辺に u * をかけ全空 i につ い て積分する。 重み関数 υ _α が任意な値を とる定数に注 意する と 、 次の よ う な方程式系を得る。 '

^U « = ( u a u N N ( α ) u S N ( ct ) ) ( 64 ) こ こ に 、 N N ( ) は一回微分 V u よ り 導かれた項を意 味 し 、 α の最隣接節点 α + 1 あるい は α — 1 を示す。 S Ν ( ひ ） は二回微分▽ ² υ よ り 導かれた項を意味 し 、 ひ の第二隣接節点、 ot + 1 あるい は 《 — 1 を示す 。 すべて の要素に対 し上記方程式を作成 し、 た し 合わせれば所望 の有限方程式を得る 。

次に 、 時間 に関 する微分 u ひ を差分化 し なけ ればな ら 9457

59 な い 。 一般 に は通常の方法 に 従 い 、

u α = u α ⁿ - υ α ^{n _ 1} と す る 。 こ こ に 、 添字 n は 時間 t Uをディ ス ク リ ー 卜 な 変数 に 直 し た こ と を意味す る 。

nひ

こ こ一一で 問題 と な る の は 、 右辺の 関数 F の 時刻 を ど ち ら の 時刻 （ n か n — Ί ) に と る かで ある 。 n と す る場合 は

^ひ

陰的解法 、 n 1+— 1 と す る場合 は 陽 的解法 と 呼 ばれ て い る 流体方程式 の解法 の 時 に 、 層流 の よ う に 現象が比较的緩 や か に 変化 し 、 す ぐ に定常状態 に 達 す るよ う な場合 に は 陽 的解法で も十分な精度の解が得 ら れる 。 し か し 、 流速 の大き い 流 れや 乱流の 場合 に は 、 十分単位 時 問 き ざ み を 小さ く と る必要が あ り 、 計算時間が大幅 に かか る 。 時間 き ざみ を大き く と る と 精度が お ち た り 、 発 散 す る 。 こ の よ う な場合 に は 陰解法 が適 し て い る ，， 一般 に 、 陰解法で は 、 時間 き ざみ に よ ら ず 、 解 は 安定 し 、 精度 も よ い 。 し か し なが ら 、 こ の よ う な利点 に も がかわ ら ず 、 陰解法で は一般 に 各時刻 に お い て 非線型代数方程式用 の繰 り 返 し 計算が必要で結局大幅な 時間 が かか る 。

神経回路網 の 並列処理機能 を 活 かせ ば 、 上記 の 陰解 法 の困難 さ を解決 で さ る 。 解 く べ き 方程忒 は

n

( u ひ u N N ( ひ ） u S N (

で あ る u は も と も と 連銃 な値 を と る の で 、 2 値 の変 数で書き直 さ な け れ ばな ら な い 。 2 値 の 変 数 を同 じ u ひ で表ねすこ と に する。 ち がい は、 素子数が増加する こ と だけである 。

第 9 図 （a) に神経回路耩の構造を示す。 各時刻毎に層

n n

を用意する 。 各素子に u _a を対応させる。 この u _a は周

n n

時刻、 つ ま り周層の u UN ( a: 〉 と u _SN ( _a ) に加え、 自 分自身と結合する。 さ ら に一時刻前の u o: ^n_1 にも関 ^ する 。 具体的なアルゴ リ ズム と して は、 入力屬 （ n == 0 〉 において 期値が与え られているので、 上層 に 向って頗 次解いて行く 。 あるいは、

1 -

=—∑ { u _ά -F ( u _a , u _{NN ( a }} , u _{SN ( α }} )}

(66)

の最小化をシミ ュ レーテイ ツ ドアニ ー リ ング法で行う 。

[ アルゴ リ ズム ]

処理手顒を第 9 図 （b) によ り 説明する。

0

①入力層における初期値 u _a を設定する 。 （ ブ ロ ッ ク

9 2 1 )

②入力層以外の曆の神経素子の初期状態を設定する。

( ブ ロ ッ ク 9 2 2 )

③境界 における与えら れた素子状態を設定する 。 （ブ 口 ッ ク 9 2 3 )

④シ ミ ュ レーテイ ツ ド ア二一 リ ング法用 のパラメ ー タ である温度の初期値などを設定する 。 （ プロ ッ ク 9 2 4 )

⑤神経回路絹内で入力層お よび境界 に位置す る素子以 外の素子を、 ラ ンダムあるい は規則正 し く 選択する

( ブ ロ ッ ク 9 2 5 ) 。

⑥シ ミ ュ レ一ティ ッ ド ア ニー リ ング法を実行 し 、 選択 した素子の状態を変更す る 。 （ プ ロ ッ ク ' 9 2 6 )

⑦収束判定を行い、 収束 し なければ⑤， ⑥を繰 り返 し 、 収束すれば⑧のエ ン ドに移行。

⑧終了 。

つぎに 、 前述の式 （4) の コ ス ト を最小化する た めの関 数 H * を決める問題につ いて 、 ま ずその原理から説明す な 。

この問題に対する形式的な解 は 、 次の よ う に なる こ と が知 ら れて いる 。 ま ず 、 H の最適な関数 H * は

- d V ( X ) / d

min (- 「 Η ' d M / d + d V / 5 x ² + L / 2 ( H ^/ / E ' ) ² } H ' (68-1 ) の右辺の最小値を与える よ う に定 ま る 。

H ' * = L ^_1「 E ' ² d / d e (68-2) 一般に 、 温度は加法的ノ イ ズ と T - 0 ( 「 ） なる関係に ある こ と が分かっ て いるので 、 d \J / d = 0 ( 「 ^_2) である 。 ここ に 、 記号 0 ( - ) は '。'の値のオ ーダを示す これを、 式 （68-1)に代入する と 、 Vの従う方程式が d V ( t , X ) d t

= - 1 / 2 L _¹「 ² E ' ² { 9 V / 5 X } ² + 厂 3² Vノ 3 X ² (69) となる 。 ただ し 、 初期条件は、

V ( 1 , X ) t 1 で与え られる。 この初期条件は最終時刻 における値を与 えているので、 取り扱いの簡単な初期値問題に書き換え るために 、 て - t ^j — t で新 しい時間 て に変換する 。 そ う する'と、 上式は

3 V ( て， X ) / 3 t

=ー 1 2 1_ ^_1厂 ² E ' ¹ { d V / d x } ² +

Γ d ² / d x ^L (70) ただ し、 V ( 0 , x 》 - 0

と なる。 これが、 V、 つ ま り 、 H * を決定する最終的な 方程式である 。

結局、 問題は式 （70)の方程式を解き、 V を求める こ と である。 もちろん 、 数値解法でも可能であるが、 C P U 時間がかかる し 、 ま た 、 実用的な手軽さ もない 。 そ こで 解析解 が望 ま れる と こ ろで あ る 。 こ こ で は 、 Γ を微小な パラ メ ー タ と す る特異摂動 法 を利用 し て 、 近似的 に 解析 解を求め る 。 Pの最大値を与 え る状態 X を 、 α * と す る < こ の値そ の も の は未知数で あ る が 、 そ の近傍で の 解の挙 動 は調 べ る こ と がで き る 。 そ こで 、 3 V Z 3 x =

0 ( 「 '²) に 注意 し 、 式 （70)の右辺の 「 に 関 す る大きさ を見積る 。 い ま 、 状態 X が 、 α * か ら "だけ し か離れ て い な い近傍 （ 内部頜域 ： x - a * + 0 ( VT) ) と す る と 、 第 1 項が 0 ( Γ —¹ ) で第 2項が 0 ( 「 ^_3/2 ) な の で 、 第 2項が重要であ る 。 一方、 状態 X が 、 α * か ら 厂 ¹⁵ 以上離れて い る場合 （ 外部領域 ： χ = α * + 0 (1)) に は 、 第 1 項が 0 ( 「 _² ) で第 2項が 0 ( Γ ^{_ 1}〉 な ので 、 第 1 項が支配項 と な る 。 従っ て 、 こ れ ら の領域 に対 し 、 別々 に 解 を求 め 、 両者 を ス ム ー ズ に 結合す れば よ い 。 以 下で は 、 各領域 に お いて 、 0 ( V " ) ま で の近似解 を構 成す る 。

(1) 内部領域 ： x - a* + 0 ( V ")

こ の領域は 、 て = 0で ほ ぼ達成さ れる も の と 考え ら れ る ので 、 初期条件か ら わ かる よ う に 、 Vの値が小さ く 、 第一項 は近似的 に省略で き る 。 こ の領域で の解を V i と 記す と 、 0 ( V ) ま で の近似方程式 は 、 d V ( て ， X ) ノ 3 て - 「 3 V ； / d なる拡散方程式になる 。 式（71)の条件を満た す解は容易 に求ま り 、

V j ( て ， X ) = 「 て exp{— ( X - α * ) ² 2 「 て }

(72) となる 。 て → 0で明 ら かに V j ( 0 , X ) → 0になる 。 ここで 、 （X * は未知なので、 この式はそのま までは用い ないが 、 あ とで この意味を明 らかにす る 。

(2) 外部領域 ： X = α * + 0 ( 1 )

この領域での薛を V (j と記す と 、 0 ( f「 ） ま での近 似方程式は、

d V て ， X ) て

0 ( Z 3

一 1 ノ 2 L -2_r「 2 , 2 { d y _Q d X }

(73) である の解を、 変数分離法で求める 。 い ま 、 て のみ の関数 A ( て ） と 、 X のみの関数 B ( X ) を用意し 、

V 0 ( て ， X ) = A ( て ） B ( X ) (74) とお ぐ o しれを 、 式 （73)に代入する と 、

d A ( て ） d てゾ A ²

一 1 ノノ 22 LL ^__¹¹「Γ ²² EE '' ²² BB '' ²² Z BB ²² (75) を得る 。 両辺はそ れぞれ独立 した変数の関数なので 、 両 辺は定数でなければなら ない 。 Cを定数 と し て 、 便宜上 両 2

— を 1 / 2 L 1 ' r- 「 Cと お く 。 そう する と 、 各関数に 対して

d A ( て ） d て - — 1 Z 2 L一¹ 「 ² C _{e c}

D 0

B ' ² = C B ² / E ' ² (76) な る 微分方程式 を得る 。 こ れ ら の 解 を求め る と 、 次 の 様 に な る 。

A ( て ） = 1 ノ { 1 / A m + 1 Z 2 L ~¹ 「 ² C て ）

B ( X ) = C / 4 ί 1 / E ' d X + C ！ } ² (77) こ こ に 、 A m , C は積分定数で 、 次 に 述べ る 内部 と 外部 に お け る解 （ 72 ) , ( 77 )の接続条件か ら 決 ま る 。

(3) 解の接続条件

内部領域で の解 （72)と 外部領域で の解 （77)を ス ム ー ズ に 接続 し 、 全領域で一様な解 を求 め る た め に は 、 境界位 置 X b ≡ a * + G ( IT) で 、 各領域で の 解 の 関数値 と そ の空 間微分値を等 し く す れば良い 。

V j ( て ， x b ) = V _Q ( て ， x b )

d V j ( て ， x "） / d x - d \J _Q ( て ， X b ) d X

(78) ま ず 、 A mを決め る 。 式 （ 72 )は P の最大値近傍で の状 態を 記述 す る ので 、 本来 て が小 さ な領域で成立 す る式 で あ る 。 し か し 、 外部領域で の解 と の接続を す る た め 、 領 域を拡張 し 、 て の大き い領域で の 解 の 漸近形 を 求 め る と 、 V j ( て ， x b 〉 〜 厂 Z 2 { — 1 + 2 て } と な る 。 同様 に 、 て の 大き な領域で成立 す る式 （77)の て の小さ な 領域 で の解 の 漸近形 は 、 V ₀ ( て ， x b 〉 A m { — 1 +

1 ノ 2 し _¹ 「 ² C A m て ） B ( X b ) と な る 。 従っ て 、 両辺 を 比較 す る こ と に よ り 、 A m = 4 し 「 ^_2C ' 'と定 ま る 。 故 に 、 A ( て ） = 4 L.r "²C "V ί Ί + 2 て ）

〜 2 L 「 ·²〇 ^-1Zて （79) と決ま る 。 こ こに 、 て が大きいこ とを利用 して 、 1 を省 略 した。 式 （72)と （77)を式 （78)に代入する と 、

xb 2

「て exp (—「/2て） =A (て） CZ4 * { 1/E' dx + C^ }

xb

一「て exp (—「Z2て） (て） {/ Τ/Ε' dx

+ (xb) (80) r れ ら の方程式を解く と 、 定数 C "! お よび、 接铳する時 の時刻 て ち周時に決ま る。

。 1 一 2 て / ( X b ) - / ^xb1 / E ' d X

3

1/て 2 + 4し「 °exp ( 「 Z 2 て ） Z ( ( b )}

(81)

こ れらの値を外部領域での解に用 いる と、 結局、

y

V₀ (て， x) =L「—^Z2r* if 1/E' dx— 2て ZE' (xb) }² xb

' (82) こ こで 、 求めたい量は Vの X に 関する微分なので 、 上式 の最後の項 2 て Z E ' ( x b ) は省略できる 。

V ₀ ( て ， x > = L 「 ^_2Z 2 て · { / 1 Z E ' d X } ²

(83) _{β ?} が得 ら れ る 。

式 （68-2)か ら 、 求め る べ き ^1 ' * は

2

H し —¹厂 { ( X ) } ( X - α * ) exp

{ — ( x — α * ) 2 「 て }

Η * = ( 厂 て ） ( X ) / Ε ' d X (84)

と な る 。

使い易 さ を 考慮 す る と 、 H ' = ( E / T ) ' ) ≡ E ' Z Toptと な る 温度 Toptを定義 し た ほ う が 、 便利 が良 い 。 なぜな ら ば 、 H の変化分を直接計算 し な く と も 、 コ ス 卜 E の変化分 だけ を 計算す れば よ い か ら で あ る 。 上式 を こ の温度 を用 い て 書 き な お す と 、 各 領域 に お い て 次式 を得 る 。

Tiopt =—し「^_1{(x-ひ * ) Ε' (x)}-exp{ (x- * ) ² 2「て）

Toopt =「て/ {/1ZE' dx} (85) 最後の式 は オ ー ダ的 に は 、 内部頜域 に お い て

E ' = 0 ( V~T ) に 注意 す る と 、 Tiopt = 0 ( 厂 ） ， Toopt = 0 ( 「 ） に な り 、 温度 の定義 に 矛盾 し な い 。 こ れは 、 外部領域 に お い て 、 極大値 を超 す た め に 、 温度 は 大き く し 、 加法 ノ イ ズの大 き さ を大 き く し 、 調整 し て い る も の と 考え ら れる 。 こ こ で 、 温度 に 対 す る 制約 条件 Topt> 0 を仮定 す る 。 式 （85)の 第 Ί 式 は 、 ひ * 近傍で E ( X ) 〜 （ X — α * ) ² と な る ので 、 常 に 負 で あ る 。 そ こ で 、 内部領域 に お い て は Tiopt = 0 と す る 。 こ の要 請は、 極値においてゆ らぎを小さ く するこ とを意味し、 特に 、 最小値を与える状態において は、 ゆ らぎを無く す るこ とを意味する。 さ ら に 、 時藺依存性に おいて も、 そ の状態では て = 0 になる。 従っ て 、 両者の領域をま とめ て 、 次の様に書 ぐことができる 。

Topt= 「 て Θ [ 1 / { / / E ' d X } ] (86) こ こ に 、 導入した関数 Θは、 その引き数が正の時には その値を、 負の時に は 0 となる関数である 。 こ こで、 が未知なので、 一 t を直接計算できない。 しかし 、 「が小さいこ とを積極的に利用する と 、 「 て の 変化はわずかなもの となるので、 この量を定数と して扱 つても近似的に は、 Toptは有効に働く と思われる。

以下、 具体的実施例について説明する。

ここでは、 簡単な 1 次元のコ ス ト関数を例に、 こ こで 提案し た新しいスケジユール Toptの有効性を確認する。 kを正の定数 とし て 、 コス ト 関数の微分 E ' と して 、

E ' ( X ) = k Π ( X — a i ) (87)

I

を考える 。 式 （86)の積分を実行するために 、 E ' の逆数 を次の よ う に書き換える。

1 Z E ' ( X ) = k ∑ 了 i ノ ( X - a i ) (88) i そう する と 、 積分 は簡単に実行でき 、 Toptは次のよ う に求ま る 。 7

Topt= 「 て 1 Θ [ 1 / Π { £ og x 一 ひ I + q }] i

(89)

T I

こ こ に 、 q =— j? og | x b - a i | で あ る 。 こ の 式 に は ま だ未定 の定数 q が 含 ま れて い る が 、 こ れ ら は パ ラ メ ー タ と し て 扱 う 。 実際 の計算 に お い て は 、 q = 0 と し て も 十分良好な結果が得 ら れた 。 ま た 、 Γ て = 1 . 0 と し た 。 上記 の コ ス 卜 関数の例 と し て 、

E (X) =3 (- ( x) ² -1/3♦ ( x) ³ +1/4 - (PK) ⁴ }

(90)

を考え る 。 こ れ は 、 二つ の極小値 を 、 o^ - S Z P ,

2 - — に 持つ 。 こ の 内 、 ひ が最小値を与 え る 。 そ し て 、 越え る べ き コ ス ト 障壁 は 5 /3 1 2 で あ る 。

Toptの 計算 に 必要なパラ メ 一 タ ー は 了 ■! = — 5 ² / 2 .

T 2 = P / 6 , 73 = P ² 3 で あ る 。

第 Ί 2 図 に 、 従来法 の T ( ΐ ) = Τ ₀ / i og ( ΐ + ) ； Τ ₀ = 3 と 、 Toptを用 い て 行っ た シ ミ ュ レ ー シ ョ ン結 果 の比較 を 示 す 。 先ず 、 第一 に 、 従来法 と 異 な り 、 最小 値 に お い " ほ と ん ど ゆ ら ぎ が 生 じ な い 。 ま た 、 最小値へ の収束 が 早 い （a) 〜 （d) 。 極端 な例 （e) , (f) で は 、 従 来法で は 最小値 に達 し な い場合 で も 、 本方法で は 、 到達 可能である 。 尚、 この結果は 1 0 0 回シミ ュ レーシ ョ ン を実行 し 、 その平均値を示 し たものである 。

更に複锥な例に対 して 、 適用 する 。 この場合に は、 式 ( 86 )の積.分を直接求め ら れないので、 以下に示す様な近 似最適スケジュ一ルを用 いる 。 上記の例で示したスケジ ユ ールから分かる大きな特長は、 超えるべきコ ス ト の障 壁に接近 した と ころで、 大きな値を と り 、 極値近傍では 0 なる値を採る こ とである 。 こ のこ とから 、 コ ス ト 関数 の 2 階微分 V ² E が負 に なる ときに最大値に設定 してお けば、 最適スケジュールの本質を捉える こ とができる と 考え ら れる 。 そこで 、

T o p t = Φ [ ▽ ム E ( X ) 】 ( 91 ) なる近似スケジユールを提案する 。 こ こ に 、 Φは、 その 引き数が正の時は、 十分大きな正な定数 Φ _m 、 負の時は 0 と する 。 つ ま り 、 2 階微分が負の時だけ、 温度を高め 付加ノ イ ズを大き く して 、 極大値を容易 に飛び迢ぇるよ う に し た 。 この場合のシ ミ ュ レ一ティ ッ ド アニー リ ング の アルゴ リ ズムの全休概念図を第 1 0 図に示す 。 まず初 期状態 （ プロ ック 1 0 Ί ) を設定 し 、 シ ミ ュ レーテイ ツ ドアニ ー リ ング （ ブロック 1 0 2 ) に よ り次の状態 （ ブ ロッ ク 1 0 3 ) を決定 し 、 終了条件 （プ ロ ッ ク 1 0 4 ) が N 0 の場合 はこれ ら の過程を く り返す、 ア ニー リ ング に おける最適温度 （ ブ ロック 1 0 7 ) は、 与え ら れた関 数 （ プロ ッ ク 1 0 5 ) の微分式 （91 )か ら決める 。 この近 似スケジ ュールの有効性を確認するため に 、 つぎの問題 2155 に 適用 す る 。 変数 X _ し に 1 ， 2 N

( N = 1 0 0 x 1 0 0 ) で 、 i は 2次元 平面格子上の点 に お い て 定義 す る ） は ± 1 の 2値を と る も の と す る 。 最 小化す べ き コ ス ト 関数 E と し て 、

({X })= I { - ∑ X ； X J； + h X ； } (92) が与 え ら れて い る あ の と す る 。 最初 の ∑ の 全て の変数 に つ い て の和 、 次の ∑ は 平面上 に お い て 第 i 番 目 の変数 に

10 隣接す る 変数 に つ い て の 和 を表わ す 。 h は正 の定数で 、 こ こ で は 〇 . 1 に 設定 す る 。 ま た 、 X i の初 期状態は ラ ンダム に 与え ら れ て い る も の と す る 。 こ の 問題の 困難さ は 、 変数 X j が 2値 し か と ら な い こ と か ら 、 多数 の極小 値が存在 す る こ と に あ る 。 2 値変数 の ま ま で も最小化 は 可 能で あ る が 、 こ こ で は 、 よ り 低い コ ス 卜 が実現可 能 な 、 H 0 p f i e I d and Tank に よ る 、 Biological Cybernetics, vol.5 2 , P. 1 4 2 , ( 1 9 8 5年 〉 の定式 化 に 則 り 、 2 値を連続値 に 変換 し て シ ミ ュ レ ー シ ョ ン を実行す る 。 こ の た め 、 元 の変数 X i を

20 X j = tan h ( F j Z B ) (93)

と 変換 す る 。 明 ら か に 、 F j は — w か ら + CO ま で の 連続 量 に な り 、 F j = は X | = ± 1 に対応 す る 。 こ こ で 、 収束性を高 め る た め に 、 定数 B は 0 . 0 1 に 設定 し た 。

比較の た め 、 以下 に 示す 異 な る 3 種類の ス ケ ジ ュ ー ル で 式 （ 92 )で定義 し た 関数 の 最小値を求 め た 。 ( A ) T ( t ) = T₀ / og ( t + 1 )

( B ).T ( t ) -一定

( C ) Topt= Φ [▽ ² E ] 、 Φ _m = 5 (94) モンテ カ ルロ シ ミ ュレーシ ョ ンの回数を記号 tで表わ し 、 tの最大値 t _max は 1 000回 と した 。 また 、 比较 のた め Toptの最小値は 0で はな く 、 （ A ) の Tの t _max における値である 1 / _ og ( t _max + ) に設定 した。 シ ミ ュ レー シ ョ ン結果を第 1 3図に示す。 （ A ) の従来 法において 、 T _Q = Ί . 0と 4. 0でシ ミ ュ レーショ ン を実行 した 。 初期の時刻 において は多少異なる直を示す が、 ^x max にあ、けるコ ス ト と し て両者とちほぽ同 じ値で である一 =一 0. 63を与える 。 しか し 、 （ C ) では、

N

明 ら かに 、 他の方法よ り もかなり低いコス ト である 一 0. 90を得るこ とができた 。 しかし 、 （ C ) の方法 では単に温度を上げた こ とに よ り 、 低コ ス 卜 が得 られた もの と思われるが、 事情は全 く 異なる。 この こ と を見る た めに 、 （ B ) で、 T ( t ) = 5. 0なる高温でシミ ュ レーシ ヨ ンを実行 した 。 結果は、 大きなノ イ ズのために 従来法よ り も さ ら に悪 く なつ た 。

第 1 4図 は、 本発明を利用 し た画像処理システムの概 要を模式的に示す。 被観測物 5 1 を I T Vカ メ ラ 5 2に よ り 撮像 し て得 ら れた電気信号は、 少な く ともプロ セッ ザと メ モ リ を有する画像処理装置 60に送 ら れ、 アナ 口 グ · ディ ジ タ ル変換及び量子化装置 53によ り ディ ジタ _„ ル画像デ ー タ に変換さ れ 、 原始画像デ ー タ と し て フ ア イ ル 5 4 に 格納 さ れる 。 こ の原始画像 デ ー タ に は 、 I T V カ メ ラ 5 2 に 非線形特性 に 起因 す る誤差 の 他 に 、 種 々 の 要因 に よ る雑音が混入 し て い る 。 次いで 、 原始画像 デ ー タ は 、 フ ァ イ ル 5 4 か ら 読出 さ れ 、 例 え ば確率的な画像 処理装置 5 5 に 送 ら れる 。 こ の処理 に お い て 、 エ ッ ジ の 鈍化な し に 雜音を 除去す る な ど の処理 は 、 一 般 に 、 原始 画像デ ー タ か ら 構成さ れる 画像の エネルギ ー を最小 に す る こ と に よ り 達成さ れる 。 こ の最小化 は本発 明 に よ る最 小 ♦ 最大値探索装置 5 6 で行わ れる 。 処理 は第 1 0 図 、 第 1 1 図 に 従っ て 反覆法 に よ り 行 なわ れ 、 中 間結果 は フ ア イ ル 5 7 に 格納 さ れる 。

処理 さ れ た 画像デ ー タ は 、 フ ァ イ ル 5 8 に 格納 さ れた 後 、 必要 に 応 じ て 読み出 さ れ て 他 の画像処理 が お こ なわ れる か 、 あ る い は D A 変換装置 5 9 に 送 ら れた 後表示 装置 6 0 上 に 表示さ れる 。 産業上 の利 用 可 能性

本発 明 に よ れば 、 以下の効 果 が あ る 。

(1) 生 体生 理学的知見 に 基づ く 、 あ る い はそ の 知 見 か ら 推察さ れ る 内部構造 を取 り 入 れ 、 神経素子群の 並列 的協 調 · 競合 動作を 基本原理 と す る 神 経 回路網 に よ り 、 従来 の計算機で は解決困難で あ っ た 画像 、 音声な ど の 認識問 題 、 運勁 制御 、 あ る い は 、 時間 に 依 存 す る大規模数値計 算を高速化で き る 。 (2) 多数の搔値を持つ関数の最小値 （最大値） を求める 場合、 関数 E の代わ り に ex p ( - E / T ) の最大化を考 え 、 シ ミ ュ レーティ ッ ド ア二一リ ングと呼ばれる確率的 山登り 法が提案されている 。 こ こ に導入 し た。 パラ メ 一 タ T は温度と！ ばれ、 ラ ンダムノ イズを発生させ確率的 な取 り 扱いを許すため に導入 したおのである 。 従っ て 、 E の最小値に達 した時に は、 T を 0 にもつ て ゆき 、 誤差 な し にその最小値に停留させる必要がある 。 丁 をどの よ う に し て低 Smに て ゆ く かを決める こ とが 、 シミ ュ レ一 ティッ ドァ二一リ ングの最大の課題であ o しのた め 、 初期状態か ら最終目標である最大値を与 X·る状態ま で に 至る時刻を最小に する様に 、 温度を決定 し た 。 シ ミ ュ レ 一ショ ン実験の結果、 多数の独立変数を持つ複雜な非線 形関数に対し ても従来法よ り 低い最小値が得られる こ と が確認でき o <—れに よ り 最小値を確実かつ髙速に求め るこ とがでぎる 。

Claims

請 求 の 範 囲

1 . 生体生理学的知見 に 基づ く 、 あ る い は そ の知 見 か ら 推察さ れる 内部構造 を取 り 入れ 、 合 目 的的 に 神経回 路網 の構造 を 決め 、 神経回路網 を構成す る 神経素子群の 並列 的協調 ♦ 競合動作を 基本原理 と す る こ と に よ り 特徴 抽 出処理、 特徴統合処理 、 記憶処理、 認識処理 、 制御情 報生 成処理を 含 む情報処理を お こ な う こ と を特徴 と す る 神経回路網 に よ る 高次情報処理方法 。

2 . 前記特徴抽出処理で は 、 多数 の神経素子 が層状 構造 を成す 回路網 に 配置さ れ 、 各層 の一群の 神経素子 の 状態の平均値 に 比例 す る 値 を上の履 の同 じ 場 所 に 位置す る一 群の神経素子 に伝播 さ せ る こ と に よ り 特徴抽 出 に 不 必要 な雜音 を 除去 す る と 同 時 に 、 階層 的 に 頤次特 徴 を油 出 す る請求項 Ί 項記載の神経回 路網 に よ る髙次情報処理 方法 。

3. 前記平均値 に 比例 す る 値 は 、 各 層 内 に お い て 線 型 、 非線型性を有 す る一 般的な シ ナ プ ス結合 す る 神経素 子 に 対 し確率分 布 を定義 し 、 そ の 確率分布の 高 周波数成 分 を積分 す る こ と で 演算 し 、 隣接素子結合部の確率 を 不 変 に 保つ こ と に よ り 階層 的 に 頗次特徴 を 油 出 す る請求項 2 項記戰の 神経回 路網 に よ る ¾次情報処理方法 。

4 . 前記特徴統合 処 理で は 、 特徴抽 出処 理で 油 出 さ れた特徴 に対応 し た 神経素子群で構成さ れ る 神経履 を下 層 に 配置 し 、 中 間 層群 は特徴 を 複合 し た 情報 に 対応 し た 神経素子群で構成 し、 最上層 には認識対象あるいは概念 に対応 し た神経素子を配置し 、 層内あるい は層閻の関係 の度合い に応じ て 、 関係が強ければ正の大きな値、 関係 がなければ負の値をシナプス結合に割 り 当て る こ と によ り 、 特徴統合処理に よる協調 · 競合動作を通 して 、 入力 された特徴 と高次情報あるい は概念とのマッチングを行 う請求項 1 項記載の神経回路網に よる髙次情報処理方法

5 . 前記特徴統合処理は、 注目神轻素子への全入力 情報がしきい値よ り も大きければその素子は発火し、 小 さければ体止状態になる素子機能を、 シナプス結合と素 子状態の 2 次項との積と しきい値と素子状態の積から成 り立つエネルギーの最小化問題を解く 処理か らなる請求 項 4項記載の神経回路網に よる高次情報処理方法。

6. 前記エネルギー最小化問題を解 く 処理は、 新た に連続な値をと る変数を導入し 、 上記エネルギーを、 新 しい変数の 2 次項と 、 この変数 とシナプス結合の平方根 と元の素子状態との積か ら成る新たなエネルギー を導出 するこ と に よ り 、 シナプス結合が一定で し きい値が元の シナプス結合の平方根に依存する仮想的な神経回路絹が 構成する処理を含む請求項 5 項記載の神経回路網 によ る 高次情報処理方法。

7 . 前記記憶処理は、 特徴統合処理で必要な高次情 報を学習 に よ り 記億し 、 それら の髙次情報に対応さ せた 神経素子を入力層 に配置 し 、 多数の中間層に配置された 神経素子はシナプス結合で情報の伝達を行い 、 出力層か ら の 出力 情報 と 目 標 と な る 情報 と の差 に 依存 し て シ ナプ ス結合を修正 す る こ と に よ り 、 高次情報を シ ナプ ス結合 の値 と し て 符号 化す る こ と で 長期 的 に 記億す る処理か ら な る こ と を特徵 と す る請求項 1 項記載の神経回 路網 に よ る高次情報処理方法 。

8 . 前記記憶処理 は 、 心理学 的 に 実現さ れて い る長 期記憶、 短期記憶 に相当 す る メ カ ニズ ム の異つ た 記憶を 同一 回路網で実現す る 手段 を 用 い て 実行す る請求項 7 項 記載の 神経回路網 に よ る 高次情報処理方法 。

9 . 前記長期記憶処理 は 、 脳生理学的知見で あ る樹 状突起の直径 の細胞体中心か ら の距離依存性 、 樹状突起 に 付着 す る シ ナプス数 の付着位置で の樹状突起の.直径依 存性を 含 む統計的な実験生理学的事実か ら 推定 さ れる シ ナプス結合構造 に 基づい て 構成 さ れる 手段を 用 いて 実行 す る請求項 8 項記載の神経回 路網 に よ る高次情報処理方 法 。

1 0 . 前記シ ナ プス結合構造 は 、 情報伝達媒体で あ る 軸索 を情報 が伝達す る の に 必要 な 消費 エネル ギ ー と 軸索 が空 間 に し め る領域の合計 を 最小化 す る最適性原理 に基 づき 、 所定の神経素子 と そ の最隣接素子間 の結合を伝達 可 能な 情報量 に 対 し 、 所定 の神 経素子 と 第二 隣接素子間 の結合 は先情報量の 1 ノ 2 、 該所定 の 神経素子 と 第三 隣 接素子 間 の 結合 は先情報 量 の 1 4 と 顒次減少 す る情報 量を伝達 す る よ う に 決定 す る 請求項 9 項記載の神経回路 網 に よ る 高次情報処理方法 。

1 1 . 前記長期記憶処理は、 シナプス結合に適切な値 を設定するため に 、 神経回路辋の入力層 とその上の層間 のシナプス結合は入力情報と ラ ンダム し変数の積で、 出 力層 とその下の層間のシナプス結合は出力情報 とラ ンダ ム変数の積で、 その他の層間のシナプス結合は 2 種類の 独立なランダム変数の積で与える手段、 あるいは、 シナ プス結合を 2種類のラ ンダムな変数から生成し 、 それら のラ ンダム変数を出力層か ら の出力情報と 目 標となる情 報の差が小さ く なるよ う に出力層 に結合するシナプス結 合から類次下層のシナプス結合を決定 してゆ く 手段を用 いて実行する請求項 &項記載の神経回路網に よる髙次情 報処理方法。 .

1 2 . 前記短期記憶処理は、 神経回路網に対するエネ ルギ一の極小値あるいは該エネルギーから導出される動 的方程式の定常状態に記憶を対応させる手段を用 いて実 行する請求項 8 項記載の神経回路網に よる髙次情報処理 方法。

1 3 . 前記短期記憶処理は 、 すべてのシナプス結合に ラ ンダムな値を設定するこ と に よ り前記動的方程式の定 常状態を出現させ 神経素子に結合するシナプス結合数 を増加するこ と に より その定常状態をある有限個数まで 増加させる こ とを可能に し 、 それ以上結合数を増加 して も安定な定常状態がもはや実現できないカ オディ ッ ク な 状態になる こ と によ り 、 心理学的事実を解明す る処理を 含む請求項 1 2 項記載の神経回路網 に よ る高次情報処理 方法 。

1 4 . 前記認識処理 は 、 前記特徴油 出 処理で 画像 の線 画や エ ッ ジ など の プ リ ミ テ ィ ブな特徴 を 階層 的 に 抽 出 し そ れ ら のプ リ ミ テ ィ ブな特徴 か ら 認識 に 必要な程度 の髙 次の情報 に 前記特徴統合処理で铳合 し 、 予め学習 に よ り 前記記憶処理で 記憶 し た 高次の情報 と マ ッ チ ン グす る処 理か ら な る請求項 1 項記載の神経回路網 に よ る高次情報 処理方法 。

1 5 . 前記エ ネル ギ ー の最小化問題を解 く 処理 は 、 運 動方向知覚 、 奥行き知覚な ど の初期視覚処理 を 、 画像 の 輝度 は運動 に 対 し て 不変 に 保た れる こ と な ど か ら 自 然 と 導かれる方程式系 に 基づ く ：?： ネルギ 一 と 、 解 を 唯一 に 決 定 す る た め の先駆的な 制約条件 に 基づ く エ ネ ルギ ー と の 和 を最小化す る処理か ら な る請求項 5 項記載の 神経 回 路 網 に よ る高次情報処理方法 。

1 6 . 前記神経回路網 に よ る 口 ポ ッ ト マ ニ ピ ュ レ ー タ の制御 の よ う な運勁制御 に お い て は 、 構造的 に 定 め ら れ た 動的方程式 に 従 う 対象を 、 そ の軌道 を 目 標 の 軌道 に 追 従さ せ る よ う に 制御 す る た め に 、 ま ず対象 の 挙動 を同定 す る た め の神経回 路網 を新 た に 構成 し 、 新 た な 神経回 路 網 の 出力 が対象 の 出力 と 等 し く なつ た 時点で の神 経回路 網 で対象 を制御 す る 請求項 1 項記載の神経回 路網 に よ る 高次情報処理方法 。

1 7 . 前記エ ネ ル ギ ー の 最小化問題 を解 く 処理 は 、 非 定常偏微分方程式 の 解の 安定性が保証 さ れ る 時間差分 に 関 し陰薛法を用 い 、 空間 に関 して は有限差分 、 有限要素 法を用いて差分化 し 、 神経回路網を構成する各神経素子 に差分化 し た変数を割付け、 時間差分に対応 して多層化 し た回路網で上記方程式から導かれるエネルギ 一の最小 化を実行する処理からなる請求項 5 項記載の神径回路耩 に よる高次情報処理方法。 '

18. シ ミ ュ レーテイ ツ ドアニ ー リ ングと呼ばれる確 率的山登り 法に よ り 多数の極値を持つ 関数 E 又は （ 一 E ) の最小値を求める場合 に おいて 、 確率的に扱う ため に導 入し た温度 Tを用 いて雜音を発生させ、 与え ら れた関数 E の代わ り に exp ( — E / T ) の最大化を考え、 初期状 態か ら最小値を与え 状態までに至る時刻を最小 となる よ う に す く な く とも Eの形状を考慮 し て温度 T を決定 し 、 最小値に達 し た時に は 0 に し 、 誤差な く そ こ に停留させ る こ とを特徴 と する opti ization method ₀