JPH08287033A - 離散型多値状態ニューラルネットワーク装置 - Google Patents

Abstract

(57)【要約】 【目的】 一気に状態遷移することにより生じていた局
所解への収束を微少な遷移しか許さないことによって最
適解により近づく可能性を増大した離散型多値状態ニュ
ーラルネットワーク装置を提供する。 【構成】 問題をエネルギ関数に埋め込むためにエネル
ギ関数決定部１が作動し、ネットワークを構成している
ユニットの数、ユニット間の重み係数の設定、各ユニッ
トのしきい値の設定が行われ、次に初期状態決定部２に
よって各ニューロンの最初の出力が乱数等により適当に
決定される。発火ニューロン選択部３で更新すべきニュ
ーロンを乱数等で１つだけ選び、そのニューロンに対し
て帰還入力を帰還入力計算部４で計算し、その結果によ
って選択されたニューロンの出力を変化させる。以上の
処理を終了条件を満たすまで行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、あらゆる整数計画問題
を解くことができ、例えばＮ進数変換器などのハードの
実現およびＡ／Ｄコンバータの実現に素子数を大幅に低
減することができるとともにオペレーションリサーチの
設計問題を高速にしかもより最適値に近い近似値で解く
ことができる離散型多値状態ニューラルネットワーク装
置に関する。

【０００２】

【従来の技術】与えられた問題の下で、ある目的関数を
最小（もしくは最大）にする解を求める問題を最適化問
題という。したがって、これを定式化すると、

【数１】 となる。ここで、ｆは目的関数である。この最適化問題
の中でＸが組合せ的（有限あるいは加算無限の要素を持
つ離散集合）である時、この問題を組合せ最適化問題と
いう。ここでは、この形式の例として次の形式の整数計
画問題を解くものとする。

【０００３】

【数２】 この種の整数計画問題を解くためのニューラルネットワ
ークとして、相互結合型ニューラルネットワークである
Hopfield型ニューラルネットワークを改良した装置が提
案され、ある種の線形計画問題や巡回セールスマン問題
などに適用されている。このニューラルネットワークの
原理は、ネットワーク全体のニューロンの状態遷移を記
述する差分方程式の定常解が、解くべき整数計画問題の
局所的最適解となっているように予めニューロン間の重
み係数を設定しておき、適当な初期状態からこのネット
ワークを動作させて、その組合せ問題の局所的最適解を
得ようとするものである。すなわち、ネットワークを構
成するユニットは図６（ａ）に示すようなニューロンモ
デルになり、結合は例えばニューロンの数が４の時には
図６（ｂ）に示すような結合になる。

【０００４】上述した問題を解くために、変数ｘ_i は第
ｉニューロンの状態量とし、その値がそのままニューロ
ンの出力量となるものとし、ｎ個のこれらをまとめた
（ｘ₁，ｘ₂ ，…，ｘ_n ）をベクトルｘで表現する。ニ
ューラルネットワークの構造は、Hopfield型と同様、す
べてのニューロンに自己ループ結合がない相互結合型ニ
ューラルネットワークとし、第ｋニューロンの入力は、

【数３】 とする。これを最小化方向に動かすには、離散値ｘ_k ＝
０，１，…，Ｎの中間点における偏微分係数で判定する
ことにより、関数Ｅをｘ_k のみで最小にするような場合
のｘ_k の値を決めることができる。動作原理を、上記の
条件が等号で成立する場合も考慮してまとめると、第ｋ
ニューロンの状態遷移則は、

【数４】 となる。

【０００５】なお、ニューラルネットワークの状態遷移
方式は、１時刻においては唯一のニューロンのみが上記
の状態遷移則で次時刻の状態を決め、残りのニューロン
は上記の遷移則と無関係に前時刻の状態をそのまま保持
するいわゆる非同期式状態遷移方式であるとする。以上
が多値組合せ状態空間上で定義された２次関数の値を逐
次減少させることができる多値状態ニューラルネットワ
ークの原理である。

【０００６】この動作原理を見てわかるように、状態の
遷移は、せっかく最適値の近くまで行ったにも関わら
ず、値が一気に変わってしまうので、局所解に陥る可能
性が高く、ニューロンを使った高速な問題解決機として
の役割が薄い。

【０００７】

【発明が解決しようとする課題】上述したように、せっ
かく最適値の近くまで行ったにも関わらず、値が一気に
変わってしまうことによって局所解に陥る可能性が高
く、ニューロンを使用した高速な問題解決機として役割
が薄いという問題がある。

【０００８】本発明は、上記に鑑みてなされたもので、
その目的とするところは、一気に状態遷移することによ
り生じていた局所解への収束を微少な遷移しか許さない
ことによって最適解により近づく可能性を増大した離散
型多値状態ニューラルネットワーク装置を提供すること
にある。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、組合せ最適化問題を解く
ための相互結合型ニューラルネットワーク装置におい
て、状態遷移は隣値に制限し、構造は遅延機能付きに改
良し、結合は自己ループを含む完全相互結合とし、その
もとで状態は一般のＮ値問題まで解くように拡張したニ
ューロンを有することを要旨とする。

【００１０】

【作用】請求項１記載の本発明にあっては、ニューラル
ネットワークは構造的には自己ループ結合があり、また
２次の係数も扱えるので、Hopfield型ニューラルネット
ワークとは全く異なり、更に各ニューロンには遅延機能
が設けられているので、ニューロンの構造自体が従来の
ものとは大幅に異なる。しかも、標準的な２次関数をエ
ネルギ関数としているので、従来のHopfield型よりも応
用分野が広くなっている。変数が任意のＮ値を取り得る
標準的２次関数を最小化することができる。これらよ
り、標準的な２次関数の範囲であれば、最小化問題を解
くことができ、かつ多値の問題を扱え、しかも最適値に
至ることが従来よりも大幅に増大し得る。

【００１１】

【実施例】まず、本発明の実施例を説明する前に、本発
明の離散型多値状態ニューラルネットワーク装置につい
て数式的に説明する。

【００１２】ニューロンの状態遷移式を次式のように表
す。

【００１３】

【数５】 ｘ_k （ｔ＋１）＝ｘ_k （ｔ）＋ｓ_k （ｔ） (4a) この式において、ｗ_kk≧０のとき、

【数６】 ｗ_kk＜０のとき、

【数７】 とすれば、ニューロンの現状態値の隣値にしか遷移しな
い方式が実現できる。

【００１４】次に以上の差分方程式で表される状態遷移
をニューラルネットワークで実現する。まず、変数
ｖ_k ，ｓ_k ，ｘ_k を第ｋニューロンのそれぞれの入力、
内部状態、出力にとる。まず、式（４ｂ〜４ｇ）より、
ニューロンの特性として図２のような入力と内部状態の
関係が得られる。このようなステップ状の非線形関係を
すべてのニューロンに共通に、

【数８】 ｓ_k ＝ｆ（ｖ_k ）， ｋ＝１，…，ｎ (5) と表すと、式（４ａ）は、

【数９】 ｘ_k （ｔ＋１）＝ｘ_k （ｔ）＋ｆ（ｖ_k ） (6) となり、更に内部状態ｓ_k と出力ｘ_k の間の遅延機能を
内蔵した図３のようなニューロンの構造を想定すること
ができる。ここで注意すべきことは、上述した多値状態
ニューラルネットワークと異なり、第ｋニューロンの入
力ｖ_k には第ｋニューロンからの出力ｘ_k も結合係数ｗ
_kkを通して帰還されることである。すなわち、ニューラ
ルネットワークは図４のような、ニューロンの自己結合
も含む相互結合構造となる。

【００１５】次に、本発明の実施例について説明する。

【００１６】図１（ａ）は、本発明の一実施例の構成を
示すブロック図である。同図において、１はエネルギ関
数決定部であり、最小化問題として解くべき問題をエネ
ルギ関数の重み係数と閾値として表現する役目を果た
す。２は初期状態決定部であり、ニューラルネットワー
クの初期状態を乱数によって任意に決定するなどの方法
を用いて決定する部分である。３は発火ニューロン選択
部である。このニューラルネットワークは非同期式に動
くので、一度に１つのニューロンしか状態を変化させな
い。そこで、変化するニューロンを選ぶのがこのモジュ
ールである。ここでも、乱数で選ぶなどの方法により１
つを選択する。４は帰還入力計算部であり、発火ニュー
ロン選択部３で選ばれたニューロンに対して帰還入力を
計算する。５は次状態決定部で状態を変化させる。６は
終了判定部で、イテレーション回数の上限やニューラル
ネットワークの状態によってこのネットワークの動作を
終了させるためのものである。

【００１７】図１（ｂ）は、複数のニューロン（ユニッ
トと同じ）から構成され、問題を表現しているエネルギ
状態記憶器７としてのニューラルネットワークに、いか
に図１（ａ）に示した各構成要素が関わるかを示した図
である。エネルギ関数決定部はニューラルネットワーク
を構成している各ユニットの重み係数と閾値を決めるこ
とによって最小化問題をエネルギ関数として表現する部
分である。初期状態決定部２は各ニューロンの最初の出
力を決める。これらの２つは最初にただ１回だけ動く。
エネルギ状態記憶器７の中から状態を変化させるニュー
ロンを決めるのが発火ニューロン選択部３であり、その
ニューロンに対して帰還入力を計算するのが帰還入力計
算部４であり、それの計算結果にしたがって出力を変化
させるのが次状態決定部５である。

【００１８】次に、図５に示すフローチャートを参照し
て、図１に示す実施例の作用を説明する。

【００１９】まず、解くべき問題をエネルギ関数に埋め
込むためにエネルギ関数決定部１が働く。これによっ
て、ネットワークを構成しているユニットの数、ニュー
ロン間の重み係数の設定、各ユニットの閾値の設定がな
される（ステップＳ１１）。次に、初期状態決定部２に
よって各ニューロンの最初の出力が乱数などを使って適
当に決定される（ステップＳ１２）。ネットワークの重
み係数と閾値それに出力値が決定するとエネルギが計算
できる。上記の２つが終わるとネットワークを動作させ
る。すなわち、発火ニューロン選択部３で更新すべきニ
ューロンを乱数などを使って１つだけ選び（ステップＳ
１３）、そのニューロンに対して帰還入力を計算し（ス
テップＳ１４）、その結果によって選択されたニューロ
ンの出力を変化させる（ステップＳ１５）。これらのこ
とを予め設定されたイテレーション回数や特別な条件を
満たすまで繰り返される（ステップＳ１６）。

【００２０】

【発明の効果】以上説明したように、本発明によれば、
２次関数の２乗項係数を持った一般多値の組合せ最適化
問題を解くために、ニューロンの特性式の閾値を考慮
し、遷移を隣値に制限することによってより最適値に近
い近似解を得られるような装置とした。関数の非増加性
は、２乗項係数の符合に無関係に示されており、最小化
関数が必ずしも凸関数でなくとも成り立つ性質であるか
ら、なおさら広範な応用性が期待できる。いちいち連続
系で問題を解くような変形をせずに、はじめから離散値
の問題としてそのまま解くことができ、しかも、十分な
近似度で求めることができる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】本発明において隣値に次状態を決定する方法を
示した入力と内部状態関係図である。

【図３】本発明の装置におけるニューロンの内部構成を
示す図である。

【図４】本発明のニューロンの結合状態を示す図であ
る。

【図５】図１に示す実施例の作用を示すフローチャート
である。

【図６】従来のニューロンの構成とネットワークの構成
を示す図である。

【符号の説明】

１ エネルギ関数決定部 ２ 初期状態決定部 ３ 発火ニューロン選択部 ４ 帰還入力計算部 ５ 次状態決定部 ６ 終了判定部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 組合せ最適化問題を解くための相互結合
   型ニューラルネットワーク装置において、状態遷移は隣
   値に制限し、構造は遅延機能付きに改良し、結合は自己
   ループを含む完全相互結合とし、そのもとで状態は一般
   のＮ値問題まで解くように拡張したニューロンを有する
   ことを特徴とする離散型多値状態ニューラルネットワー
   ク装置。