JPH05108593A - ニユーロ開発支援装置 - Google Patents

Abstract

(57)【要約】 【目的】 ニューロ演算を製品（装置）に組み込む場合
に、制約条件にあったルックアップテーブル方式とニュ
ーロ演算方式の選択を合理的に行うことが可能なニュー
ロ開発支援装置を提供するものである。 【構成】 入力に対する出力と設計制約条件に基づいて
ニューロモデルが生成されニューロモデル記憶部４に記
憶されると、そのニューロモデルに基づいてニューロ演
算を行う際に必要なメモリ容量と演算速度がニューロ演
算方式メモリ容量・演算速度計算部７で求められ、ま
た、入力と生成されたニューロ演算に基づいたニューロ
演算結果による出力に応じたルックアップテーブル作成
に要するメモリ容量がルックアップテーブル方式メモリ
容量・演算速度・近似精度計算部９で求められる。そし
て、これら計算部７、９で求められたメモリ容量あるい
は演算速度が非劣解曲線表示部１０で表示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力に対する理想的な
出力が得られるような最適なニューロモデルの決定と、
ニューロモデルを組み込んでニューロ演算を実際に行う
際の実行形態の決定を支援するニューロ開発支援装置に
関する。

【０００２】

【従来の技術】近年、ニューロ技術の産業上への応用が
著しく広がっており、多くのニューロ応用製品が発表さ
れているが、ニューロ応用製品の開発においては製品に
あった最適なニューラルネットワークのモデルを決定す
ること重要であるが、容易ではない。

【０００３】そこで、ニューロモデルの決定を支援する
ために、例えば、ニューラルネットワークのモデル構造
やモデリング過程の結果をグラフィック表示して、ニュ
ーロモデル設計者の設計環境を支援するといったニュー
ロ開発支援装置がいくつか提案されている。

【０００４】一般に、ニューロ演算を製品（装置）に組
み込んで実行する場合には、ルックアップテーブル方式
と組み込む装置（製品）のマイクロプロセッサでニュー
ロ演算を行うニューロ演算方式のいずれかが適用され
る。

【０００５】ルックアップテーブル方式は、入力変数値
の組合せに対し予めニューロ演算を行なって出力値を計
算しておき、入力値と対応する出力値の組をテーブル形
式で参照する方式である。この方式では、マイクロプロ
セッサがメモリをアクセスする速度と同一かつ一定の速
度で演算が行われることになるが、入出力変数とその分
解能が増えるにつれて、必要なメモリ容量が指数関数的
に増大するという欠点も有している。一方、ニューロ演
算方式は、入出力変数が多い場合にも比較的少ないメモ
リ容量でニューロ演算を実現できるが、ニューラルネッ
トワークを構成するユニット数が増大すると演算速度が
遅くなるという欠点を有している。

【０００６】

【発明が解決しようとする課題】入出力変数の数や近似
精度等のニューロモデルの決定における設計制約条件
が、ルックアップテーブル方式とニューロ演算方式のど
ちらを選択したらよいか明白でないクリティカルなもの
である場合、多くは、設計者が経験的にどちらかの方式
を選択していた。

【０００７】しかしながら、経験的な選択では合理的な
選択とは言えず、また、経験の浅い設計者では、方式の
選択を誤る虞があった。方式の選択を誤ると、ニューロ
演算を実現するための規模（メモリ容量）が大きくなり
過ぎたり、制御に十分な応答性が得られなくなったりし
てしまう。

【０００８】本発明は、斯様な点に鑑みて成されたもの
で、設計制約条件にあった、ルックアップテーブル方式
とニューロ演算方式の合理的な選択が可能なニューロ開
発支援装置を提供するものである。

【０００９】

【課題を解決するための手段】本発明は、入力に対する
出力と設計制約条件に基づいてニューロモデルを生成す
るニューロ開発支援装置であって、生成されたニューロ
モデルによりニューロ演算を行う際に必要なメモリ容量
と演算速度を求めるニューロ演算方式評価手段と、入力
と生成されたニューロモデルに基づいたニューロ演算結
果による出力に応じたルックアップテーブル作成に要す
るメモリ容量を求めるルックアップテーブル方式メモリ
容量評価手段と、前記ニューロ演算方式評価手段及びル
ックアップテーブル方式メモリ容量評価手段で求められ
たメモリ容量あるいは演算速度を表示する表示手段とを
備えるものである。

【００１０】

【作用】入力に対する出力と設計制約条件に基づいてニ
ューロモデルが生成されると、生成されたニューロモデ
ルによりニューロ演算を行う際に必要なメモリ容量と演
算速度がニューロ演算論方式評価手段で求められ、ま
た、入力と生成されたニューロモデルに基づいたニュー
ロ演算結果による出力に応じたルックアップテーブル作
成に要するメモリ容量がルックアップテーブル方式メモ
リ容量評価手段で求められる。そして、これらニューロ
演算方式評価手段及びルックアップテーブル方式メモリ
容量評価手段で求められたメモリ容量あるいは演算速度
が表示手段で表示される。

【００１１】

【実施例】図１は、本発明装置の一実施例の概略構成図
である。

【００１２】１は図示しない入力手段の操作により設定
されたシステムの入出力データ（実験データ）を記憶す
る入出力データ記憶部、２は同様に与えられた設計制約
条件（入出力変数数や近似精度など）を記憶する設計制
約条件記憶部、３は様々なニューロモデル（例えば、階
層型モデルのならば中間層の層数やユニット数でモデル
が異なる）を生成するニューロモデル生成部、４は該ニ
ューロモデル生成部３で生成された様々なニューロモデ
ルを記憶するニューロモデル記憶部である。

【００１３】５はニューロモデル記憶部４に記憶されて
いるニューロモデルと入出力データ記憶部１に記憶され
ている入出力データから入出力データ記憶部１の入出力
データを近似するようニューロモデル記憶部４に記憶さ
れたニューロモデルを修正（モデリング）し、修正した
各ニューロモデルを用いてニューロ演算を行ない入出力
データ記憶部１に記憶されている入出力データとの近似
精度を計算するニューロモデリング・近似精度計算部、
６は該ニューロモデリング・近似精度計算部５と後述す
るルックアップテーブル方式メモリ容量・演算速度・近
似精度計算部９で用いられるニューロ演算部である。

【００１４】７はニューロモデル記憶部４に記憶されて
いるモデリングされた様々なニューロモデルに関してニ
ューロ演算を行なう際に必要となるメモリ容量および演
算速度を計算するニューロ演算方式評価手段としてのニ
ューロ演算方式メモリ容量・演算速度計算部、８は該ニ
ューロ演算方式メモリ容量・演算速度計算部７と後述の
ルックアップテーブル方式メモリ容量・演算速度・近似
精度計算部９で演算速度を計算する際に参照される各種
マイクロプロセッサ（ＭＰＵ）の演算クロック数、メモ
リアクセスクロック数、クロック周波数を記憶したＭＰ
Ｕ対応命令クロック数データベースである。

【００１５】９はニューロモデル記憶部４に記憶されて
いるモデリングされた様々なニューロモデルに関してニ
ューロ演算を行なった結果から様々な分解能のルックア
ップテーブルを作成する際に必要となるメモリ容量、演
算速度（メモリアクセス速度）、近似精度を計算するル
ックアップテーブル方式メモリ容量評価手段としてのル
ックアップテーブル方式メモリ容量・演算速度・近似精
度計算部、１０はニューロ演算方式メモリ容量・演算速
度計算部７およびルックアップテーブル方式メモリ容量
・演算速度・近似精度計算部９で計算された両方式の演
算速度、メモリ容量および近似精度から非劣解（Ｐａｒ
ｅｔｏ最適解）曲線を設計者に提示する表示手段として
のニューロ演算方式・ルックアップテーブル方式非劣解
曲線表示部である。

【００１６】尚、本実施例では説明の簡略化のために、
ニューロモデルは階層型の構造をなすものとする。

【００１７】斯様な装置において、ニューロモデル生成
部３は、入出力データ記憶部１に記憶されたシステムの
入出力データ、および設計制約条件記憶部２に記憶され
た入出力変数数から図２に示すような標準形のニューロ
モデルを生成する。

【００１８】図２は、ニューロモデルの一例であり、入
力層ユニット数２、中間層ユニット数２、出力層ユニッ
ト数１のモデル構造を有し、入力層と中間層はフィード
フォワード結合のみで、中間層と出力層はフィードフォ
ワード結合に加えてフィードバック結合もされている。
尚、通常、入力層ユニット数および出力層ユニット数は
設計制約条件記憶部２に記憶されている任意の数が、ま
た、中間層ユニット数に関しても任意数が設定される。

【００１９】ニューロモデル生成部３で生成された様々
なニューロモデルは、ニューロモデル記憶部４に記憶さ
れる。ニューロモデル記憶部４に記憶された様々なニュ
ーロモデルに関して、入出力データ記憶部１に記憶され
ている入出力データを用いて、ニューロモデリング・近
似精度計算部５およびニューロ演算部６によって入出力
データを近似するように修正（モデリング）され、ニュ
ーロモデル記憶部４に再度記憶される。

【００２０】ニューロモデリングの手法としては、例え
ば、誤差逆伝播法（バックプロパゲーション）などが挙
げられる（例えば「ニューラルネットワーク情報処理」
産業図書発行、参照）。尚、ニューロモデリングが終了
した時点で各ニューロモデルの近似精度（入出力データ
記憶部１に記憶されている入出力データとの近似精度）
も計算され、ニューロモデル記憶部４に格納される。

【００２１】ここで、近似精度は、例えば次式で示され
る誤差２乗和により計算される。この式において、Ｅは
誤差２乗和、ｄは入出力データ記憶部１に記憶されてい
る入出力データの個数、ｙ_h ^tはｈ番目の出力データ値、
ｙ_hはｈ番目の入力データを用いてニューロ演算を行っ
た結果のモデル出力値である。

【００２２】

【数１】

【００２３】そして、ニューロ演算方式メモリ容量・演
算速度計算部７にて、ニューロモデリング・近似精度計
算部５でモデリングされたニューロモデルから、ＭＰＵ
対応命令クロック数データベース８に記憶されたマイク
ロプロセッサ（ＭＰＵ）の種類ごとに命令クロック数を
参照して、演算速度とメモリ容量が計算される。

【００２４】階層型のニューロモデルにおいて、そのメ
モリ容量は、層の数とユニットの数が決まれば、次の式
で計算される。

【００２５】

【数２】

【００２６】尚、上の式は階層型のニューロモデルの場
合であり、他の構造のニューロモデルの場合には、構造
に応じた式によりそのメモリ容量が計算される。

【００２７】そして、計算されたニューロモデルのメモ
リ容量にニューロ演算に必要なプログラム容量を加えニ
ューロ演算方式に必要なメモリ容量が求まる。

【００２８】また、演算速度に関して、ニューロ演算部
６で入出力データ記憶部１に記憶されている入力データ
とニューロモデル記憶部４に記憶されているニューロモ
デルを用いてニューロ演算論を行い、ニューロ演算方式
メモリ容量・演算速度計算部７はニューロ演算で実行さ
れる加算、乗算、除算回数を各々計測して、１回当たり
のニューロ演算に必要な演算回数（平均値あるいは最悪
値（最も演算回数が多かったもの）など）を求める。そ
して、求めた各演算回数とＭＰＵ対応命令クロック数デ
ータベース８に登録されている各演算に必要なクロック
数と掛け合わせることによって応用しようとしている製
品でのニューロ演算速度を求める。

【００２９】図３はＭＰＵ対応命令クロック数データベ
ースの一例である。このＭＰＵ対応命令クロック数デー
タベースには、予めニューロ演算を実装する製品に搭載
されているマイクロプロセッサ（ＭＰＵ）の命令クロッ
ク数とクロック周波数が登録される。

【００３０】一方、ルックアップテーブル方式メモリ容
量・演算速度・近似精度計算部９は、入力変数および出
力変数に要する分解能（ビット数）からルックアップテ
ーブルを構成するのに必要となるメモリ容量を算出す
る。例えば、入力層のユニット数（入力変数）２、出力
層のユニット数（出力変数）１で各々８ビットの分解能
ならば各入力変数の値は０から２５５まで考えられ、入
力データのパターンとしては２５６×２５６＝６５５３
６通りとなる。これに出力変数の分解能が８ビットであ
るからメモリ容量は６４Ｋバイトとなる。このメモリ容
量は、入出力データ夫々の数と分解能に応じて計算され
る。

【００３１】更にルックアップテーブル方式メモリ容量
・演算速度・近似精度計算部９は、各分解能に対しての
近似精度も計算する。

【００３２】例えば、ある入力変数には−１から＋１の
範囲のデータが入力される可能性があり、その分解能が
４ビットである場合に、図４に示す入力データ値とビッ
トパターンとの対応が付けられたとする。図４では、入
力データ値が−１から０．８６６７の範囲であるならば
ビットパターンは００００となる。そして、この入力デ
ータ−ビットパターン対応関係を用いて、ニューロ演算
部６によるニューロ演算を実行させ、上述の誤差２乗和
により近似精度を求める。尚、図４のような入力データ
−ビットパターン対応関係は、一つの入力変数に限ら
ず、他の入力変数や出力変数についても同様にデータ範
囲とその分解能が決められて、各々のデータ値とビット
パターン対応関係応が決定される。

【００３３】演算速度に関しては、メモリアクセス速度
と同じになるので、ＭＰＵ対応命令クロック数データベ
ース８より組み込みを行う製品に実装されているＭＰＵ
に対応したメモリアクセス速度を呼び出し演算速度とす
る。

【００３４】斯様にしてニューロ演算方式メモリ容量・
演算速度計算部７及びニューロ演算方式メモリ容量・演
算速度計算部９によるメモリ容量と近似精度が求められ
ると、ニューロ演算方式・ルックアップテーブル方式非
劣解曲線表示部１０では求められた夫々のメモリ容量と
近似精度から夫々の方式の非劣解（Ｐａｒｅｔｏ最適
解）曲線を表示する。非劣解曲線の表示例を図５に示
す。而して、表示された両方式の非劣解（Ｐａｒｅｔｏ
最適解）曲線を見ることによって、設計者によるルック
アップテーブル方式とニューロ演算方式の合理的な選択
が可能になる。

【００３５】

【発明の効果】本発明は、以上の説明から明らかなごと
く、ニューロ演算を応用製品に組み込む際の設計制約条
件（入出力変数数や精度など）とシステムの入出力デー
タ（例えば実験データ）に応じて、設計制約条件を満足
するようなニューロモデルが生成され、ルックアップテ
ーブル方式とニューロ演算方式について、各々を採用し
たときのメモリ容量や演算速度に関する非劣解曲線が表
示される。これにより設計者によるルックアップテーブ
ル方式かニューロ演算方式かの選択が合理的に行える。

【００３６】また、異なる設計制約条件（入出力変数数
や近似精度など）を与えることにより、各方式の演算速
度や必要なメモリ容量を見積もることができ、これによ
り、例えば設計制約条件が厳しくて実現可能解が存在し
ないときなど、制約条件を緩和するなどして実現可能解
を得るといった対話的な設計作業を支援することが可能
となる。

【図面の簡単な説明】

【図１】本発明装置の一実施例の概略構成図である。

【図２】階層型ニューロモデルの一例を示す図である。

【図３】本発明装置の一実施例に係るＭＰＵ対応命令ク
ロック数データベースの一例を示す図である。

【図４】本発明装置の一実施例に係る入力データ−ビッ
トパターン対応関係の一例を示す図である。

【図５】本発明装置の一実施例に係る非劣解曲線の表示
例を示す図である。

【符号の説明】

１ 入出力データ記憶部 ２ 設計制約条件記憶部 ３ ニューロモデル生成部 ４ ニューロモデル記憶部 ５ ニューロモデリング・近似精度計算部 ６ ニューロ演算部 ７ ニューロ演算方式メモリ容量・演算速度計算部（ニ
ューロ演算方式評価手段） ８ ＭＰＵ対応命令クロック数データベース ９ ルックアップテーブル方式メモリ容量・演算速度・
近似精度計算部（ルックアップテーブル方式メモリ容量
評価手段） １０ ニューロ演算方式・ルックアップテーブル方式非
劣解曲線表示部（表示手段）

Claims (1)

【特許請求の範囲】
1. 【請求項１】 入力に対する出力と設計制約条件に基づ
   いてニューロモデルを生成するニューロ開発支援装置に
   おいて、 生成されたニューロモデルによりニューロ演算を行う際
   に必要なメモリ容量と演算速度を求めるニューロ演算方
   式評価手段と、入力と生成されたニューロモデルに基づ
   いたニューロ演算結果による出力に応じたルックアップ
   テーブル作成に要するメモリ容量を求めるルックアップ
   テーブル方式メモリ容量評価手段と、前記ニューロ演算
   方式評価手段及びルックアップテーブル方式メモリ容量
   評価手段で求められたメモリ容量あるいは演算速度を表
   示する表示手段とを備えることを特徴とするニューロ開
   発支援装置。