JPH05265993A - ニューラルネットの制御方式 - Google Patents

Abstract

(57)【要約】 【目的】 学習した入出力パタンの間で中間的な出力を
得る。 【構成】 ニューラルネットワークにおいて 入力パタ
ンと教師パタンのセットを２以上用意し、各入力パタン
同士は同一であるが、教師パタン同士は異なるものとす
る。学習にあたり、第１の組の学習時には制御パラメー
タを任意のＸとする。第２の組の学習時には制御パラメ
ータを任意のＹとする。この結果、同一の入力パタンに
対し、制御パラメータとしてＸとＹの中間値に対し、第
１の教師パタンと第２の教師パタンの中間値が学習され
ている結果となり、未学習入力パタンとともに制御パラ
メータを入力すると、前記学習パタンセットの中間の出
力が得られる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューラルネットの制御
方式に係り、入力に対する出力を可変とする技術に関す
る。

【０００２】

【従来の技術】ニューラルネットワークは、入力パタン
に対する望ましい出力パタンを教師パタンとして与える
ことで、その入出力関係を学習する。その学習後、未学
習入力パタンを入力するとニューラルネットワークは学
習規則に従って未学習入力に対応する出力パタンを生成
して出力する。

【０００３】このように、従来のニューラルネットワー
クは、一旦学習が収束した後は、その収束結果に基づき
出力パタンを生成するだけである。

【０００４】

【発明が解決しようとする課題】このようなニューラル
ネットワークは様々な分野の情報処理に利用されるよう
になってきたが、扱う情報によっては、理想的な出力パ
タンを単に得るだけでなく、その教師パタンと入力パタ
ンとの間の中間的な出力をも得られるのが好ましい場合
がある。

【０００５】例えば、音声合成をニューラルネットワー
クで行う場合、コーヒー豆のブレンド制御をニューラル
ネットワークで行う場合、物の製造工程のプロセス制御
において、原料の調整をニューラルネットワークで行う
場合などである。

【０００６】このような場合、目標として当初設定した
量を可変して出力したい場合がある。音声合成では、教
師パタンとした音程より入力パタンにより近い音程とし
たという場合、コーヒー豆のブレンドを行う場合、当初
設定したものよりブレンド量を変えたい場合、物の製造
工程のプロセス制御において、原料の投入量を目標設定
より少なくする場合などである。

【０００７】このような要請を従来のニューラルネット
ワークで行う場合には、再度新たな教師パタンを与えて
学習をやり直す必要があり、時間と労力をかける結果と
なる。

【０００８】本発明は以上の点に関しなされたもので、
再度教師パタンを作成しなくとも、その教師パタンと入
力パタンの間の中間的な出力を得ることができるように
することを課題とする。

【０００９】

【課題を解決するための手段】図１に示したように、ニ
ューラルネットワークの入力層に、入力パタンを入力す
るノードの他に、制御パラメータを入力するためのノー
ドを少なくとも１つ設けた。

【００１０】ニューラルネットワークには、ある入力パ
タンの集合Ａ₀ と、この集合Ａ₀ 個々の要素について１
対１の対応関係がある教師パタンの集合Ｂ₀ とを与える
ことで、Ａ₀ とＢ₀ との対応関係を学習する学習部が存
在する。

【００１１】さらに、ニューラルネットワークには、制
御パラメータを入力する制御パラメータ入力用ノードが
少なくとも１つ設けられている。そして、学習に際して
は、入力パタンと教師パタンのセットを２以上用意す
る。この各入力パタンと教師パタンの組において、入力
パタン同士は同一であるが、教師パタン同士は異なるも
のである。

【００１２】これらパタンセットが順次ニューラルネッ
トワークに与えられて学習が行われる。各パタンセット
の内、第１の組の学習時には制御パラメータを任意のＸ
とする。Ｘは例えば０である。第２の組の学習時には制
御パラメータを任意のＹとする。Ｙは例えば１である。

【００１３】この結果、同一の入力パタンに対し、制御
パラメータとしてＸとＹの中間値に対し、第１の教師パ
タンと第２の教師パタンの中間値が学習されている結果
となる。

【００１４】

【作用】本発明に係るニューラルネットワークは、複数
の入力用ノードからなる入力層と複数の出力用ノードか
らなる出力層との少なくとも２つの層を備えたている。
そして、前記入力層は、制御パラメータを入力する制御
パラメータ入力用ノードを少なくとも１つ備えている。
ここで、前記制御パラメータ入力用ノードはスイッチか
らなり、このスイッチのオン・オフで制御パラメータが
設定される。

【００１５】本発明に係るニューラルネットワークで
は、未学習の入力パタンを与えるとき、制御パラメータ
にＸとＹの間の中間値を与えると、学習させたパタンセ
ットの中間的な値を出力する。これは、ニューラルネッ
トワークの補間機能を利用したものである。

【００１６】ここで、第１の組の学習時には制御パラメ
ータを０とするとともに、教師パタンとして入力パタン
と同一パタンを与えるようにすると、０とＹとの間の中
間値を制御パラメータに設定すると、入力パタンと教師
パタンとの間の中間値が出力される。ところで、複数セ
ットのパタンを学習させようとする場合、いろいろなパ
ラメータの設定方法があるので、それぞれ使う場面に応
じて使い分ける必要がある。

【００１７】ここでは代表的な使い方として３つの例を
示す。今入力パタンと教師パタンとのセットがｎ組ある
と考える。 ＜方法１＞（実施例で行っている方法） ここでは、制御パラメータ用の入力ノードとして、（ｎ
−１）個のノードを設ける。

【００１８】

【表１】 第０セットは全ノードの入力を０にしており、方法１で
はこのセットを基準にして位置づける。基本セットから
第ｉセット（ｉ＝１〜９）の方向へ出力結果をシフトし
た出力結果を得たい場合に、制御パラメータを表１のよ
うに設定して学習を行う。 ＜方法２＞ここでは、制御パラメータ用の入力ノードと
して、ｎ個のノードを設ける。

【００１９】

【表２】 方式２は、第０セットから第９セットまでの学習パタン
をニューラルネット的に融合した結果を出力させたいと
きの学習方法である。実行時に各セットの制御パラメー
タ用ノードの和が１になるように入力することで、それ
ぞれのセットの割合を任意に混ぜ合わせた出力結果を得
ることができる。 ＜方法３＞制御パラメータ用の入力ノードとして、ｍ個
（ｍ≧ｌｏｇ₂ ｎ， ｍは整数）のノードを設ける。

【００２０】

【表３】 方式３は、制御パラメータ用ノードの数を最も少なくす
る設定方法である。ノード数を減らすことで、学習時間
を短くすることが期待できるが、方法１や方法２のよう
なノードの意味付けは一般的にはできない。

【００２１】ところで、本発明はあらゆる階層型ニュー
ラルネットワークの他、種々の形式のニューラルネット
ワークを使用できる。ニューラルネットワークの例は図
２から図４に示した。ニューラルネットワークについて
は、特開平２−６４７８８，特開平２−２２６３８２，
特開平２−２２８７８に開示されているものを用いるこ
とが出来る。但し、これらに限定されるものではない。

【００２２】階層型ニューラルネットワーク（ＮＮ）と
しては、明確に区別された入力層と出力層の２つの層を
少なくとも備えている。元来、この２つの層だけでもあ
る程度の処理は可能であるが、これらの層の間に隠れ層
という１層以上の中間層を入れたものがより有効的であ
る。

【００２３】ニューラルネットワーク（ＮＮ）では、入
力パタンに対して望ましい出力がでるようにネットワー
クを調整する、すなわち学習する必要があり、その方法
の代表的なものがバックプロパゲーション法である。

【００２４】本発明では、ニューラルネットワーク（Ｎ
Ｎ）は学習部（Ａ）を有し、この学習部（Ａ）での学習
が終了した後、重み更新部１３の重みを使って未学習の
データを評価するものが好適に使用される。

【００２５】ここで、前記学習部（Ａ）は、前記ニュー
ラルネットワーク（ＮＮ）への入力とそれに対する望ま
しい出力である教師パタンを保持する入出力パタン保持
部１０と、この入出力パタン保持部１０の入力パタンを
ニューラルネットワーク（ＮＮ）に入力し出力値を計算
する学習実行部１１と、所定の学習規則と学習パラメー
タを保持する学習パラメータ保持部１２と、前記学習規
則及び学習パラメータに基づいて、前記学習実行部１１
でのネットワークの出力と入出力パタン保持部１０の教
師パタンとを比較し、ネットワークの重みを更新する重
み更新部１３と、更新されたネットワークの重みを任意
の学習段階で記憶する結合の重み記憶部１４とを備えた
構成を例示できる。

【００２６】また、階層型ニューラルネットワーク（Ｎ
Ｎ）の一つの形態として、Ｅｌｍａｎ型リカレントネッ
トワークを用いることができる。Ｅｌｍａｎ型リカレン
トネットワークとは、図示しないが、入力層、隠れ層、
出力層を有し、かつ、隠れ層の出力データを複写して保
持するとともに保持した出力データを再度隠れ層に入力
するコンテキスト層を備えたニューラルネットワーク
（ＮＮ）である。入力層、隠れ層、出力層の各層はそれ
ぞれ１以上のノードを有している。

【００２７】そして、時刻ｔにおける隠れ層の出力値ｗ
をコンテキスト層にコピーし、このコンテキスト層と入
力層の値が時刻ｔ＋１における隠れ層の出力となる。従
って、このコンテキスト層が過去の入力データの履歴を
保持することになる。

【００２８】階層型ニューラルネットワーク（ＮＮ）を
より詳細に説明する。階層型ニューラルネットワーク
（ＮＮ）は、図２のように、学習部（Ａ）を有し、この
学習部（Ａ）での学習が終了した後、重み更新部１３の
重みを使って未学習のデータを評価する。

【００２９】ニューラルネットワーク（ＮＮ）は、入力
層、隠れ層、出力層を有し、各層はそれぞれ複数のノー
ド（ユニット）を有している。各層を構成する複数のユ
ニットは互いにある重みで結合されている。このネット
ワークに入力パタンと望ましい出力パタン（教師パタ
ン）の組を与えることによりネットワークの重みを学習
させることができる。

【００３０】学習は以下のように進められる。まず、ネ
ットワークにある入力パタンを与え出力を得る。実際の
出力と正しい出力の差の情報をとりだす。するとネット
ワークは正しい出力値と実際の出力値の差が減少するよ
うにネットワークの内部構造（結合の強さ＝重み）を調
整する。これを何度も繰り返すことにより、ネットワー
クはある入出力関係を満たすような重みを自動的に探索
していく。この学習アルゴリズムがバックプロパゲーシ
ョン法である。

【００３１】このようにして学習したネットワークを用
いると、学習させた入力パタンについては表示した正し
い出力を返すが更に学習させていない入力パタンについ
ても学習した入出力パタンに準じた出力パタンを返す。
これがニューラルネットワーク（ＮＮ）の大きな特徴と
なっている。

【００３２】このように、ニューラルネットワーク（Ｎ
Ｎ）は学習部（Ａ）を有し、この学習部（Ａ）での学習
が終了した後、重み更新部１３の重みを使って未学習の
データを処理する。

【００３３】ここで、学習部（Ａ）は、前記ニューラル
ネットワーク（ＮＮ）への入力とそれに対する望ましい
出力である教師パタンを保持する入出力パタン保持部１
０と、この入出力パタン保持部１０の入力パタンをニュ
ーラルネットワーク（ＮＮ）に入力し出力値を計算する
学習実行部１１と、所定の学習規則と学習パラメータを
保持する学習パラメータ保持部１２と、前記学習規則及
び学習パラメータに基づいて、前記学習実行部１１での
ネットワークの出力と入出力パタン保持部１０の教師パ
タンとを比較し、ネットワークの重みを更新する重み更
新部１３と、更新されたネットワークの重みを任意の学
習段階で記憶する結合の重み記憶部１４を備えている。

【００３４】学習実行部１１をさらに詳細に説明する。
前記したようにニューラルネットワーク（ＮＮ）は多層
のネットワーク構造となっていて、各層は多くのユニッ
トから構成され、各ユニット間にはそれぞれ結合の重み
Ｗが定義される。

【００３５】各ユニットは以下に示すようにしてネット
ワークの出力値を計算する。あるユニットが複数のユニ
ットから入力を受けた場合、その重み付け総和に各ユニ
ットの閾値θを加えたものが入力値 netとなる（図３参
照）。

【００３６】net ＝ Σｗ_ijＯ_j＋θ ｗ_ij：ユニットＵ_jからユニットＵ_iへの結合の重み Ｏ_j ：ユニットＵ_jの出力 ユニットの出力値はこの入力の総和net に、活性化関数
を適用して計算される。活性化関数には微分可能な非線
形関数であるシグモイド関数を使用する。すると、ユニ
ットＵ_i の出力値Ｏ_i は Ｏ_i ＝ １／｛１＋exp（−net_i）｝ となる。

【００３７】バックプロパゲーション法で用いるネット
ワークは、前記したような多層のネットワークである
が、ここでは図４のような入力層、隠れ層、出力層の３
層からなる場合について述べる。

【００３８】隠れ層の各ユニットは入力層のすべてのユ
ニットと結合している。出力層の各ユニットは入力層と
隠れ層の各ユニットとすべて結合している。そして各層
内でのユニット同士の結合はない。

【００３９】入力層の各ユニットにはネットワークへの
入力データが与えられる。従って、隠れ層の各ユニット
の出力値ｈは、 ｈ_j ＝ １／｛１＋exp（−net_i）｝ ｄ_K ：ｋ番目の入力ユニットの出力値 ｈ_j ：ｊ番目の隠れユニットの出力値 ｗ_jk：ｋ番目の入力ユニットとｊ番目の隠れユニット間
の結合の重み θ_j ：ｊ番目の隠れユニットの閾値 となる。

【００４０】また、出力層の各ユニットの出力値ｏは、 Ｏ_i ＝ １／｛１＋exp（−net_i）｝・・（１２）式に
より ｈ_j ：ｊ番目の隠れユニットの出力値 ｏ_i ：ｉ番目の出力ユニットの出力値 ｗ_ij：ｊ番目の隠れユニットとｉ番目の出力ユニット間
の結合の重み θ_i ：ｉ番目の出力ユニットの閾値 となる。

【００４１】次に、重み更新部１３を更に詳細に説明す
る。

【００４２】この重み更新部１３ではネットワークの出
力が望ましい出力となるようにネットワークの重みを変
える。あるパタンｐを与えた時の実際の出力値（ｏ_pi）
と、望ましい出力値（ｔ_pi）の平均２乗誤差Ｅ_pをと
る。

【００４３】Ｅ_p ＝ （１／２）（ｔ_pi−ｏ_pi）² 学習させるためには、この誤差を減らすように、ネット
ワーク中の全ての重みを変える。

【００４４】出力層についての学習規則は ｉ） 隠れ層のユニット− 出力層の各ユニットの間
の重みの変化 ｉｉ） 入力層のユニット− 出力層のユニット間の重
みの変化 ｎ：学習回数 α：モーメンタム δ_pi ＝ （ｔ_pi−ｏ_pi）｛ｏ_pi（１−ｏ_pi）｝ 隠れ層についての学習規則は 入力層のユニット − 隠れ層のユニットの間の重みの
変化 δ_pj ＝ ｈ_pj（１−ｈ_pj）Σδ_piｗ_ij である。

【００４５】次に結合の重み記憶部１４はネットワーク
の重みを任意の学習段階で保存する。出力装置は、重み
記憶部１４に保存してあるネットワークの重みをロード
し、入力パタンを与えると、ネットワークの出力を計算
する。以上のように学習したネットワークを用いると、
学習させた入力パタンについては正しい出力を返すが、
更に学習させていない入力パタンについても学習した入
出力パタンを基にしたような出力パタンを返す。

【００４６】このようなニューラルネットワークで制御
パラメータの値を変化させると、関連するユニットの出
力（つまりシグモイド関数の出力）は、図２３で示した
ように、瀬制御パラメータの０〜１への変化に伴って、
Ａ₁からＡ₂へと変化します。この作用が各ユニットで生
じ、全体として補間しているように振る舞う。

【００４７】

【実施例】本実施例は、ニューラルネットワークにおい
て、原型の文字群に対する希望の装飾等を施した変形文
字群を用意して、その両者間の変形規則を学習させ、学
習した変形規則に従って変形文字（文字フォント）を得
る場合の例である。

【００４８】文字のフォントというものは、原型文字に
対して、１つのスタイルに沿って変形したものである。
例えば明朝体というのは、一の横の棒の、右の端に兜と
よばれる盛り上がりをつける、という変形を加えてい
る。各社のワープロでは、この変形が僅かずつ異なる
が、それも一定のルールに沿って、全ての字について変
形して作成される。

【００４９】従って、原型の文字に、一定の変形規則に
従って、変形を加えれば、１セットのフォントができあ
がる。よって、原型の文字群に対する希望の装飾文字群
を用意して、その両者間の変形規則をニューラルネット
ワークで学習させる。そして、学習していない文字を入
力すると、学習した変形規則に従って新たな装飾文字を
自動的に行える。

【００５０】以下、文字フォント作成のための実施例を
説明する。 ＜実施例１＞この実施例の手順を図５のフローチャート
で説明する。

【００５１】（ａ）まず、取得したい文字のセット（た
とえば教育漢字、ＪＩＳ第一水準など）の、原型となる
フォントを一定の電子的な方法、ここでは文字を表す曲
線を複数の連続した直線からなる折れ線に近似させ、近
似した折れ線の各線分（セグメント）を座標画面の上の
ベクトル（起点の座標データ、線分の長さデータ、及
び、線分の向きを示す角度データ）で表現する。

【００５２】原型となるフォントは、文字の飾りを取り
払った、エッセンス的なものである。なお、既存のフォ
ント例えばゴシック体などを原型とすべきフォントとし
て使用してもい。このように表現された文字を、原型文
字群Ａと呼ぶことにする。

【００５３】（ｂ）つぎに、変換したいスタイルを持っ
た文字のサンプルを用意する。その全集合こそが今求め
たい文字セットである。これをスタイル文字群Ｂと呼
ぶ。スタイル文字群のサンプルはＢ１，Ｂ２，．．Ｂｎ
と表現し、これも、前記（ａ）と同じくベクトルデータ
として保持しておく。

【００５４】（ｃ）ニューラルネットワークの入力に、
サンプルのＢ１・・・Ｂｎに対応する原型文字群Ａの内
の部分集合Ａ１，Ａ２，．．Ａｎを与える（ステップ１
０１）。

【００５５】（ｄ）教師パタンには、Ｂ１，Ｂ２，．．
Ｂｎを与える（ステップ１０２）。ニューラルネットワ
ークの学習部は、これら入力データを元に、ＡからＢへ
の変形規則を学習する（ステップ１０３）。学習が収束
しなくとも、学習を終了させることは可能である（ステ
ップ１０６） （ｅ）学習が終了したら、学習していないＡの集合の残
り全てを、学習済みのニューラルネットに次々に入力す
る（ステップ１０７）。すると、学習していないＡの集
合の残り全てに対して前記変形規則に従った変形が加え
られ（ステップ１０８）、所望のすべてのスタイル文字
セットＢが得られる（ステップ１０９）。

【００５６】このようにして、文字データを適当なデー
タ表現にして、ニューラルネットワークに学習させるこ
とで、個人の文字の特徴を反映させた文字を生成するこ
とができる。

【００５７】以上の手順に従い、以下のような学習条件
でシミュレーション実験を行った。ここでは、同一の原
型文字に対し、Ｔ氏とＹ氏がそれぞれ所望の手書き文字
を希望する変形文字として教師パタンとして入力した。
学習終了後、未学習の原型文字を入力し、ニューラルネ
ットワークの出力としてその原型文字に対する変形文字
を得た。そのシミュレーション結果を、図８から図１３
に示す。 教師パタン、入力パタンの作成方式 ここでは、図９，図１０のように 「国」、「田」、「固」、「亜」、「弟」、「自」の漢
字について入力パタンのベクトルデータを作成した。

【００５８】パタン作成に当たっては、図６のように、
まず、原型となる文字を表す曲線を複数の連続した直線
からなる折れ線に近似させる。そして、近似した折れ線
の内、第１の線分の起点座標（Ｘ_I0、Ｙ_I0）、第１の線
分の長さ（Ｌ_I0）、第１の線分が前記起点座標を含む水
平線に対してなす角度（Ａ_I0）を得る。次いで、この第
１の線分に続く第２の線分についても、その起点座標
（Ｘ_I1、Ｙ_I1）、長さ（Ｌ_I1）、角度（Ａ_I1）を得る。
そして、第ｎ番目の線分についても、その起点座標（Ｘ
_In、Ｙ_In）、長さ（Ｌ_In）、角度（Ａ_In）を求めてお
く。

【００５９】次いで、図９，図１０のように、Ｔ氏とＹ
氏の２名に、「国」、「田」、「固」、「亜」、
「弟」、「自」の漢字を手書きで書いてもらい、希望の
変形文字とした。

【００６０】この変形文字についても、文字を構成する
一つのストロークからなる曲線を複数の連続した直線か
らなる折れ線に近似させ、ベクトルデータを得た。すな
わち、近似した折れ線の内、第１の線分の起点座標（Ｘ
_O0、Ｙ_O0）、第１の線分の長さ（Ｌ_O0）、第１の線分が
前記起点座標を含む水平線に対してなす角度（Ａ_O0）を
得る。次いで、この第１の線分に続く第２の線分につい
ても、その起点座標（Ｘ_O1、Ｙ_O1）、長さ（Ｌ_O1）、角
度（Ａ_O1）、第ｎ番目の線分についても、その起点座標
（Ｘ_On、Ｙ_On）、長さ（Ｌ_On）、角度（Ａ_On）を求めて
おく。 ニューラルネットワーク 使用したニューラルネットワークは図６のように４つの
入力ノード、１つの制御パラメータ入力ノード、４つの
出力ノードを有する。

【００６１】・構造 units =(5 5 4) ・学習係数 epsilon =(5 1) alpha =(0.8 0.3) ・学習許容誤差 allowance =0.01 ・最大学習回数 iteration =10000 ・ランダムシート random_seed=5 ・初期値 weight =random(0.5 -0.01 0.
01) threshold =random(0.5 -0.01 0.01) 学習 前記構成のニューラルネットワークに（Ｘ_I0、Ｙ_I0、Ｌ
_I0、Ａ_I0）を入力パタンとし、（Ｘ_O0、Ｙ_O0、Ｌ_O0、Ａ
_O0）を教師パタンとして与え、続いて、（Ｘ_I1、Ｙ_I1、
Ｌ_I1、Ａ_I1）を入力パタンとし、（Ｘ_O1、Ｙ_O1、Ｌ_O1、
Ａ_O1）を教師パタンとして与え、これを最後のｎ番目の
線分の入力パタン（Ｘ_In、Ｙ_In、Ｌ_In、Ａ_In）、及び出
力パタン（教師パタン）（Ｘ_On、Ｙ_On、Ｌ_On、Ａ_On）に
ついてまで繰返し行い、一つのストローク情報について
の学習を行う。

【００６２】学習にあたっては、「国」、「田」、
「固」、「亜」、「弟」、「自」それぞれの文字につい
て、下の２つの変換を学習させた。 原型文字（入力パタン）→原型文字（教師パタン）（制
御ハ゜ラメータ=0） 原型文字（入力パタン）→変形文字（教師パタン）（制
御ハ゜ラメータ=1） なお、前記ニューラルネットワークにおいて、学習は収
束しなかったので最大学習回数の10000回で打ち切っ
た。このとき、Ｔ氏のネットワークの最大２乗誤差
は、0.005320で、誤差平均は0.000419であった。

【００６３】また、Ｙ氏のネットワークの最大２乗誤差
は、0.007625、誤差平均は0.000623であった。 フォントの生成 前記学習パタンの学習後、未学習の「回」、「中」、
「首」の３文字について入力し、学習した変形規則に基
づいて変形した後の文字を得た。結果を図１１，図１
２，図１３に示す。ただし、それぞれの文字について、
制御パラメータを０から１まで、０．２ごとに、６通り
変化させている。

【００６４】前記制御パラメータの値は、図中では、c_
para=??????で示している。Ｔ氏、Ｙ氏の学習させた個
人文字により近い出力を得たい場合は、制御パラメータ
を１に近い値とし、原型文字により近い出力を得たい場
合は、０に近い値を入力すればよいことが図１１，図１
２，図１３からわかる。

【００６５】以上のように制御パラメータを変えること
で中間的な出力を得ることができる。 ＜実施例２＞以下の条件以外は実施例１と同一の条件で
文字フォントを自動的に生成した。 ニューラルネットワーク 以下のネットワークを使用してアルファベットを学習し
た。

【００６６】・構造 units =(524) ・学習係数 epsilon =(5.00000 1.00000) alpha =(0.80000 0.30000) ・学習許容誤差 allowance =0.1 ・最大学習回数 iteration =5000 ・ランダムシート random_seed=5 ・重み weight =random(0.2 -0.1 0.
1) ・しきい値 threshold =random(0.2 -0.1 0.
1) random(a b c)は重みを割合ａだけｂからｃまでの乱
数で設定するということを示す（それ以外は０にす
る）。 学習パタン 学習パタンとして、図１４，図１５のようにアルファベ
ット「Ａ」、「Ｔ」、「Ｈ」、「Ｍ」の文字について、
下の２つの変換を学習させた。

【００６７】原型文字→個人文字（変形文字）（制御ハ゜
ラメータ=1） 原型文字→原型文字（制御ハ゜ラメータ=0） フォントの作成 前記学習パタンの学習後、未学習の「Ｋ」、「Ｅ」、
「Ｉ」、「Ｌ」の４文字について入力し、図１６，図１
７，図１８，図１９のように、学習した変形規則に基づ
いて変形した後の文字を得た。ただし、それぞれの文字
について、制御パラメータを０から１まで、０．２ごと
に、６通り変化させている。制御パラメータを変化させ
ることで、前記したように入力パタンと教師パタンとの
中間に位置する変形文字が得られる。 ＜実施例３＞図２０，図２１，図２３に実施例３を示
す。

【００６８】これは、コーヒー豆のブレンドを自動で行
う場合である。図２０のようにコーヒーミル５０の上方
に異なる種類のコーヒー豆を収容したホッパ５２が複数
設けられ、各ホッパ５２の下部には弁５４を介しコーヒ
ーミル５０に続く搬送管が接続されている。

【００６９】そしてニューラルネットワークを備えた制
御部５６により、各弁５４の開閉を行い、コーヒー豆を
ブレンドするようになっている。ここで、ブレンド学習
パタンとして、図２２のように、 学習パタンＡ 標準ブレンド−標準ブレンド 入力パタン 教師パタン コーヒー豆（ａ）１００ｇ・・・コーヒー豆（ａ）１００ｇ コーヒー豆（ｂ）１００ｇ・・・コーヒー豆（ａ）１００ｇ コーヒー豆（ｃ）１００ｇ・・・コーヒー豆（ａ）１００ｇ コーヒー豆（ｄ）１００ｇ・・・コーヒー豆（ａ）１００ｇ 学習パタンＢ 標準ブレンド−苦みが強いブレンド コーヒー豆（ａ）１００ｇ・・・コーヒー豆（ａ）１５０ｇ コーヒー豆（ｂ）１００ｇ・・・コーヒー豆（ｂ）１５０ｇ コーヒー豆（ｃ）１００ｇ・・・コーヒー豆（ｃ） ５０ｇ コーヒー豆（ｄ）１００ｇ・・・コーヒー豆（ｄ） ５０ｇ 学習パタンＣ 標準ブレンド−苦みが弱いブレンド コーヒー豆（ａ）１００ｇ・・・コーヒー豆（ａ） ５０ｇ コーヒー豆（ｂ）１００ｇ・・・コーヒー豆（ｂ） ５０ｇ コーヒー豆（ｃ）１００ｇ・・・コーヒー豆（ｃ）１５０ｇ コーヒー豆（ｄ）１００ｇ・・・コーヒー豆（ｄ）１５０ｇ の３つの学習パタンが用意されている。

【００７０】そして、制御パラメータは、 学習パタンＡ ＝ （００） 学習パタンＢ ＝ （１０） 学習パタンＣ ＝ （０１） となっている。

【００７１】この学習を行った後、制御パラメータを
（０，０．４）に変えることで、うことにより、苦みが
やや弱いブレンド コーヒー豆（ａ） ８０ｇ コーヒー豆（ｂ） ８０ｇ コーヒー豆（ｃ）１２０ｇ コーヒー豆（ｄ）１２０ｇ といった中間的な出力を得ることができる。

【００７２】

【発明の効果】本発明によれば、学習した入出力パタン
の間で中間的な出力を得ることが制御パラメータのよう
な外部制御によりできる。

【図面の簡単な説明】

【図１】本発明の原理図

【図２】ニューラルネットワークの一例を示したブロッ
ク図

【図３】ネットワークの入出力特性を示す図

【図４】ネットワークの構造を示す図

【図５】本発明による文字フォント作成のフローチャー
ト図

【図６】実施例１のニューラルネットワークの構成図

【図７】入力パタン、教師パタンの作成方式２を示す図

【図８】実施例１の学習パタン

【図９】実施例１における学習パタン１を示し、図１９
（ａ）は原型文字、図１９（ｂ）は教師パタンである個
人文字（Ｔ氏）、図１９（ｃ）は教師パタンである個人
文字（Ｙ氏）

【図１０】実施例１における学習パタン２を示し、図１
９（ａ）は原型文字、図１９（ｂ）は教師パタンである
個人文字（Ｔ氏）、図１９（ｃ）は教師パタンである個
人文字（Ｙ氏）

【図１１】実施例１の未学習パタンの実行結果１

【図１２】実施例１の未学習パタンの実行結果２

【図１３】実施例１の未学習パタンの実行結果３

【図１４】実施例２における入力パタンと教師パタン１

【図１５】実施例２における入力パタンと教師パタン２

【図１６】実施例２の未学習パタンの実行結果１

【図１７】実施例２の未学習パタンの実行結果２

【図１８】実施例２の未学習パタンの実行結果３

【図１９】実施例２の未学習パタンの実行結果４

【図２０】実施例３の構成図

【図２１】実施例３のニューラルネットワークの構成図

【図２２】実施例３の学習パタンを示す図

【図２３】シグモイド関数と制御パラメータの変化との
関係を示したグラフ図

【符号の説明】

１０・・・入出力パタン保持部 １１・・・学習実行部 １２・・・学習パラメータ保持部 １３・・・重み更新部 １４・・・重み記憶部 ５０・・・コーヒーミル ５２・・・ホッパ ５４・・・弁 ＮＮ・・・ニューラルネットワーク

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ある入力パタンの集合Ａ₀と、この集合
   Ａ₀ 個々の要素について１対１の対応関係がある教師パ
   タンの集合Ｂ₀とを与えることで、Ａ₀とＢ₀との対応関
   係を学習するニューラルネットワークにおいて、 制御パラメータを入力する制御パラメータ入力用ノード
   を少なくとも１つ設ける一方、入力パタンと教師パタン
   の組を２以上用意し、しかも、各入力パタンと教師パタ
   ンの組は、入力パタン同士が同一で、教師パタン同士が
   異なるものとし、その組の内、第１の組の学習時には制
   御パラメータを任意のＸとし、第２の組の学習時には制
   御パラメータを任意のＹとし、 未学習の入力パタンを与えるとき、制御パラメータにＸ
   とＹの間の中間値を与えることで、学習させたパタンセ
   ットの中間的な値を出力させることを特徴とするニュー
   ラルネットワークの制御方式。
2. 【請求項２】 １つ以上の入力用ノードからなる入力層
   と１つ以上の出力用ノードからなる出力層との少なくと
   も２つの層を備えた階層型ニューラルネットワークにお
   いて、 前記入力層は、制御パラメータを入力する制御パラメー
   タ入力用ノードを少なくとも１つ備えていることを特徴
   とするニューラルネットワーク。
3. 【請求項３】 前記制御パラメータ入力用ノードはスイ
   ッチからなり、このスイッチのオン・オフで制御パラメ
   ータが設定されことを特徴とする請求項２記載のニュー
   ラルネットワーク。