JPH0764944A - ニューラルネットワークの学習方法 - Google Patents

Abstract

(57)【要約】 【目的】 教師付き学習を行うニューラルネットワーク
の学習において、学習用の入力信号と教師信号の組み、
および学習回数をできるだけ少なくしながら、ニューラ
ルネットワークによる推定精度を向上させること。 【構成】教師付き学習を行うニューラルネットワークの
学習において、与える教師信号と入力信号の組合せとし
て、この入力信号の組合せが互いに概略直交するように
し、それに対応する出力信号を実験的に求めて教師信号
として、これらの教師信号と入力信号の組合せを使って
学習を行う。また、学習の停止条件として、実験的に求
めた教師信号の標準偏差或いは信頼限界を目安として用
いる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複写機等の電子装置の
制御を行うためのニューラルネットワークに関し、特
に、教師付き学習を行うニューラルネットワークの学習
方法に関する。

【０００２】

【従来の技術】近年、各種の電子装置を制御するための
手段としてニューラルネットワークが使用され始めてい
る。ニューラルネットワークを使用した制御回路におい
ては、電子装置の内部の各部の状態を示す信号を入力信
号とし、電子装置の動作を制御する信号を出力信号とす
る。そして、ある入力信号を与えたときの出力信号を、
正しい出力を示す教師信号と比較し、差がなくなるよう
にニューラルネットワークの特性を変化させて最適なニ
ューラルネットワークの特性を得ている。このような教
師信号との比較による特性決定が学習と呼ばれる。そし
て、実際の制御の際には、この学習により決定された特
性を有するニューラルネットワークにより装置の制御が
行われる。

【０００３】従来、この種の教師付き学習を行うニュー
ラルネットワークの学習において、与える教師信号と入
力信号の組合せをどのようにするか、また学習をどこで
終了させるかについて、明確な指針はなかった。

【０００４】そこで、多くの場合には、適当ないくつか
の入力信号の組合せに対応する出力信号を求め、それを
教師信号として学習を行い、学習の停止は適当な学習回
数で打ち切るか、あるいは、教師信号と出力信号の間の
累積誤差がある値以下になったとき、または、累積誤差
がそれ以上小さくならなくなったとき、適当にその推定
精度をチェックしてみて、不十分であればさらに適当な
回数の学習を行い、ふたたびその推定精度をチェックす
る、といったことが行われていた。

【０００５】

【発明が解決しようとする課題】一般的には、ニューラ
ルネットワークの推定精度は、学習のためのデータ数が
多ければ学習の成果が上がるので、多数の教師信号を用
意することが望まれる。

【０００６】しかし、教師信号は多く実験的に求めてい
るため、非常に多くのデータを揃えることは事実上困難
であることが多く、また、そのデータを記憶する記憶装
置の容量も膨大になるという問題がある。

【０００７】また、教師信号を実験的に求めている場合
には、求めた教師信号は実験誤差を含んでいるため、ニ
ューラルネットワークの推定精度は、あまり学習の回数
を多くして学習誤差、すなわち、教師信号とニューラル
ネットワーク出力の誤差を小さくしすぎると、かえって
ニューラルネットワークによる推定精度を低下させるこ
とがあった。

【０００８】そこで、本発明は、教師付き学習を行うニ
ューラルネットワークの学習において、学習用の入力信
号と教師信号の組み、および学習回数をできるだけ少な
くしながら、ニューラルネットワークによる推定精度を
向上させることを目的とする。

【０００９】

【課題を解決するための手段】本発明は、教師付き学習
を行うニューラルネットワークの学習において、与える
教師信号と入力信号の組合せとして、該入力信号の組合
せが互いに概略直交するようにし、それに対応する出力
信号を実験的に求めて教師信号として、これらの教師信
号と入力信号の組合せを使って学習を行うことを特徴と
する。

【００１０】

【作用】本発明では、与える教師信号と入力信号の組合
せとして、該入力信号の組合せが互いに直交するように
し、それに対応する出力信号を求めて教師信号とし、こ
れらの教師信号と入力信号の組合せを使って学習を行う
ことにより、ニューラルネットワークによる推定能力す
なわち推定精度を落とすことなく、学習用の入力信号と
教師信号の組みをできるだけ少なくしている。

【００１１】ここで任意の２因子の組合せが互いに「直
交している」とは、その２因子に相関がないこと、すな
わち、偏りがないことを意味し、具体的には、任意の２
因子について、その水準の全ての組み合わせが同数回づ
つ現れるように組み合わされていることを意味する。こ
のように組み合わせるためには、それぞれの因子の水準
をどのように組み合わせればよいかを示すものが直交表
或いは直交配列表と呼ばれるものである。

【００１２】さらに、求めた教師信号の標準偏差あるい
は信頼限界を推定し、これを基準として適当な学習誤
差、すなわち、教師信号とニューラルネットワーク出力
の誤差を残して学習を終了させることにより、過剰な学
習によりニューラルネットワークによる推定精度を低下
させることを防いでいる。

【００１３】

【実施例】本発明に基づくニューラルネットワークの学
習方法について以下に述べる。以下の実施例において
は、複写機の制御を行うためのニューラルネットワーク
を例に挙げて説明する。

【００１４】図１は、本発明が適用される複写機の概略
図である。複写機１０は、操作パネル等が設けられた操
作部１１、原稿の画像を走査して画像信号に変換する画
像入力部１２、この画像入力部１２からの画像信号に対
して所定の信号処理を施す画像処理部１３、この画像処
理部１３からの信号に基づき用紙上に画像を形成する画
像出力部１４等から構成されている。

【００１５】画像出力部１４においては、像担持体とし
て機能するドラム状の感光体１５の周囲に、帯電器１
６、露光装置１７、トナー補給装置１８ａを備えた現像
機１８、転写器１９、クリーニング装置２０等が順次配
置されている。

【００１６】感光体１５の表面は帯電器１６により一様
に帯電された後、露光装置１７により原稿画像に対応し
て露光され、感光体１５の表面に静電潜像が形成され
る。この静電潜像は現像機１８で現像され、感光体１５
上にトナー像が形成される。このトナー像の形成に同期
して用紙トレイ２１から用紙が感光体１５方向に供給さ
れ、転写器１９により感光体１５上のトナー像が用紙上
に転写される。転写後の用紙２２は、定着装置２３で定
着処理を受けた後、排紙トレイ２３に排出される。

【００１７】上記現像機１８には、現像機１８内のトナ
ー濃度を検出するトナー濃度センサ２７が設けられてい
る。現像機１８に付属するトナー補給装置１８ａとして
は、たとえば、トナー供給オーガやロールの回転・停止
により、或いは、トナー供給オーガやロールの回転速度
の遅速によりトナー供給量やトナー供給速度が制御され
るものを使用することができる。また、画像出力部１４
の内部には、装置内の温度と湿度を検出するための温度
センサ２５及び湿度センサ２６が設けられている。

【００１８】図２は、図１に示す複写機のトナー補給に
関連する部分の制御回路を示す概略ブロック図である。

【００１９】２８は、操作部１１からの指示に基づいて
画像入力部１２、画像処理部１３、画像出力部１４等を
制御して、複写機１０全体の動作の制御を司る制御部で
ある。図１に示される温度センサ２５及び湿度センサ２
６により検出された温度データ及び湿度データと、トナ
ー濃度センサ２７により検出されたトナー濃度データ
は、ニューラルネット演算処理部２９に供給される。ま
た、ユーザが複写機１０の操作部１１に設けられた操作
パネルから指定した複写枚数のデータがニューラルネッ
ト演算処理部２９に供給される。上記制御部２８には、
画像形成装置における累積複写枚数をカウントするため
の累積複写枚数カウンタ (図示せず) が内蔵されてお
り、この累積複写枚数カウンタによりカウントされた累
積複写枚数のデータがニューラルネット演算処理部２９
に供給される。なお、累積複写枚数カウンタは、画像出
力部１４の内部に設けてもよい。

【００２０】また、画像入力部１２で読み取った画像を
画像処理部１３で処理して実際に露光装置１７のレーザ
ーで画像の書込を行う際に、画像データのビット数を計
数することにより、原稿濃度が検出され、この原稿濃度
のデータがニューラルネットワーク演算処理部２９に供
給される。

【００２１】ニューラルネットワーク演算処理部２９に
は、ニューラルネットワークの構造を規定する層数、ニ
ューロン数、重み等のパラメータを記憶するためのパラ
メータ記憶部２９ａが内蔵されている。

【００２２】ニューラルネットワークの一般的な形状を
図３に示す。図３において、ニューラルネットワーク
は、入力層Ａ、中間層Ｂ及び出力層Ｃを持つ。このニュ
ーラルネットワークは、ある入力信号を与えたとき、出
力される出力信号を、それが正しい信号であるか誤った
信号であるかという情報、すなわち、教師信号と比較
し、その差により、ニューラルネットワーク内部の各層
間の結合の重み、すなわち、ニューロン結合の重みを修
正するという誤差逆伝幡学習（これは一般にバックプロ
パゲーションと呼ばれる）機能を備えたものであり、繰
り返し「学習」させることにより、新たな信号が入力さ
れたときに正解を出力する推定能力すなわち推定精度を
高めることができるものである（例えば、麻生英樹：
「バックプロパゲーション」，Ｃｏｍｐｕｔｏｒｏｌ，
Ｎｏ．２４，５３−６０ページ参照）。

【００２３】ニューラルネットワークを使用して複写機
の濃度制御を行う場合、複写機の各部の状態を示す信号
が状態量として入力層Ａに与えられ、出力層Ｃからトナ
ー補給装置を制御するための制御信号が出力される。

【００２４】本実施例においては、現像機におけるトナ
ー濃度以外のトナー補給を制御するための状態量とし
て、画像形成装置内の温度、画像形成装置内の湿度、装
置の累積複写枚数を用いた場合について説明する。な
お、ここでは、装置の累積複写枚数により、現像剤およ
び感光体の累積複写枚数を代表させている。

【００２５】これらの状態量と、現像機内のトナー濃度
をさまざまに組み合せて設定し、それぞれの条件下で熟
練した技術者が最良の画質を実現、維持するために調整
した補給すべきトナー量或いはこのトナー量を制御する
制御量およびトナー補給速度或いはこのトナー補給速度
を制御する制御量の設定値を捉え、データ化する。

【００２６】ここで、これらの状態量と、現像機内のト
ナー濃度をどのように組合せるかによって、本発明の効
果、すなわち得られた画像の品質が大きく影響される。

【００２７】すなわち、このような状態量と現像機内の
トナー濃度の組合せは、想定され得る最大の範囲、例え
ば温度であればその画像出力装置が遭遇し得る最低温度
と最高温度の全範囲に渡っていること、および、このよ
うな状態量と現像機内のトナー濃度の組合せが、互いに
直交していることが望ましい。ここで「直交している」
とは、或る因子Ａの各水準でのデータの平均値をとれば
他の因子Ｂの影響が各々に平等に入っており、また、他
の因子Ｂの各水準でのデータの平均値をとれば或る因子
Ａの影響が各々に平等に入っていることを意味してい
る。

【００２８】本実施例では、現像機１８内のトナー濃度
及び各状態量を図４に示すＬ₂₇（３¹³）と呼ばれる直交
表に割り付けた。ここで、Ｌ₂₇（３¹³）のＬは直交表を
表す記号であり、添え字の２７は行の数、すなわち、実
験回数を示す。括弧内の３は因子が３水準であることを
示し、肩文字の１３は列の数を示す。

【００２９】本実施例では、図４に示すＬ₂₇の直交表の
１，２，３，４列を使って９水準の列を作り、図５のよ
うに直交表を作り替え、この９水準の列に現像機１８内
のトナー濃度を割り当て、５列に画像形成装置内の温度
を、８列に画像形成装置内の湿度を、１１列に装置の累
積複写枚数を割当てている。従って、現像機内のトナー
量を９水準、その他の状態量は３水準としている。

【００３０】なお、直交表の詳細については、たとえ
ば、田口他著、「実験計画法テキスト」、日本規格協会
発行、１９７３年、ｐ．１８１〜１９８に、また、多水
準作成法については、同書ｐ．２２５〜２２７に記載さ
れているので、本明細書では基本的な説明のみ行う。

【００３１】実際の実験計画を図６に示す。ここに示す
２７種の組合せに対し、それぞれの条件下で熟練した技
術者が、最良の画質を実現、維持するための補給すべき
トナー量或いはそれを制御する制御量およびトナー補給
速度或いはそれを制御する制御量を実験等により決定
し、データ化した。

【００３２】次に、図６に示す現像機内のトナー濃度と
各状態量の組合せを、図３に示されるニューラルネット
ワークの入力層Ａに入力し、その各々の組合せに対して
熟練した技術者が最良の画質を実現、維持するように決
定した補給すべきトナー量或いはそれを制御する制御量
およびトナー補給速度或いはそれを制御する制御量の各
設定値を同ニューラルネットワークに教師信号として与
え、ニューラルネットワークに学習させる。通常、学習
方法としてはバックプロパゲーションを用いているが、
精度上許容されるものであれば、どのような方式であっ
ても良い。

【００３３】なお、ニューラルネットワークを構成する
層の数、各ニューロンの数、重み等のデータは、ニュー
ラルネットワーク演算処理部２９に内蔵された不揮発性
メモリ等からなるパラメータ記憶部２９ａに書き換え可
能な状態で記憶される。

【００３４】本実施例では、図６の直交表に対して熟練
した技術者が最良の画質を実現、維持するように決定し
た補給すべきトナー量或いはそれを制御する制御量およ
びトナー補給速度或いはそれを制御する制御量の各設定
値をそれぞれ実験結果として分散分析を行い、それぞれ
の場合に対して繰り返し間の誤差の標準偏差を推定し、
それらを学習を終了させるときの判定に用いた。

【００３５】ここで分散分析とは、測定値全体の分散を
幾つかの要因効果に対応する分散と、その残りの誤差分
散とに分けて検定や推定を行うことであり、これは普通
分散分析表と呼ばれる表を作って行う。

【００３６】図４に割り付けた直交表による実験結果の
分散分析の手順は、たとえば、前述の田口他著、「実験
計画法テキスト」、日本規格協会発行、１９７３年、
ｐ．１８８〜１９９に記載されているので、本明細書で
は基本的な説明のみ行う。

【００３７】まず、因子Ａに対応する列の数字に着目す
る。１列の数字が１になっている行は２７回の実験のう
ち、Ａ₁ の水準での実験の結果である。これを全部加え
てΣ₁ ｘとする。

【００３８】因子Ａは９水準としているので、列の数字
が２から９のものまでそれぞれの数字毎に行の測定値を
加えてΣ₂ ｘ，Σ₃ ｘ，・・，Σ₉ ｘとする。

【００３９】これらから平方和Ｓ_A を求める。

【００４０】

【数１】 同様の計算を因子Ｂ，Ｃ，Ｄに対しても行う。このと
き、因子Ｂ，Ｃ，Ｄは３水準であるので、平方和Ｓ
_B は、

【数２】 となる。

【００４１】平方和Ｓ_C ，Ｓ_D についても同様である。

【００４２】一方、測定値全部から総平方和をＳ_T を求
める。

【００４３】

【数３】 Ｓ_T から各因子の平方和の計を引くと誤差の平方和Ｓ_e
が得られる。

【００４４】Ｓ_e ＝Ｓ_T −（Ｓ_A ＋Ｓ_B ＋Ｓ_C ＋Ｓ_D ） この値は、因子を割り当てなかった６，７，９，１０，
１２，１３列についての平方和の合計と一致する。

【００４５】一つの列に対応する平方和の自由度は１で
ある。したがって、前記各平方和の自由度は、 φ_A ＝８，φ_B ＝φ_C ＝φ_D ＝２，φ_T ＝２７−１＝２
６ φ_e ＝φ_T −（φ_A ＋φ_B ＋φ_C ＋φ_D ） ＝φ₆ ＋φ₇ ＋φ₈ ＋φ₉ ＋φ₁₀＋φ₁₁＋φ₁₂＝１２ となる。

【００４６】誤差の平方和Ｓ_e を誤差の自由度φ_e で割
ることで誤差の不偏分散Ｖ_e が求められる。

【００４７】

【数４】 このようにして求めた不偏分散Ｖ_e が、繰り返し間の誤
差分散Ｖ_e ² の推定となっている。誤差分散Ｖ_e の平方
根√Ｖ_e を誤差の標準偏差σと呼ぶことにする。

【００４８】実験によれば、こうして求めた繰り返し間
の誤差の標準偏差の数倍程度の学習誤差、すなわち、教
師信号とニューラルネットワーク出力の誤差を残して学
習を終了した方が、ニューラルネットワークによる学習
後の推定精度はよいという結果を得ている。ここでは、
繰り返し間の誤差の標準偏差の３倍程度の学習誤差を残
して学習を終了している。

【００４９】なお、学習の停止の目安として、ここで
は、実験的に求めた教師信号の誤差の標準偏差を用いた
が、この教師信号の誤差の標準偏差の代わりに実験的に
求めた教師信号の信頼限界を用いることができる。

【００５０】信頼限界は次式で求められる。

【００５１】

【数５】 ここで、Ｆ’_n-2 は、分子の自由度１、分母の自由度
（ｎ−２）のＦ表濃度の５％値である。Ｖ_e は分散分析
による誤差分散の値、ｎ_e は一般平均の推定値が何個の
平均値に対応するかを意味する値で有効反復数と呼ばれ
る。

【００５２】信頼限界については、前述の田口他著、
「実験計画法テキスト」、日本規格協会発行、１９７３
年、ｐ．２６〜２９等に記載されている。

【００５３】実験によれば、こうして求めた信頼限界の
２分の１から３倍程度の最大誤差を残して学習を終了し
た場合にも同様にニューラルネットワークによる学習後
の推定精度はよい結果を得ている。

【００５４】実際の学習に際しては、適当な回数ごとに
学習誤差を評価し、学習回数を増やしても誤差量が減少
しない場合は、ニューラルネットワークの中間層のニュ
ーロンの数を増やすなどの改良を行った上、再度、学習
をさせている。

【００５５】ここで、ニューラルネットワークの改良の
仕方は、学習精度が上がるものならどの様な方法でもよ
い。学習方法によって学習速度が異なるが、この段階で
の学習時間は、実際に画像形成装置が動作する時の画像
形成時間とは、まったく関係がないためである。

【００５６】また、学習精度を向上させる手法として
は、上記の他にもネットワークの初期状態を変えたり、
中間層を二層或いはそれ以上に増やして多層化するなど
の方法もあるが、我々の実施例では、中間層のニューロ
ンの数を増やす方法がもっとも効果的であった。

【００５７】以上のようにして学習の完了したニューラ
ルネットワークは、少なくとも画像形成装置が学習で用
いたのと同じ組合せ、すなわち現像機内のトナー濃度、
画像形成装置内の温度、画像形成装置内の湿度、装置の
累積複写枚数が同じ条件下に置かれた場合には、あたか
も熟練した技術者が、画像形成装置内の温度、画像形成
装置内の湿度、装置の累積複写枚数を考慮して、補給す
べきトナー量或いはそれを制御する制御量およびトナー
補給速度或いはそれを制御する制御量の設定値を最適に
調整した場合とほとんど同じ各設定値を出力層に出力
し、最良の画質をもった画像を形成できるようになる。
さらに、ニューラルネットワークが持っている推定能力
すなわち汎化能力により、その他の条件下においても、
あたかも熟練した技術者が、画像形成装置内の温度、画
像形成装置内の湿度、装置の累積複写枚数を考慮して、
補給すべきトナー量或いはそれを制御する制御量および
トナー補給速度或いはそれを制御する制御量の設定値を
最適に調整した場合とほとんど同じ各設定値を出力層に
出力するようになる。

【００５８】最後に、上述したような方法で完成したニ
ューラルネットを、図１，図２に示されるような、トナ
ー濃度を検出し、この検出値に応じてトナーを補給する
画像形成装置に登載し、トナー濃度の値および実際に稼
働している画像形成装置内の各状態量を各センサ等、す
なわちトナー温度センサ２７、温度センサ２５、湿度セ
ンサ２６、制御部２８に内蔵されている累積複写枚数カ
ウンタを用いて検知し、図３に示されるニューラルネッ
トワークの入力層に入力することにより、もっとも最良
の画質を実現、維持するような補給すべきトナー量或い
はそれを制御する制御量およびトナー補給速度或いはそ
れを制御する制御量の各設定値の設定値が出力され、こ
れを実行することによって、画像形成装置はあたかも熟
練した技術者が最適調整したかのように、常に最良の画
像を出力できる。

【００５９】また、上述した実施例においては、トナー
濃度の他に、状態量として温度、湿度、累積複写枚数を
使用したが、これに加えて、原稿濃度、複写枚数等を使
用することもできる。

【００６０】また更に、現像剤の累積複写枚数と感光体
の累積複写枚数をそれぞれ独立にカウントするカウンタ
を設け、装置の累積複写枚数に代えて、現像剤の累積複
写枚数と感光体の累積複写枚数をそれぞれ状態量として
使用するようにしてもよい。

【００６１】なお、上記実施例では、教師付き学習を行
うニューラルネットワークの学習において、与える教師
信号と入力信号の組合せとして、該入力信号の組合せが
互いに直交するようにしているが、完全に直交していな
くてもそれに準じていれば同様の効果が得られることは
もちろんである。

【００６２】

【発明の効果】以上、本発明によれば、教師付き学習を
行うニューラルネットワークの学習において、学習用の
入力信号と教師信号の組み、および学習回数をできるだ
け少なくしながら、ニューラルネットワークによる推定
精度を向上させることができる。

【図面の簡単な説明】

【図１】 本発明が適用される複写機の概略図である。

【図２】 図１に示す複写機のトナー補給に関連する部
分の制御回路を示す概略ブロック図である。

【図３】 ニューラルネットワークの構成例を示す模式
図である。

【図４】 Ｌ₂₇（３¹³）の直交表を示す説明図である。

【図５】 Ｌ₂₇（３¹³）の直交表で１〜４列を使って９
水準の列を作った例を示す説明図である。

【図６】 図４の直交表に従い、各状態量の値を組み合
せて設定した例を示す説明図である。

【符号の説明】

１０…複写機、１１…操作部、１２…画像入力部、１３
…画像処理部、１４…画像出力部、１５…感光体、１６
…帯電器、１７…露光装置、１８…現像機、１８ａ…ト
ナー補給装置、１９…転写器、２０…クリーニング装
置、２１…用紙トレイ、２２…用紙、２３…定着器、２
４…排紙トレイ、２５…温度センサ、２６…湿度セン
サ、２７…トナー濃度センサ、２８…制御部、２９…ニ
ューラルネットワーク演算処理部、２９ａ…パラメータ
記憶部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 教師付き学習を行うニューラルネットワ
   ークの学習において、与える教師信号と入力信号の組合
   せとして、該入力信号の組合せが互いに概略直交するよ
   うにし、それに対応する出力信号を実験的に求めて教師
   信号として、これらの教師信号と入力信号の組合せを使
   って学習を行うことを特徴とするニューラルネットワー
   ク学習方法。
2. 【請求項２】 上記ニューラルネットワークの学習にお
   いて、与える教師信号と入力信号の組合せを、直交表に
   よって決めることを特徴とする請求項１記載のニューラ
   ルネットワーク学習方法。
3. 【請求項３】 教師付き学習を行うニューラルネットワ
   ークの学習において、学習の停止条件として、実験的に
   求めた教師信号の標準偏差を推定し、この標準偏差の１
   倍から５倍程度の最大学習誤差を残して学習を終了させ
   ることを特徴とする請求項１記載のニューラルネットワ
   ーク学習方法。
4. 【請求項４】 教師付き学習を行うニューラルネットワ
   ークの学習において、学習の停止条件として、実験的に
   求めた教師信号の信頼限界を推定し、この信頼限界の２
   分の１倍から３倍程度の最大学習誤差を残して学習を終
   了させることを特徴とする請求項３記載のニューラルネ
   ットワーク学習方法。