JP3618007B2 - ニューラルネットワークの学習装置及び学習方法 - Google Patents
ニューラルネットワークの学習装置及び学習方法 Download PDFInfo
- Publication number
- JP3618007B2 JP3618007B2 JP01181195A JP1181195A JP3618007B2 JP 3618007 B2 JP3618007 B2 JP 3618007B2 JP 01181195 A JP01181195 A JP 01181195A JP 1181195 A JP1181195 A JP 1181195A JP 3618007 B2 JP3618007 B2 JP 3618007B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- neural network
- learning
- parameter
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Feedback Control In General (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、ニューラルネットワークの学習装置及び学習方法に関する。
【０００２】
【従来の技術】
現在、画像認識、画像分類、音声認識、音声分類、運動制御、システム制御、知能システムなど、フォンノイマンコンピュータでは困難な信号処理を実行するため、ニューラルネットワークを利用することが提案されている。このようなニューラルネットワークは、多数のニューロンをシナプスにより結合してネットワークを形成したもので、学習する機能を有する。
【０００３】
ニューラルネットワークの学習方法としては、各種方法が提案されているが、その一つとして損失関数を最小化させる方法がある。例えば、ニューラルネットワークが“ｘ”の入力に対して“ｙ”を出力する場合、これは“θ”なるパラメータを有する“ｆ”なる関数により“ｙ＝ｆ（θ：ｘ）”として表現される。そこで、適正な組み合わせのｎ個の学習データ“ｘｉ ，ｙｉ ”（ｉ＝１〜ｎ）を用意し、学習データ“ｘｉ ”をニューラルネットワークに入力し、このニューラルネットワークから出力されるデータ“ｙ”と学習データ“ｙｉ ”とを比較し、この隔たりを示す損失関数
【０００４】
【数９】
【０００５】
が最小化されるようパラメータ“θ”を修正する。このようにニューラルネットワークのパラメータ“θ”を修正することにより、このパラメータ“θ”を真のパラメータに収束させることができるので、データ“ｘ”の入力に対して適正なデータ“ｙ”を出力するようにニューラルネットワークを学習させることができる。
【０００６】
現在、このような損失関数によるニューラルネットワークの学習方法の改良案として、損失関数に適当な正則化項を付加することが知られている。この場合、損失関数に正則化項“λＱ（θ）”を付加した関数
【０００７】
【数１０】
【０００８】
を想定し、これが最小化されるようニューラルネットワークのパラメータ“θ”を修正する。なお、以下の説明では、損失関数に正則化項を付加した関数を付加損失関数と呼称する。
【０００９】
【発明が解決しようとする課題】
上述のように付加損失関数により、さらに良好にニューラルネットワークを学習させることができる。
【００１０】
しかし、上述のような付加損失関数を利用したニューラルネットワークの学習方法は、真のパラメータ“θ”が一つの場合には有効であるが、真のパラメータ“θ”が複数の場合には、その限りでない。
【００１１】
請求項１記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習装置において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１１】
と正規化項“λＱ（θ）”とからなる関数
【数１２】
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−α n ／ｎ
０＜α n ＜ｎ
を満足する。
【００１６】
請求項２記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習装置において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１３】
と正規化項“λＱ（θ）”とからなる関数
【数１４】
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−α n ／ｎ
０＜α n ＜√ｎ
を満足する。
【００２１】
請求項３記載の発明は、請求項１又は２記載の発明において、正則化項をパラメータの個数が少ない数式により設定した。
【００２２】
請求項４記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習方法において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１５】
と正規化項“λＱ（θ）”とからなる関数
【数１６】
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−α n ／ｎ
０＜α n ＜ｎ
を満足する。
【００２７】
請求項５記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習方法において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１７】
と正規化項“λＱ（θ）”とからなる関数
【数１８】
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−α n ／ｎ
０＜α n ＜√ｎ
を満足する。
【００３２】
請求項６記載の発明は、請求項４又は５記載の発明において、正則化項をパラメータの個数が少ない数式により設定した。
【００３３】
【作用】
請求項１及び４記載の発明では、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ ／ｎ
０＜αｎ ＜ｎ
を満足するので、ニューラルネットワークのパラメータ“θ”が真のパラメータの任意の一つに収束される。
【００３４】
請求項２及び５記載の発明では、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ ／ｎ
０＜αｎ ＜√ｎ
を満足するので、ニューラルネットワークのパラメータ“θ”が複数の真のパラメータの特定の一つに収束される。
【００３５】
請求項３及び６記載の発明では、正則化項の数式のパラメータの個数が少ないので、ニューラルネットワークのパラメータ“θ”が、複数の真のパラメータのうち結合荷重のパラメータの個数が少ないものに収束される。
【００３６】
【実施例】
本発明の一実施例を図１及び図２に基づいて以下に説明する。まず、本実施例の学習装置１は、図１に示すように、データ記憶手段２、データ入力手段３、データ比較手段４、パラメータ修正手段５、を有しており、ニューラルネットワーク６に接続されている。
【００３７】
このニューラルネットワーク６は、可変自在なパラメータ“θ”を有する関数“ｆ”が設定された多層パーセプトロンからなり、データ“ｘ”の入力に対してデータ“ｙ”を出力する。
【００３８】
そして、前記データ記憶手段２には、ニューラルネットワーク６の学習に適正な組み合わせの学習データ“ｘｉ ，ｙｉ ”が予め設定されている。前記データ入力手段３は、前記データ記憶手段２から一つの学習データ“ｘｉ ”を読み出して前記ニューラルネットワーク６に入力し、前記データ比較手段４は、前記ニューラルネットワーク６から出力されるデータ“ｙ”と前記データ記憶手段２から読み出した学習データ“ｙｉ ”とを比較する。前記パラメータ修正手段５は、“ｙ”と“ｙｉ ”との隔たりを示す付加損失関数が予め設定されており、この付加損失関数が最小化されるよう前記ニューラルネットワーク６のパラメータ“θ”を設定する。
【００３９】
そして、本実施例の学習装置１では、損失関数
【００４０】
【数１９】
【００４１】
と正則化項“λＱ（θ）”とからなる関数である付加損失関数が
【００４２】
【数２０】
【００４３】
として設定されており、
λ＝−αｎ ／ｎ
０＜αｎ ＜ｎ
を満足する。なお、付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”は、
【００４４】
【数２１】
【００４５】
として、パラメータの個数が少ない数式により設定されている。
【００４６】
このような構成において、本実施例の学習装置１におけるニューラルネットワーク６の学習方法を、図２に基づいて以下に説明する。
【００４７】
まず、パラメータ修正手段５によりニューラルネットワーク６のパラメータ“θ”をランダムに初期化し、データ入力手段３によりデータ記憶手段２から一つの学習データ“ｘｉ ”を読み出してニューラルネットワーク６に入力する。すると、このニューラルネットワーク６は、パラメータ“θ”を有する関数“ｆ”により、学習データ“ｘｉ ”の入力に対応してデータ“ｙ”を出力する。この時、データ比較手段４は、学習データ“ｘｉ ”に対応した学習データ“ｙｉ ”をデータ記憶手段２から読み出しており、この学習データ“ｙｉ ”とニューラルネットワーク６の出力データ“ｙ”とを比較する。
【００４８】
そこで、パラメータ修正手段５は、比較結果を評価してニューラルネットワーク６のパラメータ“θ”を修正し、この“θ”で付加損失関数“Ｌｎ（θ）”を計算する。つぎに、この付加損失関数“Ｌｎ（θ）”を充分に小さな閾値“ε”と比較し、この閾値“ε”より付加損失関数“Ｌｎ（θ）”が小さい場合は処理を終了する。なお、閾値“ε”より付加損失関数“Ｌｎ（θ）”が大きい場合は、データ入力手段３によりデータ記憶手段２から次の学習データ“ｘｉ ”が読み出されて処理が繰り返される。
【００４９】
上述のように学習をｎ個の学習データにより順次繰り返すことにより、付加損失関数“Ｌｎ（θ）”が最小化されるよう、ニューラルネットワーク６のパラメータ“θ”が設定されるので、これは真のパラメータに確率収束される。この時、本実施例の学習装置１では、付加損失関数“Ｌｎ（θ）”が
【００５０】
【数２２】
【００５１】
として設定されており、
０＜αｎ ＜ｎ
を満足するので、真のパラメータが複数の場合でも、ニューラルネットワーク６のパラメータ“θ”は真のパラメータの一つに確率収束される。しかも、正則化項“λＱ（θ）”が、
【００５２】
【数２３】
【００５３】
として、パラメータの個数が少ない数式により設定されているので、学習データ“ｘｉ ，ｙｉ ”の個数が増大すると、ニューラルネットワーク６のパラメータ“θ”は、真のパラメータの集合のうち個数が最小のものに確率収束される。
【００５４】
そこで、このことを以下に順次説明する。なお、より詳細には、本発明者が発表した“「縮退したＦｉｓｈｅｒ 情報行列を持つ系の学習について」信学技報 ＮＣ９４−５６（１９９４−１２）Ｐ４１〜Ｐ４８ ”に開示されている。また、以下の説明では、最適な組み合わせの学習データ“ｘ，ｙ”を一つの学習データ“ｘ”として表現する。
【００５５】
まず、推定するパラメータ“θ”の確率密度“Ｐ（ｘ｜θ）”により、付加損失関数
【００５６】
【数２４】
【００５７】
を設定する。真のパラメータの集合“Θ”が一点ではなく多様体であると想定し、ここでは“θ＝（θ１ ，θ２）（θ１ ∈Θ）”と表現する（なお、“θ２ ”は“θ１ ”毎に局所座標に従って“δθ １”にユークリッドの意味で直角になるようにとる）。すると、付加損失関数は、
【００５８】
【数２５】
【００５９】
となるので、一般的な一致性として“θ１ →Θ”を仮定すると、“θ２ →０”となる。つまり、
【００６０】
【数２６】
【００６１】
となる。なお、
Ｒ＝Ｏ（θ２ ３）＋（αｎ ／ｎ）Ｏ（θ２ ２）
である。
【００６２】
この場合、第一項は、“θ”によらない定数であり、第二項は、中心極限定理により平均が“０”で共分散行列が“Ｆ（θ１）／√ｎ”であるような正規分布に従う。なお、
【００６３】
【数２７】
【００６４】
であり、第三項は、大数の定理により、
−（１／２）Ｆ（θ１）θ２θ２′
に収束される。
【００６５】
以上のことより、“ｖ”を“Ｎ（０，Ｉ）に従う確率変数とすると（“Ｉ”は“Ｆ（θ１）”次の単位行列）、
【００６６】
【数２８】
【００６７】
となる。なお、“Ｒ′”は、
Ｒ′＝Ｏ（θ２ ３）＋Ｏ（１／√ｎ）Ｏ（θ２ ２）＋Ｏ（１／ｎ）Ｏ（θ２）＋（αｎ／ｎ）Ｏ（θ２ ２）
であるので、平方完成すると、
【００６８】
【数２９】
【００６９】
となる。この場合、“Ｆ（θ１）＞０”とすると、第一項を“０”にするような“θ２ ”をとることができる（但し、αｎ ＝ ｏ（√ｎ）の仮定は必要）。この時、第二項の大きさは“αｎ ／ｎ＋‖ｖ‖２ ／２ｎ”となるが、“‖ｖ‖２ ”について学習データの出方の平均をとると“ｒａｎｋＦ（θ１）”となる。
【００７０】
従って、“θ１ ”が“θ０（これは“Ｑ（θ１，０）”を最大にする“θ１ ”である）”に収束される十分条件は、付加損失関数が
【００７１】
【数３０】
【００７２】
の場合に、正則化項の係数“λ”が、
λ＝−αｎ ／ｎ
０＜αｎ ＜ｎ
を満足することである。この条件を満足した場合、
【００７３】
【数３１】
【００７４】
となり、その分布は、
【００７５】
【数３２】
【００７６】
である。なお、
【００７７】
【数３３】
【００７８】
である。
【００７９】
しかも、本実施例の学習装置１の学習方法では、付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”が、
【００８０】
【数３４】
【００８１】
として、パラメータ“θ”の個数が少ない数式により設定されているので、ニューラルネットワーク６のパラメータ“θ”は、複数の真のパラメータのうち結合荷重のパラメータの個数が少ないものに収束される。このようにパラメータ“θ”の個数が少ない数式は、
【００８２】
【数３５】
【００８３】
など、
【００８４】
【数３６】
【００８５】
の形であれば良い。
【００８６】
なお、本実施例では付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”の係数が“−αｎ ／ｎ”の場合に“０＜αｎ ＜ｎ”を満足することにより、ニューラルネットワーク６のパラメータ“θ”を、真のパラメータの任意の一つに確率収束させることを例示した。しかし、本発明は上記実施例に限定されるものではなく、“０＜αｎ ＜√ｎ”を満足することにより、ニューラルネットワーク６のパラメータ“θ”を、真のパラメータのうち正則化項“λＱ（θ）”を最大とする特定の一つに確率収束させることも可能である。
【００８７】
また、本実施例の学習装置１では、付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”の係数が“−αｎ ／ｎ”の場合に、“０＜αｎ ＜ｎ”か“０＜αｎ ＜√ｎ”かを満足することを例示したが、これを“１＜αｎ ＜ｎ”や“１＜αｎ ＜√ｎ”とすることにより、より良好にパラメータを確率収束させることも可能である。さらに、本実施例では、ニューラルネットワーク６が多層パーセプトロンからなることを例示したが、本発明は上記実施例に限定されるものではなく、ボルツマンマシンなどのニューラルネットワークにも適用可能である。
【００８８】
【発明の効果】
請求項１及び４記載の発明は、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ ／ｎ
０＜αｎ ＜ｎ
を満足することにより、ニューラルネットワークのパラメータ“θ”を真のパラメータの一つに収束させることができる。
【００８９】
請求項２及び５記載の発明は、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ ／ｎ
０＜αｎ ＜√ｎ
を満足することにより、ニューラルネットワークのパラメータ“θ”を、真のパラメータのうち正則化項“λＱ（θ）”を最大とする特定の一つに収束させることができる。
【００９０】
請求項３及び６記載の発明では、正則化項の数式のパラメータの個数が少ないことにより、ニューラルネットワークのパラメータ“θ”を、複数の真のパラメータのうち結合荷重のパラメータの個数が少ないものに収束させることができる。
【図面の簡単な説明】
【図１】本発明の一実施例のニューラルネットワークの学習装置を示すブロック図である。
【図２】ニューラルネットワークの学習方法を示すフローチャートである。
【符号の説明】
１ 学習装置
３ データ入力手段
４ データ比較手段
５ パラメータ修正手段
６ ニューラルネットワーク
【産業上の利用分野】
本発明は、ニューラルネットワークの学習装置及び学習方法に関する。
【０００２】
【従来の技術】
現在、画像認識、画像分類、音声認識、音声分類、運動制御、システム制御、知能システムなど、フォンノイマンコンピュータでは困難な信号処理を実行するため、ニューラルネットワークを利用することが提案されている。このようなニューラルネットワークは、多数のニューロンをシナプスにより結合してネットワークを形成したもので、学習する機能を有する。
【０００３】
ニューラルネットワークの学習方法としては、各種方法が提案されているが、その一つとして損失関数を最小化させる方法がある。例えば、ニューラルネットワークが“ｘ”の入力に対して“ｙ”を出力する場合、これは“θ”なるパラメータを有する“ｆ”なる関数により“ｙ＝ｆ（θ：ｘ）”として表現される。そこで、適正な組み合わせのｎ個の学習データ“ｘｉ ，ｙｉ ”（ｉ＝１〜ｎ）を用意し、学習データ“ｘｉ ”をニューラルネットワークに入力し、このニューラルネットワークから出力されるデータ“ｙ”と学習データ“ｙｉ ”とを比較し、この隔たりを示す損失関数
【０００４】
【数９】
が最小化されるようパラメータ“θ”を修正する。このようにニューラルネットワークのパラメータ“θ”を修正することにより、このパラメータ“θ”を真のパラメータに収束させることができるので、データ“ｘ”の入力に対して適正なデータ“ｙ”を出力するようにニューラルネットワークを学習させることができる。
【０００６】
現在、このような損失関数によるニューラルネットワークの学習方法の改良案として、損失関数に適当な正則化項を付加することが知られている。この場合、損失関数に正則化項“λＱ（θ）”を付加した関数
【０００７】
【数１０】
を想定し、これが最小化されるようニューラルネットワークのパラメータ“θ”を修正する。なお、以下の説明では、損失関数に正則化項を付加した関数を付加損失関数と呼称する。
【０００９】
【発明が解決しようとする課題】
上述のように付加損失関数により、さらに良好にニューラルネットワークを学習させることができる。
【００１０】
しかし、上述のような付加損失関数を利用したニューラルネットワークの学習方法は、真のパラメータ“θ”が一つの場合には有効であるが、真のパラメータ“θ”が複数の場合には、その限りでない。
【００１１】
請求項１記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習装置において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１１】
【数１２】
正則化項の係数“λ”が、
λ＝−α n ／ｎ
０＜α n ＜ｎ
を満足する。
【００１６】
請求項２記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習装置において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１３】
【数１４】
正則化項の係数“λ”が、
λ＝−α n ／ｎ
０＜α n ＜√ｎ
を満足する。
【００２１】
請求項３記載の発明は、請求項１又は２記載の発明において、正則化項をパラメータの個数が少ない数式により設定した。
【００２２】
請求項４記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習方法において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１５】
【数１６】
正則化項の係数“λ”が、
λ＝−α n ／ｎ
０＜α n ＜ｎ
を満足する。
【００２７】
請求項５記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習方法において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１７】
【数１８】
正則化項の係数“λ”が、
λ＝−α n ／ｎ
０＜α n ＜√ｎ
を満足する。
【００３２】
請求項６記載の発明は、請求項４又は５記載の発明において、正則化項をパラメータの個数が少ない数式により設定した。
【００３３】
【作用】
請求項１及び４記載の発明では、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ ／ｎ
０＜αｎ ＜ｎ
を満足するので、ニューラルネットワークのパラメータ“θ”が真のパラメータの任意の一つに収束される。
【００３４】
請求項２及び５記載の発明では、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ ／ｎ
０＜αｎ ＜√ｎ
を満足するので、ニューラルネットワークのパラメータ“θ”が複数の真のパラメータの特定の一つに収束される。
【００３５】
請求項３及び６記載の発明では、正則化項の数式のパラメータの個数が少ないので、ニューラルネットワークのパラメータ“θ”が、複数の真のパラメータのうち結合荷重のパラメータの個数が少ないものに収束される。
【００３６】
【実施例】
本発明の一実施例を図１及び図２に基づいて以下に説明する。まず、本実施例の学習装置１は、図１に示すように、データ記憶手段２、データ入力手段３、データ比較手段４、パラメータ修正手段５、を有しており、ニューラルネットワーク６に接続されている。
【００３７】
このニューラルネットワーク６は、可変自在なパラメータ“θ”を有する関数“ｆ”が設定された多層パーセプトロンからなり、データ“ｘ”の入力に対してデータ“ｙ”を出力する。
【００３８】
そして、前記データ記憶手段２には、ニューラルネットワーク６の学習に適正な組み合わせの学習データ“ｘｉ ，ｙｉ ”が予め設定されている。前記データ入力手段３は、前記データ記憶手段２から一つの学習データ“ｘｉ ”を読み出して前記ニューラルネットワーク６に入力し、前記データ比較手段４は、前記ニューラルネットワーク６から出力されるデータ“ｙ”と前記データ記憶手段２から読み出した学習データ“ｙｉ ”とを比較する。前記パラメータ修正手段５は、“ｙ”と“ｙｉ ”との隔たりを示す付加損失関数が予め設定されており、この付加損失関数が最小化されるよう前記ニューラルネットワーク６のパラメータ“θ”を設定する。
【００３９】
そして、本実施例の学習装置１では、損失関数
【００４０】
【数１９】
と正則化項“λＱ（θ）”とからなる関数である付加損失関数が
【００４２】
【数２０】
として設定されており、
λ＝−αｎ ／ｎ
０＜αｎ ＜ｎ
を満足する。なお、付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”は、
【００４４】
【数２１】
として、パラメータの個数が少ない数式により設定されている。
【００４６】
このような構成において、本実施例の学習装置１におけるニューラルネットワーク６の学習方法を、図２に基づいて以下に説明する。
【００４７】
まず、パラメータ修正手段５によりニューラルネットワーク６のパラメータ“θ”をランダムに初期化し、データ入力手段３によりデータ記憶手段２から一つの学習データ“ｘｉ ”を読み出してニューラルネットワーク６に入力する。すると、このニューラルネットワーク６は、パラメータ“θ”を有する関数“ｆ”により、学習データ“ｘｉ ”の入力に対応してデータ“ｙ”を出力する。この時、データ比較手段４は、学習データ“ｘｉ ”に対応した学習データ“ｙｉ ”をデータ記憶手段２から読み出しており、この学習データ“ｙｉ ”とニューラルネットワーク６の出力データ“ｙ”とを比較する。
【００４８】
そこで、パラメータ修正手段５は、比較結果を評価してニューラルネットワーク６のパラメータ“θ”を修正し、この“θ”で付加損失関数“Ｌｎ（θ）”を計算する。つぎに、この付加損失関数“Ｌｎ（θ）”を充分に小さな閾値“ε”と比較し、この閾値“ε”より付加損失関数“Ｌｎ（θ）”が小さい場合は処理を終了する。なお、閾値“ε”より付加損失関数“Ｌｎ（θ）”が大きい場合は、データ入力手段３によりデータ記憶手段２から次の学習データ“ｘｉ ”が読み出されて処理が繰り返される。
【００４９】
上述のように学習をｎ個の学習データにより順次繰り返すことにより、付加損失関数“Ｌｎ（θ）”が最小化されるよう、ニューラルネットワーク６のパラメータ“θ”が設定されるので、これは真のパラメータに確率収束される。この時、本実施例の学習装置１では、付加損失関数“Ｌｎ（θ）”が
【００５０】
【数２２】
として設定されており、
０＜αｎ ＜ｎ
を満足するので、真のパラメータが複数の場合でも、ニューラルネットワーク６のパラメータ“θ”は真のパラメータの一つに確率収束される。しかも、正則化項“λＱ（θ）”が、
【００５２】
【数２３】
として、パラメータの個数が少ない数式により設定されているので、学習データ“ｘｉ ，ｙｉ ”の個数が増大すると、ニューラルネットワーク６のパラメータ“θ”は、真のパラメータの集合のうち個数が最小のものに確率収束される。
【００５４】
そこで、このことを以下に順次説明する。なお、より詳細には、本発明者が発表した“「縮退したＦｉｓｈｅｒ 情報行列を持つ系の学習について」信学技報 ＮＣ９４−５６（１９９４−１２）Ｐ４１〜Ｐ４８ ”に開示されている。また、以下の説明では、最適な組み合わせの学習データ“ｘ，ｙ”を一つの学習データ“ｘ”として表現する。
【００５５】
まず、推定するパラメータ“θ”の確率密度“Ｐ（ｘ｜θ）”により、付加損失関数
【００５６】
【数２４】
を設定する。真のパラメータの集合“Θ”が一点ではなく多様体であると想定し、ここでは“θ＝（θ１ ，θ２）（θ１ ∈Θ）”と表現する（なお、“θ２ ”は“θ１ ”毎に局所座標に従って“δθ １”にユークリッドの意味で直角になるようにとる）。すると、付加損失関数は、
【００５８】
【数２５】
となるので、一般的な一致性として“θ１ →Θ”を仮定すると、“θ２ →０”となる。つまり、
【００６０】
【数２６】
となる。なお、
Ｒ＝Ｏ（θ２ ３）＋（αｎ ／ｎ）Ｏ（θ２ ２）
である。
【００６２】
この場合、第一項は、“θ”によらない定数であり、第二項は、中心極限定理により平均が“０”で共分散行列が“Ｆ（θ１）／√ｎ”であるような正規分布に従う。なお、
【００６３】
【数２７】
であり、第三項は、大数の定理により、
−（１／２）Ｆ（θ１）θ２θ２′
に収束される。
【００６５】
以上のことより、“ｖ”を“Ｎ（０，Ｉ）に従う確率変数とすると（“Ｉ”は“Ｆ（θ１）”次の単位行列）、
【００６６】
【数２８】
となる。なお、“Ｒ′”は、
Ｒ′＝Ｏ（θ２ ３）＋Ｏ（１／√ｎ）Ｏ（θ２ ２）＋Ｏ（１／ｎ）Ｏ（θ２）＋（αｎ／ｎ）Ｏ（θ２ ２）
であるので、平方完成すると、
【００６８】
【数２９】
となる。この場合、“Ｆ（θ１）＞０”とすると、第一項を“０”にするような“θ２ ”をとることができる（但し、αｎ ＝ ｏ（√ｎ）の仮定は必要）。この時、第二項の大きさは“αｎ ／ｎ＋‖ｖ‖２ ／２ｎ”となるが、“‖ｖ‖２ ”について学習データの出方の平均をとると“ｒａｎｋＦ（θ１）”となる。
【００７０】
従って、“θ１ ”が“θ０（これは“Ｑ（θ１，０）”を最大にする“θ１ ”である）”に収束される十分条件は、付加損失関数が
【００７１】
【数３０】
の場合に、正則化項の係数“λ”が、
λ＝−αｎ ／ｎ
０＜αｎ ＜ｎ
を満足することである。この条件を満足した場合、
【００７３】
【数３１】
となり、その分布は、
【００７５】
【数３２】
である。なお、
【００７７】
【数３３】
である。
【００７９】
しかも、本実施例の学習装置１の学習方法では、付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”が、
【００８０】
【数３４】
として、パラメータ“θ”の個数が少ない数式により設定されているので、ニューラルネットワーク６のパラメータ“θ”は、複数の真のパラメータのうち結合荷重のパラメータの個数が少ないものに収束される。このようにパラメータ“θ”の個数が少ない数式は、
【００８２】
【数３５】
など、
【００８４】
【数３６】
の形であれば良い。
【００８６】
なお、本実施例では付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”の係数が“−αｎ ／ｎ”の場合に“０＜αｎ ＜ｎ”を満足することにより、ニューラルネットワーク６のパラメータ“θ”を、真のパラメータの任意の一つに確率収束させることを例示した。しかし、本発明は上記実施例に限定されるものではなく、“０＜αｎ ＜√ｎ”を満足することにより、ニューラルネットワーク６のパラメータ“θ”を、真のパラメータのうち正則化項“λＱ（θ）”を最大とする特定の一つに確率収束させることも可能である。
【００８７】
また、本実施例の学習装置１では、付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”の係数が“−αｎ ／ｎ”の場合に、“０＜αｎ ＜ｎ”か“０＜αｎ ＜√ｎ”かを満足することを例示したが、これを“１＜αｎ ＜ｎ”や“１＜αｎ ＜√ｎ”とすることにより、より良好にパラメータを確率収束させることも可能である。さらに、本実施例では、ニューラルネットワーク６が多層パーセプトロンからなることを例示したが、本発明は上記実施例に限定されるものではなく、ボルツマンマシンなどのニューラルネットワークにも適用可能である。
【００８８】
【発明の効果】
請求項１及び４記載の発明は、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ ／ｎ
０＜αｎ ＜ｎ
を満足することにより、ニューラルネットワークのパラメータ“θ”を真のパラメータの一つに収束させることができる。
【００８９】
請求項２及び５記載の発明は、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ ／ｎ
０＜αｎ ＜√ｎ
を満足することにより、ニューラルネットワークのパラメータ“θ”を、真のパラメータのうち正則化項“λＱ（θ）”を最大とする特定の一つに収束させることができる。
【００９０】
請求項３及び６記載の発明では、正則化項の数式のパラメータの個数が少ないことにより、ニューラルネットワークのパラメータ“θ”を、複数の真のパラメータのうち結合荷重のパラメータの個数が少ないものに収束させることができる。
【図面の簡単な説明】
【図１】本発明の一実施例のニューラルネットワークの学習装置を示すブロック図である。
【図２】ニューラルネットワークの学習方法を示すフローチャートである。
【符号の説明】
１ 学習装置
３ データ入力手段
４ データ比較手段
５ パラメータ修正手段
６ ニューラルネットワーク
Claims (6)
- パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習装置において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜ｎ
を満足することを特徴とするニューラルネットワークの学習装置。 - パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習装置において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜√ｎ
を満足することを特徴とするニューラルネットワークの学習装置。 - 正則化項をパラメータの個数が少ない数式により設定したことを特徴とする請求項１又は２記載のニューラルネットワークの学習装置。
- パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習方法において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜ｎ
を満足することを特徴とするニューラルネットワークの学習方法。 - パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘ i ，ｙ i ”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘ i ”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘ i ”に対応する“ｙ i ”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙ i ”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習方法において、
前記データ比較手段が前記データ入力手段により学習データ“ｘ i ”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙ i ”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜√ｎ
を満足することを特徴とするニューラルネットワークの学習方法。 - 正則化項をパラメータの個数が少ない数式により設定したことを特徴とする請求項４又は５記載のニューラルネットワークの学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01181195A JP3618007B2 (ja) | 1995-01-27 | 1995-01-27 | ニューラルネットワークの学習装置及び学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01181195A JP3618007B2 (ja) | 1995-01-27 | 1995-01-27 | ニューラルネットワークの学習装置及び学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08202674A JPH08202674A (ja) | 1996-08-09 |
| JP3618007B2 true JP3618007B2 (ja) | 2005-02-09 |
Family
ID=11788208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01181195A Expired - Fee Related JP3618007B2 (ja) | 1995-01-27 | 1995-01-27 | ニューラルネットワークの学習装置及び学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3618007B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11586925B2 (en) | 2017-09-29 | 2023-02-21 | Samsung Electronics Co., Ltd. | Neural network recogntion and training method and apparatus |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6729676B2 (ja) | 2016-02-24 | 2020-07-22 | 日本電気株式会社 | ニューラルネットワーク学習装置、ニューラルネットワーク学習方法及びプログラム |
-
1995
- 1995-01-27 JP JP01181195A patent/JP3618007B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11586925B2 (en) | 2017-09-29 | 2023-02-21 | Samsung Electronics Co., Ltd. | Neural network recogntion and training method and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08202674A (ja) | 1996-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Suykens et al. | Least squares support vector machine classifiers | |
| US4979126A (en) | Neural network with non-linear transformations | |
| Bruske et al. | Dynamic cell structure learns perfectly topology preserving map | |
| JP7310351B2 (ja) | 情報処理方法及び情報処理装置 | |
| Song et al. | A self-organizing neural tree for large-set pattern classification | |
| CN111583263A (zh) | 一种基于联合动态图卷积的点云分割方法 | |
| WO2005083632A1 (ja) | 参照データ最適化学習方法とパターン認識システム | |
| CN115731441A (zh) | 基于数据跨模态迁移学习的目标检测和姿态估计方法 | |
| US5317675A (en) | Neural network pattern recognition learning method | |
| JP3618007B2 (ja) | ニューラルネットワークの学習装置及び学習方法 | |
| CN113706524B (zh) | 基于持续学习方法改进的卷积神经网络翻拍图像检测系统 | |
| JP3035106B2 (ja) | 大規模情報認識回路 | |
| Banik et al. | Offline signature authentication: A back propagation-neural network approach | |
| Shokri et al. | Q (/spl Lambda/)-based image thresholding | |
| Brouwer | A fuzzy recurrent artificial neural network (frann) for pattern classification | |
| JPH0991264A (ja) | ニューラルネットワーク構造最適化装置ならびに方法 | |
| CN109784477B (zh) | 一种用于对比神经网络训练的采样的方法及系统 | |
| Li et al. | A Novel Method to Fix Numbers of Hidden Neurons in Deep Neural Networks | |
| Jodogne et al. | Approximate policy iteration for closed-loop learning of visual tasks | |
| CN116050503B (zh) | 一种通用化的神经网络前向训练方法 | |
| JPH04311254A (ja) | ニューラル・ネットワーク及びその制御方法及びニューラル・ネットワーク用演算装置 | |
| Tagliaferri et al. | A supervised fuzzy clustering for radial basis function neural networks training | |
| Pal et al. | A multilayer self-organizing model for convex-hull computation | |
| Herpers et al. | Evaluation of local image structures applying a DCS network | |
| JP3027874B2 (ja) | 神経回路網及びそのパターン認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040630 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040830 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041108 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |