JPH0793296A - 多価関数学習方法 - Google Patents
多価関数学習方法Info
- Publication number
- JPH0793296A JPH0793296A JP23350893A JP23350893A JPH0793296A JP H0793296 A JPH0793296 A JP H0793296A JP 23350893 A JP23350893 A JP 23350893A JP 23350893 A JP23350893 A JP 23350893A JP H0793296 A JPH0793296 A JP H0793296A
- Authority
- JP
- Japan
- Prior art keywords
- function
- equation
- learning
- input
- functions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【目的】 入出力サンプリングデータから系の入出力関
係を表現する多価関数を変分法による学習によって求
め、その結果により未知の入力データに対する出力値を
推定できるような関数近似に基づく多価関数学習方法を
提供することである。 【構成】 入出力サンプリングデータｘ↑，ｙ↑が満足
する条件をテンソル積を用いた方程式で表現し、それが
線形となるように新たなスカラー値関数Ｆ1 ，Ｇ 1 ，Ｆ
2 ，Ｇ2 ，Ｈによって変換し、それらのスカラー値関数
などによって定義されるエネルギ汎関数の最小化問題と
して変分法を用いて解き、最終的にスカラー値関数から
多価関数への逆変換を行なって系の入出力関数を学習す
る。
係を表現する多価関数を変分法による学習によって求
め、その結果により未知の入力データに対する出力値を
推定できるような関数近似に基づく多価関数学習方法を
提供することである。 【構成】 入出力サンプリングデータｘ↑，ｙ↑が満足
する条件をテンソル積を用いた方程式で表現し、それが
線形となるように新たなスカラー値関数Ｆ1 ，Ｇ 1 ，Ｆ
2 ，Ｇ2 ，Ｈによって変換し、それらのスカラー値関数
などによって定義されるエネルギ汎関数の最小化問題と
して変分法を用いて解き、最終的にスカラー値関数から
多価関数への逆変換を行なって系の入出力関数を学習す
る。
Description
【０００１】
【産業上の利用分野】この発明は、多価関数学習方法に
関し、少数の入出力サンプルデータから、系の入出力関
数を学習し、結果から未知の入力データに対する出力の
推定を行なう関数近似による多価関数学習方法に関す
る。
関し、少数の入出力サンプルデータから、系の入出力関
数を学習し、結果から未知の入力データに対する出力の
推定を行なう関数近似による多価関数学習方法に関す
る。
【０００２】
【従来の技術】従来の関数近似による学習では、各点で
複数の値を持つ多価関数を扱うことはできない。そこ
で、以下、１価スカラー値関数の場合の学習方法につい
て説明する。
複数の値を持つ多価関数を扱うことはできない。そこ
で、以下、１価スカラー値関数の場合の学習方法につい
て説明する。
【０００３】入力ベクトルをｘ↑（以下、ベクトルを表
すときは↑を付ける。）＝（ｘ1 ，ｘ2 ，…，ｘn ）、
出力値をｙとし、学習サンプルデータとしてＮ個の入出
力ベクトルの値（ｘ↑(i) ，ｙ(i) ）（ｉ＝１，２，
…，Ｎ）が与えられたものとする。このとき、学習のた
めの１価スカラー関数ｆ（ｘ↑）による関数近似は、た
とえば、T.Poggio and F.Girosi によって書かれた“Ne
tworks for approximation and learning ”，Proceedi
ng of IEEE, vol.78,no.9(1990) で示される第（１）式
のようなエネルギ汎関数の最小化問題として定式化でき
る。なお、第（１）式において、Ｓは、学習される関数
の滑らかさを表わす演算子であり、λは、滑らかさの強
さを表わす正の定数である。また、‖ ‖2 は、関数空
間の２乗ノルムであり、第（２）式で示されるように定
義される。
すときは↑を付ける。）＝（ｘ1 ，ｘ2 ，…，ｘn ）、
出力値をｙとし、学習サンプルデータとしてＮ個の入出
力ベクトルの値（ｘ↑(i) ，ｙ(i) ）（ｉ＝１，２，
…，Ｎ）が与えられたものとする。このとき、学習のた
めの１価スカラー関数ｆ（ｘ↑）による関数近似は、た
とえば、T.Poggio and F.Girosi によって書かれた“Ne
tworks for approximation and learning ”，Proceedi
ng of IEEE, vol.78,no.9(1990) で示される第（１）式
のようなエネルギ汎関数の最小化問題として定式化でき
る。なお、第（１）式において、Ｓは、学習される関数
の滑らかさを表わす演算子であり、λは、滑らかさの強
さを表わす正の定数である。また、‖ ‖2 は、関数空
間の２乗ノルムであり、第（２）式で示されるように定
義される。
【０００４】次に、たとえば演算子Ｓとして、第（３）
式に示すような１回の微分演算子を用いると、学習サン
プルデータが最小２乗の意味で最適に近似され、かつ、
なるべく定数関数に近くなるような関数が学習される。
そこで、第（１）式に示されるエネルギ汎関数Ｅ
(1) ［ｆ（ｘ↑）］の最小化問題を変分法で解くと、第
（４）式に示すような関数近似によって、ｆ（ｘ↑）
は、学習されることが知られている。なお、第（４）式
において、関数Ｋ（ｘ↑，ｘ↑′）は、演算子Ｓのグリ
ーン関数であり、その具体的導出に関しては、並木美喜
雄著、「デルタ関数と微分方程式」、岩波書店（１９８
２）などに書かれている。また、係数ｃi は、第（５）
式に示すＮ元連立一次方程式の解として求まる。ここ
で、第（５）式に示すＫ* ，Ｉ* ，ｃ↑，ｙ↑は、それ
ぞれＫ* ＝（Ｋ（ｘ↑i ，ｘ↑j ））の行列（以下、行
列を表わすときには* をつける。）、Ｎ次の単位行列、
ｃ↑＝（ｃ1，ｃ2 ，…，ｃN ）T （T は、転置を表わ
す）、ｙ↑＝（ｙ(1) ，ｙ(2) ，…，ｙ(N) ）T で表さ
れるものである。
式に示すような１回の微分演算子を用いると、学習サン
プルデータが最小２乗の意味で最適に近似され、かつ、
なるべく定数関数に近くなるような関数が学習される。
そこで、第（１）式に示されるエネルギ汎関数Ｅ
(1) ［ｆ（ｘ↑）］の最小化問題を変分法で解くと、第
（４）式に示すような関数近似によって、ｆ（ｘ↑）
は、学習されることが知られている。なお、第（４）式
において、関数Ｋ（ｘ↑，ｘ↑′）は、演算子Ｓのグリ
ーン関数であり、その具体的導出に関しては、並木美喜
雄著、「デルタ関数と微分方程式」、岩波書店（１９８
２）などに書かれている。また、係数ｃi は、第（５）
式に示すＮ元連立一次方程式の解として求まる。ここ
で、第（５）式に示すＫ* ，Ｉ* ，ｃ↑，ｙ↑は、それ
ぞれＫ* ＝（Ｋ（ｘ↑i ，ｘ↑j ））の行列（以下、行
列を表わすときには* をつける。）、Ｎ次の単位行列、
ｃ↑＝（ｃ1，ｃ2 ，…，ｃN ）T （T は、転置を表わ
す）、ｙ↑＝（ｙ(1) ，ｙ(2) ，…，ｙ(N) ）T で表さ
れるものである。
【０００５】
【数１】
【０００６】
【発明が解決しようとする課題】上記のように関数近似
による学習では、１価スカラー値関数の場合の学習のみ
が行なわれていた。そのため、多価関数で系をモデル化
するには、他の方法が用いられていた。すなわち、学習
のための入出力サンプルデータを１価関数で近似される
複数の群に分割するクラスタリングの操作と、クラスタ
リングされた入出力データをそれぞれ別の１価関数で近
似する操作とを結果が変化しなくなるまで繰返す必要の
あるものであった。
による学習では、１価スカラー値関数の場合の学習のみ
が行なわれていた。そのため、多価関数で系をモデル化
するには、他の方法が用いられていた。すなわち、学習
のための入出力サンプルデータを１価関数で近似される
複数の群に分割するクラスタリングの操作と、クラスタ
リングされた入出力データをそれぞれ別の１価関数で近
似する操作とを結果が変化しなくなるまで繰返す必要の
あるものであった。
【０００７】したがって、この方法では、結果を得るた
めの計算量が膨大であったり、計算が収束しなくなる場
合があるという問題があった。
めの計算量が膨大であったり、計算が収束しなくなる場
合があるという問題があった。
【０００８】ゆえに、この発明は上記のような問題を解
決し、多価関数の学習であっても、入出力データのクラ
スタリングを行なうことなく、関数近似である変分法の
みを用いて多価関数の学習を行なうことができるような
多価関数学習方法を提供することである。
決し、多価関数の学習であっても、入出力データのクラ
スタリングを行なうことなく、関数近似である変分法の
みを用いて多価関数の学習を行なうことができるような
多価関数学習方法を提供することである。
【０００９】
【課題を解決するための手段】この発明に係る多価関数
学習方法は、ｎ次元空間において与えられた多層をなす
ｍ次元データを最適に近似するｎ次元入力空間からｍ次
元出力空間への滑らかな関数を学習によって系の入出力
関数として求める多価関数学習方法であって、ｎ次元空
間に学習サンプリングデータとして与えられたｍ次元デ
ータが満足すべき条件を与える多価関数を、テンソル積
で結合された方程式で表現する第１のステップ、第１の
ステップで表現された方程式を複数のスカラー値関数に
ついての線形方程式に変換する第２のステップ、複数の
スカラー値関数の滑らかの程度を表わす演算子と複数の
スカラー値関数とを用いて、学習による関数近似を最小
化問題として定式化するためにエネルギ汎関数を導入す
る第３のステップ、エネルギ汎関数の最小化問題を変分
法を用いて解き、複数のスカラー値関数を求める第４の
ステップ、および第２のステップによって行なった変換
の逆変換を行なって求められた複数のスカラー値関数か
ら多価関数を求め、これを系の入出力関数とする第５の
ステップを含む。
学習方法は、ｎ次元空間において与えられた多層をなす
ｍ次元データを最適に近似するｎ次元入力空間からｍ次
元出力空間への滑らかな関数を学習によって系の入出力
関数として求める多価関数学習方法であって、ｎ次元空
間に学習サンプリングデータとして与えられたｍ次元デ
ータが満足すべき条件を与える多価関数を、テンソル積
で結合された方程式で表現する第１のステップ、第１の
ステップで表現された方程式を複数のスカラー値関数に
ついての線形方程式に変換する第２のステップ、複数の
スカラー値関数の滑らかの程度を表わす演算子と複数の
スカラー値関数とを用いて、学習による関数近似を最小
化問題として定式化するためにエネルギ汎関数を導入す
る第３のステップ、エネルギ汎関数の最小化問題を変分
法を用いて解き、複数のスカラー値関数を求める第４の
ステップ、および第２のステップによって行なった変換
の逆変換を行なって求められた複数のスカラー値関数か
ら多価関数を求め、これを系の入出力関数とする第５の
ステップを含む。
【００１０】
【作用】この発明に係る多価関数学習方法は、多価関数
をテンソル積の形で直接数学的に表現し、関数近似を最
小化問題として導入したエネルギ汎関数を変分法を用い
て解き、複数のスカラー値関数を求めることにより、そ
の複数のスカラー値関数から系の入出力関数である多価
関数を求めることができる。
をテンソル積の形で直接数学的に表現し、関数近似を最
小化問題として導入したエネルギ汎関数を変分法を用い
て解き、複数のスカラー値関数を求めることにより、そ
の複数のスカラー値関数から系の入出力関数である多価
関数を求めることができる。
【００１１】
【実施例】図１は、この発明の一実施例による多価関数
学習方法を説明するためのフロー図であり、図２は、図
１における係数ｐi ，ｑi ，ｒi （ｉ＝１，２，…，
Ｎ）を決定することを説明するためのフロー図であり、
図３は、この発明の一実施例による多価関数学習方法と
して用いた２価関数の学習結果の一例を示した図であ
り、ｘ軸を入力とし、ｙ軸を出力とした。
学習方法を説明するためのフロー図であり、図２は、図
１における係数ｐi ，ｑi ，ｒi （ｉ＝１，２，…，
Ｎ）を決定することを説明するためのフロー図であり、
図３は、この発明の一実施例による多価関数学習方法と
して用いた２価関数の学習結果の一例を示した図であ
り、ｘ軸を入力とし、ｙ軸を出力とした。
【００１２】図１および図２を参照して、多価ベクトル
値関数の学習の一実施例として、２価２次元ベクトル値
関数の学習の場合について説明する。なお、原理を先に
説明するため、図１および図２のそれぞれのステップに
相当する部分を適宜示していく。
値関数の学習の一実施例として、２価２次元ベクトル値
関数の学習の場合について説明する。なお、原理を先に
説明するため、図１および図２のそれぞれのステップに
相当する部分を適宜示していく。
【００１３】まず、出力の２次元ベクトルｙ↑をｙ↑＝
（ｙ1 ，ｙ2 ）のように表し、Ｎ個のサンプリングデー
タを（ｘ↑(i) ，ｙ↑(i) ）（ｉ＝１，２，…，Ｎ）と
する。そこで、第（６）式および第（７）式に示すよう
に、２価２次元ベクトル値関数を２個の２次元ベクトル
値関数を用いて表現する。これは、ステップ（図面では
Ｓで表わす）５に相当する。
（ｙ1 ，ｙ2 ）のように表し、Ｎ個のサンプリングデー
タを（ｘ↑(i) ，ｙ↑(i) ）（ｉ＝１，２，…，Ｎ）と
する。そこで、第（６）式および第（７）式に示すよう
に、２価２次元ベクトル値関数を２個の２次元ベクトル
値関数を用いて表現する。これは、ステップ（図面では
Ｓで表わす）５に相当する。
【００１４】２価２次元ベクトル値関数の学習は、学習
サンプリングデータ（ｘ↑(i) ，ｙ↑(i) ）が第（６）
式かあるいは第（７）式のいずれか少なくとも一方を満
たすべきであるという条件の下で、図３に示すような滑
らかな関数ｆ↑1 （ｘ↑）およびｆ↑2 （ｘ↑）を求め
る問題になる。ところが、各ｉに対して学習サンプリン
グデータ（ｘ↑(i) ，ｙ↑(i) ）が第（６）式あるいは
第（７）式のどちらを満たすかという情報は予めは与え
られていないので、関数ｆ↑1 （ｘ↑）とｆ↑ 2 （ｘ
↑）を別々に学習することはできない。
サンプリングデータ（ｘ↑(i) ，ｙ↑(i) ）が第（６）
式かあるいは第（７）式のいずれか少なくとも一方を満
たすべきであるという条件の下で、図３に示すような滑
らかな関数ｆ↑1 （ｘ↑）およびｆ↑2 （ｘ↑）を求め
る問題になる。ところが、各ｉに対して学習サンプリン
グデータ（ｘ↑(i) ，ｙ↑(i) ）が第（６）式あるいは
第（７）式のどちらを満たすかという情報は予めは与え
られていないので、関数ｆ↑1 （ｘ↑）とｆ↑ 2 （ｘ
↑）を別々に学習することはできない。
【００１５】そこで、第（６）式および第（７）式を、
たとえば横沼健雄著、「テンソル空間と外積代数、岩波
講座基礎数学」岩波書店（１９８７）で示されているテ
ンソル積（クロネッカー積）によって合成する。これに
より、第（８）式に示される関係が系の入出力関係関係
であると考えることができる。第（８）式で示される方
程式は、学習サンプリングデータ（ｘ↑(i) ，ｙ
↑(i) ）が第（６）式あるいは第（７）式のいずれか少
なくとも一方を満たすべきであるという条件を数学的に
厳密に表現しており、成分に分けて表せば、第（９）式
のようになる。さらに、問題の題意から、ｆ↑1 （ｘ
↑）とｆ↑2 （ｘ↑）との間に交換関係が成り立たなけ
ればならないので、第（１０）式に示すような条件が必
要となる。したがって、第（１２）式に基づいて、第
（９）式を具体的にすると、第（１１）式に示すような
３個の方程式が導かれる。ここまでは、ステップ４に相
当する。ただし、図１において、ｆ+,1 （ｘ↑）、ｆ
-,1 （ｘ↑）、ｆ+,2 （ｘ↑）およびｆ -,2 （ｘ↑）と
表していることについては後で説明する。
たとえば横沼健雄著、「テンソル空間と外積代数、岩波
講座基礎数学」岩波書店（１９８７）で示されているテ
ンソル積（クロネッカー積）によって合成する。これに
より、第（８）式に示される関係が系の入出力関係関係
であると考えることができる。第（８）式で示される方
程式は、学習サンプリングデータ（ｘ↑(i) ，ｙ
↑(i) ）が第（６）式あるいは第（７）式のいずれか少
なくとも一方を満たすべきであるという条件を数学的に
厳密に表現しており、成分に分けて表せば、第（９）式
のようになる。さらに、問題の題意から、ｆ↑1 （ｘ
↑）とｆ↑2 （ｘ↑）との間に交換関係が成り立たなけ
ればならないので、第（１０）式に示すような条件が必
要となる。したがって、第（１２）式に基づいて、第
（９）式を具体的にすると、第（１１）式に示すような
３個の方程式が導かれる。ここまでは、ステップ４に相
当する。ただし、図１において、ｆ+,1 （ｘ↑）、ｆ
-,1 （ｘ↑）、ｆ+,2 （ｘ↑）およびｆ -,2 （ｘ↑）と
表していることについては後で説明する。
【００１６】
【数２】
【００１７】次に、４個のスカラー値関数ｆ1,1 （ｘ
↑）、ｆ1,2 （ｘ↑）、ｆ2,1 （ｘ↑）およびｆ
2,2 （ｘ↑）の代わりに５個のスカラー値関数Ｆ1 （ｘ
↑），Ｆ2 （ｘ↑）、Ｇ1 （ｘ↑）、Ｇ2 （ｘ↑）およ
びＨ（ｘ↑）を第（１２）式に示すように定義する。こ
れは、ステップ３に相当する。ただし、ｆ+,1 （ｘ
↑）、ｆ-, 1 （ｘ↑）、ｆ+,2 （ｘ↑）およびｆ
-,2 （ｘ↑）については後で説明する。これにより、第
（１１）式で示される３個の方程式は、第（１３）式に
示すようにスカラー値関数Ｆ1 （ｘ↑），Ｆ2 （ｘ
↑）、Ｇ1 （ｘ↑）、Ｇ2 （ｘ↑）およびＨ（ｘ↑）に
関してすべて線形になる。
↑）、ｆ1,2 （ｘ↑）、ｆ2,1 （ｘ↑）およびｆ
2,2 （ｘ↑）の代わりに５個のスカラー値関数Ｆ1 （ｘ
↑），Ｆ2 （ｘ↑）、Ｇ1 （ｘ↑）、Ｇ2 （ｘ↑）およ
びＨ（ｘ↑）を第（１２）式に示すように定義する。こ
れは、ステップ３に相当する。ただし、ｆ+,1 （ｘ
↑）、ｆ-, 1 （ｘ↑）、ｆ+,2 （ｘ↑）およびｆ
-,2 （ｘ↑）については後で説明する。これにより、第
（１１）式で示される３個の方程式は、第（１３）式に
示すようにスカラー値関数Ｆ1 （ｘ↑），Ｆ2 （ｘ
↑）、Ｇ1 （ｘ↑）、Ｇ2 （ｘ↑）およびＨ（ｘ↑）に
関してすべて線形になる。
【００１８】次に、２価２次元ベクトル値関数の学習の
ためのエネルギ汎関数Ｅ(2,2) ［Ｆ 1 （ｘ↑），Ｆ
2 （ｘ↑），Ｇ1 （ｘ↑），Ｇ2 （ｘ↑），Ｈ（ｘ
↑）］を第（１４）式に示すように定義する。なお、第
（１４）式において、λF1，λF2，λ G1，λG2およびλ
H は、正の定数で、それぞれの関数の滑らかさの程度を
与える。このエネルギ汎関数Ｅ(2,2) ［Ｆ1 （ｘ↑），
Ｆ2 （ｘ↑），Ｇ1 （ｘ↑），Ｇ2 （ｘ↑），Ｈ（ｘ
↑）］の最小化問題に、変分法を用いることで、スカラ
ー値関数Ｆ1 （ｘ↑），Ｆ2 （ｘ↑），Ｇ1 （ｘ↑），
Ｇ2 （ｘ↑），Ｈ（ｘ↑）が第（１５）式のように求め
られる。なお、第（１５）式において、ＫF1（ｘ↑，ｘ
↑′），ＫG1（ｘ↑，ｘ↑′），ＫF2（ｘ↑，ｘ
↑′），ＫG2（ｘ↑，ｘ↑′），ＫH （ｘ↑，ｘ↑′）
は、それぞれ演算子ＳF1，ＳG1，ＳF2，ＳG2，ＳHのグ
リーン関数である。これは、ステップ１に相当する。ま
た、ｐ↑＝（ｐ1 ，ｐ2 ，…，ｐN ）T ，ｑ↑＝
（ｑ1 ，ｑ2 ，…，ｑN ）T ，ｒ↑＝（ｒ1 ，ｒ2，
…，ｒN ）T は、図２に示すフロー図で求められる。こ
こまではステップ２に相当する。
ためのエネルギ汎関数Ｅ(2,2) ［Ｆ 1 （ｘ↑），Ｆ
2 （ｘ↑），Ｇ1 （ｘ↑），Ｇ2 （ｘ↑），Ｈ（ｘ
↑）］を第（１４）式に示すように定義する。なお、第
（１４）式において、λF1，λF2，λ G1，λG2およびλ
H は、正の定数で、それぞれの関数の滑らかさの程度を
与える。このエネルギ汎関数Ｅ(2,2) ［Ｆ1 （ｘ↑），
Ｆ2 （ｘ↑），Ｇ1 （ｘ↑），Ｇ2 （ｘ↑），Ｈ（ｘ
↑）］の最小化問題に、変分法を用いることで、スカラ
ー値関数Ｆ1 （ｘ↑），Ｆ2 （ｘ↑），Ｇ1 （ｘ↑），
Ｇ2 （ｘ↑），Ｈ（ｘ↑）が第（１５）式のように求め
られる。なお、第（１５）式において、ＫF1（ｘ↑，ｘ
↑′），ＫG1（ｘ↑，ｘ↑′），ＫF2（ｘ↑，ｘ
↑′），ＫG2（ｘ↑，ｘ↑′），ＫH （ｘ↑，ｘ↑′）
は、それぞれ演算子ＳF1，ＳG1，ＳF2，ＳG2，ＳHのグ
リーン関数である。これは、ステップ１に相当する。ま
た、ｐ↑＝（ｐ1 ，ｐ2 ，…，ｐN ）T ，ｑ↑＝
（ｑ1 ，ｑ2 ，…，ｑN ）T ，ｒ↑＝（ｒ1 ，ｒ2，
…，ｒN ）T は、図２に示すフロー図で求められる。こ
こまではステップ２に相当する。
【００１９】
【数３】
【００２０】
【数４】
【００２１】図２を参照して、ｐ↑，ｑ↑およびｒ↑
は、第（１６）式で表される３Ｎ元連立一次方程式をつ
くり、そして解くことで得られる。これは、ステップ１
２および１３に相当する。なお、第（１６）式におい
て、Ｋ* 1 ，Ｋ* 2 ，Ｋ* 3 ，Ｋ * 4 ，Ｋ* 5 ，
Ｋ* 6 ，Ｋ* 7 は、それぞれＮ×Ｎの行列で、第（１
７）式，第（１８）式，第（１９）式，第（２０）式，
第（２１）式，第（２２）式および第（２３）式で表さ
れるように定義される。また、δi,j は、クロネッカー
のδであり、ｉ＝ｊのとき１をとり、ｉ≠ｊのとき０を
とる。さらに、Ｎ次元ベクトルｚ↑1 ，ｚ↑2 ，ｚ↑3
は、それぞれ第（２４）式，第（２５）式および第（２
６）式で表されるように定義される。ここまでは、ステ
ップ１１に相当する。
は、第（１６）式で表される３Ｎ元連立一次方程式をつ
くり、そして解くことで得られる。これは、ステップ１
２および１３に相当する。なお、第（１６）式におい
て、Ｋ* 1 ，Ｋ* 2 ，Ｋ* 3 ，Ｋ * 4 ，Ｋ* 5 ，
Ｋ* 6 ，Ｋ* 7 は、それぞれＮ×Ｎの行列で、第（１
７）式，第（１８）式，第（１９）式，第（２０）式，
第（２１）式，第（２２）式および第（２３）式で表さ
れるように定義される。また、δi,j は、クロネッカー
のδであり、ｉ＝ｊのとき１をとり、ｉ≠ｊのとき０を
とる。さらに、Ｎ次元ベクトルｚ↑1 ，ｚ↑2 ，ｚ↑3
は、それぞれ第（２４）式，第（２５）式および第（２
６）式で表されるように定義される。ここまでは、ステ
ップ１１に相当する。
【００２２】第（１７）式ないし第（２８）式で定義さ
れる行列Ｋ* 1 ，Ｋ* 2 ，Ｋ* 3 ，Ｋ* 4 ，Ｋ* 5 ，Ｋ
* 6 ，Ｋ* 7 およびベクトルｚ↑1 ，ｚ↑2 ，ｚ↑3 に
よって、第（１８）式のｐ↑，ｑ↑，ｒ↑が求められ、
第（１５）式に示すスカラー値関数Ｆ1 （ｘ↑），Ｆ2
（ｘ↑），Ｇ1 （ｘ↑），Ｇ2 （ｘ↑），Ｈ（ｘ↑）が
学習される。このように学習した関数Ｆ1 （ｘ↑），Ｆ
2 （ｘ↑），Ｇ1 （ｘ↑），Ｇ2 （ｘ↑），Ｈ（ｘ↑）
から関数ｆ↑1 （ｘ↑），ｆ↑2 （ｘ↑）を以下のよう
にして求める。すなわち、まず、第（２７）式ないし第
（３０）式の計算を行い、スカラー値関数ｆ+,1 （ｘ
↑），ｆ-,1 （ｘ↑），ｆ+,2 （ｘ↑）およびｆ
-,2 （ｘ↑）を求める。求められた結果から第（３１）
式および第（３２）式に示す２組の解が得られ、その２
組の解のうち、第（３３）式で表される式が小さくなる
ものを最終的な解として決定する。第（３３）式は、４
個のスカラー関数ｆ1,1 （ｘ↑），ｆ1,2 （ｘ↑），ｆ
2,1 （ｘ↑），ｆ2,2 （ｘ↑）の代わりに５個のスカラ
ー値関数Ｆ1 （ｘ↑），Ｆ2 （ｘ↑），Ｇ1 （ｘ↑），
Ｇ2（ｘ↑），Ｈ（ｘ↑）を導入したために生じた条件
である。
れる行列Ｋ* 1 ，Ｋ* 2 ，Ｋ* 3 ，Ｋ* 4 ，Ｋ* 5 ，Ｋ
* 6 ，Ｋ* 7 およびベクトルｚ↑1 ，ｚ↑2 ，ｚ↑3 に
よって、第（１８）式のｐ↑，ｑ↑，ｒ↑が求められ、
第（１５）式に示すスカラー値関数Ｆ1 （ｘ↑），Ｆ2
（ｘ↑），Ｇ1 （ｘ↑），Ｇ2 （ｘ↑），Ｈ（ｘ↑）が
学習される。このように学習した関数Ｆ1 （ｘ↑），Ｆ
2 （ｘ↑），Ｇ1 （ｘ↑），Ｇ2 （ｘ↑），Ｈ（ｘ↑）
から関数ｆ↑1 （ｘ↑），ｆ↑2 （ｘ↑）を以下のよう
にして求める。すなわち、まず、第（２７）式ないし第
（３０）式の計算を行い、スカラー値関数ｆ+,1 （ｘ
↑），ｆ-,1 （ｘ↑），ｆ+,2 （ｘ↑）およびｆ
-,2 （ｘ↑）を求める。求められた結果から第（３１）
式および第（３２）式に示す２組の解が得られ、その２
組の解のうち、第（３３）式で表される式が小さくなる
ものを最終的な解として決定する。第（３３）式は、４
個のスカラー関数ｆ1,1 （ｘ↑），ｆ1,2 （ｘ↑），ｆ
2,1 （ｘ↑），ｆ2,2 （ｘ↑）の代わりに５個のスカラ
ー値関数Ｆ1 （ｘ↑），Ｆ2 （ｘ↑），Ｇ1 （ｘ↑），
Ｇ2（ｘ↑），Ｈ（ｘ↑）を導入したために生じた条件
である。
【００２３】
【数５】
【００２４】
【数６】
【００２５】以上のことをまとめると、まず、入力され
たサンプリングデータｘ↑に対する微分演算子ＳF1，Ｓ
F2，ＳG1，ＳG2，ＳH からそれぞれグリーン関数ＫF1，
ＫF2，ＫG1，ＫG2，ＫH を求めて、第（１５）式に示す
ような関数Ｆ1 ，Ｆ2 ，Ｇ1，Ｇ2 ，Ｈを定義する。そ
して、第（１４）式に示すようなエネルギ汎関数Ｅ(2
,2) を作り、それぞれを最小化するために変分法を適用
し、スカラー値関数Ｆ1，Ｆ2 ，Ｇ1 ，Ｇ2 ，Ｈを求め
る。なお、第（１４）式で用いられるｐ↑，ｑ↑，ｒ↑
は、第（１７）式ないし第（２６）式で定義される行列
Ｋ* 1 ，Ｋ* 2 ，Ｋ* 3 ，Ｋ* 4 ，Ｋ* 5 ，Ｋ* 6 ，Ｋ
* 7 ，ベクトルｚ↑1 ，ｚ↑2 ，ｚ↑3 についての方程
式である第（１６）式から得られる。
たサンプリングデータｘ↑に対する微分演算子ＳF1，Ｓ
F2，ＳG1，ＳG2，ＳH からそれぞれグリーン関数ＫF1，
ＫF2，ＫG1，ＫG2，ＫH を求めて、第（１５）式に示す
ような関数Ｆ1 ，Ｆ2 ，Ｇ1，Ｇ2 ，Ｈを定義する。そ
して、第（１４）式に示すようなエネルギ汎関数Ｅ(2
,2) を作り、それぞれを最小化するために変分法を適用
し、スカラー値関数Ｆ1，Ｆ2 ，Ｇ1 ，Ｇ2 ，Ｈを求め
る。なお、第（１４）式で用いられるｐ↑，ｑ↑，ｒ↑
は、第（１７）式ないし第（２６）式で定義される行列
Ｋ* 1 ，Ｋ* 2 ，Ｋ* 3 ，Ｋ* 4 ，Ｋ* 5 ，Ｋ* 6 ，Ｋ
* 7 ，ベクトルｚ↑1 ，ｚ↑2 ，ｚ↑3 についての方程
式である第（１６）式から得られる。
【００２６】したがって、学習された関数Ｆ1 ，Ｆ2 ，
Ｇ1 ，Ｇ2 ，Ｈについての方程式第（２７）式〜第（３
０）式を解くことで、第（３１）式および第（３２）式
に示されるベクトル値関数ｆ↑1 ，ｆ↑2 が２個ずつ得
られるので、第（３３）式の値の小さな関数を必要とさ
れるベクトル値関数ｆ↑1 ，ｆ↑2 とできる。これによ
り、未知の入力データｘ↑に対して、得られた関数ｆ↑
1 ，ｆ↑2 を用いれば、第（６）式および第（７）式に
よって出力ｙ↑を推定できる。
Ｇ1 ，Ｇ2 ，Ｈについての方程式第（２７）式〜第（３
０）式を解くことで、第（３１）式および第（３２）式
に示されるベクトル値関数ｆ↑1 ，ｆ↑2 が２個ずつ得
られるので、第（３３）式の値の小さな関数を必要とさ
れるベクトル値関数ｆ↑1 ，ｆ↑2 とできる。これによ
り、未知の入力データｘ↑に対して、得られた関数ｆ↑
1 ，ｆ↑2 を用いれば、第（６）式および第（７）式に
よって出力ｙ↑を推定できる。
【００２７】なお、実施例として２価２次元ベクトル値
関数の学習について示したが、他の多価多次元ベクトル
値関数についても同様であり、さらに多価スカラー値関
数であっても同様である。
関数の学習について示したが、他の多価多次元ベクトル
値関数についても同様であり、さらに多価スカラー値関
数であっても同様である。
【００２８】また、エネルギ汎関数を演算子に対するグ
リーン関数などを用いて表わし、最小化するために変分
法を利用したが、これに限定されるものでなく、他の変
分法を用いてもよい。
リーン関数などを用いて表わし、最小化するために変分
法を利用したが、これに限定されるものでなく、他の変
分法を用いてもよい。
【００２９】
【発明の効果】以上のように、この発明によれば、サン
プルデータが満足する条件をテンソル積を用いて１組の
方程式で表現し、それが線形方程式になるように複数の
スカラー値関数への変換を施し、学習されるスカラー値
関数の滑らかさの程度を演算子で与え、標準正則化問題
のエネルギ汎関数の最小化問題として定式化し、それを
変分法によって解き、スカラー値関数から多価関数への
逆変換を行なってこれを系の入出力関数とするので、実
際には連立一次方程式を１回解くだけで、多価関数の学
習を行なうことができ、少ない計算量で済む。さらに、
数学的な基礎がしっかりしているので、信頼性が高く、
学習の性能を評価しやすい。そのため、たとえば、視覚
認識情報処理における複数の解釈候補が存在するような
課題を学習によって実現する際の基本アルゴリズムとし
て、あるいは多価関数によるデータの近似が必要な分野
に応用できる。
プルデータが満足する条件をテンソル積を用いて１組の
方程式で表現し、それが線形方程式になるように複数の
スカラー値関数への変換を施し、学習されるスカラー値
関数の滑らかさの程度を演算子で与え、標準正則化問題
のエネルギ汎関数の最小化問題として定式化し、それを
変分法によって解き、スカラー値関数から多価関数への
逆変換を行なってこれを系の入出力関数とするので、実
際には連立一次方程式を１回解くだけで、多価関数の学
習を行なうことができ、少ない計算量で済む。さらに、
数学的な基礎がしっかりしているので、信頼性が高く、
学習の性能を評価しやすい。そのため、たとえば、視覚
認識情報処理における複数の解釈候補が存在するような
課題を学習によって実現する際の基本アルゴリズムとし
て、あるいは多価関数によるデータの近似が必要な分野
に応用できる。
【図１】この発明の一実施例による多価関数学習方法を
説明するためのフロー図である。
説明するためのフロー図である。
【図２】図１における係数ｐi ，ｑi ，ｒi （ｉ＝１，
２，…，Ｎ）を決定することを説明するためのフロー図
である。
２，…，Ｎ）を決定することを説明するためのフロー図
である。
【図３】この発明の一実施例による多価関数学習方法と
して用いた２価関数の学習結果の一例を示した図であ
る。
して用いた２価関数の学習結果の一例を示した図であ
る。
Claims (1)
- 【請求項１】 ｎ次元空間において与えられた多層をな
すｍ次元データを最適に近似するｎ次元入力空間からｍ
次元出力空間への滑らかな関数を学習によって系の入出
力関数として求める多価関数学習方法であって、 前記ｎ次元空間に学習サンプリングデータとして与えら
れたｍ次元データが満足すべき条件を与える多価関数
を、テンソル積で結合された方程式で表現する第１のス
テップ、 前記第１のステップで表現された方程式を複数のスカラ
ー値関数についての線形方程式に変換する第２のステッ
プ、 前記複数のスカラー値関数の滑らかの程度を表わす演算
子と前記複数のスカラー値関数とを用いて、学習による
関数近似を最小化問題として定式化するためにエネルギ
汎関数を導入する第３のステップ、 前記エネルギ汎関数の最小化問題を変分法を用いて解
き、前記複数のスカラー値関数を求める第４のステッ
プ、および前記第２のステップによって行なった変換の
逆変換を行なって前記求められた複数のスカラー値関数
から前記多価関数を求め、これを前記系の入出力関数と
する第５のステップを含む、多価関数学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23350893A JPH0793296A (ja) | 1993-09-20 | 1993-09-20 | 多価関数学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23350893A JPH0793296A (ja) | 1993-09-20 | 1993-09-20 | 多価関数学習方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0793296A true JPH0793296A (ja) | 1995-04-07 |
Family
ID=16956133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23350893A Pending JPH0793296A (ja) | 1993-09-20 | 1993-09-20 | 多価関数学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0793296A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7133855B2 (en) | 2002-04-08 | 2006-11-07 | Honda Giken Kogyo Kabushiki Kaisha | Behavior control apparatus and method |
-
1993
- 1993-09-20 JP JP23350893A patent/JPH0793296A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7133855B2 (en) | 2002-04-08 | 2006-11-07 | Honda Giken Kogyo Kabushiki Kaisha | Behavior control apparatus and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108024762B (zh) | 耳形状分析方法、耳形状分析装置以及耳形状模型生成方法 | |
| Afonso et al. | An augmented Lagrangian approach to the constrained optimization formulation of imaging inverse problems | |
| Ma et al. | Facial expression recognition using constructive feedforward neural networks | |
| Jemai et al. | Pyramidal hybrid approach: Wavelet network with OLS algorithm-based image classification | |
| JP5509488B2 (ja) | 形状を認識する方法および形状を認識する方法を実施するシステム | |
| CN105550649B (zh) | 基于全耦合局部约束表示的极低分辨率人脸识别方法及系统 | |
| JP4952979B2 (ja) | 信号分離装置、信号分離方法、ならびに、プログラム | |
| Andrews et al. | Outer product expansions and their uses in digital image processing | |
| CN111582041A (zh) | 基于cwt和mlmsffcnn的脑电识别方法 | |
| KR20170089745A (ko) | 특징점 포지셔닝 방법 및 장치 | |
| CN109887050A (zh) | 一种基于自适应字典学习的编码孔径光谱成像方法 | |
| CN111399041A (zh) | 一种小波紧框架自适应稀疏三维地震数据重构方法 | |
| US8164593B2 (en) | Systems and methods for graphical rendering | |
| KR102562387B1 (ko) | 이미지의 특징 추출 및 합성 시스템의 학습 방법 | |
| CN112241938A (zh) | 基于光滑塔克分解与高阶张量汉克化的图像修复方法 | |
| JPH0793296A (ja) | 多価関数学習方法 | |
| CN116894778A (zh) | 一种用于图像生成的扩散模型采样方法和装置 | |
| Hong et al. | Solving RED with weighted proximal methods | |
| CN116049469A (zh) | 基于参考图的多匹配搜索和超分辨率重建方法 | |
| WO2020040007A1 (ja) | 学習装置、学習方法及び学習プログラム | |
| CN112686807A (zh) | 一种图像超分辨率重构方法及系统 | |
| US8232993B2 (en) | Systems and methods for graphical rendering | |
| Ju et al. | Convolutional neural networks with discrete cosine transform features | |
| CN110827238A (zh) | 一种改进的全卷积神经网络的侧扫声纳图像特征提取方法 | |
| CN111339782B (zh) | 一种基于多层次语义解析的手语翻译系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 19990309 |