JP7384081B2 - 情報処理装置、データ分解方法、及びデータ分解プログラム - Google Patents

Description

本発明は、情報処理装置、データ分解方法、及びデータ分解プログラムに関する。

従来から、例えば、ニューラルネットワークを用いた機械学習が広く行われている。ここで、ニューラルネットワークの入力層及び出力層又は中間層との間には、例えば行列で表される重み（重み行列）が定義されている。ニューラルネットワークでは層数を多くすると、情報処理の精度が向上するものの、重み行列を用いた演算を層数に応じて行うことになり、重み行列の記憶及び重み行列を用いた演算処理に必要なメモリ容量が大きくなる。

そこで、特許文献１では、ニューラルネットワークモデルの少なくとも１つの層の重み行列を、整数の行列である基底行列と実数の行列である係数行列との積で表される近似行列で構成することが開示されている。これにより、重み行列はよりデータ数の少ない基底行列と係数行列の積で近似されることになる。この積である近似行列は、換言すると、重み行列をデータ圧縮したものである。この近似行列を重み行列の替わりに用いることで、ニューラルネットワークモデルにおける結合層の演算において、必要とするメモリ容量が小さくなり、処理時間も短くなる。

国際公開２０１８／０１６６０８号公報

ここで、特許文献１では、重み行列を実数の係数行列と整数の基底行列との積に分解するために、分解誤差を表すコスト関数を解く。より具体的には、基底行列の要素を固定して係数行列の要素を最小二乗法により最適化することで、コスト関数が最小になるように係数行列の要素を更新する。また、係数行列の要素を固定して、コスト関数が最小となるように基底行列の要素を更新する。そして、収束するまでこれらを繰り返す。

しかしながら、特許文献１に記載の方法では、基底行列及び係数行列の一方を固定して他方を変化させるため、固定した一方が適切でなければ他方を変化させても、重み行列に対して近似度の高い基底行列と係数行列との積に分解することが難しい。すなわち、重み行列に対してより近似度の高い近似行列を得ることが難しい。

本発明は上記背景に鑑み、所定のデータに対してより近似度の高い基底データと係数データとの積である近似データを得ることができる、情報処理装置、データ分解方法、及びデータ分解プログラムを提供することを目的とする。

本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。

本発明の一態様の情報処理装置（１０）は、複数の値で構成されるモデルデータを基底データと係数データとの組合せで構成される近似データで近似する情報処理装置であって、前記近似データを構成しうる候補となる基底データ候補を選択する選択手段（２０）と、前記基底データ候補を用いて近似データ候補を求め、前記近似データ候補を評価する評価指標を算出する評価指標算出手段（２２）と、前記評価指標と前記近似データ候補を構成する前記基底データ候補との関係を表す回帰式を生成する回帰式生成手段（２４）と、選択された前記基底データ候補を用いて、前記評価指標算出手段及び前記回帰式生成手段での処理を少なくとも１回以上行う繰返制御手段（２６）と、所定の終了条件を満たした時点で、前記評価指標が望ましい値を持つ前記近似データ候補を構成する前記基底データ候補を用いて前記係数データを算出する係数データ算出手段（３０）と、を備え、前記選択手段は、前記回帰式が前記評価指標をより正確に予測するように前記基底データ候補を選択する。

本発明によれば、所定のデータに対してより近似度の高い基底データと係数データとの積である近似データを得ることができる。

本実施形態の情報処理装置の概略構成図である。 本実施形態の重み行列を基底行列と係数行列とに分解する処理を示す概念図である。 本実施形態の基底行列候補の組み合わせを示す模式図である。 本実施形態の重みパラメータの確率分布を示す模式図である。 本実施形態の重み行列分解処理の流れを示すフローチャートである。 本実施形態の重み行列分解処理による実験結果を示す図である。

以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施形態に応じた具体的構成が適宜採用されてよい。

図１は、本実施形態の情報処理装置１０の電気的構成を示すブロック図である。本実施形態に係る情報処理装置１０は、量子コンピュータ等で構成される演算部１２、各種プログラム及び各種データ等が予め記憶されたＲＯＭ（Read Only Memory）１４、演算部１２による各種プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）１６、各種プログラムや各種データ等を記憶する大容量記憶装置１８を備えている。

なお、量子コンピュータとは、電子や光子などの量子力学の原理が妥当する物質を利用して、情報の基本単位（これを量子ビットという）を構成し、この量子ビットを用いて計算を行うコンピュータをいう。また、演算部１２は、量子コンピュータに限らず、古典ビット（例えばＣＭＯＳトランジスタ）により演算を行う任意のコンピュータであってもよい。また、量子コンピュータと上記任意のコンピュータとが併用されて、情報処理装置１０が構成されてもよい。すなわち、情報処理装置１０の演算部１２の全てまたは一部分が、量子コンピュータとされてもよい。

大容量記憶装置１８は、ニューラルネットワークに用いられる重み行列や、後述する重み行列分解処理を実行するためのプログラム等を記憶している。なお、大容量記憶装置１８は、例えばＨＤＤ（Hard Disk Drive）や半導体記憶装置であるが、特に限定されない。

さらに、情報処理装置１０は、キーボード及びマウス等から構成され、各種操作の入力を受け付ける操作入力部、各種画像を表示する、例えば液晶ディスプレイ装置等の画像表示部、通信回線を介して他の情報処理装置等と接続され、他の情報処理装置等との間で各種データの送受信を行う外部インタフェースを備えている。

本実施形態に係る情報処理装置１０は、複数の値で構成されるモデルデータを基底データと係数データとの組み合わせで構成される近似データに近似するものである。本実施形態では一例として基底データは整数であり、係数データは実数である。また、ここでいう組み合わせとは、一例として基底データと係数データとの積である。なお、本実施形態ではモデルデータを、一例として、複数層で構成されるニューラルネットワークモデルの層毎の重みを示す重みデータとする。

なお、本実施形態のニューラルネットワークは、一例として、自動車等の車両の自動運転に用いられるものであり、例えば、ニューラルネットワークに入力されるデータが車載カメラによる撮像で取得した画像データであり、出力は車両の自動運転に要するデータ（アクセルやブレーキの操作量、ハンドルの操作量等）である。

重みデータは行列で表すことが可能なデータ（以下「重み行列Ｗ」という。）とされ、これに伴い、基底データは基底行列Ｍとされ、係数データは係数行列Ｃとされ、近似データも近似行列Ｖとされる。しかしながら、モデルデータは、必ずしも、行列で表されるデータである必要はなく、これに伴い、基底データ、係数データ、及び近似データも、行列で表されるデータでなくてもよい。換言すると、モデルデータは、基底データと係数データとの組み合わせである近似データで表すことができるデータであれば限定されない。

そして、本実施形態の情報処理装置１０は、重み行列Ｗを基底行列Ｍと係数行列Ｃとの組み合せで構成される近似行列Ｖで近似するために、重み行列Ｗを基底行列Ｍと係数行列Ｃとの積に分解する重み行列分解処理を実行する機能を有する。

図２は、Ｄ行×Ｎ列の重み行列Ｗを基底行列Ｍと係数行列Ｃとに分解する処理（整数基底分解法）を示す概念図である。この処理は、重み行列Ｗを基底行列Ｍと係数行列Ｃとにデータ圧縮することに相当する。なお、本実施形態の基底行列Ｍは整数行列であり、係数行列Ｃは実数行列である。

重み行列Ｗは、整数データをｍとし、実数データをｃとすると下記（１）式で表される近似行列Ｖ＝Ｆ（ｍ，ｃ）の関数で近似できる。関数Ｆ（ｍ，ｃ）はＤ×Ｎ個の関数ｆ_ｄｎで表され、ｄは１，・・・，Ｄであり、ｎは１，・・・，Ｎである。そして、（１）式で表される近似行列Ｖは、（２）式のように基底行列Ｍと係数行列Ｃとの行列積ＭＣで表される。

重み行列ＷがＤ行×Ｎ列で表される場合、基底行列ＭはＤ行×Ｋ列（ＫはＮより小さな整数）で表され、係数行列ＣはＫ行×Ｎ列で表される。一例として、重み行列Ｗを下記（３）式で表すと、基底行列Ｍは下記（４）式で表され、係数行列Ｃは下記（５）式で表される。なお、重み行列Ｗを構成する成分を重みデータｗとする。

本実施形態の基底行列Ｍの成分ｍ_ｎは、一例として“０”又は“１”の二値とするが、これに限らず、成分ｍ_ｎは“－１”、“０”、“１”の何れかとする三値やそれ以上の多値であってもよい。基底行列Ｍの成分ｍ_ｎは二値又は多値を取ることができ、行列成分ｍ_ｎがｍ行ｎ列の行列における各成分となっている行列が基底行列Ｍである。このように基底行列Ｍは、複数の二値又は多値の組合せとされる。なお、二値の例として“０”又は“１”に限らず、例えば“－１”又は“１”等、他の値が適用されてもよい。

また、係数行列Ｃは下記（６）式で表され、（６）式を（１）式に代入することで近似行列Ｖは下記（７）式で表される。なお、関数Ｇは、Ｌ個の関数ｇ_ｌで表される。

そして、（１），（２）式で示されるようにＶ＝Ｆ（ｍ，ｃ）＝ＭＣとすると、（６）式と（７）式は各々下記（８）式と（９）式で表される。なお、（８）式と（９）式における“Ｔ”は転置行列を示し、“－１”は逆行列を示す。

（９）式で示されるように、重み行列Ｗを近似する近似行列Ｖは、基底行列Ｍと重み行列Ｗとによって表すことが可能である。そして、近似行列Ｖの重み行列Ｗに対する近似の度合いは、最小二乗法を用いて下記（１０）式で表される。すなわち、誤差ｚを最小化する基底行列Ｍを求めることで、重み行列Ｗにより近似する近似行列Ｖを得ることができる。

しかしながら、（１０）式に基づいて、誤差ｚを最小化する最適な基底行列Ｍを直接的に求めることは困難である。そこで、本実施形態の情報処理装置１０は、重み行列分解処理として、ブラックボックス最適化を用いて最適な基底行列Ｍを算出し、それにより近似行列Ｖを得る。

本実施形態の重み行列分解処理の概要として、情報処理装置１０は、まず、近似行列Ｖを構成しうる候補となる基底行列候補Ｍｃを選択し、基底行列候補Ｍｃを用いて近似行列候補Ｖｃを求めて近似行列候補Ｖｃを評価する評価指標を算出する。なお、評価指標は、（１０）式で表されるように、近似行列候補Ｖｃと重み行列Ｗとの誤差ｚである。

さらに、情報処理装置１０は、基底行列候補Ｍｃと評価指標との関係から回帰式を生成し、この回帰式の予測精度を向上させるために適切な基底行列候補Ｍｃをさらに選択して、選択した基底行列候補Ｍｃから算出される近似行列候補Ｖｃについて評価指標を求める、という処理を繰り返し行い、回帰式をより良好なものにする。そして情報処理装置１０は、最終的な回帰式に基づいて最も重み行列Ｗに近似する近似行列候補Ｖｃを得た基底行列候補Ｍｃを用いて（８）式で示されるＣ＝(Ｍ^ＴＭ)^-1Ｍ^ＴＷから、係数行列Ｃを算出する。

すなわち、上記処理の繰り返しは、回帰式の予測精度を上げることを目的としており、回帰式の予測精度が十分に高くなった後に、回帰式に基づいて基底行列候補Ｍｃが決定される。

次に、本実施形態の重み行列分解処理を実行する演算部１２について図１を参照して詳述する。本実施形態の情報処理装置１０が備える演算部１２は、基底行列候補選択部２０、評価指標算出部２２、回帰式生成部２４、繰返制御部２６、及び係数行列算出部３０を備える。

基底行列候補選択部２０は、近似行列Ｖを構成しうる候補となる基底行列候補Ｍｃを選択する。基底行列候補Ｍｃは各成分が“１”又は“０”の二値であるため、基底行列候補Ｍｃを（４）式であらわすと、例えばｍ_１＝１、ｍ_２＝１、ｍ_３＝０、ｍ_４＝１、ｍ_５＝１、ｍ_６＝０とのように表される。なお、基底行列候補選択部２０は、繰り返し処理の最初はランダムに基底行列候補Ｍｃを選択してもよい。そして、基底行列候補選択部２０は、繰り返し処理の２回目以降は、最小化関数に基づいて基底行列候補Ｍｃを選択するが、これについては後述する。

評価指標算出部２２は、基底行列候補Ｍｃを用いて近似行列候補Ｖｃを求め、近似行列候補Ｖｃを評価する評価指標を算出する。なお、本実施形態の評価指標は、上述のように、基底行列候補Ｍｃで構成された近似行列候補Ｖｃと重み行列Ｗとの誤差ｚであり、一例として（１０）式を用いて算出される。

回帰式生成部２４は、評価指標（誤差ｚ）と近似行列候補Ｖｃを構成する基底行列候補Ｍｃとの関係を表す回帰式を生成する。ここで、基底行列候補Ｍｃを１回選択した段階では、基底行列候補Ｍｃ（近似行列候補Ｖｃ）と評価指標との関係を示すデータは一つであるが、基底行列候補Ｍｃの選択と評価指標の算出とを繰り返し行うことで、基底行列候補Ｍｃと評価指標との関係を示すデータは繰り返し数分だけ蓄積されていく。回帰式生成部２４は、このように蓄積されたデータを用いて、基底行列候補Ｍｃと評価指標との関係を表す回帰式を生成する。すなわち、データが蓄積されることで回帰式が予測する評価指標の予測精度が向上する。

具体的には、回帰式生成部２４は、基底行列候補Ｍｃを構成する各成分ｍ_ｎを選択識別子ｓ_ｉ，ｓ_ｊとした下記（１１）式で示される回帰式（回帰モデル）を生成する。すなわち、本実施形態の選択識別子ｓ_ｉ，ｓ_ｊは、成分ｍ_ｉ，ｍ_ｊの値である“１”又は“０”を示す。

本構成によれば、基底行列候補Ｍｃを構成する各成分ｍ_ｉ，ｍ_ｊと重みパラメータａ_ｉｊとの積の総和と、成分ｍ_ｉと重みパラメータをｂ_ｉとの積の総和との和によって、評価指標である誤差ｚを予測する回帰式が表される。なお、（１１）式で示される回帰式は、誤差ｚの最小化に用いられるモデル式であり、以下では最小化関数ともいう。

なお、本実施形態の（１１）式で示される回帰式は、２次の項で構成されるが、これに限らず回帰式は３次以上の項を含んでもよい。これによれば、２次の項で表される回帰式よりもより、最適な近似行列Ｖを生成できる。なお、３次以上の項として補助変数を用いることで、回帰式を２次の項で表してもよい。

繰返制御部２６は、選択された基底行列候補Ｍｃを用いて係数行列算出部３０、評価指標算出部２２及び回帰式生成部２４での処理を少なくとも１回以上行う。より具体的には、繰返制御部２６は、回帰式生成部２４によって生成された回帰式が評価指標をより正確に予測するように、換言すると、回帰式による評価指標の予測精度が向上するように基底行列候補選択部２０によって基底行列候補Ｍｃを選択させる。そして繰返制御部２６は、所定の終了条件を満たすまで、選択された基底行列候補Ｍｃを用いて係数行列算出部３０、評価指標算出部２２及び回帰式生成部２４での処理を繰り返し行わせる。

基底行列特定部２８は、所定の終了条件を満たした時点で、評価指標が望ましい値を持つ近似行列候補Ｖｃを構成する基底行列候補Ｍｃを特定する。なお、基底行列特定部２８によって特定された基底行列候補Ｍｃは、求めるべき近似行列Ｖを構成する基底行列Ｍとされる。また、望ましい値の評価指標とは、例えば、予め定められた値以下の評価指標や、最良となる評価指標である。

係数行列算出部３０は、所定の終了条件を満たした時点で基底行列特定部２８が特定した基底行列候補Ｍｃを用いて係数行列Ｃを算出する。なお、係数行列算出部３０によって算出された係数行列Ｃは、求めるべき近似行列Ｖを構成する係数行列Ｃとされる。

図３は、繰り返し処理によって、基底行列候補ＭＴ（基底行列候補Ｍｃ_１～Ｍｃ_ｎ）と誤差Ｚ（誤差ｚ₁～ｚ_n）のデータが蓄積されていく様子を示す模式図である。最初の基底行列候補Ｍｃ_１は、上述したとおり、｛１，１，０，１，１，０｝であり、これらの基底行列候補Ｍｃ_１で構成される近似行列候補Ｖｃ_１と重み行列Ｗを比較して求まった誤差ｚ（評価指標）は、ｚ₁となる。この結果に基づいて回帰式が生成され、基底行列候補選択部２０は、回帰式に基づいて２回目の基底行列候補Ｍｃ_２を｛１，０，１，１，０，１｝とのように決定し、この基底行列候補Ｍｃ_２で構成される近似行列候補Ｖｃ_２の誤差はｚ₂となる。３回目では、１回目の基底行列候補Ｍｃ_１と誤差ｚ₁と、２回目の基底行列候補Ｍｃ_２と誤差ｚ₂との両方を用いて回帰式が生成される。これにより求まる回帰式は、用いるデータが多い分だけ、前回の回帰式よりも予測精度が高くなる。続いて、基底行列候補選択部２０は、回帰式に基づいて３回目の基底行列候補Ｍｃ_３を求め、同じ処理を繰り返す。

このように、基底行列候補Ｍｃ_ｎの選択及び誤差ｚ_nの算出を繰り返すことにより、回帰式を生成するためのデータが増加し、基底行列候補ＭＴと誤差Ｚとの関係を示すモデル式としてより正確な回帰式が生成される。

次に、回帰式の予測精度が高くなる、という点について説明をする。回帰式生成部２４は、最小化関数である回帰式の重みパラメータａ_ｉj,ｂ_ｉを図４に示されるように確率分布Ｐ（ａ_ｉj），Ｐ（ｂ_ｉ）として求める。なお、図４は、重みパラメータａ_ｉjの確率分布Ｐ（ａ_ｉj）を示す図であるが、重みパラメータｂ_ｉの確率分布Ｐ（ｂ_ｉ）も同様である。基底行列候補Ｍｃ_nとそれに対する誤差ｚ_nのデータが少ないと、重みパラメータａ_ｉj,ｂ_ｉがとる確率分布Ｐ（ａ_ｉj），Ｐ（ｂ_ｉ）はブロードな分布であるが、基底行列候補Ｍｃの選択および誤差ｚの算出を繰り返し行い、データ数（図３参照）が増加するに連れて重みパラメータａ_ｉj,ｂ_ｉの確率分布Ｐ（ａ_ｉj），Ｐ（ｂ_ｉ）はシャープな形状となる。すなわち、回帰式の予測精度が高くなる。

なお、基底行列候補選択部２０は、基底行列候補Ｍｃを選択する際に、確率分布Ｐ（ａ_ｉj），Ｐ（ｂ_ｉ）で示される重みパラメータａ_ｉj,ｂ_ｉの代表値を用いて、最小化関数を最小とする基底行列候補Ｍｃを求める。一例として、最小化関数の重みパラメータａ_ｉj,ｂ_ｉとして適用される代表値は、確率分布Ｐ（ａ_ｉj），Ｐ（ｂ_ｉ）に従ってサンプリングした値とする。

また、基底行列候補Ｍｃは回帰式の予測精度を向上させるために最小化関数によって選択されるが、回帰式の予測精度を向上させる選択手段であれば、最小化関数による最小化以外の手段が用いられてもよい。一例として、効率的でないがランダムな組合せを選択することも可能である。

次に、重み行列分解処理について図５を用いて説明する。図５は、情報処理装置１０で実行され重み行列分解処理の流れを示すフローチャートである。また、重み行列分解処理は、情報処理装置１０が備える大容量記憶装置１８等の記録媒体に格納されたプログラムによって実行される。なお、このプログラムが実行されることで、プログラムに対応する方法が実行される。

まず、ステップＳ１００では、基底行列候補選択部２０が、基底行列候補Ｍｃを選択する。なお、最初に選択される基底行列候補Ｍｃは、一例として、成分ｍ_ｎがランダムに選択される。

次のステップＳ１０２では、評価指標算出部２２が、基底行列候補Ｍｃと重み行列Ｗを用いて（９）式に基づき、近似行列候補Ｖｃを算出する。

次のステップＳ１０４では、評価指標算出部２２が、（１０）式に基づいて近似行列候補Ｖｃの評価指標である誤差ｚを算出する。

次のステップＳ１０６では、回帰式生成部２４が、基底行列候補Ｍｃ_ｎ（n=1,・・・,i：iは繰返し数）とその評価指標（誤差ｚ_ｎ）とに基づいて、上記（１１）式に示される回帰式である最小化関数を生成する。

次のステップＳ１０８では、終了条件を満たしたか否かを繰返制御部２６が判定し、肯定判定の場合はステップＳ１１０へ移行し、否定判定の場合はステップＳ１００へ移行する。なお、終了条件は、例えば、基底行列候補Ｍｃの選択数が所定数に達した場合、あるいは評価指標（誤差ｚ_ｎ）が所定の基準以下となった場合である。

ステップＳ１１０では、基底行列候補選択部２０が、回帰式の予測精度が向上する（本実施形態では誤差ｚの予測値と実測値のずれが小さく、特に最小値周辺でのずれがより小さくなる）基底行列候補Ｍｃを選択する。本実施形態では、基底行列候補選択部２０は、下記（１２）式に従って、次の選択する基底行列候補Ｍｃを決定する。

（１２）式は、基底行列候補Ｍｃを構成する成分ｍ_ｎに対してどの成分ｍ_ｎを“１”とし、どの成分ｍ_ｎを“０”とすれば、誤差ｚが最小となるかを回帰式に基づいて求める式である。

ここで、繰り返し回数が少ないときには回帰式の予測精度は低く、選択した基底行列候補Ｍｃはランダムに選択した場合と違いは少ない。一方で繰り返し回数が多くなると回帰式の予測精度は高くなり、選択した基底行列候補Ｍｃは最終的に求めたい基底行列Ｍと違いは少なくなる。この特性により、選択できる基底行列候補Ｍｃを広くカバーし、かつ求めたい基底行列候補Ｍｃの周辺を高い精度で予測できる回帰式を効率的に得ることができる。なお、この手法に限らず、効率的に高い予測精度の回帰式が得られれば他の手段が用いられてもよい。

そして、重み行列分解処理は、新しい基底行列候補Ｍｃを選択したら、その基底行列候補Ｍｃを用いて、上記した近似行列候補Ｖｃの算出（Ｓ１０２）、近似行列候補Ｖｃによる誤差ｚの算出（Ｓ１０４）、回帰式の生成（Ｓ１０６）を行い、終了条件を満たすまで、これらの処理を繰り返す。

一方、ステップＳ１０８における判定で終了条件を満たした場合、ステップＳ１１２において基底行列特定部２８が、終了条件を満たした時点において誤差ｚが最小となる基底行列候補Ｍｃを、近似行列Ｖを構成する基底行列Ｍとして特定する。

次のステップＳ１１４では、係数行列算出部３０が、特定された基底行列Ｍを用いて係数行列Ｃを算出し、本重み行列分解処理は終了する。なお、重み行列分解処理によって算出された基底行列Ｍ、係数行列Ｃ、及び近似行列Ｖは、大容量記憶装置１８に記憶される。

以上説明したように、本実施形態の重み行列分解処理は、近似行列Ｖと重み行列Ｗとの誤差ｚを最小とする最適な基底行列Ｍをブラックボックス最適化により算出し、この基底行列Ｍに基づいて一意に係数行列Ｃを算出する。これにより、本実施形態の重み行列分解処理は、重み行列Ｗをより近似度の高い基底行列Ｍと係数行列Ｃとの積である近似行列Ｖを得ることができる。

なお、本実施形態の重み行列分解処理によって算出された近似行列Ｖ（基底行列Ｍと係数行列Ｃとの積）は、例えば、車両の自動運転に用いられるニューラルネットワークで用いられる重みデータである重み行列Ｗの近似行列Ｖとされ、車両が備える記憶媒体に記憶され、演算に用いられる。すなわち、車両において自動運転を行うために、重み行列Ｗをそのまま用いるのであれば重み行列Ｗを記憶するための大きなメモリ容量を必要とするものの、近似行列Ｖを用いることにより自動運転に要するメモリ容量をより小さくすることができる。

図６は、本実施形態の重み行列分解処理による実験結果を示す図である。図６の縦軸はモデルデータ（重み行列Ｗ）と近似行列Ｖとの誤差ｚであり、横軸は繰り返し回数である。図６において実験結果Ａと共に示される破線ａは従来の近似解法によって到達可能な誤差ｚであり、破線ｂは近似行列Ｖの最適解に対応する誤差ｚである。図６に示されるように本実施形態の重み行列分解処理では、繰り返し回数が増加するほど最適解により近い近似行列Ｖを求めることができ、従来の近似解法では到達できない誤差ｚとなる近似行列Ｖを算出可能なことが実験的にも確認できた。

以上、本発明を、上記実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。

例えば、上記実施形態では、探索条件として（１２）式に示されるように“argmin”を適用する形態について説明した。これは、より適切な基底行列候補Ｍｃを選択するために、近似行列候補Ｖｃと重み行列Ｗとの誤差ｚを評価指標としたためである。評価指標の設定の仕方によっては、評価指標が最大となるように、基底行列候補Ｍｃの選択を行ってもよい。

また、上記実施形態では、基底行列Ｍと係数行列Ｃとの組み合わせで構成される近似行列Ｖを、（２）式のように近似行列Ｖを基底行列Ｍと係数行列Ｃとの積で表す形態について説明したが、本発明はこれに限られない。近似行列Ｖは、基底行列Ｍと係数行列Ｃとの組み合わせで構成されていればよく、例えば、基底行列Ｍと係数行列Ｃとの積に所定の係数を掛け合わせたり、基底行列Ｍと係数行列Ｃとの積に所定の定数を足し合わせたものを近似行列Ｖとしてもよい。

また、上記実施形態では、重み行列Ｗと近似行列Ｖとの誤差ｚを（１０）式に示すように最小二乗法を用いて算出する形態について説明したが、本発明はこれに限られない。例えば、重み行列Ｗと近似行列Ｖとの誤差を重み行列Ｗと近似行列Ｖとの差の絶対値としてもよい。

また、上記実施形態では、回帰モデルとして（１１）式の重みパラメータａ_ｉj,ｂ_ｉとして確率分布を用いた回帰式を適用する形態について説明したが、本発明はこれに限られない。例えば、回帰モデルとしてFactorization Machine等の他の手法（アルゴリズム）を適用してもよい。

本発明は、所定のモデルデータに近似する近似データの算出に用いることができる。

１０・・・情報処理装置、２０・・・選択部、２２・・・評価指標算出部、
２４・・・回帰式生成部、２６・・・繰返制御部、３０・・・係数行列算出部

Claims (11)

1. 複数の値で構成されるモデルデータを基底データと係数データとの組合せで構成される近似データで近似する情報処理装置（１０）であって、
   前記近似データを構成しうる候補となる基底データ候補を選択する選択手段（２０）と、
   前記基底データ候補を用いて近似データ候補を求め、前記近似データ候補を評価する評価指標を算出する評価指標算出手段（２２）と、
   前記評価指標と前記近似データ候補を構成する前記基底データ候補との関係を表す回帰式を生成する回帰式生成手段（２４）と、
   選択された前記基底データ候補を用いて、前記評価指標算出手段及び前記回帰式生成手段での処理を少なくとも１回以上行う繰返制御手段（２６）と、
   所定の終了条件を満たした時点で、前記評価指標が望ましい値を持つ前記近似データ候補を構成する前記基底データ候補を用いて前記係数データを算出する係数データ算出手段（３０）と、
   を備え、
   前記選択手段は、前回生成された前記回帰式に基づいて前記基底データ候補を決定し、決定した前記基底データ候補及び前記評価指標並びに前回までに決定した前記基底データ候補及び前記評価指標を用いて生成された前記回帰式に基づいて、次回の前記基底データ候補を決定することを繰り返す、情報処理装置。
2. 前記モデルデータ、前記基底データ、前記係数データ、及び近似データは、行列で表され、前記近似データは、下記（１）式で表され、前記基底データは、下記（２）式で表される請求項１記載の情報処理装置。
   

   

   
3. 前記基底データは、複数の二値又は多値の組合せである、請求項１又は請求項２記載の情報処理装置。
4. 前記評価指標は、前記基底データ候補で構成された前記近似データ候補と前記モデルデータとの誤差である、請求項１から請求項３の何れか１記載の情報処理装置。
5. 前記回帰式生成手段は、前記評価指標をｚとし、前記基底データ候補を構成する値をｓｉ，ｓｊとした下記（３）式で示される回帰式を生成する、請求項１から請求項４の何れか１項記載の情報処理装置。
   

   
6. 前記回帰式生成手段は、前記回帰式の重みパラメータを確率分布として求める、請求項５記載の情報処理装置。
7. 前記回帰式は、３次以上の項を含む、請求項１から請求項６の何れか１項記載の情報処理装置。
8. 前記モデルデータは、複数層で構成されるニューラルネットワークモデルの層毎の重みを示す重みデータである、請求項１から請求項７の何れか１記載の情報処理装置。
9. 前記情報処理装置の全て又は一部分は、量子コンピュータである、請求項１から請求項８の何れか１記載の情報処理装置。
10. 複数の値で構成されるモデルデータを基底データと係数データとの組合せで構成される近似データで近似するデータ分解方法であって、
    前記近似データを構成しうる候補となる基底データ候補を選択する選択工程と、
    前記基底データ候補を用いて近似データ候補を求め、前記近似データ候補を評価する評価指標を算出する評価指標算出工程と、
    前記評価指標と前記近似データ候補を構成する前記基底データ候補との関係を表す回帰式を生成する回帰式生成工程と、
    選択された前記基底データ候補を用いて、前記評価指標算出工程及び前記回帰式生成工程での処理を少なくとも１回以上行う繰返制御工程と、
    所定の終了条件を満たした時点で、前記評価指標が望ましい値を持つ前記近似データ候補を構成する前記基底データ候補を用いて前記係数データを算出する係数データ算出工程と、
    を備え、
    前記選択工程は、前回生成された前記回帰式に基づいて前記基底データ候補を決定し、決定した前記基底データ候補及び前記評価指標並びに前回までに決定した前記基底データ候補及び前記評価指標を用いて生成された前記回帰式に基づいて、次回の前記基底データ候補を決定することを繰り返す、データ分解方法。
11. 複数の値で構成されるモデルデータを基底データと係数データとの組合せで構成される近似データで近似する情報処理装置が備えるコンピュータを、
    前記近似データを構成しうる候補となる基底データ候補を選択する選択手段と、
    前記基底データ候補を用いて近似データ候補を求め、前記近似データ候補を評価する評価指標を算出する評価指標算出手段と、
    前記評価指標と前記近似データ候補を構成する前記基底データ候補との関係を表す回帰式を生成する回帰式生成手段と、
    選択された前記基底データ候補を用いて、前記評価指標算出手段及び前記回帰式生成手段での処理を少なくとも１回以上行う繰返制御手段と、
    所定の終了条件を満たした時点で、前記評価指標が望ましい値を持つ前記近似データ候補を構成する前記基底データ候補を用いて前記係数データを算出する係数データ算出手段と、
    して機能させ、
    前記選択手段は、前回生成された前記回帰式に基づいて前記基底データ候補を決定し、決定した前記基底データ候補及び前記評価指標並びに前回までに決定した前記基底データ候補及び前記評価指標を用いて生成された前記回帰式に基づいて、次回の前記基底データ候補を決定することを繰り返す、データ分解プログラム。

Images