JP7310892B2 - 情報処理装置 - Google Patents

Description

本発明は、情報処理装置、情報処理方法、および、プログラムに関する。

統計的機械学習など、大量のデータを学習してモデルを構築する学習処理は非常に時間がかかるため、高速化が求められている。このような学習処理では、データを疎行列として表現して演算が行われる。例えば、ロジスティックリグレッション（ＬＲ）では、疎行列ベクトル積を計算する。したがって、このような疎行列ベクトル積を高速に演算することが重要である。そのため、疎行列ベクトル積計算の高速化を目的として、これまで多くの情報処理方法が提案されている。

例えば特許文献１に記載される情報処理方法では、疎行列を複数の圧縮形式で格納する。具体的には、疎行列におけるゼロでない要素（非ゼロ要素と言う）の数が所定数以上の列の要素をＪＤＳ（Ｊａｇｇｅｄ Ｄｉａｇｏｎａｌ Ｓｔｏｒａｇｅ）形式で格納し、それ以外の列の要素をＣＲＳ（Ｃｏｍｐｒｅｓｓｅｄ Ｒｏｗ Ｓｔｏｒａｇｅ）形式で格納する。そして、ＪＤＳ形式で格納された部分行列とベクトルとの積、および、ＣＲＳ形式で格納された部分行列とベクトルとの積を個別に計算し、それらの計算結果の和を計算することにより、疎行列とベクトルとの積を計算する。

また特許文献２に記載される情報処理方法では、疎行列における非ゼロ要素が所定数以上の行が集まった密な部分行列と非ゼロ要素が所定数未満の行が集まった疎な部分行列とに分割し、疎な部分行列を非ゼロ要素が存在する行番号と列番号とその値を記憶する形式（リンクリスト方式）で格納する。

ＷＯ２０１７／１５４９４６ 特開２００９－４９４６３

ところで、疎行列の中には、非ゼロ要素が多く集まった行が行列の一部に存在すると共に、非ゼロ要素が多く集まった列が行列の一部に存在するタイプがある。そのようなタイプの疎行列を例えば特許文献１に記載の方法に従ってＪＤＳ形式とＣＲＳ形式に分割して格納すると、非ゼロ要素が多く集まった行がＪＤＳ形式とＣＲＳ形式とに無駄に分割される。そのため、疎行列ベクトル積計算を高速に演算するのは困難であった。また、上記タイプの疎行列を例えば特許文献２に記載の方法に従って分割して格納すると、非ゼロ要素が所定数以上の行が集まった密な部分行列の無駄な分割は避けられるけれども、非ゼロ要素が多く集まった列がリンクリスト形式で格納される。そのため、疎行列ベクトル積計算を高速に演算するのは困難であった。

本発明の目的は、上述した課題、すなわち、非ゼロ要素が多く集まった行および列が行列の一部に存在する疎行列を、ベクトルとの積を高速に演算できる形式に変換するのは困難である、という課題を解決する情報処理装置を提供することにある。

本発明の一形態に係る情報処理装置は、
疎行列を非ゼロ要素の数が所定数以上の行から構成される第１の部分行列とそれ以外の行から構成される第２の部分行列とに分割し、前記第１の部分行列を行優先の密行列形式の第１の行列に変換する第１の変換部と、
前記第２の部分行列を非ゼロ要素の数が所定数以上の列から構成される第３の部分行列とそれ以外の行から構成される第４の部分行列とに分割し、前記第３の部分行列を列優先の密行列形式の第２の行列に変換する第２の変換部と、
前記第４の部分行列を第５の部分行列と第６の部分行列とに分割し、前記第５の部分行列を行優先の疎行列圧縮形式の第３の行列に変換する第３の変換部と、
前記第６の部分行列を列優先の疎行列圧縮形式の第４の行列に変換する第４の変換部と、
を備えるように構成されている。

また本発明の他の形態に係る情報処理方法は、
疎行列を非ゼロ要素の数が所定数以上の行から構成される第１の部分行列とそれ以外の行から構成される第２の部分行列とに分割し、前記第１の部分行列を行優先の密行列形式の第１の行列に変換し、
前記第２の部分行列を非ゼロ要素の数が所定数以上の列から構成される第３の部分行列とそれ以外の行から構成される第４の部分行列とに分割し、前記第３の部分行列を列優先の密行列形式の第２の行列に変換し、
前記第４の部分行列を第５の部分行列と第６の部分行列とに分割し、前記第５の部分行列を行優先の疎行列圧縮形式の第３の行列に変換し、
前記第６の部分行列を列優先の疎行列圧縮形式の第４の行列に変換する、
ように構成されている。

また本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
疎行列を非ゼロ要素の数が所定数以上の行から構成される第１の部分行列とそれ以外の行から構成される第２の部分行列とに分割し、前記第１の部分行列を行優先の密行列形式の第１の行列に変換する処理と、
前記第２の部分行列を非ゼロ要素の数が所定数以上の列から構成される第３の部分行列とそれ以外の行から構成される第４の部分行列とに分割し、前記第３の部分行列を列優先の密行列形式の第２の行列に変換する処理と、
前記第４の部分行列を第５の部分行列と第６の部分行列とに分割し、前記第５の部分行列を行優先の疎行列圧縮形式の第３の行列に変換する処理と、
前記第６の部分行列を列優先の疎行列圧縮形式の第４の行列に変換する処理と、
を行わせるためのプログラムを記録するように構成されている。

本発明は、上述した構成を有することにより、非ゼロ要素が多く集まった行および列が行列の一部に存在する疎行列を、ベクトルとの積を高速に演算できる形式に変換することができる。

本発明の第１の実施形態に係る情報処理装置のブロック図である。 本発明の第１の実施形態に係る情報処理装置が疎行列を互いに形式の異なる複数形式の行列に変換する概要を示す図である。 本発明の第１の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る情報処理装置が入力する疎行列の例を示す図である。 本発明の第１の実施形態に係る情報処理装置における初期状態の行の並べ替え情報の例を示す図である。 本発明の第１の実施形態に係る情報処理装置において疎行列を分割して生成される第１の部分行列の例を示す図である。 本発明の第１の実施形態に係る情報処理装置において疎行列を分割して生成される第２の部分行列の例を示す図である。 本発明の第１の実施形態に係る情報処理装置において疎行列から生成されるＲｏｗｍａｊｏｒ密行列の例を示す図である。 本発明の第１の実施形態に係る情報処理装置において疎行列を分割して生成される第３の部分行列の例を示す図である。 本発明の第１の実施形態に係る情報処理装置において疎行列を分割して生成される第４の部分行列の例を示す図である。 本発明の第１の実施形態に係る情報処理装置において疎行列から生成されるＣｏｌｍａｊｏｒ密行列の例を示す図である。 本発明の第１の実施形態に係る情報処理装置において並べ替えられた第４の部分行列の例を示す図である。 本発明の第１の実施形態に係る情報処理装置において並べ替えられたＣｏｌｍａｊｏｒ密行列の例を示す図である。 本発明の第１の実施形態に係る情報処理装置において疎行列を分割して生成される第５の部分行列と第５の部分行列から生成されるＣＲＳ疎行列の例を示す図である。 本発明の第１の実施形態に係る情報処理装置において疎行列を分割して生成される第６の部分行列と第６の部分行列から生成されるＪＤＳ疎行列の例を示す図である。 本発明の第２の実施形態に係る情報処理装置のブロック図である。 本発明の第２の実施形態に係る情報処理装置における疎行列との積を計算可能なベクトルの例を示す図である。 本発明の第２の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。 Ｒｏｗｍａｊｏｒ密行列とベクトルとの積の計算例を示す図である。 Ｃｏｌｍａｊｏｒ密行列とベクトルとの積の計算例を示す図である。 ＣＲＳ疎行列とベクトルとの積の計算例を示す図である。 ＪＤＳ疎行列とベクトルとの積の計算例を示す図である。 疎行列とベクトルとの積の計算例を示す図である。 本発明の第２の実施形態に係る情報処理装置におけるＲｏｗｍａｊｏｒ密行列ベクトル積演算部を実現するプログラムの一例を示す図である。 本発明の第２の実施形態に係る情報処理装置におけるＣｏｌｍａｊｏｒ密行列ベクトル積演算部を実現するプログラムの一例を示す図である。 本発明の第２の実施形態に係る情報処理装置におけるＣＲＳ疎行列ベクトル積演算部を実現するプログラムの一例を示す図である。 本発明の第２の実施形態に係る情報処理装置におけるＪＤＳ疎行列ベクトル積演算部を実現するプログラムの一例を示す図である。 本発明の第２の実施形態に係る情報処理装置における行の並べ替え部を実現するプログラムの一例を示す図である。 本発明の第３の実施形態に係る情報処理装置のブロック図である。 本発明の第３の実施形態に係る情報処理装置における入力データＷの例を示す図である。 本発明の第３の実施形態に係る情報処理装置において繰り返し実行される計算の例を示す図である。 本発明の第３の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。 本発明の第４の実施形態に係る情報処理装置のブロック図である。

次に本発明の実施形態について図面を参照して詳細に説明する。なお、以下の説明において、行列、ベクトルおよび配列の各インデックスは０から始まるものとする。また行列の行方向は、行インデックスが増加していく方向であり、下方向と同意とする。また行列の列方向は、列インデックスが増加していく方向であり、右方向と同意とする。また行列Ｘの行インデックスがｉ、列インデックスがｊである要素を、Ｍ_ijと表すことがある。また配列Ｙ［］のインデックスがｉである要素を、Ｙ［ｉ］と表すことがある。
［第１の実施形態］
図１は本発明の第１の実施形態に係る情報処理装置１００のブロック図である。情報処理装置１００は、入力された疎行列を、ベクトルとの積を高速に演算することができる互いに形式の異なる複数の部分行列に分割して出力するように構成されている。図１を参照すると、情報処理装置１００は、通信インタフェース部（以下、通信Ｉ／Ｆ部という）１１１、操作入力部１１２、画面表示部１１３、記憶部１１５、および演算処理部１１６から構成されている。

通信Ｉ／Ｆ部１１１は、専用のデータ通信回路から構成され、図示しない通信回線を介して接続された図示しない各種装置との間でデータ通信を行うように構成されている。操作入力部１１２は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部１１６に出力するように構成されている。画面表示部１１３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）あるいはＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの画面表示装置から構成され、演算処理部１１６からの指示に応じて、各種情報を画面表示するように構成されている。

記憶部１１５は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１１６における各種処理に必要な処理情報およびプログラム１１５１を記憶するように構成されている。プログラム１１５１は、演算処理部１１６に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１１１などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部１１５に保存される。記憶部１１５に記憶される主な処理情報には、疎行列１１５２、Ｒｏｗｍａｊｏｒ密行列１１５３１、Ｃｏｌｍａｊｏｒ密行列１１５３２、ＣＲＳ疎行列１１５３３、ＪＤＳ疎行列１１５３４、および、行の並べ替え情報１１５３５がある。

疎行列１１５２は、被変換対象となる疎行列である。疎行列１１５２は、その要素の多くが処理に必要でないゼロ要素となっている。また疎行列１１５２の一部の行は、非ゼロ要素が多く集まっている。さらに疎行列１１５２の一部の列は、非ゼロ要素が多く集まっている。

Ｒｏｗｍａｊｏｒ密行列１１５３１、Ｃｏｌｍａｊｏｒ密行列１１５３２、ＣＲＳ疎行列１１５３３、および、ＪＤＳ疎行列１１５３４は、疎行列１１５２を変換して生成された部分行列である。行の並べ替え情報１１５３５は、疎行列１１５２の全体の行が変換処理によってどのように並べ替えられたかを示す情報である。

演算処理部１１６は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサとその周辺回路を有し、記憶部１１５からプログラム１１５１を読み込んで実行することにより、上記ハードウェアとプログラム１１５１とを協働させて各種処理部を実現するように構成されている。演算処理部１１６で実現される主な処理部は、入力部１１６１、行列変換部１１６２、および、出力部１１６３である。

入力部１１６１は、操作入力部１１２または／および通信Ｉ／Ｆ部１１１を通じて疎行列１１５２を入力し、記憶部１１５に記憶するように構成されている。

行列変換部１１６２は、記憶部１１５から疎行列１１５２を読み出し、行列変換処理を行って、Ｒｏｗｍａｊｏｒ密行列１１５３１、Ｃｏｌｍａｊｏｒ密行列１１５３２、ＣＲＳ疎行列１１５３３、および、ＪＤＳ疎行列１１５３４を生成し、記憶部１１５に記憶するように構成されている。また行列変換部１１６２は、行列変換処理の過程で疎行列１１５２の行の並べ替えを行った場合、行の並べ替え情報１１５３５を生成し、記憶部１１５に記憶するように構成されている。行列変換部１１６２は、Ｒｏｗｍａｊｏｒ密行列生成部１１６２１、Ｃｏｌｍａｊｏｒ密行列生成部１１６２２、ＣＲＳ疎行列生成部１１６２３、および、ＪＤＳ疎行列生成部１１６２４を備えている。

Ｒｏｗｍａｊｏｒ密行列生成部１１６２１は、疎行列１１５２を、図２に示すように、非ゼロ要素の数が所定数（第１の閾値）以上の行から構成される第１の部分行列１１５２－１とそれ以外の行から構成される第２の部分行列１１５２－２とに分割するように構成されている。例えばＲｏｗｍａｊｏｒ密行列生成部１１６２１は、非ゼロ要素の数が第１の閾値以上の行が上方向に集まるように、疎行列１１５２を第１の部分行列１１５２－１と第２の部分行列１１５２－２とに分割する。またＲｏｗｍａｊｏｒ密行列生成部１１６２１は、上記分割にあわせて、行の並べ替え情報１１５３５を更新するように構成されている。またＲｏｗｍａｊｏｒ密行列生成部１１６２１は、第１の部分行列１１５２－１を行優先（Ｒｏｗ－ｍａｊｏｒ ｏｒｄｅｒ）の密行列形式であるＲｏｗｍａｊｏｒ密行列１１５３１に変換し、記憶部１１５に記憶するように構成されている。Ｒｏｗｍａｊｏｒ密行列１１５３１は、値配列、行情報、および、列情報から構成される。またＲｏｗｍａｊｏｒ密行列生成部１１６２１は、第２の部分行列１１５２－２をＣｏｌｍａｊｏｒ密行列生成部１１６２２に伝達するように構成されている。

Ｃｏｌｍａｊｏｒ密行列生成部１１６２２は、第２の部分行列１１５２－２を、図２に示すように、非ゼロ要素の数が所定数（第２の閾値）以上の列から構成される第３の部分行列１１５２－３とそれ以外の列から構成される第４の部分行列１１５２－４とに分割するように構成されている。例えばＣｏｌｍａｊｏｒ密行列生成部１１６２２は、非ゼロ要素の数が第２の閾値以上の列が左方向に集まるように、第２の部分行列１１５２－２を第３の部分行列１１５２－３と第４の部分行列１１５２－４とに分割する。またＣｏｌｍａｊｏｒ密行列生成部１１６２２は、第３の部分行列１１５２－３を列優先（Ｃｏｌｕｍｎ－ｍａｊｏｒ ｏｒｄｅｒ）の密行列形式であるＣｏｌｍａｊｏｒ密行列１１５３２に変換するように構成されている。またＣｏｌｍａｊｏｒ密行列生成部１１６２２は、各行の非ゼロ要素の数が小さくなる順に、第４の部分行列１１５２－４を並べ替え（ソートする）、並べ替え後の第４の部分行列１１５２－４をＣＲＳ疎行列生成部１１６２３に伝達するように構成されている。またＣｏｌｍａｊｏｒ密行列生成部１１６２２は、Ｃｏｌｍａｊｏｒ密行列１１５３２を、並べ替え後の第４の部分行列１１５２－４と同じ順に並べ替え、並べ替え後のＣｏｌｍａｊｏｒ密行列１１５３２を記憶部１１５に記憶するように構成されている。Ｃｏｌｍａｊｏｒ密行列１１５３２は、値配列、行情報、および、列情報から構成される。またＣｏｌｍａｊｏｒ密行列１１５３２は、上記の並べ替えに応じて、行の並べ替え情報１１５３５を更新するように構成されている。

ＣＲＳ疎行列生成部１１６２３は、第４の部分行列１１５２－４を、図２に示すように、非ゼロ要素の数が所定数（第３の閾値）以上の行から構成される第５の部分行列１１５２－５とそれ以外の行から構成される第６の部分行列１１５２－６とに分割するように構成されている。またＣＲＳ疎行列生成部１１６２３は、第５の部分行列１１５２－５をＣＲＳ疎行列１１５３３に変換し、記憶部１１５に記憶するように構成されている。ＣＲＳ疎行列１１５３３は、値配列、列番号配列、および、オフセット配列から構成される。またＣＲＳ疎行列生成部１１６２３は、第６の部分行列１１５２－６をＪＤＳ疎行列生成部１１６２４に伝達するように構成されている。

ＪＤＳ疎行列生成部１１６２４は、第６の部分行列１１５２－６をＪＤＳ疎行列１１５３４に変換し、記憶部１１５に記憶するように構成されている。ＪＤＳ疎行列１１５３４は、値配列、列番号配列、および、オフセット配列から構成される。ＪＤＳ疎行列における行の入れ替え情報は、行の並べ替え情報１１５３５において管理される。

出力部１１６３は、記憶部１１５からＲｏｗｍａｊｏｒ密行列１１５３１、Ｃｏｌｍａｊｏｒ密行列１１５３２、ＣＲＳ疎行列１１５３３、ＪＤＳ疎行列１１５３４、および、行の並べ替え情報１１５３５を読み出し、疎行列１１５２の変換結果として画面表示部１１３に表示し、または／および、通信Ｉ／Ｆ部１１１を通じて外部装置へ送信するように構成されている。

図３は情報処理装置１００の動作の一例を示すフローチャートである。以下、図３を参照して情報処理装置１００の動作を説明する。

図３を参照すると、先ず入力部１１６１は、操作入力部１１２または／および通信Ｉ／Ｆ部１１１を通じて疎行列１１５２を入力し、記憶部１１５に記憶する（ステップＳ１）。図４は入力部１１６１が入力した疎行列１１５２の例を示す。この例の疎行列１１５２は、１０行×９列から構成される。行と列との交点が１つの要素に対応し、空白の要素はゼロ要素を示し、値が設定されている要素は非ゼロ要素を示す。また入力部１１６１は、ステップＳ１において、初期状態の行の並べ替え情報１１５３５を記憶部１１５に保存する。図５は初期状態の行の並べ替え情報１１５３５の例を示す。

次にＲｏｗｍａｊｏｒ密行列生成部１１６２１は、Ｒｏｗｍａｊｏｒ密行列１１５３１を作成する（ステップＳ２）。この処理では、先ずＲｏｗｍａｊｏｒ密行列生成部１１６２１は、疎行列１１５２を、非ゼロ要素の数が所定数（第１の閾値）以上の行から構成される第１の部分行列１１５２－１とそれ以外の行から構成される第２の部分行列１１５２－２とに分割する。例えば、Ｒｏｗｍａｊｏｒ密行列生成部１１６２１は、第１の閾値を７とすると、図４に示す疎行列１１５２の場合、図６に示す第１の部分行列１１５２－１と図７に示す第２の部分行列１１５２－２とに分割する。図６に示す第１の部分行列１１５２－１は、疎行列１１５２の０行目と２行目から構成されている。また図７に示す第２の部分行列１１５２－２は、疎行列１１５２の１行目と３～９行目から構成されている。次にＲｏｗｍａｊｏｒ密行列生成部１１６２１は、第１の部分行列１１５２－１における値のないゼロ要素に値０を格納することにより、Ｒｏｗｍａｊｏｒ密行列１１５３１を作成し、記憶部１１５に記憶する。例えば、Ｒｏｗｍａｊｏｒ密行列生成部１１６２１は、図６の第１の部分行列１１５２－１の場合、例えば図８に示すように、２行９列のＲｏｗｍａｊｏｒ密行列１１５３１を作成し、記憶部１１５に記憶する。また、Ｒｏｗｍａｊｏｒ密行列生成部１１６２１は、行の並べ替え情報１１５３５を、「０、２、１、３、４、５、６、７、８、９」に更新する。

次にＣｏｌｍａｊｏｒ密行列生成部１１６２２は、Ｃｏｌｍａｊｏｒ密行列１１５３２を作成する（ステップＳ３）。この処理では、先ずＣｏｌｍａｊｏｒ密行列生成部１１６２２は、第２の部分行列１１５２－２を、非ゼロ要素の数が所定数（第２の閾値）以上の列から構成される第３の部分行列１１５２－３とそれ以外の列から構成される第４の部分行列１１５２－４とに分割する。例えば、Ｃｏｌｍａｊｏｒ密行列生成部１１６２２は、第２の閾値を５とすると、図７に示す第２の部分行列１１５２－２の場合、図９に示す８行２列の第３の部分行列１１５２－３と、図１０に示す８行７列の第４の部分行列１１５２－４とに分割する。図９に示す第３の部分行列１１５２－３は、第２の部分行列１１５２－２の０列と６列から構成されている。また図１０に示す第4の部分行列１１５２－４は、第２の部分行列１１５２－２の１～５列と７、８列から構成されている。次にＣｏｌｍａｊｏｒ密行列生成部１１６２２は、第３の部分行列１１５２－３における値のないゼロ要素に値０を格納することにより、Ｃｏｌｍａｊｏｒ密行列１１５３２を作成する。例えば、Ｃｏｌｍａｊｏｒ密行列生成部１１６２２は、図９の第３の部分行列１１５２－３の場合、例えば図１１に示すようなＣｏｌｍａｊｏｒ密行列１１５３２を作成する。次にＣｏｌｍａｊｏｒ密行列生成部１１６２２は、各行の非ゼロ要素の数が小さくなる順に、第４の部分行列１１５２－４を並べ替え（ソートする）、並べ替え後の第４の部分行列１１５２－４をＣＲＳ疎行列生成部１１６２３に伝達する。またＣｏｌｍａｊｏｒ密行列生成部１１６２２は、Ｃｏｌｍａｊｏｒ密行列１１５３２を、並べ替え後の第４の部分行列１１５２－４と同じ順に並べ替え、並べ替え後のＣｏｌｍａｊｏｒ密行列１１５３２として記憶部１１５に記憶する。例えば、Ｃｏｌｍａｊｏｒ密行列生成部１１６２２は、図１０の第４の部分行列１１５２－４および図１１のＣｏｌｍａｊｏｒ密行列１１５３２の場合、図１２に示す第４の部分行列１１５２－４および図１３に示すＣｏｌｍａｊｏｒ密行列１１５３２のように行の並べ替えを行う。またＣｏｌｍａｊｏｒ密行列生成部１１６２２は、上記並べ替えに応じて、行の並べ替え情報１１５３５を、「０、２、８、９、３、４、６、１、７、５」に更新する。

次にＣＲＳ疎行列生成部１１６２３は、ＣＲＳ疎行列１１５３３を作成する（ステップＳ４）。この処理では、先ずＣＲＳ疎行列生成部１１６２３は、第４の部分行列１１５２－４を、非ゼロ要素の数が所定数（第３の閾値）以上の行から構成される第５の部分行列１１５２－５とそれ以外の行から構成される第６の部分行列１１５２－６とに分割する。例えば、第３の閾値を３とすると、ＣＲＳ疎行列生成部１１６２３は、図１２の第４の部分行列１１５２－４の場合、図１４の上側に示す第５の部分行列１１５２－５と図１５の上側に示す第６の部分行列１１５２－６とに分割する。次にＣＲＳ疎行列生成部１１６２３は、第５の部分行列１１５２－５における非ゼロ要素をＣＲＳ形式で格納するＣＲＳ疎行列１１５３３を作成し、記憶部１１５に記憶する。例えば、ＣＲＳ疎行列生成部１１６２３は、図１４の上側の第５の部分行列１１５２－５の場合、図１４の下側に示すように、値配列と列番号配列とオフセット配列とから構成されるＣＲＳ疎行列１１５３３を作成する。

次にＪＤＳ疎行列生成部１１６２４は、ＪＤＳ疎行列１１５３４を作成する（ステップＳ５）。この処理では、ＪＤＳ疎行列生成部１１６２４は、第６の部分行列１１５２－６からＪＤＳ疎行列１１５３４を作成し、記憶部１１５に記憶する。例えば、ＪＤＳ疎行列生成部１１６２４は、図１５の上側の第６の部分行列１１５２－６の場合、非ゼロ要素の左詰めを行って、図１５の下側に示すように、値配列と列番号配列とオフセット配列とから構成されるＪＤＳ疎行列１１５３４を作成する。

上記手順では、第４の部分行列１１５２－４からＣＲＳ疎行列を生成した後、残りの行を左詰めしてＪＤＳ疎行列を作成した。しかし、第４の部分行列１１５２－４からＣＲＳ疎行列とＪＤＳ疎行列を作成する手順は上記に限定されない。例えば、図１２に示した第４の部分行列１１５２－４に対して、最初に非ゼロ要素の左詰めを行い、左詰め後の第４の部分行列１１５２－４の行のうち所定数以上の非ゼロ要素がある行でＣＲＳ疎行列を作成し、残りの行でＪＤＳ疎行列を作成するようにしてもよい。

次に出力部１１６３は、記憶部１１５からＲｏｗｍａｊｏｒ密行列１１５３１、Ｃｏｌｍａｊｏｒ密行列１１５３２、ＣＲＳ疎行列１１５３３、ＪＤＳ疎行列１１５３４、および、行の並べ替え情報１１５３５を読み出し、疎行列１１５２の変換結果として画面表示部１１３に表示し、または／および、通信Ｉ／Ｆ部１１１を通じて外部装置へ送信する（ステップＳ６）。

以上説明したように本実施形態によれば、入力の疎行列における非ゼロ要素が多く集まった行および列を無駄に分割することなくＲｏｗｍａｊｏｒ密行列およびＣｏｌｍａｊｏｒ密行列として格納することができ、また残りの疎な部分行列をＣＲＳ疎行列とＪＤＳ疎行列とに分割して格納することができる。これによって、疎行列を、ベクトルとの積を高速に演算可能な複数形式の行列に変換することが可能となる。

［第２の実施形態］
図１６は本発明の第２の実施形態に係る情報処理装置２００のブロック図である。情報処理装置２００は、図１に示した情報処理装置１００と同様に疎行列をベクトルの積を高速に演算可能な複数の部分行列に変換する機能を備えるとともに、さらに、変換後の複数の部分行列を使用して、疎行列とベクトルとの積を求める機能を備えている。図１６を参照すると、情報処理装置２００は、図１に示した情報処理装置１００と比較して、記憶部１１５がさらにベクトル１１５４および疎行列ベクトル積演算結果１１５５を記憶するように構成され、また演算処理部１１６がさらに行列ベクトル積演算部１１６４を備えるように構成されている点で相違し、それ以外は情報処理装置１００と同じように構成されている。

ベクトル１１５４は、疎行列との積を計算することが可能なベクトルである。図１７は、ベクトル１１５４の一例を示す。この例のベクトル１１５４は、９行１列で構成されている。疎行列ベクトル積演算結果１１５５は、疎行列１１５２とベクトル１１５４との積の演算結果である。

行列ベクトル積演算部１１６４は、疎行列１１５２とベクトル１１５４との積を演算するように構成されている。行列ベクトル積演算部１１６４は、Ｒｏｗｍａｊｏｒ密行列ベクトル積演算部１１６４１、Ｃｏｌｍａｊｏｒ密行列ベクトル積演算部１１６４２、ＣＲＳ疎行列ベクトル積演算部１１６４３、ＪＤＳ疎行列ベクトル積演算部１１６４４、和演算部１１６４５、および、並べ替え部１１６４６を備えている。

Ｒｏｗｍａｊｏｒ密行列ベクトル積演算部１１６４１は、Ｒｏｗｍａｊｏｒ密行列１１５３１とベクトル１１５４との積を計算するように構成されている。Ｃｏｌｍａｊｏｒ密行列ベクトル積演算部１１６４２は、Ｃｏｌｍａｊｏｒ密行列１１５３２とベクトル１１５４との積を計算するように構成されている。ＣＲＳ疎行列ベクトル積演算部１１６４３は、ＣＲＳ疎行列１１５３３とベクトル１１５４との積を計算するように構成されている。ＪＤＳ疎行列ベクトル積演算部１１６４４は、ＪＤＳ疎行列１１５３４とベクトル１１５４との積を計算するように構成されている。和演算部１１６４５は、Ｒｏｗｍａｊｏｒ密行列ベクトル積演算部１１６４１、Ｃｏｌｍａｊｏｒ密行列ベクトル積演算部１１６４２、ＣＲＳ疎行列ベクトル積演算部１１６４３、および、ＪＤＳ疎行列ベクトル積演算部１１６４４で計算した積を同じ行どうしで足し合わせるように構成されている。並べ替え部１１６４６は、和演算部１１６４５の計算結果の行の並べ替えを行うように構成されている。

図１８は情報処理装置２００の動作の一例を示すフローチャートである。以下、図１８を参照して情報処理装置２００の動作を説明する。

図１８を参照すると、先ず入力部１１６１は、操作入力部１１２または／および通信Ｉ／Ｆ部１１１を通じて疎行列１１５２およびベクトル１１５４を入力し、記憶部１１５に記憶する（ステップＳ１１）。

次に行列変換部１１６２は、記憶部１１５から疎行列１１５２を読み出し、第１の実施形態に係る情報処理装置１００と同様の行列変換処理を行って、Ｒｏｗｍａｊｏｒ密行列１１５３１、Ｃｏｌｍａｊｏｒ密行列１１５３２、ＣＲＳ疎行列１１５３３、ＪＤＳ疎行列１１５３４、および、行の並べ替え情報１１５３５を生成し、記憶部１１５に記憶する（ステップＳ１２）。

次にＲｏｗｍａｊｏｒ密行列ベクトル積演算部１１６４１は、Ｒｏｗｍａｊｏｒ密行列１１５３１とベクトル１１５４との積を計算する（ステップＳ１３）。図１９は、図８に示すＲｏｗｍａｊｏｒ密行列１１５３と図１７に示すベクトル１１５４との積を計算した結果を示す。

次にＣｏｌｍａｊｏｒ密行列ベクトル積演算部１１６４２は、Ｃｏｌｍａｊｏｒ密行列１１５３２とベクトル１１５４との積を計算する（ステップＳ１４）。図２０は、図１１に示すＣｏｌｍａｊｏｒ密行列１１５３２と図１７に示すベクトル１１５４との積を計算した結果を示す。

次にＣＲＳ疎行列ベクトル積演算部１１６４３は、ＣＲＳ疎行列１１５３３とベクトル１１５４との積を計算する（ステップＳ１５）。図２１は、図１４に示すＣＲＳ疎行列１１５３３と図１７に示すベクトル１１５４との積を計算した結果を示す。

次にＪＤＳ疎行列ベクトル積演算部１１６４４は、ＪＤＳ疎行列１１５３４とベクトル１１５４との積を計算する（ステップＳ１６）。図２２は、図１５に示すＪＤＳ疎行列１１５３４とベクトル１１５４の積を計算した結果を示す。

次に和演算部１１６４５は、Ｒｏｗｍａｊｏｒ密行列ベクトル積演算部１１６４１、Ｃｏｌｍａｊｏｒ密行列ベクトル積演算部１１６４２、ＣＲＳ疎行列ベクトル積演算部１１６４３、および、ＪＤＳ疎行列ベクトル積演算部１１６４４で計算した積を同じ行どうしで足し合わせる（ステップＳ１７）。図４に示す１０行９列の疎行列と図１７に示す９行１列のベクトル１１５４との積の計算結果を示す図２３と図１９～図２２とを比較すると明らかなように、Ｃｏｌｍａｊｏｒ密行列ベクトル積演算部１１６４２、ＣＲＳ疎行列ベクトル積演算部１１６４３、および、ＪＤＳ疎行列ベクトル積演算部１１６４４の計算結果は、疎行列ベクトル積演算結果の行の部分積を表している。そのため、和演算部１１６４５は、Ｃｏｌｍａｊｏｒ密行列ベクトル積演算部１１６４２、ＣＲＳ疎行列ベクトル積演算部１１６４３、および、ＪＤＳ疎行列ベクトル積演算部１１６４４で計算した積を同じ行どうしで足し合わせることで、行全体の積を算出する。

次に並べ替え部１１６４６は、行の並べ替え情報１１５３５に基づいて、和演算部１１６４５の計算結果の行の並べ替えを行う（ステップＳ１８）。即ち、和演算部１１６４５で計算された疎行列ベクトル積演算結果の行の並びは、疎行列１１５２の行の並びと相違するため、行の並べ替え情報１１５３５に基づいて、疎行列１１５２の行の並びと同じように並べ替えを行う。

次に出力部１１６３は、記憶部１１５から疎行列ベクトル積演算結果１１５５を読み出し、疎行列１１５２とベクトル１１５４の演算結果として画面表示部１１３に表示し、または／および、通信Ｉ／Ｆ部１１１を通じて外部装置へ送信する（ステップＳ１９）。

以上説明したように本実施形態によれば、疎行列１１５２とベクトル１１５４との積を高速に演算することができる。その理由は、疎行列１１５２における非ゼロ要素が多く集まった行および列を無駄に分割することなくＲｏｗｍａｊｏｒ密行列１１５３１およびＣｏｌｍａｊｏｒ密行列１１５３２として格納し、また残りの疎な部分行列をＣＲＳ疎行列１１５３３とＪＤＳ疎行列１１５３４とに分割して格納し、Ｒｏｗｍａｊｏｒ密行列１１５３１とベクトル１１５４との積、Ｃｏｌｍａｊｏｒ密行列１１５３２とベクトル１１５４との積、ＣＲＳ疎行列１１５３３とベクトル１１５４との積、ＪＤＳ疎行列１１５３４とベクトル１１５４との積をそれぞれ計算し、それらの行単位の和を求め、最後に行の並べ替えを行うようにしているためである。

Ｒｏｗｍａｊｏｒ密行列１１５３１とベクトル１１５４との積、および、Ｃｏｌｍａｊｏｒ密行列１１５３２とベクトル１１５４との積の演算を高速に行える理由は、その演算に必要なデータを少ない転送サイクルで記憶部１１５から演算処理部１１６に取得できるためである。例えば、記憶部１１５から演算処理部１１６へ１回の転送サイクルで取得可能なデータ量を３要素分とすると、図１９のＲｏｗｍａｊｏｒ密行列１１５３１の合計１８要素は６回の転送サイクルで取得でき、ベクトル１１５４の合計９要素は３回の転送サイクルで取得できる。そして、取得した２７要素のうちで無駄なゼロ要素は１つのみである。このことから、Ｒｏｗｍａｊｏｒ密行列ベクトル積演算は高速に行えることになる。また、図２０のＣｏｌｍａｊｏｒ密行列１１５３２の合計１６要素は６回の転送サイクルで取得でき、ベクトル１１５４の合計９要素は３回の転送サイクルで取得できる。そして、取得した２５要素のうちで無駄なゼロ要素は３要素のみである。このことから、ＣｏＬｍａｊｏｒ密行列ベクトル積演算は高速に行えることになる。

ＣＲＳ疎行列１１５３３とベクトル１１５４との積、および、ＪＤＳ疎行列１１５３４とベクトル１１５４との積の演算を高速に行える理由は、疎行列とベクトルとの積に比較して無駄な演算がないためである。

以下、行列ベクトル積演算部１１６４を実現するプログラム例（疑似コード例）を説明する。プログラム言語はＣ言語を使用する。但し、行列ベクトル積演算部１１６４は、Ｃ言語以外のプログラム言語によっても実現できることは言うまでもない。

図２４は、行列ベクトル積演算部１１６４におけるＲｏｗｍａｊｏｒ密行列ベクトル積演算部１１６４１のプログラムの一例を示す。図２４において、Ｖａｌ［］、ｎｒｏｗ、および、ｎｃｏｌは、Ｒｏｗｍａｊｏｒ密行列１１５３１の値配列、行数、および、列数をそれぞれ表し、Ｕ［］は、ベクトル１１５４の値配列を表し、Ｐ´［］は、演算結果ベクトルの値配列を表す。

図２５は、行列ベクトル積演算部１１６４におけるＣｏｌｍａｊｏｒ密行列ベクトル積演算部１１６４２のプログラムの一例を示す。図２５において、Ｖａｌ［］、ｎｒｏｗ、および、ｎｃｏｌは、Ｃｏｌｍａｊｏｒ密行列１１５３２の値配列、行数、および、列数をそれぞれ表し、Ｕ［］は、ベクトル１１５４の値配列を表し、Ｐ´［］は、演算結果ベクトルの値配列を表す。

図２６は、行列ベクトル積演算部１１６４におけるＣＲＳ疎行列ベクトル積演算部１１６４３のプログラムの一例を示す。図２６において、Ｖａｌ［］、Ｃｏｌ［］、および、ｏｆｆ［］は、ＣＲＳ疎行列１１５３３の値配列、列番号配列、および、オフセット配列の要素の値をそれぞれ表し、ｎｒｏｗは、ＣＲＳ疎行列１１５３３の行数を表し、Ｕ［］は、ベクトル１１５４の値配列を表し、Ｐ´［］は、演算結果ベクトルの値配列を表す。

図２７は、行列ベクトル積演算部１１６４におけるＪＤＳ疎行列ベクトル積演算部１１６４４のプログラムの一例を示す。図２７において、Ｖａｌ［］、Ｃｏｌ［］、および、ｏｆｆ［］は、ＪＤＳ疎行列１１５３４の値配列、列番号配列、および、オフセット配列の要素の値をそれぞれ表し、ｃｏｌｍａｘは、ＪＤＳ疎行列１１５３４の最大列数を表し、Ｕ［］は、ベクトル１１５４の値配列を表し、Ｐ´［］は、演算結果ベクトルの値配列を表す。

図２８は、行列ベクトル積演算部１１６４における並べ替え部１１６４６のプログラムの一例を示す。図２８において、Ｒｏｗ［］は、行の並べ替え情報１１５３５の値配列を表し、ｎｒｏｗは、疎行列１１５２の行数を表し、Ｐ´［］は、演算結果ベクトルの値配列を表し、Ｐ［］は、疎行列ベクトル積演算結果の値配列を表す。

図２４～図２８のプログラムは、図２４のプログラムが最初に実行され、次に図２５のプログラム、図２６のプログラム、図２７のプログラムの順に実行され、最後に図２８のプログラムが実行される。このとき、演算結果ベクトルの値配列Ｐ´［］はプログラム間で引き継がれるように動作する。例えば、配列Ｐ´［１］には、図２５のプログラム実行終了時点で、９×１＋１１×７が格納されていた場合、図２７のプログラムにおいてＰ´［１］に更に１０×５が加算される。このような動作は和演算部１１６４５の動作に相当する。そのため、上記プログラム例では、和演算部１１６４５のための専用のプログラムは設けられていない。但し、演算結果ベクトルの値配列Ｐ´［］を各演算部１１６４１～１１６４４独立に設けるような場合は、それらの実行後に行単位で和を求める和演算部１１６４５をプログラミングしておく必要がある。

以上説明したように本実施形態によれば、疎行列とベクトルとの積を高速に演算することが可能となる。その理由は、疎行列をベクトルとの積を高速に演算可能な複数の部分行列、即ち、Ｒｏｗｍａｊｏｒ密行列、Ｃｏｌｍａｊｏｒ密行列、ＣＲＳ疎行列、および、ＪＤＳ疎行列に変換し、それらの部分行列とベクトルとの積を個別に計算し、それらの計算結果を足し合わせて、疎行列ベクトル積演算の結果を生成するためである。

［第３の実施形態］
図２９は本発明の第３の実施形態に係る情報処理装置３００のブロック図である。情報処理装置３００は、図１６に示した情報処理装置２００と同様に疎行列をベクトルとの積を高速に演算可能な複数の部分行列に変換する機能、および、変換後の複数の部分行列を使用して、疎行列とベクトルとの積を求める機能を備えているとともに、統計的機械学習を行う機能を備えている。図２９を参照すると、情報処理装置３００は、図１６に示した情報処理装置２００と比較して、記憶部１１５がデータＷ、Ｕ、Ｐ、Ｗ^T、Ｑ、Ｙ、Ａを記憶するように構成され、また演算処理部１１６がさらに学習部１１６５を備えるように構成されている点で相違し、それ以外は情報処理装置２００と同じように構成されている。

データＷは、統計的機械学習の入力データである。データＷは、図１６の疎行列１１５２と同様に、その要素の多くが処理に必要でないゼロ要素となっている疎行列である。またデータＷは、非ゼロ要素が多く集まった行および列を行列の一部に有している。このようなデータＷの例として、１つの行が図３０に示すような一人のユーザの情報から構成される疎行列がある。図３０に示すユーザ情報は、ラベル、ユーザ名、環境、時間、特徴量１、特徴量２、・・・で構成されており、前半の４つの項目（ラベル、ユーザ名、環境、時間）は全てのユーザ情報が持っている密なデータになる。後半の特徴量の項目は、全体的には疎なデータであるが、殆どのユーザが特定の特徴量値を持っている場合や、特定のユーザが大量の特徴量を持っている場合がある。殆どのユーザが特定の特徴量値を持っている場合、当該特定の特徴量の項目に係る列は密なデータになる。特定のユーザが大量の特徴量を持っている場合、当該ユーザの行は密なデータになる。

データＷ^Tは、データＷの転置行列である。データＡは、教師データである。データＵは、学習対象となるモデルのパラメータの集合から構成されるベクトルである。データＰは、データＷとデータＵの積である。データＱは、データＰと教師データＡとの差から計算されるベクトルである。データＹは、データＷ^TとデータＱとの積である。

学習部１１６５は、データＷ、Ｕ、Ｐ、Ｗ^T、Ｑ、Ｙ、Ａを使用して統計的機械学習を行うように構成されている。統計的機械学習として、本実施形態では、ロジスティックリグレッション（ＬＲ）を使用する。ＬＲでは、その実行過程において、図３１に示すような計算が何度も繰り返されて、最終的なデータＵが求められることになる。

図３２は情報処理装置３００の動作の一例を示すフローチャートである。以下、図３２を参照して情報処理装置３００の動作を説明する。

図３２を参照すると、先ず入力部１１６１は、操作入力部１１２または／および通信Ｉ／Ｆ部１１１を通じてデータＷ、Ｗ^T、Ａを入力し、記憶部１１５に記憶する（ステップＳ２１）。

次に行列変換部１１６２は、記憶部１１５からデータＷ、Ｗ^Tを読み出し、第２の実施形態に係る情報処理装置２００と同様の行列変換処理を行って、データＷ、Ｗ^Tのそれぞれを互いに形式の異なる複数の部分行列に変換し、記憶部１１５に記憶する（ステップＳ２２）。即ち、行列変換部１１６２は、データＷを、Ｒｏｗｍａｊｏｒ密行列、Ｃｏｌｍａｊｏｒ密行列、ＣＲＳ疎行列、ＪＤＳ疎行列に変換する。また行列変換部１１６２は、データＷ^Tを、Ｒｏｗｍａｊｏｒ密行列、Ｃｏｌｍａｊｏｒ密行列、ＣＲＳ疎行列、ＪＤＳ疎行列に変換する。

次に学習部１１６５は、データＵに乱数を設定し、記憶部１１５に記憶する（ステップＳ２３）。

次に学習部１１６５は、ステップＳ２５からステップＳ２８を所定の条件が成立するまで繰り返す（ステップＳ２４、Ｓ２９）。所定の条件の例として、繰り返し回数が所定回数に達する、といった条件があるが、それに限定されない。

学習部１１６５は、ステップＳ２５では、行列ベクトル積演算部１１６４を使用してデータＷとデータＵとの積を計算し、その計算結果であるデータＰを記憶部１１５に記憶する。行列ベクトル積演算部１１６４は、データＷとデータＵとの積の計算では、データＷから生成されたＲｏｗｍａｊｏｒ密行列、Ｃｏｌｍａｊｏｒ密行列、ＣＲＳ疎行列、および、ＪＤＳ疎行列それぞれとデータＵとの積を個別に計算し、それらの積を足し合わせることで、データＰを算出する。

また学習部１１６５は、ステップＳ２６では、上記算出したデータＰと教師データＡとの差からデータＱを計算し、記憶部１１５に記憶する。

また学習部１１６５は、ステップＳ２７では、行列ベクトル積演算部１１６４を使用してデータＷ^TとデータＱとの積を計算し、その計算結果であるデータＹを記憶部１１５に記憶する。行列ベクトル積演算部１１６４は、データＷ^TとデータＱとの積の計算では、データＷ^Tから生成されたＲｏｗｍａｊｏｒ密行列、Ｃｏｌｍａｊｏｒ密行列、ＣＲＳ疎行列、および、ＪＤＳ疎行列それぞれとデータＱとの積を個別に計算し、それらの積を足し合わせることで、データＹを算出する。

また学習部１１６５は、ステップＳ２８では、上記算出したデータＹでデータＵを更新する。

次に出力部１１６３は、記憶部１１５からデータＵを読み出し、学習結果（学習済みのモデルのパラメータ）として画面表示部１１３に表示し、または／および、通信Ｉ／Ｆ部１１１を通じて外部装置へ送信する（ステップＳ３０）。

以上説明したように本実施形態によれば、統計的機械学習の高速化が可能である。その理由は、統計的機械学習で何度も繰り返して実行することが必要になる疎行列ベクトル積を本発明の手法によって高速化しているためである。

［第４の実施形態］
次に本発明の第４の実施形態について図面を参照して説明する。

図３３は第４の実施形態にかかわる情報処理装置４００のブロック図である。図３３を参照すると、情報処理装置４００は、第１の変換部４０１と第２の変換部４０２と第３の変換部４０３と第４の変換部４０４とを含んで構成されている。

第１の変換部４０１は、疎行列を非ゼロ要素の数が所定数以上の行から構成される第１の部分行列とそれ以外の行から構成される第２の部分行列とに分割し、第１の部分行列を行優先の密行列形式の第１の行列に変換するように構成されている。第１の変換部４０１は、例えば図１のＲｏｗｍａｊｏｒ密行列生成部１１６２１で構成することができるが、それに限定されない。

第２の変換部４０２は、第２の部分行列を非ゼロ要素の数が所定数以上の列から構成される第３の部分行列とそれ以外の行から構成される第４の部分行列とに分割し、第３の部分行列を列優先の密行列形式の第２の行列に変換するように構成されている。第２の変換部４０２は、例えば図１のＣｏｌｍａｊｏｒ密行列生成部１１６２２で構成することができるが、それに限定されない。

第３の変換部４０３は、第４の部分行列を第５の部分行列と第６の部分行列とに分割し、第５の部分行列を行優先の疎行列圧縮形式の第３の行列に変換するように構成されている。第３の変換部４０３は、例えば図１のＣＲＳ疎行列生成部１１６２３で構成することができるが、それに限定されない。

第４の変換部４０４は、第６の部分行列を列優先の疎行列圧縮形式の第４の行列に変換するように構成されている。第４の変換部４０４は、例えば図１のＪＤＳ疎行列生成部１１６２４で構成することができるが、それに限定されない。

以上のように構成された情報処理装置４００は、以下のように動作する。即ち、第１の変換部４０１は、疎行列を非ゼロ要素の数が所定数以上の行から構成される第１の部分行列とそれ以外の行から構成される第２の部分行列とに分割し、第１の部分行列を行優先の密行列形式の第１の行列に変換する。次に第２の変換部４０２は、第２の部分行列を非ゼロ要素の数が所定数以上の列から構成される第３の部分行列とそれ以外の行から構成される第４の部分行列とに分割し、第３の部分行列を列優先の密行列形式の第２の行列に変換する。次に第３の変換部４０３は、第４の部分行列を第５の部分行列と第６の部分行列とに分割し、第５の部分行列を行優先の疎行列圧縮形式の第３の行列に変換する。次に第４の変換部４０４は、第６の部分行列を列優先の疎行列圧縮形式の第４の行列に変換する。

以上のように構成され動作する情報処理装置４００によれば、非ゼロ要素が多く集まった行および列が行列の一部に存在する疎行列に対する行列ベクトル積を高速に演算することができる。その理由は、入力の疎行列における非ゼロ要素が多く集まった行および列を無駄に分割することなく行優先の密行列形式の第１の行列および列優先の密行列形式の第２の行列として保持することができ、また残りの疎な部分行列を疎行列圧縮形式で保持するためである。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。例えば、以下のような形態も本発明に含まれる。

第１乃至第３の実施形態では、行列変換部１１６２は、第４の部分行列１１５２－４を、非ゼロ要素の数が所定数以上の行から構成される第５の部分行列１１５２－５とそれ以外の行から構成される第６の部分行列１１５２－６とに分割し、第５の部分行列１１５２－５における非ゼロ要素をＣＲＳ形式で格納し、第６の部分行列１１５２－６をＪＤＳ形式で格納した。しかし、行列変換部１１６２は、第４の部分行列１１５２－４の非ゼロ要素を左詰めにし、左詰めした行列の列のうちの非ゼロ要素の数が所定数以上の列に対する部分行列をＪＤＳ形式で格納し、上記左詰めした行列のそれ以外の列に対する部分行列をＣＲＳ形式で格納するように構成されていてもよい。

また第１乃至第３の実施形態では、行列変換部１１６２は、第４の部分行列１１５２－４の非ゼロ要素を格納する疎行列圧縮形式として、ＣＲＳ形式とＪＤＳ形式を使用した。しかし、行列変換部１１６２は、行優先で行列の要素を格納する他の疎行列圧縮形式をＣＲＳの代わりに使用してもよく、列優先で行列の要素を格納する他の疎行列圧縮形式をＪＤＳ形式の代わりに使用してもよい。

また第３の実施形態では、統計的機械学習において行われる疎行列ベクトル積に本発明を適用した。しかし、本発明はそのような適用に限定されず、Ｋ－ｍｅａｎｓ・特異値分解・ランチョス法など、様々な科学技術計算における疎行列ベクトル積の計算に適用可能である。

本発明は、疎行列を圧縮して保持する分野や、疎行列ベクトル積を計算する分野に利用できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
疎行列を非ゼロ要素の数が所定数以上の行から構成される第１の部分行列とそれ以外の行から構成される第２の部分行列とに分割し、前記第１の部分行列を行優先の密行列形式の第１の行列に変換する第１の変換部と、
前記第２の部分行列を非ゼロ要素の数が所定数以上の列から構成される第３の部分行列とそれ以外の行から構成される第４の部分行列とに分割し、前記第３の部分行列を列優先の密行列形式の第２の行列に変換する第２の変換部と、
前記第４の部分行列を第５の部分行列と第６の部分行列とに分割し、前記第５の部分行列を行優先の疎行列圧縮形式の第３の行列に変換する第３の変換部と、
前記第６の部分行列を列優先の疎行列圧縮形式の第４の行列に変換する第４の変換部と、
を備える情報処理装置。
［付記２］
前記第３の変換部は、前記第４の部分行列を非ゼロ要素の数が所定数以上の行から構成される前記第５の部分行列とそれ以外の行から構成される前記第６の部分行列とに分割するように構成されている、
付記１に記載の情報処理装置。
［付記３］
前記第２の変換部は、各行の非ゼロ要素の数が小さくなる順に前記第４の部分行列を並べ替え、該並べ替え後の前記第４の部分行列と同じ順に前記第２の行列を並べ替えるように構成されている、
付記２に記載の情報処理装置。
［付記４］
前記行優先の疎行列圧縮形式は、ＣＲＳ（Ｃｏｍｐｒｅｓｓｅｄ Ｒｏｗ Ｓｔｏｒａｇｅ）形式である、
付記１乃至３の何れかに記載の情報処理装置。
［付記５］
前記列優先の疎行列圧縮形式は、ＪＤＳ（Ｊａｇｇｅｄ Ｄｉａｇｏｎａｌ Ｓｔｏｒａｇｅ）形式である、
付記１乃至４の何れかに記載の情報処理装置。
［付記６］
前記第１の行列、前記第２の行列、前記第３の行列、および、前記第４の行列の組に変換された前記疎行列と、前記疎行列との積を計算可能なベクトルとを記憶する記憶部と、
前記第１の行列と前記ベクトルとの積、前記第２の行列と前記ベクトルとの積、前記第３の行列と前記ベクトルとの積、および、前記第４の行列と前記ベクトルとの積を、個別に計算し、前記計算した積を足し合わせることにより、前記疎行列と前記ベクトルとの積を求める行列ベクトル積演算部と、
を更に備える付記１乃至５の何れかに記載の情報処理装置。
［付記７］
前記行列ベクトル積演算部は、統計的機械学習を制御する学習部から計算を指示された疎行列ベクトル積の演算を行うように構成されている、
付記６に記載の情報処理装置。
［付記８］
疎行列を非ゼロ要素の数が所定数以上の行から構成される第１の部分行列とそれ以外の行から構成される第２の部分行列とに分割し、前記第１の部分行列を行優先の密行列形式の第１の行列に変換し、
前記第２の部分行列を非ゼロ要素の数が所定数以上の列から構成される第３の部分行列とそれ以外の行から構成される第４の部分行列とに分割し、前記第３の部分行列を列優先の密行列形式の第２の行列に変換し、
前記第４の部分行列を第５の部分行列と第６の部分行列とに分割し、前記第５の部分行列を行優先の疎行列圧縮形式の第３の行列に変換し、
前記第６の部分行列を列優先の疎行列圧縮形式の第４の行列に変換する、
情報処理方法。
［付記９］
コンピュータに、
疎行列を非ゼロ要素の数が所定数以上の行から構成される第１の部分行列とそれ以外の行から構成される第２の部分行列とに分割し、前記第１の部分行列を行優先の密行列形式の第１の行列に変換する処理と、
前記第２の部分行列を非ゼロ要素の数が所定数以上の列から構成される第３の部分行列とそれ以外の行から構成される第４の部分行列とに分割し、前記第３の部分行列を列優先の密行列形式の第２の行列に変換する処理と、
前記第４の部分行列を第５の部分行列と第６の部分行列とに分割し、前記第５の部分行列を行優先の疎行列圧縮形式の第３の行列に変換する処理と、
前記第６の部分行列を列優先の疎行列圧縮形式の第４の行列に変換する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

１００、２００、３００、４００…情報処理装置
１１１…通信Ｉ／Ｆ部
１１２…操作入力部
１１３…画面表示部
１１５…記憶部
１１５１…プログラム
１１５２…疎行列
１１５２－１…第１の部分行列
１１５２－２…第２の部分行列
１１５２－３…第３の部分行列
１１５２－４…第４の部分行列
１１５２－５…第５の部分行列
１１５２－６…第６の部分行列
１１５３１…Ｒｏｗｍａｊｏｒ密行列
１１５３２…Ｃｏｌｍａｊｏｒ密行列
１１５３３…ＣＲＳ疎行列
１１５３４…ＪＤＳ疎行列
１１５３５…行の並べ替え情報
１１６…演算処理部
１１６１…入力部
１１６２…行列変換部
１１６２１…Ｒｏｗｍａｊｏｒ密行列生成部
１１６２２…Ｃｏｌｍａｊｏｒ密行列生成部
１１６２３…ＣＲＳ疎行列生成部
１１６２４…ＪＤＳ疎行列生成部
１１６３…出力部
１１６４…行列ベクトル積演算部
１１６４１…Ｒｏｗｍａｊｏｒ密行列ベクトル積演算部
１１６４２…Ｃｏｌｍａｊｏｒ密行列ベクトル積演算部
１１６４３…ＣＲＳ疎行列ベクトル積演算部
１１６４４…ＪＤＳ疎行列ベクトル積演算部
１１６４５…和演算部
１１６４６…並べ替え部
１１６５…学習部
４０１…第１の変換部
４０２…第２の変換部
４０３…第３の変換部
４０４…第４の変換部

Claims (9)

1. 疎行列を非ゼロ要素の数が所定数以上の行から構成される第１の部分行列とそれ以外の行から構成される第２の部分行列とに分割し、前記第１の部分行列を行優先の密行列形式の第１の行列に変換する第１の変換部と、
   前記第２の部分行列を非ゼロ要素の数が所定数以上の列から構成される第３の部分行列とそれ以外の列から構成される第４の部分行列とに分割し、前記第３の部分行列を列優先の密行列形式の第２の行列に変換する第２の変換部と、
   前記第４の部分行列を第５の部分行列と第６の部分行列とに分割し、前記第５の部分行列を行優先の疎行列圧縮形式の第３の行列に変換する第３の変換部と、
   前記第６の部分行列を列優先の疎行列圧縮形式の第４の行列に変換する第４の変換部と、
   を備える情報処理装置。
2. 前記第３の変換部は、前記第４の部分行列を非ゼロ要素の数が所定数以上の行から構成される前記第５の部分行列とそれ以外の行から構成される前記第６の部分行列とに分割するように構成されている、
   請求項１に記載の情報処理装置。
3. 前記第２の変換部は、各行の非ゼロ要素の数が小さくなる順に前記第４の部分行列を並べ替え、該並べ替え後の前記第４の部分行列と同じ順に前記第２の行列を並べ替えるように構成されている、
   請求項２に記載の情報処理装置。
4. 前記行優先の疎行列圧縮形式は、ＣＲＳ（Ｃｏｍｐｒｅｓｓｅｄ Ｒｏｗ Ｓｔｏｒａｇｅ）形式である、
   請求項１乃至３の何れかに記載の情報処理装置。
5. 前記列優先の疎行列圧縮形式は、ＪＤＳ（Ｊａｇｇｅｄ Ｄｉａｇｏｎａｌ Ｓｔｏｒａｇｅ）形式である、
   請求項１乃至４の何れかに記載の情報処理装置。
6. 前記第１の行列、前記第２の行列、前記第３の行列、および、前記第４の行列の組に変換された前記疎行列と、前記疎行列との積を計算可能なベクトルとを記憶する記憶部と、
   前記第１の行列と前記ベクトルとの積、前記第２の行列と前記ベクトルとの積、前記第３の行列と前記ベクトルとの積、および、前記第４の行列と前記ベクトルとの積を、個別に計算し、前記計算した積を足し合わせることにより、前記疎行列と前記ベクトルとの積を求める行列ベクトル積演算部と、
   を更に備える請求項１乃至５の何れかに記載の情報処理装置。
7. 前記行列ベクトル積演算部は、統計的機械学習を制御する学習部から計算を指示された疎行列ベクトル積の演算を行うように構成されている、
   請求項６に記載の情報処理装置。
8. コンピュータが、
   疎行列を非ゼロ要素の数が所定数以上の行から構成される第１の部分行列とそれ以外の行から構成される第２の部分行列とに分割し、前記第１の部分行列を行優先の密行列形式の第１の行列に変換し、
   前記第２の部分行列を非ゼロ要素の数が所定数以上の列から構成される第３の部分行列とそれ以外の列から構成される第４の部分行列とに分割し、前記第３の部分行列を列優先の密行列形式の第２の行列に変換し、
   前記第４の部分行列を第５の部分行列と第６の部分行列とに分割し、前記第５の部分行列を行優先の疎行列圧縮形式の第３の行列に変換し、
   前記第６の部分行列を列優先の疎行列圧縮形式の第４の行列に変換する、
   情報処理方法。
9. コンピュータに、
   疎行列を非ゼロ要素の数が所定数以上の行から構成される第１の部分行列とそれ以外の行から構成される第２の部分行列とに分割し、前記第１の部分行列を行優先の密行列形式の第１の行列に変換する処理と、
   前記第２の部分行列を非ゼロ要素の数が所定数以上の列から構成される第３の部分行列とそれ以外の列から構成される第４の部分行列とに分割し、前記第３の部分行列を列優先の密行列形式の第２の行列に変換する処理と、
   前記第４の部分行列を第５の部分行列と第６の部分行列とに分割し、前記第５の部分行列を行優先の疎行列圧縮形式の第３の行列に変換する処理と、
   前記第６の部分行列を列優先の疎行列圧縮形式の第４の行列に変換する処理と、
   を行わせるためのプログラム。

Images