JP7363145B2 - 学習装置および学習方法 - Google Patents

学習装置および学習方法 Download PDF

Info

Publication number
JP7363145B2
JP7363145B2 JP2019130620A JP2019130620A JP7363145B2 JP 7363145 B2 JP7363145 B2 JP 7363145B2 JP 2019130620 A JP2019130620 A JP 2019130620A JP 2019130620 A JP2019130620 A JP 2019130620A JP 7363145 B2 JP7363145 B2 JP 7363145B2
Authority
JP
Japan
Prior art keywords
learning
data
address
memory
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019130620A
Other languages
English (en)
Other versions
JP2021015523A (ja
Inventor
拓哉 田中
亮介 笠原
彰 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019130620A priority Critical patent/JP7363145B2/ja
Priority to US16/902,611 priority patent/US11797884B2/en
Publication of JP2021015523A publication Critical patent/JP2021015523A/ja
Application granted granted Critical
Publication of JP7363145B2 publication Critical patent/JP7363145B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Systems (AREA)
  • Memory System (AREA)
  • Image Analysis (AREA)

Description

本発明は、学習装置および学習方法に関する。
近年、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：人工知能）に関連して一般的にも知られるようになった機械学習を用いて、大量のデータを元に人間の機能を代替する試みが各分野において広がっている。この分野は未だ日ごとに大きく発展を続けているが、現状いくつかの課題がある。その内の代表的なものは、データから汎用的な知識を取り出す汎化性能を含む精度の限界、および、その大きな計算負荷による処理速度の限界である。また、よく知られている、高性能な機械学習のアルゴリズムとして、Ｄｅｅｐ ｌｅａｒｎｉｎｇ（ＤＬ）（ディープラーニング、深層学習）、およびその中で周辺のみに入力ベクトルを限定したＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）等が存在する。これらの手法と比較して、現状では、勾配ブースティング（例えば、ＧＢＤＴ（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ：勾配ブースティング決定木））は、特徴量の抽出が難しいため画像、音声および言語等の入力データに対しては精度が劣るものの、それ以外の構造化したデータではより良い性能が出ることが知られている。現に、データサイエンティストのコンペティションであるＫａｇｇｌｅでは、ＧＢＤＴが最もスタンダードなアルゴリズムとなっている。実社会の機械学習により解決したい課題のうち７０％は、画像、音声および言語以外の構造化されたデータと言われており、ＧＢＤＴは実世界の問題を解くためには、重要なアルゴリズムであることは間違いない。さらに、近年、決定木を用いて、画像音声等のデータの特徴抽出を行う手法も提案され始めている。
勾配ブースティングは、ＣＣＮ等のディープラーニングに比べて学習処理が高速である。しかし、実用上必要な作業である特徴選択、ハイパーパラメータの調整、ならびに汎化性能の評価および性能向上を目的とした、複数のモデルを組み合わせることにより性能向上を図るモデルアンサンブルおよびスタッキング等の作業では数百回を超える学習も珍しくない。したがって、比較的高速な勾配ブースティングでも計算時間が課題となる。そのため、勾配ブースティングの学習処理の高速化を目的とした研究が近年多数報告されている。
このような決定木による識別を実現する目的で、しきい値を上手く調整することによって、キャッシュメモリの効果を高めて高速化する技術が開示されている（特許文献１参照）。
特許文献１に開示された技術では、ノード毎に最適な分岐条件を算出し、それを元にノードのあるサンプルデータを分岐していく処理を順番に行うため、処理時間が長くなることが想定されるため、当該処理時間を短縮するために、サンプルデータを格納するメモリとして、ランダムアクセスが可能なＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を使用することが原則となる。しかしながら、サンプルデータを格納するメモリとして、チップ内部のＳＲＡＭを用いるものとすると、小容量のデータ容量のみしか扱うことができず、大容量のサンプルデータを扱うことができないという問題がある。例えば、勾配ブースティングにおいて１のモデルを学習した後には、各サンプルデータに対応する勾配情報を算出して更新し、次のモデルの学習に用いるサンプルデータを抽出する、いわゆるデータサブサンプルを行う。このような処理において、サンプルデータの格納にＳＲＡＭを用いた場合、大容量のサンプルデータに対する処理を行うことができないという問題がある。
本発明は、上述の問題点に鑑みてなされたものであって、勾配ブースティングにおいて、大容量のサンプルデータに対してデータサブサンプルを行うことができる学習装置および学習方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、勾配ブースティングによる学習を行う学習装置において、前記勾配ブースティングによるモデルを学習するための学習データと、該学習データに対応する勾配情報と、を記憶するデータ記憶部と、前記データ記憶部に記憶された前記学習データを用いて前記モデルを学習する学習部と、前記学習部により学習された前記モデルを基に、前記各学習データの前記勾配情報を更新する更新部と、前記モデルの学習に用いる学習データの割合であるサブサンプル率に基づいて、前記更新部により更新された前記勾配情報に対応する前記学習データについて、１のモデルの学習後の次のモデルの学習に使用するか否かを判定するサブサンプル部と、前記サブサンプル部により、前記次のモデルの学習に使用すると判定された前記学習データおよび該学習データに対応する前記勾配情報を予め定められた容量までバッファリングする第１バッファ部と、前記サブサンプル部により、前記次のモデルの学習に使用しないと判定された前記学習データおよび該学習データに対応する前記勾配情報を予め定められた容量までバッファリングする第２バッファ部と、を備え、前記第１バッファ部および前記第２バッファ部は、前記予め定められた容量まで前記学習データおよび前記勾配情報をバッファリングする場合、該学習データおよび該勾配情報を、所定のブロックごとに前記データ記憶部に書き込むことを特徴とする。
本発明によれば、勾配ブースティングにおいて、大容量のサンプルデータに対してデータサブサンプルを行うことができる。
図１は、決定木モデルの一例を示す図である。 図２は、第１の実施形態に係る学習識別装置のモジュール構成の一例を示す図である。 図３は、ポインタメモリの構成の一例を示す図である。 図４は、ラーニングモジュールのモジュール構成の一例を示す図である。 図５は、第１の実施形態に係る学習識別装置の初期化時のモジュールの動作を示す図である。 図６は、第１の実施形態に係る学習識別装置のデプス０、ノード０のノードパラメータを決定する場合のモジュールの動作を示す図である。 図７は、第１の実施形態に係る学習識別装置のデプス０、ノード０の分岐時のモジュールの動作を示す図である。 図８は、第１の実施形態に係る学習識別装置のデプス１、ノード０のノードパラメータを決定する場合のモジュールの動作を示す図である。 図９は、第１の実施形態に係る学習識別装置のデプス１、ノード０の分岐時のモジュールの動作を示す図である。 図１０は、第１の実施形態に係る学習識別装置のデプス１、ノード１のノードパラメータを決定する場合のモジュールの動作を示す図である。 図１１は、第１の実施形態に係る学習識別装置のデプス１、ノード１の分岐時のモジュールの動作を示す図である。 図１２は、第１の実施形態に係る学習識別装置のデプス１、ノード１のノードパラメータを決定の結果、分岐しない場合のモジュールの動作を示す図である。 図１３は、第１の実施形態に係る学習識別装置において決定木の学習が完了した場合に全サンプルデータのステート情報を更新するときのモジュールの動作を示す図である。 図１４は、第１の実施形態の変形例に係る学習識別装置のモデルメモリの構成の一例を示す図である。 図１５は、第１実施形態の変形例に係る学習識別装置のクラシフィケーションモジュールの構成の一例を示す図である。 図１６は、データパラレルを適用した学習識別装置のモジュール構成の一例を示す図である。 図１７は、ラーニングモジュールの詳細なモジュール構成の一例を示す図である。 図１８は、ラーニングモジュールの勾配ヒストグラム算出モジュールのモジュール構成の一例を示す図である。 図１９は、ラーニングモジュールの累積勾配算出モジュールのモジュール構成の一例を示す図である。 図２０は、データパラレルにした場合の勾配ヒストグラム算出モジュールのモジュール構成の一例を示す図である。 図２１は、第２の実施形態に係る学習識別装置のラーニングモジュールのモジュール構成の一例を示す図である。 図２２は、第２の実施形態のラーニングモジュールの勾配ヒストグラム算出モジュールのモジュール構成の一例を示す図である。 図２３は、第２の実施形態のラーニングモジュールにおいて分割数を３とした場合の勾配ヒストグラム算出モジュールのモジュール構成の一例を示す図である。 図２４は、第２の実施形態のラーニングモジュールの累積勾配算出モジュールのモジュール構成の一例を示す図である。 図２５は、第２の実施形態に係る学習識別装置において特徴量の種類を２とした場合のラーニングモジュールのモジュール構成の一例を示す図である。 図２６は、第２の実施形態のラーニングモジュールにおいて特徴量の種類を２とした場合の勾配ヒストグラム算出モジュールのモジュール構成の一例を示す図である。 図２７は、第３の実施形態に係る学習識別装置のモジュール構成の一例を示す図である。 図２８は、次の学習対象となるノードでの学習データのアドレス算出について説明する図である。 図２９は、第３の実施形態のアドレス管理部のモジュール構成の一例を示す図である。 図３０は、第３の実施形態のアドレス算出部１２１のモジュール構成の一例を示す図である。 図３１は、ノードアドレスについて説明する図である。 図３２は、第３の実施形態のアドレス記憶部の構成の一例を示す図である。 図３３は、第３の実施形態に係る学習識別装置のデプス０、ノード０の学習前におけるアドレス記憶部の状態を示す図である。 図３４は、第３の実施形態に係る学習識別装置のデプス０、ノード０の学習後におけるアドレス記憶部の状態を示す図である。 図３５は、第３の実施形態に係る学習識別装置のデプス１、ノード０の学習後におけるアドレス記憶部の状態を示す図である。 図３６は、第３の実施形態に係る学習識別装置のデプス１、ノード１の学習後におけるアドレス記憶部の状態を示す図である。 図３７は、第３の実施形態に係る学習識別装置のデプス２、ノード０の学習後におけるアドレス記憶部の状態を示す図である。 図３８は、第３の実施形態に係る学習識別装置のデータパラレルを実現するモジュール構成の一例を示す図である。 図３９は、第３の実施形態に係る学習識別装置においてデータパラレルを実現する場合のアドレス管理部の機能を説明するための構成を示す図である。 図４０は、第４の実施形態に係る学習識別装置のデータパラレルを適用したモジュール構成の一例を示す図である。 図４１は、データパラレルにおいてＡＵＣ算出部を１つとした場合の構成を示す図である。 図４２は、データパラレルにおいて分割ごとにＡＵＣ算出部を有する構成を示す図である。 図４３は、第４の実施形態に係る学習識別装置における要部の構成を示す図である。 図４４は、ＡＵＣ算出部が１つの場合と分割ごとに備えられる場合との処理時間の比較結果の一例を示す図である。 図４５は、モデルメモリが１つの場合と分割ごとに備えられる場合との処理時間の比較結果の一例を示す図である。 図４６は、第５の実施形態に係る学習識別装置の全体構成の一例を示す図である。 図４７は、第５の実施形態に係る学習識別装置における１の学習部のモジュール構成の一例を示す図である。 図４８は、第５の実施形態に係る学習識別装置において外部メモリへのサンプルデータの保存態様の一例を示す図である。 図４９は、第６の実施形態に係る学習識別装置の全体構成の一例を示す図である。 図５０は、第６の実施形態に係る学習識別装置のサブサンプル部の構成の一例を示す図である。 図５１は、第６の実施形態に係る学習識別装置における１の学習部のモジュール構成の一例を示す図である。
以下に、図面を参照しながら、本発明に係る学習装置および学習方法の実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
［第１の実施形態］
（ＧＢＤＴのロジックについて）
高性能な機械学習のアルゴリズムとしてのＤＬにおいて、識別器は様々なハードロジックによる実装が試みられ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）での処理と比較して電力効率が高いことが分かっている。ただし、ＤＬのうち特にＣＮＮの場合には、ＧＰＵのアーキテクチャが非常にマッチするため、速度的には、ロジック実装したＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の方がＧＰＵに比べて、識別が速いというわけではない。それに対して、ＧＢＤＴのような決定木系のアルゴリズムについて、ＦＰＧＡによるハードロジックの実装が試行され、ＧＰＵよりも高速な結果が報告されている。これは、後述するように、決定木系のアルゴリズムはそのデータ配列の特徴上、ＧＰＵのアーキテクチャに適さないためである。
また、学習に関しては、識別よりも世の中の検討は遅れており、ＤＬにおいてもほとんど現状報告がなく、決定木系では報告は少ない状況である。その中でもＧＢＤＴの学習は、現状どこからもまだ報告がなく、現在では未開拓の分野であると考えられる。精度のよい識別モデルを得るためには、学習時に特徴量の選択および設計、ならびに学習アルゴリズムのハイパーパラメータの選択を行うため、莫大な試行回数が必要となり、特に大量の学習データがある場合には、学習処理のスピードの高さは現実的に最終的なモデルの精度について非常に大きく作用する。さらに、ロボティクス、ＨＦＴ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ Ｔｒａｄｉｎｇ)、およびＲＴＢ（Ｒｅａｌ－Ｔｉｍｅ Ｂｉｄｄｉｎｇ）のように環境変化への追従のリアルタイム性が求められる分野に関しては、スピードの速さが性能へと直結する。そのため、精度の高いＧＢＤＴにおいて、高速な学習処理が出来た場合には、結果的にそれを利用したシステムの性能を大きく向上させることができると考えられる。
（ＧＢＤＴのＦＰＧＡに対する親和性）
決定木またはＧＢＤＴが、なぜＧＰＵでは速くならないか、および、なぜＦＰＧＡだと速くなるかについて、ＧＢＤＴのＦＰＧＡに対する親和性の観点から述べる。
まず、ＧＢＤＴがブースティングを用いたアルゴリズムであることの観点から述べる。決定木の中でも、アンサンブル学習を用いたＲａｎｄｏｍ Ｆｏｒｅｓｔ（ＲＦ）の場合は、木の間に依存関係がないため、ＧＰＵでも並列化しやすいが、ＧＢＤＴはブースティングを用いて、多数の木を連結する方法であり、一個前の木の結果が出ないと、次の木の学習を開始することができない。そのため、処理としてシリアルな処理であり、一本ずつの木をいかに速く学習するかがキーとなる。これに対して、ＲＦでは、一本あたりは遅くても、並列に多数の木の学習を速くすることで、全体の学習を速くするという選択肢をとり得る。そのため、ＧＰＵを用いた場合にも次に述べるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のアクセスレイテンシの問題をある程度隠蔽することが可能であると考えられる。
次に、ＧＰＵデバイスのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）へのアクセス速度の限界（特にランダムアクセス）の観点から述べる。ＦＰＧＡに内蔵のＳＲＡＭは、ＦＰＧＡ内のＲＡＭのバス幅を非常に大きくできるため、ミドルレンジのＦＰＧＡである、例えば、Ｘｉｌｉｎｘ社のＸＣ７ｋ３２５Ｔを用いた場合でも、以下の様に、４００［ＧＢ／ｓｅｃ］に及ぶ。なお、内蔵ＲＡＭの容量は１６［Ｍｂ］である。
BRAM 445個 × 36bit × 100MHz × 2ポート = 445*36*2*100*10^6/10^9 = 400GB/sec
また、ハイエンドのＦＰＧＡである、Ｘｉｌｉｎｘ社のＶＵ９Ｐを用いた場合、８６４［ＧＢ／ｓｅｃ］である。なお、内蔵ＲＡＭの容量は２７０［Ｍｂ］である。
URAM 960個 × 36bit × 100MHz × 2ポート = 960*36*2*100*10^6/10^9 = 864GB/sec
これらの値は、クロック周波数を１００［ＭＨｚ］とした場合であるが、実際には、回路構成を工夫すると、２００～５００［ＭＨｚ］程度での動作が考えられ、限界の帯域は数倍となる。これに対して、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に接続されているＲＡＭは現世代では、ＤＤＲ４（Ｄｏｕｂｌｅ－Ｄａｔａ－Ｒａｔｅ４）であるが、下記のようにＤＩＭＭ（Ｄｕａｌ Ｉｎｌｉｎｅ Ｍｅｍｏｒｙ Ｍｏｄｕｌｅ）１枚での帯域は２５．６［ＧＢ／ｓｅｃ］に留まる。４枚のインタリーブ構成（２５６ビット幅)にしたとしても、１００［ＧＢ／ｓｅｃ］程度である。ＤＤＲ４のチップ規格がＤＤＲ４－３２００（バス幅６４ビット、ＤＩＭＭ１枚）の場合、以下のようになる。
1600MHz × 2(DDR) × 64 = 1600*10^6*2*64/10^9 = 25.6GB/sec
ＧＰＵに搭載されているＧＤＤＲ５（Ｇｒａｐｈｉｃｓ Ｄｏｕｂｌｅ－Ｄａｔａ－Ｒａｔｅ５)では、ＤＤＲ４の帯域よりも４倍程度大きくなっているが、それでも、最大で４００［ＧＢ／ｓｅｃ］程度である。
このように、ＦＰＧＡ内のＲＡＭと、ＧＰＵおよびＣＰＵでの外部メモリとは、帯域に大きな差がある。さらに、ここまでは、アドレスに対してシーケンシャルなアクセスの場合に関して述べてきたが、これ以上に大きく効いてくるのが、ランダムアクセス時のアクセスの時間である。ＦＰＧＡ内蔵のＲＡＭはＳＲＡＭであるため、シーケンシャルアクセスでもランダムアクセスでもアクセスレイテンシは１クロックであるが、ＤＤＲ４およびＧＤＤＲ５は、ＤＲＡＭであり、センスアンプの都合上、異なるカラムにアクセスした場合には、レイテンシが大きくなる。例えば、ＤＤＲ４のＲＡＭにおいて、代表的なＣＡＳレイテンシ（Ｃｏｌｕｍｎ Ａｄｄｒｅｓｓ Ｓｔｒｏｂｅ ｌａｔｅｎｃｙ）は１６クロックであり、簡単には、シーケンシャルアクセスと比較して、１／１６しかスループットが出ない計算となる。
ＣＮＮの場合には、隣接した画素のデータを処理していくので、ランダムアクセスのレイテンシは大きく問題とならないが、決定木の場合には、分岐を続けていくと、枝ごとに元のデータのアドレスがどんどんと不連続になり、基本的にランダムアクセスとなる。そのため、データをＤＲＡＭに置いた場合、そのスループットがボトルネックとなり、速度が大きく劣化する。ＧＰＵにはそのような場合の性能劣化を抑えるために、キャッシュが存在するが、基本的に決定木はデータを総なめしていくアルゴリズムなので、データアクセスに局所性がなくキャッシュの効果が非常に効きにくい。なお、ＧＰＵの構造では、ＧＰＵには、演算コア（ＳＭ）毎に割り振られたＳＲＡＭからなるシェアードメモリが存在し、これを使うと高速な処理が可能である場合があるが、１個のＳＭあたり１６～４８［ｋＢ］と少量であり、かつ、ＳＭ間をまたぐアクセスの場合には、大きなレイテンシが発生する。現在の高価で大規模なＧＰＵである、Ｎｖｉｄｉａ Ｋ８０の場合のシェアードメモリの容量の試算を以下に示す。
K80 = 2 × 13 SMX = 26 SMX = 4992 CUDAコア
26 × 48 × 8 = 9Mb
このように、数十万円する大規模なＧＰＵでもシェアードメモリはたった９［Ｍｂ］しか存在せず、容量が少な過ぎる。さらに、ＧＰＵの場合は、上述のように、処理を行うＳＭは他のＳＭのシェアードメモリには直接アクセスできないことに起因し、決定木の学習に利用する場合には、高速なコーディングが困難という制約も存在する。
以上のように、データがＦＰＧＡ上のＳＲＡＭに載るという前提で、ＦＰＧＡはＧＰＵに比べてＧＢＤＴの学習アルゴリズムを高速に実装可能であると考えられる。
（ＧＢＤＴのアルゴリズム）
図１は、決定木モデルの一例を示す図である。以下、式（１）～式（２２）および図１を参照してＧＢＤＴの基本論理を説明する。
ＧＢＤＴは、教師あり学習の一手法であり、教師あり学習は以下の式（１）に示すように、学習データに対するフィッティングの良さを表すロス関数Ｌ（θ）と、学習したモデルの複雑さを表す正則化項Ω（θ）とからなる目的関数ｏｂｊ（θ）を何らかの尺度で最適化する処理である。正則化項Ω（θ）は、モデル（決定木）が複雑になり過ぎることを防ぐ、すなわち、汎化性能を高める役割を有する。
Figure 0007363145000001
式（１）の第１項のロス関数は、例えば、以下の式（２）に示すように、サンプルデータ（学習データ）ごとに誤差関数ｌより計算されるロスを足し合わせたものである。ここでｎはサンプルデータ数、ｉはサンプル番号、ｙはラベル、モデルのｙ（ハット）は予測値である。
Figure 0007363145000002
ここで、誤差関数ｌは、例えば、以下の式（３）および式（４）に示すような二乗誤差関数またはロジスティックロス関数等が用いられる。
Figure 0007363145000003
Figure 0007363145000004
また式（１）の第２項の正則化項Ω（θ）は、例えば、以下の式（５）に示すようなパラメータθの二乗ノルム等が用いられる。ここで、λは正則化の重みを表すハイパーパラメータである。
Figure 0007363145000005
ここで、ＧＢＤＴの場合について考える。まず、ＧＢＤＴのｉ番目のサンプルデータｘｉに対する予測値は、以下の式（６）のように表現できる。
Figure 0007363145000006
ここで、Ｋは決定木の総数、ｋは決定木の番号、ｆｋ（）はｋ番目の決定木の出力、ｘｉは入力されるサンプルデータの特徴量である。これより、ＧＢＤＴもＲＦ等と同じく、各決定木の出力を足し合わせたものを最終的な出力としていることがわかる。また、パラメータθは、θ＝｛ｆ１，ｆ２，・・・，ｆＫ｝である。以上より、ＧＢＤＴの目的関数は以下の式（７）のように表される。
Figure 0007363145000007
上記の目的関数について学習を行うが、決定木モデルではニューラルネット等の学習で用いられるＳＧＤ（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ：確率的勾配降下法）等の手法は使えない。そこでＡｄｄｉｔｉｖｅ Ｔｒａｉｎｉｎｇ（ブースティング）を用いて学習を行う。Ａｄｄｉｔｉｖｅ Ｔｒａｉｎｉｎｇでは、あるラウンド（学習回数、決定木モデル数）ｔにおける予測値を以下の式（８）のように表現する。
Figure 0007363145000008
式（８）より、あるラウンドｔにおいて、決定木（の出力）ｆｔ（ｘｉ）を求める必要があることが分かる。逆に、あるラウンドｔでは他のラウンドについて考える必要はない。そこで、以下では、ラウンドｔについて考える。ラウンドｔでの目的関数は以下の式（９）のように表される。
Figure 0007363145000009
ここで、ラウンドｔにおける目的関数のテーラー展開（二次の項までで打ち切り）は以下の式（１０）のようになる。
Figure 0007363145000010
ここで、式（１０）において、勾配情報ｇｉ、ｈｉは以下の式（１１）で表されるものである。
Figure 0007363145000011
式（１０）において定数項を無視すると、ラウンドｔでの目的関数は、以下の式（１２）のようになる。
Figure 0007363145000012
この式（１２）により、ラウンドｔでの目的関数は、誤差関数を１ラウンド前の予測値で１階微分および２階微分したもの、および正則化項で表されるので、１階微分および２階微分が求まる誤差関数ならば適用が可能なことが分かる。
ここで、決定木モデルについて考える。図１に決定木モデルの例を示す。決定木モデルは、ノードとリーフとから構成され、ノードではある分岐条件を元に入力を次のノードまたはリーフへ入力し、リーフにはリーフウェイトがあり、これが入力に対する出力となる。例えば、図１では、「リーフ２」のリーフウェイトＷ２が「－１」であることを示している。
また、決定木モデルは以下の式（１３）に示すように定式化される。
Figure 0007363145000013
式（１３）において、ｗはリーフウェイト、ｑは木の構造を表す。つまり、入力（サンプルデータｘ）は木の構造ｑによりいずれかのリーフに割り当てられ、そのリーフのリーフウェイトが出力されることになる。
ここで、決定木モデルの複雑さを以下の式（１４）のように定義する。
Figure 0007363145000014
式（１４）において、第１項はリーフの数による複雑さを、第２項はリーフウェイトの二乗ノルムである。また、γは正則化項の重要度を制御するハイパーパラメータである。以上より、ラウンドｔでの目的関数について、以下の式（１５）のように整理する。
Figure 0007363145000015
ただし、式（１５）において、Ｉｊ、Ｇｊ、Ｈｊは、以下の式（１６）のように表される。
Figure 0007363145000016
式（１５）より、あるラウンドｔでの目的関数はリーフウェイトｗに関する二次関数であり、一般に二次関数の最小値、およびその時の条件は、以下の式（１７）で表される。
Figure 0007363145000017
つまり、あるラウンドｔの決定木の構造ｑが決まったときに、その目的関数およびリーフウェイトは以下の式（１８）のようになる。
Figure 0007363145000018
ここまでで、あるラウンドで決定木の構造が決まったときのリーフウェイトの算出が可能となった。以降は、決定木の構造の学習手順について述べる。
決定木の構造の学習方法の１つに貪欲法（Ｇｒｅｅｄｙ Ａｌｇｏｒｉｔｈｍ）がある。貪欲法では、木構造を深さ０からスタートし、各ノードで分岐スコア（Ｇａｉｎ）を計算し分岐するか否かを判断して決定木の構造を学習するアルゴリズムである。分岐スコアは以下の式（１９）で求められる。
Figure 0007363145000019
ここで、ＧＬ、ＨＬは左ノードに分岐したサンプルの勾配情報の和、ＧＲ、ＨＲは右ノードに分岐したサンプルの勾配情報の和、γは正則化項である。式（１９）の［］内の第１項は左ノードに分岐したサンプルデータのスコア（目的関数）、第２項は右ノードに分岐したサンプルデータのスコア、第３項は分岐しない場合のスコアであり、分岐による目的関数の改善度合いを表している。
上述の式（１９）に示す分岐スコアは、ある特徴量のあるしきい値で分岐した時の良さを表すが、これ単体ではどのような条件が最適か判断できない。そこで、貪欲法では、全ての特徴量の全てのしきい値候補で分岐スコアを求め、分岐スコアが最大となる条件を探すものである。貪欲法は上述のように、アルゴリズムとしては非常にシンプルであるが、全ての特徴量の全てのしきい値候補で分岐スコアを求めるため計算コストが高い。そこで後述するＸＧＢｏｏｓｔ等のライブラリでは、性能を維持しつつ、計算コストを低減する工夫がなされている。
（ＸＧＢｏｏｓｔについて）
以下、ＧＢＤＴのライブラリとして周知なＸＧＢｏｏｓｔについて述べる。ＸＧＢｏｏｓｔの学習アルゴリズムでは、しきい値候補の削減、および欠損値の扱いの２点について工夫がされている。
まず、しきい値候補の削減について説明する。上述した貪欲法は計算コストが高いという課題があった。ＸＧＢｏｏｓｔでは、Ｗｅｉｇｈｔｅｄ Ｑｕａｎｔｉｌｅ Ｓｋｅｔｃｈという方法でしきい値候補数を削減している。これは、分岐スコア（Ｇａｉｎ）の計算では、左右に別れるサンプルデータの勾配情報の和が重要であり、勾配情報の和が一定割合変化するしきい値のみを探索候補とするものである。具体的にはサンプルの二次勾配であるｈを用いている。特徴量の次元をｆとすると、特徴量およびサンプルデータの二次勾配ｈの集合を、以下の式（２０）のように表現する。
Figure 0007363145000020
また、ランク関数ｒｆを以下の式（２１）のように定義する。
Figure 0007363145000021
ここで、ｚはしきい値候補である。式（２１）に示すランク関数ｒｆは、あるしきい値候補より小さいサンプルデータの二次勾配の和が全サンプルデータの二次勾配の和に占める割合を意味している。最終的には、次元ｆで示される特徴量について、あるしきい値候補の集合｛ｓｆ１，ｓｆ２，・・・，ｓｆｌ｝を求める必要があり、これは以下の式（２２）で求める。
Figure 0007363145000022
ここでεはしきい値候補の削減度合いを決めるパラメータであり、おおよそ１／ε個のしきい値候補が得られる。
Ｗｅｉｇｈｔｅｄ Ｑｕａｎｔｉｌｅ Ｓｋｅｔｃｈは、決定木の最初のノードで（全サンプルデータに対して一括で）行うグローバルと、ノードごとに（当該ノードに割り当てられたサンプルについて毎回）行うローカルの２パターンが考えられる。汎化性能の面ではローカルの方がよいという結果が出ているので、ＸＧＢｏｏｓｔではローカルを採用している。
次に、欠損値の扱いについて説明する。入力されるサンプルデータの欠損値の扱いはＧＢＤＴおよび決定木に限らず、機械学習分野において一般的に有効な手法はない。欠損値を、平均値、中央値、もしくは協調フィルタ等で補完する方法、または欠損値が多い特徴量を除外する方法等があるが、性能の面で多くのケースで成功するわけではない。しかし、構造化データは欠損値を含むことが多く、実用上は何らかの対応が求められる。
ＸＧＢｏｏｓｔは、欠損値を含むサンプルデータを直接扱えるように学習アルゴリズムが工夫されている。これは、ノードの分岐スコアを求める際に、欠損値のデータを全て左右どちらかのノードに割り当てた時のスコアを求める方法である。また、上述のＷｅｉｇｈｔｅｄ Ｑｕａｎｔｉｌｅ Ｓｋｅｔｃｈを行う場合は、欠損値を含むサンプルデータを除外した集合に対してしきい値候補を求めるものとすればよい。
（ＬｉｇｈｔＧＢＭについて）
次に、ＧＢＤＴのライブラリであるＬｉｇｈｔＧＢＭについて述べる。ＬｉｇｈｔＧＢＭは前処理にｂｉｎｎｉｎｇと呼ばれる特徴量の量子化を採用し、分岐スコアの計算にＧＰＵを利用した高速なアルゴリズムを採用している。ＬｉｇｈｔＧＢＭはＸＧＢｏｏｓｔと比較して性能は同程度で学習速度が数倍速く、近年利用者が増えてきている。
まず、特徴量の量子化について説明する。分岐スコアは、データセットが大規模であれば大量のしきい値候補に対して計算が必要である。ＬｉｇｈｔＧＢＭは、学習の前処理として、特徴量を量子化することでしきい値候補数を削減している。また、量子化することでＸＧＢｏｏｓｔのようにノードごとにしきい値候補の値および数が変わることがなく、ＧＰＵを利用する場合に必須の処理となっている。
特徴量の量子化についてはｂｉｎｎｉｎｇという名前で様々な研究がなされており、ＬｉｇｈｔＧＢＭでは、特徴量をｋ個のビンに分割しており、しきい値候補はｋ個だけとなる。ｋは２５５、６３、１５等であり、データセットによって性能または学習速度は異なる。
また、特徴量を量子化したことで分岐スコアの計算が簡易になる。具体的には、しきい値候補が単に量子化された値になる。そのため、各特徴量について一次勾配および二次勾配のヒストグラムを作成し、各ビン（量子化された値）について分岐スコアを求めればよいことになる。これを特徴量ヒストグラムと呼んでいる。
次に、ＧＰＵを利用した分岐スコアの計算について説明する。分岐スコアの計算自体は特徴量が量子化されているため最大でも２５６パターンであるが、サンプルデータ数はデータセットによっては数万件を超えるため、ヒストグラム作成が学習時間に対して支配的となる。上述で述べたように、分岐スコアの計算では、特徴量ヒストグラムを求める必要がある。ＧＰＵを利用した場合、複数のスレッドが同一のヒストグラムを更新する必要があるが、このとき同一のビンを更新する可能性がある。そのため、アトミック演算を使用する必要があり、同一のビンを更新する割合が高いとパフォーマンスが低下する。そこで、ＬｉｇｈｔＧＢＭでは、ヒストグラムの作成の際に、一次勾配および二次勾配のどちらのヒストグラムから値を更新するかをスレッドごとに分けており、これによって同一のビンを更新する頻度を下げている。
（学習識別装置の構成）
図２は、実施形態に係る学習識別装置のモジュール構成の一例を示す図である。図３は、ポインタメモリの構成の一例を示す図である。図４は、ラーニングモジュールのモジュール構成の一例を示す図である。図２～図４を参照しながら、本実施形態に係る学習識別装置１のモジュール構成について説明する。
図２に示すように、本実施形態に係る学習識別装置１は、ＣＰＵ１０と、ラーニングモジュール２０と、データメモリ３０と、モデルメモリ４０と、クラシフィケーションモジュール５０と、を備えている。このうち、ラーニングモジュール２０、データメモリ３０、モデルメモリ４０およびクラシフィケーションモジュール５０は、ＦＰＧＡにより構成されている。ＣＰＵ１０と、当該ＦＰＧＡとはバスを介してデータ通信可能となっている。なお、学習識別装置１は、図２に示す各構成要素だけではなく、他の構成要素、例えば、ＣＰＵ１０のワークエリアとなるＲＡＭ、ＣＰＵ１０が実行するプログラム等を記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、各種データ（プログラム等）を記憶した補助記憶装置、および外部装置と通信を行う通信Ｉ／Ｆ等を備えているものとしてもよい。
ＣＰＵ１０は、全体でＧＢＤＴの学習を制御する演算装置である。ＣＰＵ１０は、制御部１１を有する。制御部１１は、ラーニングモジュール２０、データメモリ３０、モデルメモリ４０およびクラシフィケーションモジュール５０の各モジュールを制御する。制御部１１は、ＣＰＵ１０で実行されるプログラムによって実現される。
ラーニングモジュール２０は、決定木を構成するノード毎の最適な特徴量の番号（以下、「特徴量番号」と称する場合がある）、およびしきい値を算出し、当該ノードがリーフの場合は、リーフウェイトを算出し、モデルメモリ４０に書き込むハードウェアモジュールである。また、図４に示すように、ラーニングモジュール２０は、ゲイン算出モジュール２１＿１、２１＿２、・・・、２１＿ｎ（ゲイン算出部）と、最適条件導出モジュール２２と、を備えている。ここで、ｎは、少なくともサンプルデータ（学習データ、識別データ双方含む）の特徴量の数以上の数である。なお、ゲイン算出モジュール２１＿１、２１＿２、・・・、２１＿ｎについて、任意のゲイン算出モジュールを示す場合、または総称する場合、単に「ゲイン算出モジュール２１」と称するものとする。
ゲイン算出モジュール２１は、入力されるサンプルデータに含まれる特徴量のうち対応する特徴量について、各しきい値における分岐スコアを、上述の式（１９）を用いて算出するモジュールである。ここで、サンプルデータのうち学習データには、特徴量の他、ラベル（真の値）が含まれ、サンプルデータのうち識別データには、特徴量が含まれるが、ラベルは含まれていない。また、各ゲイン算出モジュール２１は、一度（１クロック）で入力されたすべての特徴量について、それぞれにそのヒストグラムを演算・格納するメモリを有し、全特徴量を並列に演算する。そのヒストグラムの結果より、各特徴量のゲインを並列に算出する。これによって、一度に、または同時に全特徴量に対する処理が可能となるので、学習処理の速度を飛躍的に向上させることが可能となる。このように、並列に全部の特徴量を読み出し、処理していく方法をフィーチャパラレル（Ｆｅａｔｕｒｅ Ｐａｒａｌｌｅｌ）と呼ぶ。なお、この方法を実現するためには、データメモリは一度（１クロック）ですべての特徴量を読み出すことができる必要がある。そのため、通常の３２ビットや２５６ビット幅のデータ幅を持つメモリでは実現できない。また、ソフトウエアでは、通常ＣＰＵの一度に扱えるデータのビット数は６４ビットにとどまり、特徴量数が１００、各特徴量のビット数が８ビットだとしても８０００ビットが必要となるのに対して、全く対応できない。そのため、従来は、メモリのアドレス毎（例えば、ＣＰＵが扱える６４ビット幅）に別の特徴量を格納しておき、特徴量すべてでは、複数のアドレスにまたがって保存される方法が取られていた。それに対して、本方法では、メモリの１アドレスにすべての特徴量を格納し、１アクセスで全特徴量を読み出す点が新規の技術内容である。
上述のように、ＧＢＤＴでは決定木の学習についての並列化はできない。そのため、いかに一本ずつの決定木を速く学習するかが、学習処理の速度に関して支配的となる。一方、アンサンブルな学習を行うＲＦでは、決定木の間の依存関係は学習時にないので、決定木ごとの学習処理の並列化は容易であるが、一般的にＧＢＤＴに対して精度が劣る。上述のように、ＲＦよりも精度の高いＧＢＤＴの学習について、上述のようなフィーチャパラレル（Ｆｅａｔｕｒｅ Ｐａｒａｌｌｅｌ）を適用することで、決定木の学習処理の速度を向上させることができる。
ゲイン算出モジュール２１は、算出した分岐スコアを最適条件導出モジュール２２へ出力する。
最適条件導出モジュール２２は、各ゲイン算出モジュール２１により出力された各特徴量に対応する各分岐スコアを入力し、分岐スコアが最大となる特徴量の番号（特徴量番号）およびしきい値を導出するモジュールである。最適条件導出モジュール２２は、導出した特徴量番号およびしきい値を、対応するノードの分岐条件データ（ノードのデータの一例）として、モデルメモリ４０へ書き込む。
データメモリ３０は、各種データを格納するＳＲＡＭである。データメモリ３０は、ポインタメモリ３１と、フィーチャメモリ３２と、ステートメモリ３３と、を備えている。
ポインタメモリ３１は、フィーチャメモリ３２で格納されているサンプルデータの格納先アドレスを記憶するメモリである。ポインタメモリ３１は、図３に示すように、バンクＡ（バンク領域）と、バンクＢ（バンク領域）とを有する。なお、バンクＡおよびバンクＢの２バンクに分割して、サンプルデータの格納先アドレスを記憶する動作の詳細については、図５～図１３で後述する。なお、ポインタメモリ３１は、３つ以上のバンクを有することを制限するものではない。
フィーチャメモリ３２は、サンプルデータ（学習データ、識別データを含む）を格納するメモリである。
ステートメモリ３３は、ステート情報（上述のｗ、ｇ、ｈ）およびラベル情報を記憶するメモリである。
モデルメモリ４０は、決定木のノード毎の分岐条件データ（特徴量番号、しきい値）、そのノードがリーフであるか否かを示すリーフフラグ（フラグ情報、ノードのデータの一例）、および、そのノードがリーフである場合におけるリーフウェイトを記憶するＳＲＡＭである。
クラシフィケーションモジュール５０は、ノードごと、決定木ごとにサンプルデータを振り分けるハードウェアモジュールである。また、クラシフィケーションモジュール５０は、ステート情報（ｗ，ｇ，ｈ）を計算して、ステートメモリ３３に書き込む。
なお、クラシフィケーションモジュール５０は、上述のように学習処理におけるサンプルデータ（学習データ）の識別（分岐）だけでなく、サンプルデータ（識別データ）に対する識別処理においても、同一のモジュール構成で、当該識別データに対する識別を行うことが可能である。また、識別処理時にも、一括して特徴量をすべて読み込むことにより、クラシフィケーションモジュール５０による処理をパイプライン化することができ、クロックごとに１つのサンプルデータの識別をすることまで処理の高速化が可能となる。一方、上述のように一括で読み込むことができない場合、どこの特徴量が必要になるかは、各ノードに分岐してみないとわからないため、毎回該当する特徴量のアドレスにアクセスする形態ではパイプライン化ができないことになる。
また、上述のクラシフィケーションモジュール５０を複数備えるものとし、複数の識別データを分割（データパラレル（Ｄａｔａ Ｐａｒａｌｌｅｌ））して、各クラシフィケーションモジュール５０に分配してそれぞれに識別処理をさせることによって、識別処理を高速化させることもできる。
（学習識別装置の学習処理）
以下、図５～図１３を参照しながら、学習識別装置１の学習処理について具体的に説明する。
＜初期化＞
図５は、実施形態に係る学習識別装置の初期化時のモジュールの動作を示す図である。図５に示すように、まず、制御部１１は、ポインタメモリ３１を初期化する。例えば、図５に示すように、制御部１１は、ポインタメモリ３１のバンクＡに対して、サンプルデータ（学習データ）のフィーチャメモリ３２におけるアドレスを、学習データの数だけ順番に（例えば、アドレスの低い方から順に）書き込む。
なお、学習データのすべてを利用（すべてのアドレスを書き込み）することに限定されるものではなく、いわゆるデータサブサンプルによって、所定の乱数に従った確率に基づいてランダムに選択した学習データを用いる（当該選択した学習データのアドレスを書き込む）ものとしてもよい。例えば、データサブサンプルが０．５の場合、乱数に従った半分の確率で学習データの全アドレスのうち、半分のアドレスがポインタメモリ３１（ここではバンクＡ）に書き込まれるものとしてもよい。乱数の発生には、ＬＦＳＲ（Ｌｉｎｅａｒ Ｆｅｅｄｂａｃｋ Ｓｈｉｆｔ Ｒｅｇｉｓｔｅｒ：線形帰還シフトレジスタ）により作成された擬似乱数が使用可能である。
また、学習に使用する学習データのうちすべての特徴量を使用することに限定されるものではなく、いわゆるフィーチャサブサンプルによって、上述と同様の乱数に従った確率に基づいてランダムに選択（例えば、半分を選択）した特徴量のみを使用するものとしてもよい。この場合、例えば、フィーチャサブサンプルにより選択された特徴量以外の特徴量のデータとしては、フィーチャメモリ３２から定数が出力されるものとすればよい。これによって、未知のデータ（識別データ）に対する汎化性能が向上するという効果がある。
＜デプス０・ノード０の分岐条件データの決定＞
図６は、実施形態に係る学習識別装置のデプス０、ノード０のノードパラメータを決定する場合のモジュールの動作を示す図である。なお、決定木の一番上の階層を「デプス０」、そこから下の階層を順に「デプス１」、「デプス２」、・・・と称するものとし、特定の階層の一番左のノードを「ノード０」、そこから右のノードを順に「ノード１」、「ノード２」、・・・と称するものとする。
図６に示すように、まず、制御部１１は、ラーニングモジュール２０へ開始アドレスおよび終了アドレスを送信し、トリガによりラーニングモジュール２０による処理を開始させる。ラーニングモジュール２０は、開始アドレスおよび終了アドレスに基づいて、ポインタメモリ３１（バンクＡ）から対象とする学習データのアドレスを指定し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出し、ステートメモリ３３からステート情報（ｗ，ｇ，ｈ）を読み出す。
この場合、上述したように、ラーニングモジュール２０の各ゲイン算出モジュール２１は、対応する特徴量のヒストグラムを計算し、それぞれ自身のＳＲＡＭに格納し、その結果に基づいて各しきい値における分岐スコアを算出する。そして、ラーニングモジュール２０の最適条件導出モジュール２２は、各ゲイン算出モジュール２１により出力された各特徴量に対応する各分岐スコアを入力し、分岐スコアが最大となる特徴量の番号（特徴量番号）およびしきい値を導出する。そして、最適条件導出モジュール２２は、導出した特徴量番号およびしきい値を、対応するノード（デプス０、ノード０）の分岐条件データとして、モデルメモリ４０へ書き込む。この際、最適条件導出モジュール２２は、ノード（デプス０、ノード０）からさらに分岐されることを示すためにリーフフラグを「０」として、当該ノードのデータ（分岐条件データの一部としてもよい）をモデルメモリ４０へ書き込む。
以上の動作について、ラーニングモジュール２０は、バンクＡに書き込まれた学習データのアドレスを順に指定し、当該アドレスによって、フィーチャメモリ３２から各学習データを読み出して行う。
＜デプス０・ノード０でのデータ分岐処理＞
図７は、実施形態に係る学習識別装置のデプス０、ノード０の分岐時のモジュールの動作を示す図である。
図７に示すように、制御部１１は、クラシフィケーションモジュール５０へ開始アドレスおよび終了アドレスを送信し、トリガによりクラシフィケーションモジュール５０による処理を開始させる。クラシフィケーションモジュール５０は、開始アドレスおよび終了アドレスに基づいて、ポインタメモリ３１（バンクＡ）から対象とする学習データのアドレスを指定し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出す。また、クラシフィケーションモジュール５０は、モデルメモリ４０から対応するノード（デプス０、ノード０）の分岐条件データ（特徴量番号、しきい値）を読み出す。そして、クラシフィケーションモジュール５０は、分岐条件データに従って、読み出したサンプルデータを、ノード（デプス０、ノード０）の左側に分岐させるか、右側に分岐させるかを判定し、その判定結果により、当該学習データのフィーチャメモリ３２におけるアドレスを、ポインタメモリ３１の読み出しバンク（ここではバンクＡ）（読み出し用のバンク領域）と異なる他方のバンク（書き込みバンク）（ここではバンクＢ）（書き込み用のバンク領域）に書き込む。
この際、クラシフィケーションモジュール５０は、当該ノードの左側に分岐すると判定した場合、当該学習データのアドレスを、図７に示すように、バンクＢのアドレスの低い方から順に書き込み、当該ノードの右側に分岐すると判定した場合、当該学習データのアドレスを、バンクＢのアドレスの高い方から順に書き込む。これによって、書き込みバンク（バンクＢ）では、ノードの左側に分岐した学習データのアドレスは、アドレスの低い方に、ノードの右側に分岐した学習データのアドレスは、アドレスの高い方にきれいに分けて書き込むことができる。なお、書き込みバンクにおいて、ノードの左側に分岐した学習データのアドレスは、アドレスの高い方に、ノードの右側に分岐した学習データのアドレスは、アドレスの低い方に分けて書き込むものとしてもよい。
このように、ポインタメモリ３１では、上述のように、バンクＡおよびバンクＢの２つが構成されており、交互に読み書きすることによって、ＦＰＧＡ内のＳＲＡＭの容量が限られている中、効率的にメモリを使用することが可能となる。単純には、フィーチャメモリ３２およびステートメモリ３３を、それぞれ２バンク構成する方法もあるが、一般的に、サンプルデータよりも、フィーチャメモリ３２でのアドレスを示すデータの方が小さいので、本実施形態のように、ポインタメモリ３１を準備しておき、間接的にアドレスを指定する方法の方が、メモリの使用量を削減することが可能となる。
以上の動作について、クラシフィケーションモジュール５０は、全学習データに対して分岐処理を行う。ただし、分岐処理が終了した後、ノード（デプス０、ノード０）の左側と右側とに同数の学習データが分けられるわけではないので、クラシフィケーションモジュール５０は、左側に分岐した学習データのアドレスと、右側に分岐した学習データのアドレスとの境界に対応する書き込みバンク（バンクＢ）におけるアドレス（中間アドレス）を、制御部１１に返す。当該中間アドレスは、次の分岐処理の際に使用される。
＜デプス１・ノード０の分岐条件データの決定＞
図８は、実施形態に係る学習識別装置のデプス１、ノード０のノードパラメータを決定する場合のモジュールの動作を示す図である。基本的には、図６に示した、デプス０・ノード０の分岐条件データの決定の処理と同様であるが、対象とするノードの階層が変わる（デプス０からデプス１になる）ので、ポインタメモリ３１のバンクＡおよびバンクＢの役割が反転する。具体的には、バンクＢが読み出しバンクとなり、バンクＡが書き込みバンク（図９参照）となる。
図８に示すように、制御部１１は、デプス０での処理でクラシフィケーションモジュール５０から受け取った中間アドレスに基づいて、ラーニングモジュール２０へ開始アドレスおよび終了アドレスを送信し、トリガによりラーニングモジュール２０による処理を開始させる。ラーニングモジュール２０は、開始アドレスおよび終了アドレスに基づいて、ポインタメモリ３１（バンクＢ）から対象とする学習データのアドレスを指定し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出し、ステートメモリ３３からステート情報（ｗ，ｇ，ｈ）を読み出す。具体的には、ラーニングモジュール２０は、図８に示すように、バンクＢの左側（アドレスが低い方）から中間アドレスまで順にアドレスを指定していく。
この場合、上述したように、ラーニングモジュール２０の各ゲイン算出モジュール２１は、読み出した学習データの各特徴量をそれぞれ自身のＳＲＡＭに格納して、各しきい値における分岐スコアを算出する。そして、ラーニングモジュール２０の最適条件導出モジュール２２は、各ゲイン算出モジュール２１により出力された各特徴量に対応する各分岐スコアを入力し、分岐スコアが最大となる特徴量の番号（特徴量番号）およびしきい値を導出する。そして、最適条件導出モジュール２２は、導出した特徴量番号およびしきい値を、対応するノード（デプス１、ノード０）の分岐条件データとして、モデルメモリ４０へ書き込む。この際、最適条件導出モジュール２２は、ノード（デプス１、ノード０）からさらに分岐されることを示すためにリーフフラグを「０」として、当該ノードのデータ（分岐条件データの一部としてもよい）をモデルメモリ４０へ書き込む。
以上の動作について、ラーニングモジュール２０は、バンクＢの左側（アドレスが低い方）から中間アドレスまで順に指定し、当該アドレスによって、フィーチャメモリ３２から各学習データを読み出して行う。
＜デプス１・ノード０でのデータ分岐処理＞
図９は、実施形態に係る学習識別装置のデプス１、ノード０の分岐時のモジュールの動作を示す図である。
図９に示すように、制御部１１は、デプス０での処理でクラシフィケーションモジュール５０から受け取った中間アドレスに基づいて、クラシフィケーションモジュール５０へ開始アドレスおよび終了アドレスを送信し、トリガによりクラシフィケーションモジュール５０による処理を開始させる。クラシフィケーションモジュール５０は、開始アドレスおよび終了アドレスに基づいて、ポインタメモリ３１（バンクＢ）の左側から対象とする学習データのアドレスを指定し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出す。また、クラシフィケーションモジュール５０は、モデルメモリ４０から対応するノード（デプス１、ノード０）の分岐条件データ（特徴量番号、しきい値）を読み出す。そして、クラシフィケーションモジュール５０は、分岐条件データに従って、読み出したサンプルデータを、ノード（デプス１、ノード０）の左側に分岐させるか、右側に分岐させるかを判定し、その判定結果により、当該学習データのフィーチャメモリ３２におけるアドレスを、ポインタメモリ３１の読み出しバンク（ここではバンクＢ）（読み出し用のバンク領域）と異なる他方のバンク（書き込みバンク）（ここではバンクＡ）（書き込み用のバンク領域）に書き込む。
この際、クラシフィケーションモジュール５０は、当該ノードの左側に分岐すると判定した場合、当該学習データのアドレスを、図９に示すように、バンクＡのアドレスの低い方（受信した開始アドレス）から順に書き込み、当該ノードの右側に分岐すると判定した場合、当該学習データのアドレスを、バンクＡのアドレスの高い方（受信した終了アドレスであって前回の中間アドレス）から順に書き込む。これによって、書き込みバンク（バンクＡ）では、ノードの左側に分岐した学習データのアドレスは、アドレスの低い方に、ノードの右側に分岐した学習データのアドレスは、アドレスの高い方にきれいに分けて書き込むことができる。なお、書き込みバンクにおいて、ノードの左側に分岐した学習データのアドレスは、アドレスの高い方に、ノードの右側に分岐した学習データのアドレスは、アドレスの低い方に分けて書き込むものとしてもよい。
以上の動作について、クラシフィケーションモジュール５０は、全学習データのうちバンクＢの中間アドレスよりも左側に書き込まれたアドレスで指定される学習データに対して分岐処理を行う。ただし、分岐処理が終了した後、ノード（デプス１、ノード０）の左側と右側とに同数の学習データが分けられるわけではないので、クラシフィケーションモジュール５０は、左側に分岐した学習データのアドレスと、右側に分岐した学習データのアドレスとの中間に対応する書き込みバンク（バンクＡ）におけるアドレス（中間アドレス）を、制御部１１に返す。当該中間アドレスは、次の分岐処理の際に使用される。
＜デプス１・ノード１の分岐条件データの決定＞
図１０は、実施形態に係る学習識別装置のデプス１、ノード１のノードパラメータを決定する場合のモジュールの動作を示す図である。なお、図８の場合と同様に、デプス１・ノード０のノードと同じ階層なので、バンクＢが読み出しバンクとなり、バンクＡが書き込みバンク（図１１参照）となる。
図１０に示すように、制御部１１は、デプス０での処理でクラシフィケーションモジュール５０から受け取った中間アドレスに基づいて、ラーニングモジュール２０へ開始アドレスおよび終了アドレスを送信し、トリガによりラーニングモジュール２０による処理を開始させる。ラーニングモジュール２０は、開始アドレスおよび終了アドレスに基づいて、ポインタメモリ３１（バンクＢ）から対象とする学習データのアドレスを指定し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出し、ステートメモリ３３からステート情報（ｗ，ｇ，ｈ）を読み出す。具体的には、ラーニングモジュール２０は、図１０に示すように、バンクＢの右側（アドレスが高い方）から中間アドレスまで順にアドレスを指定していく。
この場合、上述したように、ラーニングモジュール２０の各ゲイン算出モジュール２１は、読み出した学習データの各特徴量をそれぞれ自身のＳＲＡＭに格納して、各しきい値における分岐スコアを算出する。そして、ラーニングモジュール２０の最適条件導出モジュール２２は、各ゲイン算出モジュール２１により出力された各特徴量に対応する各分岐スコアを入力し、分岐スコアが最大となる特徴量の番号（特徴量番号）およびしきい値を導出する。そして、最適条件導出モジュール２２は、導出した特徴量番号およびしきい値を、対応するノード（デプス１、ノード１）の分岐条件データとして、モデルメモリ４０へ書き込む。この際、最適条件導出モジュール２２は、ノード（デプス１、ノード１）からさらに分岐されることを示すためにリーフフラグを「０」として、当該ノードのデータ（分岐条件データの一部としてもよい）をモデルメモリ４０へ書き込む。
以上の動作について、ラーニングモジュール２０は、バンクＢの右側（アドレスが高い方）から中間アドレスまで順に指定し、当該アドレスによって、フィーチャメモリ３２から各学習データを読み出して行う。
＜デプス１・ノード１でのデータ分岐処理＞
図１１は、実施形態に係る学習識別装置のデプス１、ノード１の分岐時のモジュールの動作を示す図である。
図１１に示すように、制御部１１は、デプス０での処理でクラシフィケーションモジュール５０から受け取った中間アドレスに基づいて、クラシフィケーションモジュール５０へ開始アドレスおよび終了アドレスを送信し、トリガによりクラシフィケーションモジュール５０による処理を開始させる。クラシフィケーションモジュール５０は、開始アドレスおよび終了アドレスに基づいて、ポインタメモリ３１（バンクＢ）の右側から対象とする学習データのアドレスを指定し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出す。また、クラシフィケーションモジュール５０は、モデルメモリ４０から対応するノード（デプス１、ノード１）の分岐条件データ（特徴量番号、しきい値）を読み出す。そして、クラシフィケーションモジュール５０は、分岐条件データに従って、読み出したサンプルデータを、ノード（デプス１、ノード１）の左側に分岐させるか、右側に分岐させるかを判定し、その判定結果により、当該学習データのフィーチャメモリ３２におけるアドレスを、ポインタメモリ３１の読み出しバンク（ここではバンクＢ）（読み出し用のバンク領域）と異なる他方のバンク（書き込みバンク）（ここではバンクＡ）（書き込み用のバンク領域）に書き込む。
この際、クラシフィケーションモジュール５０は、当該ノードの左側に分岐すると判定した場合、当該学習データのアドレスを、図１１に示すように、バンクＡのアドレスの低い方（受信した開始アドレスであって前回の中間アドレス）から順に書き込み、当該ノードの右側に分岐すると判定した場合、当該学習データのアドレスを、バンクＡのアドレスの高い方（受信した終了アドレス）から順に書き込む。これによって、書き込みバンク（バンクＡ）では、ノードの左側に分岐した学習データのアドレスは、アドレスの低い方に、ノードの右側に分岐した学習データのアドレスは、アドレスの高い方にきれいに分けて書き込むことができる。なお、書き込みバンクにおいて、ノードの左側に分岐した学習データのアドレスは、アドレスの高い方に、ノードの右側に分岐した学習データのアドレスは、アドレスの低い方に分けて書き込むものとしてもよい。この場合、図９における動作も合わせる必要がある。
以上の動作について、クラシフィケーションモジュール５０は、全学習データのうちバンクＢの中間アドレスよりも右側に書き込まれたアドレスで指定される学習データに対して分岐処理を行う。ただし、分岐処理が終了した後、ノード（デプス１、ノード１）の左側と右側とに同数の学習データが分けられるわけではないので、クラシフィケーションモジュール５０は、左側に分岐した学習データのアドレスと、右側に分岐した学習データのアドレスとの中間に対応する書き込みバンク（バンクＡ）におけるアドレス（中間アドレス）を、制御部１１に返す。当該中間アドレスは、次の分岐処理の際に使用される。
＜デプス１・ノード１の分岐条件データの決定時に分岐しない場合＞
図１２は、実施形態に係る学習識別装置のデプス１、ノード１のノードパラメータを決定の結果、分岐しない場合のモジュールの動作を示す図である。なお、図８の場合と同様に、デプス１・ノード０のノードと同じ階層なので、バンクＢが読み出しバンクとなる。
図１２に示すように、制御部１１は、デプス０での処理でクラシフィケーションモジュール５０から受け取った中間アドレスに基づいて、ラーニングモジュール２０へ開始アドレスおよび終了アドレスを送信し、トリガによりラーニングモジュール２０による処理を開始させる。ラーニングモジュール２０は、開始アドレスおよび終了アドレスに基づいて、ポインタメモリ３１（バンクＢ）から対象とする学習データのアドレスを指定し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出し、ステートメモリ３３からステート情報（ｗ，ｇ，ｈ）を読み出す。具体的には、ラーニングモジュール２０は、図１２に示すように、バンクＢの右側（アドレスが高い方）から中間アドレスまで順にアドレスを指定していく。
ラーニングモジュール２０は、算出した分岐スコア等から、これ以上ノード（デプス１、ノード１）から分岐しないと判断した場合、リーフフラグを「１」として、当該ノードのデータ（分岐条件データの一部としてもよい）をモデルメモリ４０に書き込むと共に、制御部１１にも当該ノードのリーフフラグが「１」であることを送信する。これによって、ノード（デプス１、ノード１）から下の階層には分岐しないことが認識される。さらに、ラーニングモジュール２０は、ノード（デプス１、ノード１）のリーフフラグが「１」である場合、特徴量番号およびしきい値の代わりに、リーフウェイト（ｗ）（分岐条件データの一部としてもよい）をモデルメモリ４０に書き込む。これにより、モデルメモリ４０の容量を別々に持つよりも小さくすることができる。
以上の図６～図１２で示した処理を、階層（デプス）毎に進めていくと、全体の決定木が完成する（決定木が学習される）。
＜決定木の学習が完了した場合＞
図１３は、実施形態に係る学習識別装置において決定木の学習が完了した場合に全サンプルデータのステート情報を更新するときのモジュールの動作を示す図である。
ＧＢＤＴを構成する１つの決定木の学習が完了した場合、次の決定木へのブースティング（ここではグラディエントブースティング）の際に使用するため、各学習データの誤差関数に対応する一次勾配ｇ、二次勾配ｈ、および各学習データに対するリーフウェイトｗを算出する必要がある。図１３に示すように、制御部１１は、トリガによりクラシフィケーションモジュール５０による上述の計算を開始させる。クラシフィケーションモジュール５０は、全学習データに対して、全デプス（階層）のノードに対する分岐判定の処理を行い、各学習データに対応するリーフウェイトを算出する。そして、クラシフィケーションモジュール５０は、算出したリーフウェイトに対して、ラベル情報を基に、ステート情報（ｗ、ｇ、ｈ）を算出し、元のステートメモリ３３のアドレスに書き戻す。このように、更新されたステート情報を利用して、次の決定木の学習が行われる。
以上のように、本実施形態に係る学習識別装置１において、ラーニングモジュール２０は、入力されたサンプルデータの各特徴量を読み込むためのメモリ（例えば、ＳＲＡＭ）をそれぞれ備えている。これによって、１アクセスでサンプルデータの全特徴量を読み出すことができ、各ゲイン算出モジュール２１により、一度に全特徴量に対する処理が可能となるので、決定木の学習処理の速度を飛躍的に向上させることが可能となる。
また、本実施形態に係る学習識別装置１において、ポインタメモリ３１では、バンクＡおよびバンクＢの２つが構成されており、交互に読み書きするものとしている。これによって、効率的にメモリを使用することが可能となる。単純には、フィーチャメモリ３２およびステートメモリ３３を、それぞれ２バンク構成する方法もあるが、一般的に、サンプルデータよりも、フィーチャメモリ３２でのアドレスを示すデータの方が小さいので、本実施形態のように、ポインタメモリ３１を準備しておき、間接的にアドレスを指定する方法の方が、メモリ容量を節約することが可能となる。また、クラシフィケーションモジュール５０は、ノードの左側に分岐すると判定した場合、学習データのアドレスを、２つのバンクのうち書き込みバンクのアドレスの低い方から順に書き込み、当該ノードの右側に分岐すると判定した場合、当該学習データのアドレスを、書き込みバンクのアドレスの高い方から順に書き込む。これによって、書き込みバンクでは、ノードの左側に分岐した学習データのアドレスは、アドレスの低い方に、ノードの右側に分岐した学習データのアドレスは、アドレスの高い方にきれいに分けて書き込むことができる。
（変形例）
図１４は、変形例に係る学習識別装置のモデルメモリの構成の一例を示す図である。図１４を参照しながら、本変形例に係る学習識別装置１におけるモデルメモリ４０において、決定木のデプス（階層）毎にメモリが備えられた構成について説明する。
図１４に示すように、本変形例に係る学習識別装置１のモデルメモリ４０は、学習された決定木のモデルデータについてデプス（階層）毎にデータ（具体的には分岐条件データ）を格納するためのデプス０用メモリ４１＿１、デプス１用メモリ４１＿２、・・・、デプス（ｍ－１）用メモリ４１＿ｍを有する。ここで、ｍは、少なくとも決定木のモデルのデプス（階層）数以上の数である。すなわち、モデルメモリ４０は、学習された決定木のモデルデータについてデプス（階層）毎にデータ（デプス０ノードデータ、デプス１ノードデータ、・・・、デプス（ｍ－１）ノードデータ）を同時に取り出すための独立したポートを有する、ということになる。これによって、クラシフィケーションモジュール５０は、決定木における最初のノードでの分岐結果に基づき、次のノードに対応するデータ（分岐条件データ）を読み出すことを、全デプス（階層）で並列に行い、途中にメモリを介さずに、１つのサンプルデータ（識別データ）に対して、１クロックで同時に各デプス（階層）での分岐処理を実行（パイプライン処理）することが可能となる。これによって、クラシフィケーションモジュール５０における識別処理は、サンプルデータ数分だけの時間だけで済むことになり、識別処理の速度を飛躍的に向上させることができる。これに対して、従来の技術では、ノード毎に新しいメモリ領域にサンプルデータをコピーしていくため、メモリの読み書きの時間だけ速度に影響し、（サンプルデータ数×デプス（階層）数）の識別処理の時間となるので、上述のように本変形例に係る識別処理の方が大幅に優位となる。
図１５は、変形例に係る学習識別装置のクラシフィケーションモジュールの構成の一例を示す図である。図１５に示すように、クラシフィケーションモジュール５０は、ノード０判別器５１＿１、ノード１判別器５１＿２、ノード２判別器５１＿３、・・・を有する。フィーチャメモリ３２からは、１クロックに１つのサンプルデータが特徴量として供給される。図１５に示すように、特徴量は、まずノード０判別器５１＿１に入力され、ノード０判別器５１＿１は、対応するモデルメモリ４０のデプス０用メモリ４１＿１からそのノードのデータ（デプス０ノードデータ）（右に行くか、左に行くかの条件、および使用する特徴量番号）を受け取る。ノード０判別器５１＿１では、その条件に従い、対応するサンプルデータが右に行くか左に行くかが判別される。なお、ここではデプス用メモリ（デプス０用メモリ４１＿１、デプス１用メモリ４１＿２、デプス２用メモリ４１＿３、・・・）はそれぞれレイテンシが１クロックあるとしている。ノード０判別器５１＿１の結果により、次のデプス１用メモリ４１＿２の内、何番目のノードに行くかがアドレス指定され、対応するノードのデータ（デプス１ノードデータ）が抽出され、ノード１判別器５１＿２に入力される。
デプス０用メモリ４１＿１のレイテンシは１クロックであるため、同じように特徴量も１クロックの遅延を入れて、ノード１判別器５１＿２に入力される。また、同じクロックで次のサンプルデータの特徴量がノード０判別器５１＿１に入力されている。このようにして、パイプライン処理で識別を行うことにより、デプス毎にメモリが同時に出力されている前提で、１つの決定木全体として、１クロックで１つのサンプルデータを識別することが可能である。なお、デプス０用メモリ４１＿１は、デプス０ではノードは１つしかないので、１つのアドレスのみでよく、デプス１用メモリ４１＿２は、デプス１ではノードは２つあるので、２つのアドレスが必要であり、同じように、デプス２用メモリ４１＿３は、４つのアドレスが必要であり、デプス３用メモリ（図示せず）は、８つのアドレスが必要となる。なお、このクラシフィケーションモジュール５０は木全体の識別を行うものであるが、ノードの学習時には、ノード０判別器５１＿１のみを用いて学習を行うことで同じ回路を流用して、回路規模を小さくすることができる。
［第２の実施形態］
第２の実施形態に係る学習識別装置について、第１の実施形態に係る学習識別装置１と相違する点を中心に説明する。第１の実施形態では、サンプルデータが記憶されるデータメモリ３０を１つとして、ＧＢＤＴによる学習処理および識別処理について説明した。本実施形態では、複数のサンプルデータを並列で処理するデータパラレルを実現するために、データメモリを複数に分割して学習処理を行う動作について説明する。
（データパラレルについて）
図１６は、データパラレルを適用した学習識別装置のモジュール構成の一例を示す図である。図１６を参照しながら、データパラレルを実現する構成の例である学習識別装置１ａの構成について説明する。
サンプルデータ（学習データまたは識別データ）に対するデータパラレルを実現するためには、まず、図１６に示すように、サンプルデータを分割して保持するために２つのデータメモリ３０ａ、３０ｂに分割することが考えられる。図１６のデータメモリ３０ｂでは図示していないが、データメモリ３０ａと同様に、データメモリ３０ｂも、ポインタメモリ３１と、フィーチャメモリ３２と、ステートメモリ３３とを含む。ただし、単にサンプルデータを保持するメモリを分割しても、分割されたサンプルデータを並列に処理（学習処理、識別処理等）を行う機構が必要である。図１６に示す例では、識別処理を行うモジュールを、分割されたデータメモリと同数だけ配置された構成を示す。すなわち、学習識別装置１ａは、２つのデータメモリ３０ａ、３０ｂのそれぞれに格納されたサンプルデータについて並列で識別処理を行うために、クラシフィケーションモジュール５０ａ、５０ｂを有する。個別のモジュールに着目した場合、フィーチャパラレルで処理されるものとすると、上述のようなデータパラレルにするために、構成の変更はほとんどないので実装も容易である。
また、学習処理、すなわち、ラーニングモジュール２０での処理を高速化するためのデータパラレルとしては、サンプルデータを分割して保持するために２つのデータメモリ３０ａ、３０ｂに分割すると共に、上述したように、学習処理の過程で算出される特徴量および勾配情報（上述の式（１１）参照）についてのヒストグラム（以下、「勾配ヒストグラム」と称する場合がある）を保持するメモリが、データメモリの分割数に比例して増大するので、回路規模が増大するという問題がある。
（勾配ヒストグラムを用いた分岐スコアの算出方法）
ここで、まず、ラーニングモジュール２０における分岐スコアの算出方法について説明する。ここで、サンプルデータ（ここでは学習データ）の特徴量は、あるビット幅に量子化されていることを前提とする。例えば、特徴量が８ビット（２５６パターンの値）で、特徴量の次元が１００である場合、ラーニングモジュール２０は、２５６×１００＝２５６００パターンの分岐スコアを算出することになる。この場合のしきい値の候補は、２５６個である。
ある分岐条件（１つの特徴量に対する１つのしきい値）に対応する分岐スコアを算出するには、現在のノードにある学習データから、しきい値以上の特徴量を有する学習データの勾配情報の和（上述の式（１９）のＧＲ、ＨＲに相当）と、当該しきい値未満の学習データの勾配情報の和（上述の式（１９）のＧＬ、ＨＬに相当）を求める必要がある。ここで、下記の（表１）に示すように、学習データが４つ、特徴量が１次元で値が３パターン、勾配情報が一次勾配ｇである場合において具体的に説明する。
Figure 0007363145000023
（表１）に示すように、特徴量が０、１、２の３パターンあるので、しきい値についても０、１、２となり、各しきい値での勾配情報の和は、以下の（表２）に示す値となり、この３パターンの各しきい値に対応する分岐スコアが算出される。
Figure 0007363145000024
特定のしきい値に対して、勾配情報の和を求めるためには、現在のノードのすべての学習データを参照する必要がある。これをすべてのしきい値について毎回行うものとすると、非常に処理時間がかかることになる。例えば、特徴量が８ビット（２５６パターン）の場合、しきい値についても２５６パターンあるので、（現在のノードにある学習データ数×２５６）回だけ勾配情報の和を求める必要がある。これでは非常に処理時間がかかるので、予め、特徴量の各値における勾配情報の和（勾配ヒストグラム）、および勾配情報の総和を求めておき、勾配ヒストグラムの累積和をとることによって分岐スコアの算出処理を簡略化するものとする。
サンプルデータが上述の（表１）で示したものである場合、特徴量の各値における勾配情報の和（勾配ヒストグラム）は、以下の（表３）に示す値となる。
Figure 0007363145000025
また、特徴量の各値における勾配情報の総和は、０．１＋０．２＋０．１－０．３＝０．１となる。ここで、勾配ヒストグラムの累積和を求めることによって、勾配情報の和ＧＬが求まり、勾配情報の総和から勾配情報の和ＧＬを引くと勾配情報のＧＲが求まり、各しきい値に対する勾配情報の和ＧＬ、ＧＲは、以下の（表４）に示す値となる。
Figure 0007363145000026
この方法であれば、現在のノードの学習データはそれぞれ１回参照すればよく、その後は、しきい値の数だけ勾配ヒストグラムを参照すれば、すべての分岐条件に対して分岐スコアを求めることができる。特徴量が８ビット（２５６パターン）の場合、（現在のノードにある学習データ数＋２５６）回の処理で済むことになる。なお、上述の場合は、特徴量が１次元の場合であるが、特徴量が２次元以上でも、特徴量の次元ごとに勾配ヒストグラムを求めれば、同様の処理を並列で算出することが可能である。以下、第１の実施形態でフィーチャパラレルで学習を行うラーニングモジュール２０の構成として示した図４に基づいてさらに詳細な構成を示した図１７に示すラーニングモジュール２０により、勾配ヒストグラムを算出して分岐条件データを求めるための構成および動作を説明し、さらに、データパラレルの構成とした場合の構成および動作について説明する。
（勾配ヒストグラムを用いて分岐条件データを求めるラーニングモジュールの構成例）
図１７は、ラーニングモジュールの詳細なモジュール構成の一例を示す図である。図１７を参照しながら、上述の図４が示す構成をさらに詳細に示したラーニングモジュール２０の構成および動作について説明する。
図１７に示すラーニングモジュール２０は、ゲイン算出モジュール２１＿１、２１＿２、・・・、２１＿ｎと、最適条件導出モジュール２２と、を備えている。ここで、ｎは、少なくともサンプルデータ（ここでは、学習データ）の特徴量の種類以上の数である。なお、ゲイン算出モジュール２１＿１、２１＿２、・・・、２１＿ｎについて、任意のゲイン算出モジュールを示す場合、または総称する場合、単に「ゲイン算出モジュール２１」と称するものとする。
ゲイン算出モジュール２１＿１～２１＿１ｎは、それぞれ、入力されるサンプルデータに含まれる特徴量のうち対応する特徴量について、各しきい値における分岐スコアを、上述の式（１９）を用いて算出するモジュールである。ゲイン算出モジュール２１＿１は、勾配ヒストグラム算出モジュール６１＿１と、累積勾配算出モジュール６２＿１と、算出モジュール６３＿１と、を含む。
勾配ヒストグラム算出モジュール６１＿１は、入力したサンプルデータの特徴量の各値をヒストグラムのビンとして、当該サンプルデータに対応する勾配情報の値を積算することによって勾配ヒストグラムを算出するモジュールである。
累積勾配算出モジュール６２＿１は、特徴量に対する各しきい値について、勾配ヒストグラムの累積和を求めることにより、勾配情報の和（ＧＬ、ＧＲ、ＨＬ、ＨＲ）を算出するモジュールである。
算出モジュール６３＿１は、累積勾配算出モジュール６２＿１により算出された勾配情報の和を用いて、上述の式（１９）を用いて、各しきい値における分岐スコアを算出するモジュールである。
また、ゲイン算出モジュール２１＿２も、同様に、勾配ヒストグラム算出モジュール６１＿２と、累積勾配算出モジュール６２＿２と、算出モジュール６３＿２と、を含み、以下、ゲイン算出モジュール２１＿ｎについても同様である。なお、勾配ヒストグラム算出モジュール６１＿１、６１＿２、・・・、６１＿ｎについて、任意の勾配ヒストグラム算出モジュールを示す場合、または総称する場合、単に「勾配ヒストグラム算出モジュール６１」と称するものとする。また、累積勾配算出モジュール６２＿１、６２＿２、・・・、６２＿ｎについて、任意の累積勾配算出モジュールを示す場合、または総称する場合、単に「累積勾配算出モジュール６２」と称するものとする。また、算出モジュール６３＿１、６３＿２、・・・、６３＿ｎについて、任意の算出モジュールを示す場合、または総称する場合、単に「算出モジュール６３」と称するものとする。
最適条件導出モジュール２２は、各ゲイン算出モジュール２１により出力された各特徴量および各しきい値に対応する各分岐スコアを入力し、分岐スコアが最大となる特徴量の番号（特徴量番号）およびしきい値を導出するモジュールである。最適条件導出モジュール２２は、導出した特徴量番号およびしきい値を、対応するノードの分岐条件データ（ノードのデータの一例）として、モデルメモリ４０へ書き込む。
＜勾配ヒストグラム算出モジュールの構成および動作＞
図１８は、ラーニングモジュールの勾配ヒストグラム算出モジュールのモジュール構成の一例を示す図である。図１８を参照しながら、ラーニングモジュール２０における勾配ヒストグラム算出モジュール６１の構成および動作について説明する。なお、図１８では、特徴量が１次元であるものとし、勾配情報として一次勾配ｇおよび二次勾配ｈがある場合について説明するが、単に、勾配情報ｇ、勾配情報ｈと称する場合がある。
図１８に示すように、勾配ヒストグラム算出モジュール６１は、データカウンタ２０１と、加算器２０２と、ディレイ２０３と、勾配ヒストグラムメモリ２０４と、総和格納メモリ２０５と、加算器２０６と、ディレイ２０７と、勾配ヒストグラムメモリ２０８と、総和格納メモリ２０９と、を有する。
データカウンタ２０１は、データメモリ３０から学習処理の対象となるサンプルデータ（特徴量）、および対応する勾配情報ｇ、ｈを読み出すためのアドレスを出力する。
加算器２０２は、勾配ヒストグラムメモリ２０４から読み出した、加算された勾配情報ｇと、データメモリ３０から新たに読み出した勾配情報ｇとを加算する。
ディレイ２０３は、加算器２０２により加算された勾配情報ｇを勾配ヒストグラムメモリ２０４に書き込むタイミングを合わせるために、データメモリ３０から読み出された特徴量を遅延して出力する。
勾配ヒストグラムメモリ２０４は、特徴量の値をアドレスとして、加算された勾配情報ｇを格納していき、最終的に、特徴量の値（ビン）ごとの勾配ヒストグラムを格納するメモリである。
総和格納メモリ２０５は、データメモリ３０から読み出した勾配情報ｇの総和を格納するメモリである。
加算器２０６は、勾配ヒストグラムメモリ２０８から読み出した、加算された勾配情報ｈと、データメモリ３０から新たに読み出した勾配情報ｈとを加算する。
ディレイ２０７は、加算器２０６により加算された勾配情報ｈを勾配ヒストグラムメモリ２０８に書き込むタイミングを合わせるために、データメモリ３０から読み出された特徴量を遅延して出力する。
勾配ヒストグラムメモリ２０８は、特徴量の値をアドレスとして、加算された勾配情報ｈを格納していき、最終的に、特徴量の値（ビン）ごとの勾配ヒストグラムを格納するメモリである。
総和格納メモリ２０９は、データメモリ３０から読み出した勾配情報ｈの総和を格納するメモリである。
以下、勾配ヒストグラム算出モジュール６１の勾配ヒストグラムの算出動作の流れを簡潔に説明する。まず、勾配ヒストグラム算出モジュール６１は、データカウンタ２０１から出力されるアドレスを用いて、データメモリ３０に記憶されている、現在のノードの１つの学習データ（特徴量、勾配情報）を読み出す。そして、加算器２０２は、データメモリ３０から読み出した特徴量をアドレスとして、勾配ヒストグラムメモリ２０４から勾配情報ｇ（加算された勾配情報ｇ）を読み出す。そして、加算器２０２は、勾配ヒストグラムメモリ２０４から読み出した勾配情報ｇ（加算された勾配情報ｇ）と、データメモリ３０から読み出した勾配情報ｇとを加算し、データメモリ３０から読み出された特徴量をアドレスとして、勾配ヒストグラムメモリ２０４へ加算した勾配情報ｇを書き込む（更新する）。総和格納メモリ２０５は、データメモリ３０から勾配情報ｇを読み出す度に加算して勾配情報ｇの総和を格納する。なお、加算器２０６、ディレイ２０７、勾配ヒストグラムメモリ２０８および総和格納メモリ２０９による勾配情報ｈに対する処理も、上述と同様である。以上の動作を、現在のノードのすべての学習データについて繰り返す。
＜累積勾配算出モジュールの構成および動作＞
図１９は、ラーニングモジュールの累積勾配算出モジュールのモジュール構成の一例を示す図である。図１９を参照しながら、ラーニングモジュール２０における累積勾配算出モジュール６２の構成および動作について説明する。なお、図１９では、特徴量が１次元であるものとし、勾配情報として一次勾配ｇおよび二次勾配ｈがある場合について説明する。
図１９に示すように、累積勾配算出モジュール６２は、しきい値カウンタ２１０と、アキュムレータ２１１と、ディレイ２１２と、差分器２１３と、アキュムレータ２１４と、ディレイ２１５と、差分器２１６と、を有する。
しきい値カウンタ２１０は、勾配ヒストグラムメモリ２０４、２０８から特徴量の値ごとに加算された勾配情報（ｇ、ｈ）、すなわち、特徴量の各値の勾配ヒストグラムを読み出すためのアドレスとなるしきい値を出力する。
アキュムレータ２１１は、しきい値カウンタ２１０から出力されたしきい値（アドレス）に対応した勾配情報ｇについての勾配ヒストグラムを勾配ヒストグラムメモリ２０４から読み出して、現在格納している勾配ヒストグラムの累積和に対して、さらに累積して、新たな勾配ヒストグラムの累積和として保持する。
ディレイ２１２は、アキュムレータ２１１から読み出した勾配情報ｇについての勾配ヒストグラムの累積和を、差分器２１３から勾配情報ｇの和ＧＲが出力されるタイミングと合せるために遅延させて、勾配情報ｇの和ＧＬとして出力する。
差分器２１３は、総和格納メモリ２０５から読み出した勾配情報ｇの総和から、アキュムレータ２１１から読み出した勾配情報ｇについての勾配ヒストグラムの累積和（すなわち、勾配情報ｇの和ＧＬ）を引いて、勾配情報ｇの和ＧＲを算出する。
アキュムレータ２１４は、しきい値カウンタ２１０から出力されたしきい値（アドレス）に対応した勾配情報ｈについての勾配ヒストグラムを勾配ヒストグラムメモリ２０８から読み出して、現在格納している勾配ヒストグラムの累積和に対して、さらに累積して、新たな勾配ヒストグラムの累積和として保持する。
ディレイ２１５は、アキュムレータ２１４から読み出した勾配情報ｈについての勾配ヒストグラムの累積和を、差分器２１６から勾配情報ｈの和ＨＲが出力されるタイミングと合せるために遅延させて、勾配情報ｈの和ＨＬとして出力する。
差分器２１６は、総和格納メモリ２０９から読み出した勾配情報ｈの総和から、アキュムレータ２１４から読み出した勾配情報ｈについての勾配ヒストグラムの累積和（すなわち、勾配情報ｈの和ＨＬ）を引いて、勾配情報ｈの和ＨＲを算出する。
以下、累積勾配算出モジュール６２の勾配情報の和（ＧＬ、ＧＲ、ＨＬ、ＨＲ）の算出動作の流れを簡潔に説明する。なお、累積勾配算出モジュール６２による算出処理は、勾配ヒストグラム算出モジュール６１における勾配情報の勾配ヒストグラムの算出・格納処理の動作終了後に開始される。すなわち、勾配ヒストグラム算出モジュール６１による算出処理の終了後は、勾配ヒストグラムメモリ２０４、２０８には、それぞれ、現在のノードのすべての学習データから算出された勾配情報ｇ、ｈについての勾配ヒストグラムが保持してある。
まず、累積勾配算出モジュール６２は、しきい値カウンタ２１０から出力されるアドレスとしてのしきい値を用いて、勾配ヒストグラムメモリ２０４に記憶されている勾配情報ｇの勾配ヒストグラムを読み出す。そして、アキュムレータ２１１は、しきい値カウンタ２１０から出力されたしきい値に対応した勾配情報ｇについての勾配ヒストグラムを勾配ヒストグラムメモリ２０４から読み出して、現在格納している勾配ヒストグラムの累積和に対して、さらに累積して、新たな勾配ヒストグラムの累積和として保持する。そして、差分器２１３は、総和格納メモリ２０５から読み出した勾配情報ｇの総和から、アキュムレータ２１１から読み出した勾配情報ｇについての勾配ヒストグラムの累積和（すなわち、勾配情報ｇの和ＧＬ）を引いて、勾配情報ｇの和ＧＲを算出して、算出モジュール６３へ出力する。また、ディレイ２１２は、アキュムレータ２１１から読み出した勾配情報ｇについての勾配ヒストグラムの累積和（すなわち、勾配情報ｇの和ＧＬ）を、差分器２１３の出力に合せて、算出モジュール６３へ出力する。なお、アキュムレータ２１４、ディレイ２１５および差分器２１６におる勾配情報ｈに対する処理（勾配情報ｈの和ＨＬ、ＨＲの算出処理）も、上述と同様である。以上の動作を、すべてのしきい値について繰り返すが、この場合、しきい値カウンタ２１０がしきい値を順にカウントアップさせながら一巡して出力することによって実現される。
＜データパラレルにした場合の勾配ヒストグラム算出モジュール＞
図２０は、データパラレルにした場合の勾配ヒストグラム算出モジュールのモジュール構成の一例を示す図である。図２０を参照しながら、データパラレルにした場合の勾配ヒストグラム算出モジュール６１の構成および動作について説明する。なお、図２０では、データパラレルの分割数を２とし、特徴量が１次元であるものとし、勾配情報として一次勾配ｇのみを考えた場合について説明する。
図２０に示すように、分割数が２の場合のデータパラレルとするために、図１８に示すデータメモリ３０の代わりに、分割したメモリであるデータメモリ３０ａ、３０ｂが構成され、勾配ヒストグラム算出モジュール６１の代わりに、勾配ヒストグラム算出モジュール６１ａ、６１ｂが構成される。
図２０に示すように、勾配ヒストグラム算出モジュール６１ａは、データカウンタ２０１ａと、加算器２０２ａと、ディレイ２０３ａと、勾配ヒストグラムメモリ２０４ａと、総和格納メモリ２０５ａと、を有する。また、勾配ヒストグラム算出モジュール６１ｂは、データカウンタ２０１ｂと、加算器２０２ｂと、ディレイ２０３ｂと、勾配ヒストグラムメモリ２０４ｂと、総和格納メモリ２０５ｂと、を有する。データカウンタ２０１ａ、２０１ｂ、加算器２０２ａ、２０２ｂ、ディレイ２０３ａ、２０３ｂ、勾配ヒストグラムメモリ２０４ａ、２０４ｂ、および、総和格納メモリ２０５ａ、２０５ｂの機能は、図１８で説明した各機能と同様である。
データパラレルを簡易に構成する場合、図２０に示すように、データメモリ３０と共に、勾配ヒストグラム算出モジュール６１も分割数と同数だけ配置する構成が考えられる。この場合、勾配ヒストグラムメモリの数は、特徴量次元×分割数となる。図２０に示す例では、特徴量は一次元、分割数は２としているので、勾配ヒストグラムメモリ２０４ａ、２０４ｂの２つとなる。さらに、勾配情報として一次勾配ｇおよび二次勾配ｈ用のそれぞれの勾配ヒストグラムメモリを考えた場合、必要となる勾配ヒストグラムメモリの全容量は、１つのメモリの容量（ビン数×ビット幅）×２（一次勾配ｇ、二次勾配ｈ）×特徴量次元×分割数となる。大規模なデータセットでは、特徴量が数百～数千次元ある場合も珍しくなく、そのうえ、分割数を増やすと大量のメモリの数が必要となり、メモリの容量がボトルネックとなり、回路の規模が増大してしまう。例えば、特徴量が８ビット（２５６パターン）で２０００次元であり、勾配情報が一次勾配ｇおよび二次勾配ｈの２つとし、勾配ヒストグラムのビット幅が１２ビットの場合、１２［ビット］×２５６＝３０７２［ビット］なので、１つの勾配ヒストグラムメモリのメモリ容量は３０７２ビットを満たせるものが必要になる。メモリは、通常、２のべき乗で用意されるので、この場合、メモリ容量は４０９６ビット（４ｋビット）となる。したがって、１分割（分割なし）の場合の勾配ヒストグラムメモリの全容量は、以下のようになる。
４［ｋビット］×２（一次勾配ｇ、二次勾配ｈ）×２０００［次元］＝１６［Ｍビット］
すなわち、１分割（分割なし）あたり１６Ｍビットのメモリ容量が必要になり、分割した場合は、（分割数×１６Ｍビット）のメモリ容量が必要となる。
例えば、ハイエンドなＦＰＧＡであるｘｉｌｉｎｘ社のｖｉｒｔｅｘ ＵｌｔｒＳｃａｌｅ＋のＶＵ９Ｐというチップの場合について考える。勾配ヒストグラムメモリに用いることができるのは分散ＲＡＭおよびブロックＲＡＭという回路である。ＶＵ９Ｐでは、分散ＲＡＭが最大で３６．１Ｍビット、ブロックＲＡＭが最大で７５．９Ｍビットである。そのため、勾配ヒストグラムメモリに分散ＲＡＭを用いた場合は２分割が限界であり、ブロックＲＡＭを用いた場合は４分割が限界となる。また、分散ＲＡＭおよびブロックＲＡＭは、勾配ヒストグラムの保持以外にも使う必要があるため、分割数の上限は上述の数よりも低くなる。以上のことより、特徴量および勾配情報のセットが並列に入力される場合において、図１７～図２０で説明したラーニングモジュール２０の構成と比較して、より小規模な回路で勾配ヒストグラムを算出および格納することが可能な構成が必要である。以下、本実施形態に係るラーニングモジュールの構成および動作を、図２１～図２６で説明する。
（第２の実施形態に係るラーニングモジュールの構成）
図２１は、第２の実施形態に係る学習識別装置のラーニングモジュールのモジュール構成の一例を示す図である。図２１を参照しながら、本実施形態に係る学習識別装置（学習装置の一例）のラーニングモジュール２０ａの構成および動作について説明する。なお、図２１では、データパラレルの分割数を２とし、特徴量が１次元であるものとして説明する。
図２１に示すように、本実施形態に係るラーニングモジュール２０ａは、勾配ヒストグラム算出モジュール７１と、累積勾配算出モジュール７２と、算出モジュール７３と、最適条件導出モジュール２２と、を備えている。
勾配ヒストグラム算出モジュール７１は、入力したサンプルデータの特徴量の各値をヒストグラムのビンとして、当該サンプルデータに対応する勾配情報の値を積算することによって勾配ヒストグラムを算出するモジュールである。勾配ヒストグラム算出モジュール７１は、勾配出力モジュール３０１ａ、３０１ｂと、加算モジュール３０２と、アキュムレータモジュール３０３と、総和格納メモリ３０４と、を有する。
勾配出力モジュール３０１ａ、３０１ｂは、特徴量の各値に対応した出力ポートを有し、データメモリ３０ａ、３０ｂから、特徴量および勾配情報を入力し、入力した特徴量の値に対応した出力ポートから当該勾配情報を出力するモジュールである。
加算モジュール３０２は、特徴量の値（ビン）ごとに対応する勾配情報を加算して出力するモジュールである。
アキュムレータモジュール３０３は、特徴量の値（ビン）ごとに、加算モジュール３０２から入力した加算された勾配情報を、現在保持している加算された勾配情報に加算し、最終的に、ビンごとに勾配情報の勾配ヒストグラムを保持するモジュールである。
総和格納メモリ３０４は、加算モジュール３０２により算出された勾配情報の総和を格納するメモリである。
累積勾配算出モジュール７２は、特徴量に対する各しきい値について、勾配ヒストグラムの累積和を求めることにより、勾配情報の和（ＧＬ、ＧＲ、ＨＬ、ＨＲ）を算出するモジュールである。
算出モジュール７３は、累積勾配算出モジュール７２により算出された勾配情報の和を用いて、上述の式（１９）を用いて、各しきい値における分岐スコアを算出するモジュールである。
最適条件導出モジュール２２は、算出モジュール７３により出力された各特徴量（図２１では１つの特徴量）および各しきい値に対応する各分岐スコアを入力し、分岐スコアが最大となる特徴量の番号（特徴量番号）およびしきい値を導出するモジュールである。最適条件導出モジュール２２は、導出した特徴量番号およびしきい値を、対応するノードの分岐条件データ（ノードのデータの一例）として、モデルメモリ４０へ書き込む。
また、図２１に示すように、分割数が２の場合のデータパラレルとするために、メモリがデータメモリ３０ａ、３０ｂの２つのメモリに分割され、勾配ヒストグラム算出モジュール７１のうち、前段において勾配出力モジュール３０１ａ、３０１ｂの２つのモジュールに分割されている。図２１では、分割された物理的な単位を、「分割１」および「分割２」と表記している。
＜勾配ヒストグラム算出モジュールの構成および動作＞
図２２は、第２の実施形態のラーニングモジュールの勾配ヒストグラム算出モジュールのモジュール構成の一例を示す図である。図２２を参照しながら、本実施形態に係るラーニングモジュール２０ａにおける勾配ヒストグラム算出モジュール７１の構成および動作について説明する。なお、図２１では、データパラレルの分割数を２とし、特徴量が１次元であるものとし、勾配情報として１つ（例えば、一次勾配ｇ）のみを考えた場合について説明する。
図２２に示すように、勾配ヒストグラム算出モジュール７１は、図２２で説明した構成に加え、データカウンタ３１１ａ、３１１ｂを有する。
データカウンタ３１１ａは、データメモリ３０ａから学習処理の対象となるサンプルデータ（特徴量）、および対応する勾配情報を読み出すためのアドレスを出力する。
勾配出力モジュール３０１ａは、図２２に示すように、比較器３１２＿１、３１２＿２、・・・、３１２＿Ｎと、マルチプレクサ３１３＿１、３１３＿２、・・・、３１３＿Ｎと、を有する。ここで、Ｎは、特徴量が取り得る値の数であって、勾配ヒストグラムにおけるビンの数である。なお、比較器３１２＿１、３１２＿２、・・・、３１２＿Ｎについて、任意の比較器を示す場合、または総称する場合、単に「比較器３１２」と称するものとする。また、マルチプレクサ３１３＿１、３１３＿２、・・・、３１３＿Ｎについて、任意のマルチプレクサを示す場合、または総称する場合、単に「マルチプレクサ３１３」と称するものとする。
比較器３１２は、データメモリ３０ａから読み出した特徴量と、特定のビンの特徴量の値とを入力し、双方を比較して一致した場合、一致した旨（例えば、電圧レベルのオン出力）を、マルチプレクサ３１３へ出力する。例えば、比較器３１２＿１は、データメモリ３０ａから読み出した特徴量が、ビン１の特徴量の値と一致した場合、一致した旨をマルチプレクサ３１３＿１へ出力する。
マルチプレクサ３１３は、比較器３１２がデータメモリ３０ａから読み出した特徴量（学習データ）に対応する勾配情報と、０とを入力し、比較器３１２から出力された比較結果に応じて、入力した勾配情報または０を出力する。例えば、マルチプレクサ３１３＿１は、比較器３１２＿１がデータメモリ３０ａから読み出した特徴量に対応する勾配情報と、０とを入力し、比較器３１２＿１から出力された比較結果が一致を示す場合、入力した勾配情報をビン１に対応する勾配情報として出力し、比較結果が不一致を示す場合、０を出力する。すなわち、データメモリ３０ａから読み出された特徴量の値に対応するマルチプレクサ３１３から、当該特徴量に対応する勾配情報が出力され、それ以外のマルチプレクサ３１３から０が出力される仕組みである。
なお、データメモリ３０ｂ、データカウンタ３１１ｂ、および勾配出力モジュール３０１ｂの機能は、それぞれ上述のデータメモリ３０ａ、データカウンタ３１１ａ、および勾配出力モジュール３０１ａと同様である。
加算モジュール３０２は、特徴量の値、すなわちビンごとにマルチプレクサ３１３から入力した勾配情報を加算して、アキュムレータモジュール３０３へ出力する。加算モジュール３０２は、加算器３２１＿１、３２１＿２、・・・、３２１＿Ｎと、加算器３２２と、を有する。
加算器３２１＿１、３２１＿２、・・・、３２１＿Ｎは、それぞれビン１、２、・・・、Ｎごとにマルチプレクサ３１３から入力した勾配情報を加算して、加算した勾配情報をアキュムレータモジュール３０３へ出力する。例えば、加算器３２１＿１は、勾配出力モジュール３０１ａにおけるビン１に対応するマルチプレクサ３１３＿１からの出力である勾配情報と、勾配出力モジュール３０１ｂにおけるビン１に対応するマルチプレクサ３１３＿１からの出力である勾配情報と、を加算して、アキュムレータモジュール３０３（この場合、後述するビン１アキュムレータ３３１＿１）へ出力する。
加算器３２２は、勾配出力モジュール３０１ａおよび勾配出力モジュール３０１ｂが、それぞれデータメモリ３０ａ、３０ｂから読み出した勾配情報をそれぞれ入力して加算し、加算した勾配情報を総和格納メモリ３０４へ出力する。
アキュムレータモジュール３０３は、特徴量の値（ビン）ごとに、加算モジュール３０２から入力した加算された勾配情報を、現在保持している加算された勾配情報に加算し、最終的に、ビンごとに勾配情報の勾配ヒストグラムを保持する。アキュムレータモジュール３０３は、ビン１アキュムレータ３３１＿１と、ビン２アキュムレータ３３１＿２と、・・・、ビンＮアキュムレータ３３１＿Ｎと、を有する。
ビン１アキュムレータ３３１＿１、ビン２アキュムレータ３３１＿２、・・・、ビンＮアキュムレータ３３１＿Ｎは、それぞれビン１、２、・・・、Ｎごとに、加算器３２１＿１、３２１＿２、・・・、３２１＿Ｎからそれぞれ入力した加算された勾配情報を、現在保持している加算された勾配情報に加算する。例えば、ビン１アキュムレータ３３１＿１は、加算器３２１＿１から入力した加算された勾配情報を、現在保持している加算された勾配情報に加算し、ビン１の勾配情報の勾配ヒストグラムを保持する。
総和格納メモリ３０４は、加算器３２２から出力された加算された勾配情報を、現在保持している加算された勾配情報に加算する。すなわち、総和格納メモリ３０４は、すべての学習データに対応する勾配情報の総和が格納される。
以下、本実施形態に係る勾配ヒストグラム算出モジュール７１の勾配ヒストグラムの算出動作の流れを簡潔に説明する。データカウンタ３１１ａ（３１１ｂ）は、データメモリ３０ａから学習処理の対象となるサンプルデータ（特徴量）、および対応する勾配情報を読み出すためのアドレスを出力する。勾配出力モジュール３０１ａ（３０１ｂ）の比較器３１２は、データメモリ３０ａ（３０ｂ）から読み出した特徴量と、特定のビンの特徴量の値とを入力し、双方を比較して一致した場合、一致した旨を、マルチプレクサ３１３へ出力する。マルチプレクサ３１３は、比較器３１２がデータメモリ３０ａ（３０ｂ）から読み出した特徴量（学習データ）に対応する勾配情報と、０とを入力し、比較器３１２から出力された比較結果に応じて、入力した勾配情報または０を出力する。加算モジュール３０２の加算器３２１＿１、３２１＿２、・・・、３２１＿Ｎは、それぞれビン１、２、・・・、Ｎごとにマルチプレクサ３１３から入力した勾配情報を加算して、加算した勾配情報をアキュムレータモジュール３０３へ出力する。アキュムレータモジュール３０３のビン１アキュムレータ３３１＿１、ビン２アキュムレータ３３１＿２、・・・、ビンＮアキュムレータ３３１＿Ｎは、それぞれビン１、２、・・・、Ｎごとに、加算器３２１＿１、３２１＿２、・・・、３２１＿Ｎからそれぞれ入力した加算された勾配情報を、現在保持している加算された勾配情報に加算して、最終的に、ビンごとに勾配情報の勾配ヒストグラムを保持する。以上の動作を、現在のノードのすべての学習データについて繰り返す。
以上のような、本実施形態に係る勾配ヒストグラム算出モジュール７１の構成では、従来の図２０で示した構成のように勾配ヒストグラムをメモリに格納するのではなく、特徴量のビンごとに対応したレジスタ（アキュムレータ）に格納するものとしている。図２２に示す勾配ヒストグラム算出モジュール７１の構成では、特徴量のビン数×特徴量次元（図２２では次元を１としている）の数のレジスタがあれば実現することが可能である。すなわち、勾配ヒストグラムを格納するために必要となる全容量は、ビン数×ビット幅×２（一次勾配ｇ、二次勾配ｈ）×特徴量次元となり、分割数に依存しない。したがって、従来の図２０で示した構成の場合と比較して、勾配ヒストグラムを格納するための回路容量を大幅に削減することができる。また、本実施形態に係る勾配ヒストグラム算出モジュール７１の構成では、回路規模は分割数に依存しないので、他のモジュールの回路規模が許せる限り、データパラレルの分割数を増加させることができ、学習処理の速度を向上させることが可能となる。
例えば、特徴量が８ビット（２５６パターン）で２０００次元であり、勾配情報が一次勾配ｇおよび二次勾配ｈの２つとした場合、必要となるレジスタの数は、以下のようになる。
２５６（ビン数）×２（一次勾配ｇ、二次勾配ｈ）×２０００［次元］＝１０２４０００［個］
ここで、上述のＶＵ９Ｐというチップの場合、最大レジスタ数は２３６４０００［個］なので、本実施形態に係る勾配ヒストグラム算出モジュール７１の構成で、勾配ヒストグラムの保持に必要なレジスタ数は、当該最大レジスタ数の半分程度に収めることができる。
図２３は、第２の実施形態のラーニングモジュールにおいて分割数を３とした場合の勾配ヒストグラム算出モジュールのモジュール構成の一例を示す図である。図２３を参照しながら、データパラレルの分割数を３とした場合の勾配ヒストグラム算出モジュール７１の構成の一例について説明する。なお、図２３では、特徴量が１次元であるものとし、勾配情報として１つ（例えば、一次勾配ｇ）のみを考えた場合について説明する。
例えば、図２３では、加算モジュール３０２は、加算器３２１＿１＿１、・・・、３２１＿Ｎ＿１と、加算器３２１＿１＿２、・・・、３２１＿Ｎ＿２と、加算器３２２＿１、３２２＿２と、を有する。図２３に示す勾配ヒストグラム算出モジュール７１のように、加算モジュール３０２は、段階的に勾配情報を統合（加算）するものとすればよい。例えば、ビン１について、加算器３２１＿１＿１は、「分割１」から出力された勾配情報と、「分割２」から出力された勾配情報とを加算して、加算器３２１＿１＿２へ出力する。そして、加算器３２１＿１＿２は、加算器３２１＿１＿１から出力された加算値と、「分割３」から出力された勾配情報と、を加算して、アキュムレータモジュール３０３のビン１アキュムレータ３３１＿１へ出力する。
＜累積勾配算出モジュールの構成および動作＞
図２４は、第２の実施形態のラーニングモジュールの累積勾配算出モジュールのモジュール構成の一例を示す図である。図２４を参照しながら、本実施形態に係るラーニングモジュール２０ａにおける累積勾配算出モジュール７２の構成および動作について説明する。なお、図２４では、データパラレルの分割数を１とし、特徴量が１次元であるものとし、勾配情報として２つ（例えば、一次勾配ｇ、二次勾配ｈ）を考えた場合について説明する。
図１９に示す従来の累積勾配算出モジュール６２では、しきい値カウンタ２１０の出力（しきい値）をアドレスとして、勾配ヒストグラムメモリ２０４（２０８）にアクセスしていた。図２４では、勾配ヒストグラムは、ビンごとにレジスタ（アキュムレータ）に保持されているので、マルチプレクサを介してすべてのビンからしきい値カウンタのしきい値に対応した値のみを取り出している。
図２４に示すように、累積勾配算出モジュール７２は、しきい値カウンタ３４０と、アキュムレータ３４１と、ディレイ３４２と、差分器３４３と、アキュムレータ３４４と、ディレイ３４５と、差分器３４６と、マルチプレクサ３４７、３４８と、を有する。また、図２４では、一次勾配ｇに対応するアキュムレータモジュール３０３および総和格納メモリ３０４を、それぞれアキュムレータモジュール３０３ｇおよび総和格納メモリ３０４ｇとしている。また、二次勾配ｈに対応するアキュムレータモジュール３０３および総和格納メモリ３０４を、それぞれアキュムレータモジュール３０３ｈおよび総和格納メモリ３０４ｈとしている。
しきい値カウンタ３４０は、アキュムレータモジュール３０３ｇ、３０３ｈから、特徴量の値（ビン）ごとに加算された勾配情報（ｇ、ｈ）、すなわち、特徴量の各ビンの勾配ヒストグラムを読み出すためのしきい値を出力する。
マルチプレクサ３４７は、しきい値カウンタ３４０からのしきい値と、アキュムレータモジュール３０３ｇの各アキュムレータ（ビン１アキュムレータ３３１＿１、ビン２アキュムレータ３３１＿２、・・・、ビンＮアキュムレータ３３１＿Ｎ）の格納値（勾配ヒストグラム）を入力する。そして、マルチプレクサ３４７は、入力した各ビンの勾配ヒストグラムのうち、しきい値カウンタ３４０からのしきい値に対応するビンに対応する勾配ヒストグラムを、アキュムレータ３４１へ出力する。
マルチプレクサ３４８は、しきい値カウンタ３４０からのしきい値と、アキュムレータモジュール３０３ｈの各アキュムレータ（ビン１アキュムレータ３３１＿１、ビン２アキュムレータ３３１＿２、・・・、ビンＮアキュムレータ３３１＿Ｎ）の格納値（勾配ヒストグラム）を入力する。そして、マルチプレクサ３４８は、入力した各ビンの勾配ヒストグラムのうち、しきい値カウンタ３４０からのしきい値に対応するビンに対応する勾配ヒストグラムを、アキュムレータ３４４へ出力する。
アキュムレータ３４１は、しきい値カウンタ３４０から出力されたしきい値に対応する勾配情報ｇについての勾配ヒストグラムをマルチプレクサ３４７から入力して、現在格納している勾配ヒストグラムの累積和に対して、さらに累積して、新たな勾配ヒストグラムの累積和として保持する。
ディレイ３４２は、アキュムレータ３４１から読み出した勾配情報ｇについての勾配ヒストグラムの累積和を、差分器３４３から勾配情報ｇの和ＧＲが出力されるタイミングと合せるために遅延させて、勾配情報ｇの和ＧＬとして出力する。
差分器３４３は、総和格納メモリ３０４ｇから読み出した勾配情報ｇの総和から、アキュムレータ３４１から読み出した勾配情報ｇについての勾配ヒストグラムの累積和（すなわち、勾配情報ｇの和ＧＬ）を引いて、勾配情報ｇの和ＧＲを算出する。
アキュムレータ３４４は、しきい値カウンタ３４０から出力されたしきい値に対応する勾配情報ｈについての勾配ヒストグラムをマルチプレクサ３４８から入力して、現在格納している勾配ヒストグラムの累積和に対して、さらに累積して、新たな勾配ヒストグラムの累積和として保持する。
ディレイ３４５は、アキュムレータ３４４から読み出した勾配情報ｈについての勾配ヒストグラムの累積和を、差分器３４６から勾配情報ｈの和ＨＲが出力されるタイミングと合せるために遅延させて、勾配情報ｈの和ＨＬとして出力する。
差分器３４６は、総和格納メモリ３０４ｈから読み出した勾配情報ｈの総和から、アキュムレータ３４４から読み出した勾配情報ｈについての勾配ヒストグラムの累積和（すなわち、勾配情報ｈの和ＨＬ）を引いて、勾配情報ｈの和ＨＲを算出する。
以下、累積勾配算出モジュール７２の勾配情報の和（ＧＬ、ＧＲ、ＨＬ、ＨＲ）の算出動作の流れを簡潔に説明するなお、累積勾配算出モジュール７２による算出処理は、勾配ヒストグラム算出モジュール７１における勾配情報の勾配ヒストグラムの算出・格納処理の動作終了後に開始される。すなわち、勾配ヒストグラム算出モジュール７１による算出処理の終了後は、アキュムレータモジュール３０３ｇ、３０３ｈには、それぞれ、現在のノードのすべての学習データから算出された勾配情報ｇ、ｈについての勾配ヒストグラムが保持してある。
まず、マルチプレクサ３４７は、しきい値カウンタ３４０からのしきい値と、アキュムレータモジュール３０３ｇの各アキュムレータ（ビン１アキュムレータ３３１＿１、ビン２アキュムレータ３３１＿２、・・・、ビンＮアキュムレータ３３１＿Ｎ）の格納値（勾配ヒストグラム）を入力する。そして、マルチプレクサ３４７は、入力した各ビンの勾配ヒストグラムのうち、しきい値カウンタ３４０からのしきい値に対応するビンに対応する勾配ヒストグラムを、アキュムレータ３４１へ出力する。そして、アキュムレータ３４１は、しきい値カウンタ３４０から出力されたしきい値に対応する勾配情報ｇについての勾配ヒストグラムをマルチプレクサ３４７から入力して、現在格納している勾配ヒストグラムの累積和に対して、さらに累積して、新たな勾配ヒストグラムの累積和として保持する。また、ディレイ３４２は、アキュムレータ３４１から読み出した勾配情報ｇについての勾配ヒストグラムの累積和を、差分器３４３から勾配情報ｇの和ＧＲが出力されるタイミングと合せるために遅延させて、勾配情報ｇの和ＧＬとして、算出モジュール７３へ出力する。そして。差分器３４３は、総和格納メモリ３０４ｇから読み出した勾配情報ｇの総和から、アキュムレータ３４１から読み出した勾配情報ｇについての勾配ヒストグラムの累積和（すなわち、勾配情報ｇの和ＧＬ）を引いて、勾配情報ｇの和ＧＲを算出して、算出モジュール７３へ出力する。なお、マルチプレクサ３４８、アキュムレータ３４４、ディレイ３４５および差分器３４６におる勾配情報ｈに対する処理（勾配情報ｈの和ＨＬ、ＨＲの算出処理）も、上述と同様である。以上の動作を、すべてのしきい値について繰り返すが、この場合、しきい値カウンタ３４０がしきい値を順にカウントアップさせながら一巡して出力することによって実現される。
このように、予め、勾配ヒストグラム算出モジュール７１による勾配情報の勾配ヒストグラムの算出・格納処理の動作を行ったうえで、累積勾配算出モジュール７２および算出モジュール７３の処理を行うものとしている。これによって、ラーニングモジュール２０ａによる分岐スコア（ゲイン）の算出処理を高速化することができる。
＜次元数が２の場合のラーニングモジュールの構成＞
図２５は、第２の実施形態に係る学習識別装置において特徴量の種類を２とした場合のラーニングモジュールのモジュール構成の一例を示す図である。図２６は、第２の実施形態のラーニングモジュールにおいて特徴量の種類を２とした場合の勾配ヒストグラム算出モジュールのモジュール構成の一例を示す図である。図２５および図２６を参照しながら、本実施形態に係る学習識別装置（学習装置の一例）のラーニングモジュール２０ｂの構成および動作について説明する。なお、図２５では、データパラレルの分割数を２とし、特徴量が２次元であるものとして説明する。
図２５に示すように、ラーニングモジュール２０ｂは、勾配ヒストグラム算出モジュール７１と、累積勾配算出モジュール７２＿１、７２＿２と、算出モジュール７３＿１、７３＿２と、最適条件導出モジュール２２と、を備えている。勾配ヒストグラム算出モジュール７１は、勾配出力モジュール３０１ａ＿１、３０１ａ＿２、３０１ｂ＿１、３０１ｂ＿２と、加算モジュール３０２＿１、３０２＿２と、アキュムレータモジュール３０３＿１、３０３＿２と、総和格納メモリ３０４＿１、３０４＿２と、を有する。図２６に示すように、勾配ヒストグラム算出モジュール７１は、図２５に示した構成に加え、データカウンタ３１１ａ、３１１ｂを有する。
また、図２６に示すように、勾配出力モジュール３０１ａ＿１、３０１ａ＿２、３０１ｂ＿１、３０１ｂ＿２は、それぞれ、比較器３１２＿１、３１２＿２、・・・、３１２＿Ｎと、マルチプレクサ３１３＿１、３１３＿２、・・・、３１３＿Ｎと、を有する。加算モジュール３０２＿１、３０２＿２は、それぞれ、加算器３２１＿１、３２１＿２、・・・、３２１＿Ｎと、加算器３２２と、を有する。アキュムレータモジュール３０３＿１、３０３＿２は、それぞれ、ビン１アキュムレータ３３１＿１と、ビン２アキュムレータ３３１＿２と、・・・、ビンＮアキュムレータ３３１＿Ｎと、を有する。
図２５および図２６に示す構成のうち、勾配出力モジュール３０１ａ＿１、３０１ｂ＿１、加算モジュール３０２＿１、アキュムレータモジュール３０３＿１、総和格納メモリ３０４＿１、累積勾配算出モジュール７２＿１、および算出モジュール７３＿１は、「特徴量１」に対応する処理のために用いられる。一方、勾配出力モジュール３０１ａ＿２、３０１ｂ＿２、加算モジュール３０２＿２、アキュムレータモジュール３０３＿２、総和格納メモリ３０４＿２、累積勾配算出モジュール７２＿２、および算出モジュール７３＿２は、「特徴量２」に対応する処理のために用いられる。各モジュールの動作は、図２２および図２４で説明した動作と同様である。
上述したように、勾配ヒストグラムを格納するために必要となる容量は、ビン数×ビット幅×２（一次勾配ｇ、二次勾配ｈ）×特徴量次元であるので、特徴量の次元数だけ、アキュムレータモジュール３０３（図２５では、アキュムレータモジュール３０３＿１、３０３＿２）が必要となる。しかし、当該容量は、分割数に依存しないので、図２５および図２６に示す例では、分割数が２の場合であるが、分割数が３以上となっても、特徴量の次元が２である限り、アキュムレータモジュール３０３は２つであればよい。
以上のように、本実施形態に係る学習識別装置のラーニングモジュール２０ａ（２０ｂ）では、勾配ヒストグラム算出モジュール７１は、従来の図２０で示した構成のように勾配ヒストグラムをメモリに格納するのではなく、特徴量のビンごとに対応したレジスタ（アキュムレータ）に格納するものとしている。この勾配ヒストグラム算出モジュール７１の構成では、特徴量のビン数×特徴量次元の数のレジスタがあれば実現することが可能である。すなわち、勾配ヒストグラムを格納するために必要となる全容量は、ビン数×ビット幅×２（一次勾配ｇ、二次勾配ｈ）×特徴量次元となり、分割数に依存しない。したがって、従来の図２０で示した構成の場合と比較して、並列に入力される特徴量および勾配情報について作成された勾配ヒストグラムの情報を保持するメモリ（アキュムレータ、レジスタ）の回路規模を大幅に削減することができる。また、本実施形態に係る勾配ヒストグラム算出モジュール７１の構成では、回路規模は分割数に依存しないので、他のモジュールの回路規模が許せる限り、データパラレルの分割数を増加させることができ、学習処理の速度を向上させることが可能となる。
［第３の実施形態］
第３の実施形態に係る学習識別装置について、第２の実施形態に係る学習識別装置と相違する点を中心に説明する。本実施形態では、ＧＢＤＴによる学習処理においてノードの学習データを分割して並列に学習を行う場合（すなわち、データパラレルで学習を行う場合）に、当該学習データのアドレス計算を実現するコントロールモジュールのハードロジック構成について説明する。
（学習識別装置の構成）
図２７は、第３の実施形態に係る学習識別装置のモジュール構成の一例を示す図である。図２８は、次の学習対象となるノードでの学習データのアドレス算出について説明する図である。図２７および図２８を参照しながら、本実施形態に係る学習識別装置１ｂ（学習装置の一例）のモジュール構成について説明する。本実施形態に係る学習識別装置は、データパラレルでの学習データのアドレス計算を行うものであるが、まず、下記のアドレス管理部１２によるアドレスの算出動作について説明するため、図２７に示す学習識別装置１ｂでは、データパラレルではない構成として説明する。
図２８に示すように、本実施形態に係る学習識別装置１ｂは、コントロールモジュール１５と、ラーニングモジュール２０と、データメモリ３０と、モデルメモリ４０と、クラシフィケーションモジュール５０と、を備えている。このうち、ラーニングモジュール２０、データメモリ３０、モデルメモリ４０およびクラシフィケーションモジュール５０は、例えば、ＦＰＧＡにより構成されている。コントロールモジュール１５と、当該ＦＰＧＡとはバスを介してデータ通信可能となっている。なお、学習識別装置１ｂは、図２７に示す各構成要素だけではなく、他の構成要素、例えば、各種データ（プログラム等）を記憶した補助記憶装置、および外部装置と通信を行う通信Ｉ／Ｆ等を備えているものとしてもよい。また、ラーニングモジュール２０、データメモリ３０、モデルメモリ４０およびクラシフィケーションモジュール５０の構成および動作は、第１の実施形態および第２の実施形態で上述した通りである。
コントロールモジュール１５は、全体でＧＢＤＴの学習を制御する演算モジュールである。コントロールモジュール１５は、ＣＰＵ１０と、アドレス管理部１２（管理部）と、を備えている。ＣＰＵ１０は、制御部１１を有する。
制御部１１は、ラーニングモジュール２０、データメモリ３０、モデルメモリ４０およびクラシフィケーションモジュール５０の各モジュールを制御する。制御部１１は、ＣＰＵ１０で実行されるプログラムによって実現される。
アドレス管理部１２は、制御部１１からノードアドレス（後述するように、各デプスでのノードを識別する番号）、および、バンクＡまたはバンクＢを指定する選択信号を受信し、さらに、識別処理を終了したクラシフィケーションモジュール５０から中間アドレスを受信し、次のノードの学習を行うための開始アドレスおよび終了アドレスを算出するハードロジックのモジュールである。アドレス管理部１２の具体的なアドレスの算出動作について、図２８を参照しながら説明する。
ＧＢＤＴの学習処理は、上述したようにノード単位で行われる。ノードの学習が終わると、次のノードの学習で使う学習データを判断するため、クラシフィケーションモジュール５０での学習データの分岐により、ポインタメモリの更新が行われ、上述した中間アドレスが算出される。そして、次のノードの学習で、ポインタメモリ３１で格納された学習データのアドレスのうちどこからどこまでを学習に使用するかを認識するために、現在のノード（第１ノード）の開始アドレス、終了アドレス（第１アドレス）、および中間アドレス（第２アドレス）から算出して、記憶しておく必要があり、その役割を担うモジュールがアドレス管理部１２である。
ここでのＧＢＤＴは２分木を対象としているため、アドレス管理部１２は、１つのノードの学習後に左右２つに分岐するノードにそれぞれ分岐された学習データに対応するポインタメモリ３１上のアドレスを算出する。すなわち、アドレス管理部１２は、現在のノードの開始アドレス、終了アドレス、および中間アドレスから、次の２つのノード（第２ノード）に対応する２つの開始アドレス（第３アドレス）および２つの終了アドレス（第３アドレス）を算出する。このアドレス管理部１２によるアドレスの算出動作を、図２８に示す。図２８に示すｓｔａｒｔ＿ａｄｄｒｅｓｓ、ｅｎｄ＿ａｄｄｒｅｓｓ、およびｍｉｄ＿ａｄｄｒｅｓｓは、それぞれ現在のノードの開始アドレス、終了アドレス、および中間アドレスを示す。これらの３つのアドレスから、下記の式（２３）により、次の２つのノードの開始アドレスであるｓｔａｒｔ＿ａｄｄｒｅｓｓ＿１、ｓｔａｒｔ＿ａｄｄｒｅｓｓ＿２、および２つの終了アドレスであるｅｎｄ＿ａｄｄｒｅｓｓ＿１、ｅｎｄ＿ａｄｄｒｅｓｓ＿２を算出する。
Figure 0007363145000027
アドレス管理部１２によるアドレスの算出処理自体は、上記のように簡易であり、ＰｉｃｏＢｌａｚｅおよびＭｉｃｒｏＢｌａｚｅのようなソフトプロセッサで算出することも可能である。しかし、データパラレルで学習する場合、分割ごとにアドレスの算出が必要になる。例えば、学習データを１００分割した場合、ノードごとに１００回のアドレスの算出処理が必要になる。ソフトプロセッサでアドレス算出する場合、数クロックから数十クロックが必要であり、データパラレルで学習する場合、このアドレス算出に必要なクロック数がボトルネックとなる。また、ハードロジックでもアドレス管理部が１つの場合は、学習データを１００分割した場合、１００回分のアドレス算出を直接に行う必要がある。そこで、本実施形態では、アドレスの算出機能をハードロジックで実装し、後述するように、分割ごとにハードロジックで構成されたアドレス管理部１２を備えることにより、アドレス算出処理の高速化を図る。アドレス管理部１２の具体的なハードロジックの構成は、図２９～図３２で後述する。
＜アドレス管理部の構成＞
図２９は、第３の実施形態のアドレス管理部のモジュール構成の一例を示す図である。図３０は、第３の実施形態のアドレス算出部１２１のモジュール構成の一例を示す図である。図３１は、ノードアドレスについて説明する図である。図３２は、第３の実施形態のアドレス記憶部の構成の一例を示す図である。図２９～図３２を参照しながら、アドレス管理部１２の構成について説明する。
アドレス管理部１２は、アドレス算出部１２１と、アドレス格納先制御部１２２と、アドレス記憶部１２３と、出力選択器１２４と、を備えている。
アドレス算出部１２１は、制御部１１から受信した現在のノード（ノードｎとする）のノードアドレス（ノードアドレスｎとする）、クラシフィケーションモジュール５０から受信した現在のノードの学習後に定まる中間アドレス、ならびに、ノードｎの開始アドレスおよび終了アドレスから、上述の式（２３）を用いて、次の２つのノードに対応する２つの開始アドレスおよび２つの終了アドレスを算出する。具体的には、アドレス算出部１２１は、ノード２ｎの開始アドレスおよび終了アドレス、ならびに、ノード２（ｎ＋１）の開始アドレスおよび終了アドレスを算出する。そして、アドレス算出部１２１は、算出した各アドレス、および、そのアドレスの格納先を示す格納アドレス（ノードアドレス２ｎ、２（ｎ＋１））を、アドレス格納先制御部１２２へ送る。
アドレス算出部１２１は、具体的には、図３０に示すように、乗算器１３１と、加算器１３２と、加算器１３３と、を備えている。
乗算器１３１は、入力したノードアドレスｎに２を乗じたノードアドレス２ｎを出力する演算回路である。加算器１３２は、乗算器１３１により算出されたノードアドレス２ｎに１を加算してノードアドレス２ｎ＋１を出力する演算回路である。加算器１３３は、入力した中間アドレスに１を加算したアドレスを、ノード２（ｎ＋１）の開始アドレスとして出力する演算回路である。
また、アドレス算出部１２１は、入力したノードｎの開始アドレスを、ノード２ｎの開始アドレスとして出力する。また、アドレス算出部１２１は、入力した中間アドレスを、ノード２ｎの終了アドレスとして出力する。また、アドレス算出部１２１は、入力したノードｎの終了アドレスを、ノード２（ｎ＋１）の終了アドレスとして出力する。以上のアドレス算出部１２１の構成および動作によって、上述の式（２３）に基づく演算が実現される。
アドレス格納先制御部１２２は、アドレス算出部１２１により算出された各アドレスを、制御部１１から受信した選択信号で指定されるバンク（バンクＡまたはバンクＢ）に対応するアドレス記憶部１２３の各記憶部（バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴおよびバンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤ、または、バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴおよびバンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤ）における格納アドレスで示される記憶領域に格納するモジュールである。例えば、選択信号がバンクＡを示し、格納アドレスがノードアドレス０、１を示す場合、アドレス格納先制御部１２２は、次のノードであるノード０の開始アドレスおよび終了アドレスを、バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴおよびバンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤにおけるノードアドレス０で示されるそれぞれの記憶領域に格納する。また、アドレス格納先制御部１２２は、次のノードであるノード１の開始アドレスおよび終了アドレスを、バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴおよびバンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤにおけるノードアドレス１で示されるそれぞれの記憶領域に格納する。
アドレス記憶部１２３は、アドレス算出部１２１により算出された次の２つのノードに対応する２つの開始アドレスおよび２つの終了アドレスを格納するメモリである。アドレス記憶部１２３は、バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴと、バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴと、バンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤと、バンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤと、を備えている。
バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴは、バンクＡを参照するアドレスとして、次のノードに対応する開始アドレスを記憶する。バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴは、バンクＢを参照するアドレスとして、次のノードに対応する開始アドレスを記憶する。バンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤは、バンクＡを参照するアドレスとして、次のノードに対応する終了アドレスを記憶する。バンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤは、バンクＢを参照するアドレスとして、次のノードに対応する終了アドレスを記憶する。
例えば、バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴの構成を、図３２に示す。バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴは、ノードアドレスと呼称するアドレスにより特定される各記憶領域により構成されている。図３２に示す例では、バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴを構成する各記憶領域は、ノードアドレス０、１、・・・、Ｎによってそれぞれ特定される。なお、バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴ、バンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤ、およびバンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤについても、図３２に示す構成と同様である。
ここで、ノードアドレスについて、図３１を用いて説明する。図３１に示す決定木において、第１の実施形態で上述したように、一番上の階層を「デプス０」、そこから下の階層を順に「デプス１」、「デプス２」、・・・と称するものとし、特定の階層の一番左のノードを「ノード０」、そこから右のノードを順に「ノード１」、「ノード２」、・・・と称する。ここで、決定木における特定の階層のノードを指し示すためのアドレスがノードアドレスとなる。例えば、ノードアドレス１というのは、特定の階層における左から２番目のノード、すなわちノード１を示すアドレスということになる。また、現在のノードのノードアドレスがｎだとすると、次のノードのノードアドレスは、２ｎおよび２ｎ＋１となり、これは、上述したようにアドレス算出部１２１によって算出される。
出力選択器１２４は、アドレス記憶部１２３に含まれる４つの記憶部から、制御部１１から受信した選択信号およびノードアドレスで特定される記憶部の記憶領域から、次のノードに対応する開始アドレスおよび終了アドレスを読み出して、ラーニングモジュール２０へ出力するモジュールである。例えば、出力選択器１２４は、制御部１１から受信した選択信号がバンクＢを示し、制御部１１からノードアドレス２を受信した場合、バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴのノードアドレス２で特定される記憶領域から開始アドレスを読み出し、バンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤのノードアドレス２で特定される記憶領域から終了アドレスを読み出して、出力する。
（アドレス管理部によるアドレス管理）
以下、図３３～図３７を参照しながら、アドレス管理部１２のアドレス管理について具体的に説明する。
＜デプス０・ノード０の学習前＞
図３３は、第３の実施形態に係る学習識別装置のデプス０、ノード０の学習前におけるアドレス記憶部の状態を示す図である。
図３３に示すように、デプス０、ノード０の学習前、すなわち初期状態では、例えば、
バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴのノードアドレス０に、デプス０、ノード０（決定木の頂点のノード）に対応するバンクＡでの開始アドレス（０）が格納されている。そして、バンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤのノードアドレス０に、デプス０、ノード０に対応するバンクＡでの終了アドレス（ｍａｘ＿ａｄｄｒｅｓｓ）が格納されている。ここで、ｍａｘ＿ａｄｄｒｅｓｓは、実質的に学習データの総数を表す値となる。また、図３３の初期状態では、バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴおよびバンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤには、それぞれ開始アドレスおよび終了アドレスは共に書き込まれていない。
図３３～図３７において、「Ｘ」が記載された記憶領域は、不定値が書き込まれているものとする。なお、別途、初期状態にするための初期化ステップとして、なんらかの初期値を格納しておくものとしてもよい。また、図３３～図３７において、斜線ハッチングが施された記憶領域は、書き込まれた記憶領域であることを示し、点ハッチングが施された記憶領域は、読み出される記憶領域であることを示す。
＜デプス０・ノード０の学習後＞
図３４は、第３の実施形態に係る学習識別装置のデプス０、ノード０の学習後におけるアドレス記憶部の状態を示す図である。
デプス０、ノード０の学習時には、バンクＡが読み出しバンクであり、バンクＢが書き込みバンクとなる。出力選択器１２４は、制御部１１から受信したバンクＡを示す選択信号、およびノードアドレス０で特定される記憶領域、すなわち、バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴおよびバンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤそれぞれのノードアドレス０から開始アドレス（０）および終了アドレス（ｍａｘ＿ａｄｄｒｅｓｓ）を読み出して、ラーニングモジュール２０へ出力する。
ラーニングモジュール２０は、開始アドレスおよび終了アドレスに基づいて、バンクＡから対象とする学習データのアドレスを読み出し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出して学習を行う。ラーニングモジュール２０は、学習によって導出した特徴量番号およびしきい値を、デプス０、ノード０の分岐条件データとして、モデルメモリ４０へ書き込む。
クラシフィケーションモジュール５０は、同じ開始アドレスおよび終了アドレスをアドレス管理部１２から受信し、当該開始アドレスおよび終了アドレスに基づいて、バンクＡから対象とする学習データのアドレスを読み出し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出す。また、クラシフィケーションモジュール５０は、モデルメモリ４０からデプス０、ノード０の分岐条件データ（特徴量番号、しきい値）を読み出す。そして、クラシフィケーションモジュール５０は、分岐条件データに従って、読み出したサンプルデータを、デプス０、ノード０の左側に分岐させるか、右側に分岐させるかを判定し、その判定結果により、当該学習データのフィーチャメモリ３２におけるアドレスを、ポインタメモリ３１の書き込みバンクであるバンクＢに書き込む。この際、クラシフィケーションモジュール５０は、当該ノードの左側に分岐すると判定した場合、当該学習データのアドレスを、バンクＢのアドレスの低い方（開始アドレス（０））から順に書き込み、当該ノードの右側に分岐すると判定した場合、当該学習データのアドレスを、バンクＢのアドレスの高い方（終了アドレス（ｍａｘ＿ａｄｄｒｅｓｓ））から順に書き込む。そして、クラシフィケーションモジュール５０は、左側に分岐した学習データのアドレスと、右側に分岐した学習データのアドレスとの境界に対応するバンクＢにおけるアドレス（中間アドレス）を、アドレス管理部１２に返す。当該中間アドレスは、次の分岐処理の際に使用される。
そして、アドレス算出部１２１は、制御部１１から受信した現在のノード（デプス０、ノード０）のノードアドレス０、クラシフィケーションモジュール５０から受信した中間アドレス、ならびに、現在のノードの開始アドレスおよび終了アドレスから、上述の式（２３）を用いて、次の２つのノードに対応する２つの開始アドレスおよび２つの終了アドレスを算出する。具体的には、アドレス算出部１２１は、デプス１、ノード０の開始アドレスおよび終了アドレス、ならびに、デプス１、ノード１の開始アドレスおよび終了アドレスを算出する。そして、アドレス算出部１２１は、算出した各アドレス、および、そのアドレスの格納先を示す格納アドレス（ノードアドレス０、１）を、アドレス格納先制御部１２２へ送る。
アドレス格納先制御部１２２は、アドレス算出部１２１により算出された各アドレスを、制御部１１から受信した選択信号で指定されるバンクＢに対応するバンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴおよびバンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤにおける格納アドレス（ノードアドレス０、１）で示される記憶領域に格納する。具体的には、アドレス格納先制御部１２２は、バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴのノードアドレス０に、デプス１、ノード０に対応するバンクＢでの開始アドレス（０）を格納し、バンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤのノードアドレス０に、デプス１、ノード０に対応するバンクＢでの終了アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿０＿０）を格納する。ここで、「ｍｉｄ＿ａｄｄｒｅｓｓ＿ａ＿ｂ」は、デプスａ、ノードｂにおける中間アドレスを示す。さらに、アドレス格納先制御部１２２は、バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴのノードアドレス１に、デプス１、ノード１に対応するバンクＢでの開始アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿０＿０＋１）を格納し、バンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤのノードアドレス１に、デプス１、ノード１に対応するバンクＢでの終了アドレス（ｍａｘ＿ａｄｄｒｅｓｓ）を格納する。
＜デプス１・ノード０の学習後＞
図３５は、第３の実施形態に係る学習識別装置のデプス１、ノード０の学習後におけるアドレス記憶部の状態を示す図である。
デプス１、ノード０の学習時には、バンクＢが読み出しバンクであり、バンクＡが書き込みバンクとなる。出力選択器１２４は、制御部１１から受信したバンクＢを示す選択信号、およびノードアドレス０で特定される記憶領域、すなわち、バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴおよびバンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤそれぞれのノードアドレス０から開始アドレス（０）および終了アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿０＿０）を読み出して、ラーニングモジュール２０へ出力する。
ラーニングモジュール２０は、開始アドレスおよび終了アドレスに基づいて、バンクＢから対象とする学習データのアドレスを読み出し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出して学習を行う。ラーニングモジュール２０は、学習によって導出した特徴量番号およびしきい値を、デプス１、ノード０の分岐条件データとして、モデルメモリ４０へ書き込む。
クラシフィケーションモジュール５０は、同じ開始アドレスおよび終了アドレスをアドレス管理部１２から受信し、当該開始アドレスおよび終了アドレスに基づいて、バンクＢから対象とする学習データのアドレスを読み出し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出す。また、クラシフィケーションモジュール５０は、モデルメモリ４０からデプス１、ノード０の分岐条件データ（特徴量番号、しきい値）を読み出す。そして、クラシフィケーションモジュール５０は、分岐条件データに従って、読み出したサンプルデータを、デプス１、ノード０の左側に分岐させるか、右側に分岐させるかを判定し、その判定結果により、当該学習データのフィーチャメモリ３２におけるアドレスを、ポインタメモリ３１の書き込みバンクであるバンクＡに書き込む。この際、クラシフィケーションモジュール５０は、当該ノードの左側に分岐すると判定した場合、当該学習データのアドレスを、バンクＡのアドレスの低い方（開始アドレス（０））から順に書き込み、当該ノードの右側に分岐すると判定した場合、当該学習データのアドレスを、バンクＡのアドレスの高い方（終了アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿０＿０））から順に書き込む。そして、クラシフィケーションモジュール５０は、左側に分岐した学習データのアドレスと、右側に分岐した学習データのアドレスとの境界に対応するバンクＡにおけるアドレス（中間アドレス）を、アドレス管理部１２に返す。当該中間アドレスは、次の分岐処理の際に使用される。
そして、アドレス算出部１２１は、制御部１１から受信した現在のノード（デプス１、ノード０）のノードアドレス０、クラシフィケーションモジュール５０から受信した中間アドレス、ならびに、現在のノードの開始アドレスおよび終了アドレスから、上述の式（２３）を用いて、次の２つのノードに対応する２つの開始アドレスおよび２つの終了アドレスを算出する。具体的には、アドレス算出部１２１は、デプス２、ノード０の開始アドレスおよび終了アドレス、ならびに、デプス２、ノード１の開始アドレスおよび終了アドレスを算出する。そして、アドレス算出部１２１は、算出した各アドレス、および、そのアドレスの格納先を示す格納アドレス（ノードアドレス０、１）を、アドレス格納先制御部１２２へ送る。
アドレス格納先制御部１２２は、アドレス算出部１２１により算出された各アドレスを、制御部１１から受信した選択信号で指定されるバンクＡに対応するバンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴおよびバンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤにおける格納アドレス（ノードアドレス０、１）で示される記憶領域に格納する。具体的には、アドレス格納先制御部１２２は、バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴのノードアドレス０に、デプス２、ノード０に対応するバンクＡでの開始アドレス（０）を格納し、バンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤのノードアドレス０に、デプス２、ノード０に対応するバンクＡでの終了アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿１＿０）を格納する。さらに、アドレス格納先制御部１２２は、バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴのノードアドレス１に、デプス２、ノード１に対応するバンクＡでの開始アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿１＿０＋１）を格納し、バンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤのノードアドレス１に、デプス２、ノード１に対応するバンクＡでの終了アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿０＿０）を格納する。
＜デプス１・ノード１の学習後＞
図３６は、第３の実施形態に係る学習識別装置のデプス１、ノード１の学習後におけるアドレス記憶部の状態を示す図である。
デプス１、ノード１の学習時には、バンクＢが読み出しバンクであり、バンクＡが書き込みバンクとなる。出力選択器１２４は、制御部１１から受信したバンクＢを示す選択信号、およびノードアドレス１で特定される記憶領域、すなわち、バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴおよびバンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤそれぞれのノードアドレス１から開始アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿０＿０＋１）および終了アドレス（ｍａｘ＿ａｄｄｒｅｓｓ）を読み出して、ラーニングモジュール２０へ出力する。
ラーニングモジュール２０は、開始アドレスおよび終了アドレスに基づいて、バンクＢから対象とする学習データのアドレスを読み出し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出して学習を行う。ラーニングモジュール２０は、学習によって導出した特徴量番号およびしきい値を、デプス１、ノード１の分岐条件データとして、モデルメモリ４０へ書き込む。
クラシフィケーションモジュール５０は、同じ開始アドレスおよび終了アドレスをアドレス管理部１２から受信し、当該開始アドレスおよび終了アドレスに基づいて、バンクＢから対象とする学習データのアドレスを読み出し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出す。また、クラシフィケーションモジュール５０は、モデルメモリ４０からデプス１、ノード１の分岐条件データ（特徴量番号、しきい値）を読み出す。そして、クラシフィケーションモジュール５０は、分岐条件データに従って、読み出したサンプルデータを、デプス１、ノード１の左側に分岐させるか、右側に分岐させるかを判定し、その判定結果により、当該学習データのフィーチャメモリ３２におけるアドレスを、ポインタメモリ３１の書き込みバンクであるバンクＡに書き込む。この際、クラシフィケーションモジュール５０は、当該ノードの左側に分岐すると判定した場合、当該学習データのアドレスを、バンクＡのアドレスの低い方（開始アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ０＿０＋１））から順に書き込み、当該ノードの右側に分岐すると判定した場合、当該学習データのアドレスを、バンクＡのアドレスの高い方（終了アドレス（ｍａｘ＿ａｄｄｒｅｓｓ））から順に書き込む。そして、クラシフィケーションモジュール５０は、左側に分岐した学習データのアドレスと、右側に分岐した学習データのアドレスとの境界に対応するバンクＡにおけるアドレス（中間アドレス）を、アドレス管理部１２に返す。当該中間アドレスは、次の分岐処理の際に使用される。
そして、アドレス算出部１２１は、制御部１１から受信した現在のノード（デプス１、ノード１）のノードアドレス１、クラシフィケーションモジュール５０から受信した中間アドレス、ならびに、現在のノードの開始アドレスおよび終了アドレスから、上述の式（２３）を用いて、次の２つのノードに対応する２つの開始アドレスおよび２つの終了アドレスを算出する。具体的には、アドレス算出部１２１は、デプス２、ノード２の開始アドレスおよび終了アドレス、ならびに、デプス２、ノード３の開始アドレスおよび終了アドレスを算出する。そして、アドレス算出部１２１は、算出した各アドレス、および、そのアドレスの格納先を示す格納アドレス（ノードアドレス２、３）を、アドレス格納先制御部１２２へ送る。
アドレス格納先制御部１２２は、アドレス算出部１２１により算出された各アドレスを、制御部１１から受信した選択信号で指定されるバンクＡに対応するバンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴおよびバンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤにおける格納アドレス（ノードアドレス２、３）で示される記憶領域に格納する。具体的には、アドレス格納先制御部１２２は、バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴのノードアドレス２に、デプス２、ノード２に対応するバンクＡでの開始アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿０＿０＋１）を格納し、バンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤのノードアドレス２に、デプス２、ノード２に対応するバンクＡでの終了アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿１＿１）を格納する。さらに、アドレス格納先制御部１２２は、バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴのノードアドレス３に、デプス２、ノード３に対応するバンクＡでの開始アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿１＿１＋１）を格納し、バンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤのノードアドレス３に、デプス２、ノード３に対応するバンクＡでの終了アドレス（ｍａｘ＿ａｄｄｒｅｓｓ）を格納する。
＜デプス２・ノード０の学習後＞
図３７は、第３の実施形態に係る学習識別装置のデプス２、ノード０の学習後におけるアドレス記憶部の状態を示す図である。
デプス２、ノード０の学習時には、バンクＡが読み出しバンクであり、バンクＢが書き込みバンクとなる。出力選択器１２４は、制御部１１から受信したバンクＡを示す選択信号、およびノードアドレス０で特定される記憶領域、すなわち、バンクＡ用開始アドレス記憶部１２３Ａ＿ＳＴおよびバンクＡ用終了アドレス記憶部１２３Ａ＿ＥＤそれぞれのノードアドレス０から開始アドレス（０）および終了アドレス（ｍｉｄ＿ａｄｒｅｓｓ＿１＿０）を読み出して、ラーニングモジュール２０へ出力する。
ラーニングモジュール２０は、開始アドレスおよび終了アドレスに基づいて、バンクＡから対象とする学習データのアドレスを読み出し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出して学習を行う。ラーニングモジュール２０は、学習によって導出した特徴量番号およびしきい値を、デプス２、ノード０の分岐条件データとして、モデルメモリ４０へ書き込む。
クラシフィケーションモジュール５０は、同じ開始アドレスおよび終了アドレスをアドレス管理部１２から受信し、当該開始アドレスおよび終了アドレスに基づいて、バンクＡから対象とする学習データのアドレスを読み出し、当該アドレスによって、フィーチャメモリ３２から学習データ（特徴量）を読み出す。また、クラシフィケーションモジュール５０は、モデルメモリ４０からデプス２、ノード０の分岐条件データ（特徴量番号、しきい値）を読み出す。そして、クラシフィケーションモジュール５０は、分岐条件データに従って、読み出したサンプルデータを、デプス２、ノード０の左側に分岐させるか、右側に分岐させるかを判定し、その判定結果により、当該学習データのフィーチャメモリ３２におけるアドレスを、ポインタメモリ３１の書き込みバンクであるバンクＢに書き込む。この際、クラシフィケーションモジュール５０は、当該ノードの左側に分岐すると判定した場合、当該学習データのアドレスを、バンクＢのアドレスの低い方（開始アドレス（０））から順に書き込み、当該ノードの右側に分岐すると判定した場合、当該学習データのアドレスを、バンクＢのアドレスの高い方（終了アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿１＿０））から順に書き込む。そして、クラシフィケーションモジュール５０は、左側に分岐した学習データのアドレスと、右側に分岐した学習データのアドレスとの境界に対応するバンクＢにおけるアドレス（中間アドレス）を、アドレス管理部１２に返す。当該中間アドレスは、次の分岐処理の際に使用される。
そして、アドレス算出部１２１は、制御部１１から受信した現在のノード（デプス２、ノード０）のノードアドレス０、クラシフィケーションモジュール５０から受信した中間アドレス、ならびに、現在のノードの開始アドレスおよび終了アドレスから、上述の式（２３）を用いて、次の２つのノードに対応する２つの開始アドレスおよび２つの終了アドレスを算出する。具体的には、アドレス算出部１２１は、デプス３、ノード０の開始アドレスおよび終了アドレス、ならびに、デプス３、ノード１の開始アドレスおよび終了アドレスを算出する。そして、アドレス算出部１２１は、算出した各アドレス、および、そのアドレスの格納先を示す格納アドレス（ノードアドレス０、１）を、アドレス格納先制御部１２２へ送る。
アドレス格納先制御部１２２は、アドレス算出部１２１により算出された各アドレスを、制御部１１から受信した選択信号で指定されるバンクＢに対応するバンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴおよびバンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤにおける格納アドレス（ノードアドレス０、１）で示される記憶領域に格納する。具体的には、アドレス格納先制御部１２２は、バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴのノードアドレス０に、デプス３、ノード０に対応するバンクＢでの開始アドレス（０）を格納し、バンクＢ用終了アドレス記憶部１２３Ａ＿ＥＤのノードアドレス０に、デプス３、ノード０に対応するバンクＢでの終了アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿２＿０）を格納する。さらに、アドレス格納先制御部１２２は、バンクＢ用開始アドレス記憶部１２３Ｂ＿ＳＴのノードアドレス１に、デプス３、ノード１に対応するバンクＢでの開始アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿２＿０＋１）を格納し、バンクＢ用終了アドレス記憶部１２３Ｂ＿ＥＤのノードアドレス１に、デプス３、ノード１に対応するバンクＢでの終了アドレス（ｍｉｄ＿ａｄｄｒｅｓｓ＿１＿０）を格納する。
以上の図３４～図３７の流れに従って処理を繰り返す。
（データパラレルでの学習識別装置の構成）
図３８は、第３の実施形態に係る学習識別装置のデータパラレルを実現するモジュール構成の一例を示す図である。図３８を参照しながら、データパラレルを実現する本実施形態に係る学習識別装置１ｃ（学習装置の一例）のモジュール構成について説明する。なお、図３８に示す構成は、データパラレルの分割数を２であるものとして説明するが、分割数はこれに限定されるものではない。
サンプルデータ（学習データまたは識別データ）に対するデータパラレルを実現するためには、図３８に示すように、サンプルデータを分割して保持するために２つのデータメモリ３０ａ、３０ｂ（データ記憶部）に分割する。図３８のデータメモリ３０ｂでは図示していないが、データメモリ３０ａと同様に、データメモリ３０ｂも、ポインタメモリ３１と、フィーチャメモリ３２と、ステートメモリ３３とを含む。ただし、単にサンプルデータを保持するメモリを分割しても、分割されたサンプルデータを並列に処理（学習処理、識別処理等）を行う機構が必要である。図３８に示す例では、識別処理を行うモジュールを、分割されたデータメモリと同数だけ配置された構成を示す。すなわち、学習識別装置１ｃは、２つのデータメモリ３０ａ、３０ｂのそれぞれに格納されたサンプルデータについて並列で識別処理を行うために、クラシフィケーションモジュール５０ａ、５０ｂ（識別部）を有する。
また、データパラレルを実現する場合、上述したように、分割ごとにハードロジックで構成されたアドレス管理部１２を備えている。具体的には、図３８に示すように、データパラレルを実現する学習識別装置１ｃは、分割ごとに対応するアドレス管理部１２であるアドレス管理部１２ａ、１２ｂ（管理部）を備えたコントロールモジュール１５ａを備えている。コントロールモジュール１５ａは、制御部１１を備えたＣＰＵ１０と、アドレス管理部１２ａ、１２ｂと、を備えている。
アドレス管理部１２ａは、データメモリ３０ａおよびクラシフィケーションモジュール５０ａに対応しており、データメモリ３０ａのポインタメモリ３１でのバンクＡ、Ｂに対するアドレスの管理を行う。アドレス管理部１２ｂは、データメモリ３０ｂおよびクラシフィケーションモジュール５０ｂに対応しており、データメモリ３０ｂのポインタメモリ３１でのバンクＡ、Ｂに対するアドレスの管理を行う。なお、分割数が３以上でも、同様に分割ごとにアドレス管理部１２が備えられるものとすればよい。
（データパラレルでのアドレス管理部の機能を簡潔に説明する構成）
図３９は、第３の実施形態に係る学習識別装置においてデータパラレルを実現する場合のアドレス管理部の機能を説明するための構成を示す図である。図３９を参照しながら、データパラレルでのアドレス管理部１２の機能を簡潔に示す構成について説明する。図３９においては、より一般化して説明するために、分割数をＮであるものとして説明する。
図３９に示すように、分割数Ｎを実現する学習識別装置のコントロールモジュール１５ｂは、制御部１１と、アドレス管理部１２＿１、１２＿２、・・・、１２＿Ｎと、を備えている。また、学習部１００＿１は、１番目の分割に対応するデータメモリ３０、クラシフィケーションモジュール５０、および、ラーニングモジュール２０のデータメモリ３０を対象とする学習機能を有するモジュールとして総括的に示すものである。アドレス管理部１２＿１は、学習部１００＿１に対して、バンクへのアドレスの読み書きのための開始アドレスおよび終了アドレスを算出して送る。そして、アドレス管理部１２＿１は、学習部１００＿１のクラシフィケーションモジュール５０により算出された中間アドレスを受け取って、次のノードの開始アドレスおよび終了アドレスを算出する。
同様に、アドレス管理部１２＿２、・・・、１２＿Ｎは、それぞれ学習部１００＿２、・・・、１００＿Ｎに対して、上述のアドレス管理部１２＿１の学習部１００＿１に対して提供する機能と同様の機能をそれぞれ提供する。
以上のように、本実施形態では、ＧＢＤＴによるノードの学習データについてデータパラレルにより学習、すなわち、学習データを分割して並列に学習を行う場合に、分割数分だけアドレス管理部１２を備えるものとし、各データメモリ３０に格納された学習データに対する学習および識別に使用するアドレス管理を、対応するアドレス管理部１２が行うものとしている。これによって、アドレス算出に必要はクロック数が、分割数が１の場合と同じとなり、大幅に学習データのアドレスの計算の高速化が実現される。例えば、分割数が１００の場合、アドレスの計算をシーケンシャルに行う場合に比べて、アドレスの計算に必要な時間は１／１００となる。
［第４の実施形態］
第４の実施形態に係る学習識別装置について、第２の実施形態に係る学習識別装置と相違する点を中心に説明する。本実施形態では、データパラレルの分割ごとにモデルメモリを分割し、かつ、認識性能を表す指標値を算出する処理も分割ごとに行う構成について説明する。
（学習識別装置の全体構成）
図４０は、第４の実施形態に係る学習識別装置のデータパラレルを適用したモジュール構成の一例を示す図である。図４０を参照しながら、本実施形態に係る学習識別装置１ｄ（学習装置の一例）のモジュール構成について説明する。なお、図４０に示す構成は、データパラレルの分割数を２であるものとして説明するが、分割数はこれに限定されるものではない。
サンプルデータ（学習データまたは識別データ）に対するデータパラレルを実現するためには、まず、上述の図１６に示した学習識別装置１ａと同様に、図４０に示すように、サンプルデータを分割して保持するために２つのデータメモリ３０ａ、３０ｂ（データ記憶部）に分割する。図４０のデータメモリ３０ｂでは図示していないが、データメモリ３０ａと同様に、データメモリ３０ｂも、ポインタメモリ３１と、フィーチャメモリ３２と、ステートメモリ３３とを含む。ただし、単にサンプルデータを保持するメモリを分割しても、分割されたサンプルデータを並列に処理（学習処理、識別処理等）を行う機構が必要である。図４０に示す例では、識別処理を行うモジュールを、分割されたデータメモリと同数だけ配置された構成を示す。すなわち、学習識別装置１ｄは、２つのデータメモリ３０ａ、３０ｂのそれぞれに格納されたサンプルデータについて並列で識別処理を行うために、クラシフィケーションモジュール５０ａ、５０ｂ（識別部）を有する。
さらに、学習識別装置１ｄは、クラシフィケーションモジュール５０ａ、５０ｂがそれぞれ独立してノードデータの読み出しができるように、データパラレルの分割数と同じ２つのモデルメモリ４０ａ、４０ｂ（モデル記憶部）を有する。この場合、クラシフィケーションモジュール５０ａ、５０ｂが識別処理、および後述するサンプルウェイトの更新処理に使用する決定木（モデル）のノードデータはそれぞれ同一である必要がある。したがって、ラーニングモジュール２０は、学習処理で求めた同じノードデータを、モデルメモリ４０ａ、４０ｂそれぞれに書き込むものとする。なお、図４０に示すように、学習識別装置１ｄが有するラーニングモジュール２０は、上述した図２１に示すラーニングモジュール２０ａ、または図２５に示すラーニングモジュール２０ｂであってもよい。
また、本実施形態に係る学習識別装置１ｄのクラシフィケーションモジュール５０ａ、５０ｂは、ラーニングモジュール２０により学習された決定木（モデル）の認識性能を示す指標値であるＡＵＣ（Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅ）を算出して、制御部１１へ送信する。すなわち、クラシフィケーションモジュール５０ａは、データメモリ３０ａに記憶されている分割に係る学習データに対応するサンプルウェイト（後述）等からＡＵＣを算出して、制御部１１へ送信する。クラシフィケーションモジュール５０ｂは、データメモリ３０ｂに記憶されている分割に係る学習データに対応するサンプルウェイト（後述）等からＡＵＣを算出して、制御部１１へ送信する。ＡＵＣを算出するためのクラシフィケーションモジュール５０ａ、５０ｂの具体的な構成については、後述する。
（学習識別装置におけるＡＵＣ算出部の構成）
図４１は、データパラレルにおいてＡＵＣ算出部を１つとした場合の構成を示す図である。図４２は、データパラレルにおいて分割ごとにＡＵＣ算出部を有する構成を示す図である。図４１および図４２を参照しながら、データパラレルにおけるＡＵＣ算出部についての構成について説明する。
クラシフィケーションモジュール５０ａ、５０ｂは、ラーニングモジュール２０による決定木の学習が終わるたびに、学習データごとの勾配情報およびサンプルウェイトの更新を行う。ここで、サンプルウェイトとは、これまで学習した各決定木において該当する学習データが分岐した結果、分岐先のリーフのリーフウェイトの総和である。また、クラシフィケーションモジュール５０ａ、５０ｂは、更新したサンプルウェイトを用いて、現在までに学習した決定木における認識性能の指標値であるＡＵＣを算出する。クラシフィケーションモジュール５０ａ、５０ｂにより算出されたＡＵＣは、例えば、アーリーストッピングを行うために用いられる。ここで、アーリーストッピングとは、評価用データ（識別データ）の認識性能の向上が止まった段階で学習処理を中断する手法であり、機械学習の分野で一般的に用いられる手法である。このように、アーリーストッピングにより学習処理を中断することによって、不要な学習処理の継続を抑制すると共に、過学習が進む前に学習処理を中断させることができる。なお、クラシフィケーションモジュール５０ａ、５０ｂが算出する決定木に対する認識性能の指標値としては、ＡＵＣに限定されるものではなく、その他の認識性能の指標値を算出するものとしてもよい。以下、本実施形態では、決定木の認識性能の指標値としてＡＵＣが算出されるものとして説明する。
データパラレルの構成では、上述のように、学習データを分割することによって学習処理が高速化する。学習された決定木の認識性能の指標値であるＡＵＣの算出処理では、原則として、すべての学習データのサンプルウェイトとラベルとを比較する必要があり、かつ、学習データの数に比例して処理時間が長くなるため、データパラレル時の処理の高速化のボトルネックとなり得る。ラベルとは、各学習データに定義された正解データを示す。
ここで、図４１に、データパラレルにおいて、すべての学習データのサンプルウェイトを用いてＡＵＣを算出する１つのＡＵＣ算出部８１を備えた構成を示す。図４１に示す学習部１００＿１は、１番目の分割に対応するデータメモリ３０ａ、クラシフィケーションモジュール５０ａ、および、ラーニングモジュール２０のデータメモリ３０ａを対象とする学習機能を有するモジュールとして総括的に示したものである。また、学習部１００＿２は、２番目の分割に対応するデータメモリ３０ｂ、クラシフィケーションモジュール５０ｂ、および、ラーニングモジュール２０のデータメモリ３０ｂを対象とする学習機能を有するモジュールとして総括的に示したものである。ＡＵＣ算出部８１は、学習部１００＿１、１００＿２から各分割に係る学習データ、すなわちすべての学習データのサンプルウェイトを受け取り、ＡＵＣを算出する。図４１に示す構成の場合、データパラレルにより学習データを分割して並列に学習を行うことにより学習の処理時間を短縮させるものの、ＡＵＣについてはすべての学習データのサンプルウェイトを用いて算出されるので、学習データの数に比例して当該算出の処理時間も長くなる。
そこで、本実施形態に係る学習識別装置１ｄでは、分割ごとにＡＵＣ算出部を備えるものとする。図４２に示す例は、分割数が２である場合の構成であり、学習部１００＿１、１００＿２それぞれに対応するＡＵＣ算出部８１ａ、８１ｂ（性能算出部）が設けられている。これによって、ＡＵＣ算出部８１ａ、８１ｂは、分割されたそれぞれの学習データのサンプルウェイトを用いて並列にＡＵＣを算出するので、全体でＡＵＣを算出する必要がなく、ＡＵＣの算出処理を高速化することができる。次に、図４３を参照しながら、学習識別装置１ｄにおいて、ＡＵＣ算出部８１ａ、８１ｂを備えた具体的な構成について説明する。
図４３は、第４の実施形態に係る学習識別装置における要部の構成を示す図である。図４３に示すように、クラシフィケーションモジュール５０ａは、上述したＡＵＣ算出部８１ａと、サンプルウェイト更新部８２ａと、勾配情報更新部８３ａと、を有する。クラシフィケーションモジュール５０ｂは、上述したＡＵＣ算出部８１ｂと、サンプルウェイト更新部８２ｂと、勾配情報更新部８３ｂと、を有する。また、制御部１１は、判定部１３を有する。
サンプルウェイト更新部８２ａは、ラーニングモジュール２０による決定木１つの学習が終了するたびに、データメモリ３０ａに格納された分割に係る学習データごとのサンプルウェイトを更新するモジュールである。具体的には、サンプルウェイト更新部８２ａは、以下の式（２４）を用いて、分割に係る学習データごとのサンプルウェイトを更新する。
Figure 0007363145000028
この式（２４）は、上述の式（８）の第４式と同一の式である。この式（２４）が示すように、ｉ番目の学習データのサンプルウェイトは、これまで学習された各決定木で分岐したリーフのリーフウェイトの総和である。式（２４）の右辺の第１項がこれまでのサンプルウェイトであり、第２項が対象となる学習データの現在学習した決定木でのリーフウェイトである。学習された各決定木での分岐は、上述の図１５で示したクラシフィケーションモジュール５０の構成および動作と同様に行われる。すなわち、サンプルウェイト更新部８２ａは、データメモリ３０ａから特徴量を読み取り、決定木のノードごとにモデルメモリ４０ａから読み取ったノードデータと比較する。サンプルウェイト更新部８２ａは、比較した結果、学習データが当該ノードの下位のどちらのノードに分岐するかに従って、分岐したノードのノードデータをモデルメモリ４０ａから読み出す。このため、サンプルウェイト更新部８２ａは、学習データ１つあたり、決定木の深さ分の回数だけモデルメモリ４０ａからノードデータを読み取る必要がある。サンプルウェイト更新部８２ａは、算出したサンプルウェイトで、データメモリ３０ａに記憶されている元のサンプルウェイトを更新する。
勾配情報更新部８３ａは、サンプルウェイト更新部８２ａにより更新されたサンプルウェイトを用いて、上述の式（１１）により、勾配情報（一次勾配ｇｉ、二次勾配ｈｉ）を算出して更新するモジュールである。式（１１）におけるｌは任意のロス関数であり、例えば、交差エントロピー誤差関数である場合、勾配情報は、以下の式（２５）で算出可能である。
Figure 0007363145000029
式（２５）におけるｐｉは、式（２４）の右辺の第１項をシグモイド関数を用いて０－１に正規化した値である。勾配情報更新部８３ａは、算出した勾配情報で、データメモリ３０ａに記憶されている元の勾配情報を更新する。
ＡＵＣ算出部８１ａは、データメモリ３０ａから読み出した学習データのラベルと、サンプルウェイト更新部８２ａにより算出されたサンプルウェイトとを用いて、ＡＵＣを算出するモジュールである。ＡＵＣ算出部８１ａは、算出したＡＵＣを、制御部１１の判定部１３へ出力する。
サンプルウェイト更新部８２ｂは、ラーニングモジュール２０による決定木１つの学習が終了するたびに、データメモリ３０ｂに格納された分割に係る学習データごとのサンプルウェイトを更新するモジュールである。サンプルウェイト更新部８２ｂによる具体的なサンプルウェイトの算出方法は、上述したサンプルウェイト更新部８２ａの処理と同様である。
勾配情報更新部８３ｂは、サンプルウェイト更新部８２ｂにより更新されたサンプルウェイトを用いて、上述の式（１１）により、勾配情報（一次勾配ｇｉ、二次勾配ｈｉ）を算出して更新するモジュールである。勾配情報更新部８３ｂによる具体的な勾配情報の算出方法は、上述したサンプルウェイト更新部８２ｂの処理と同様である。
ＡＵＣ算出部８１ｂは、データメモリ３０ｂから読み出した学習データのラベルと、サンプルウェイト更新部８２ｂにより算出されたサンプルウェイトとを用いて、ＡＵＣを算出するモジュールである。ＡＵＣ算出部８１ｂは、算出したＡＵＣを、制御部１１の判定部１３へ出力する。
ここで、すべての学習データを用いて算出したＡＵＣと、各分割に係る学習データを用いてＡＵＣ算出部８１ａ、８１ｂによりそれぞれ算出されたＡＵＣとが等しいとは限らない。ＡＵＣを算出する学習データの集合が変われば一般にＡＵＣは異なる値になる。ただし、上述したアーリーストッピングによる学習処理の中断のための指標値としてＡＵＣを用いる場合、ＡＵＣが向上したかどうかが分かればよいので、全学習データを用いたい厳密なＡＵＣを算出する必要はない。
判定部１３は、ＡＵＣ算出部８１ａ、８１ｂにより算出されたそれぞれのＡＵＣに基づいて、ラーニングモジュール２０による決定木の学習処理に対して、アーリーストッピングを行うか否かを判定するモジュールである。例えば、判定部１３は、ＡＵＣ算出部８１ａ、８１ｂにより算出されたそれぞれのＡＵＣのいずれか、または、双方のＡＵＣの平均値もしくは合計値等が、所定値より大きい値で安定したと判断した場合、アーリーストッピングを行うものと判定する。ＡＵＣが安定したか否かの判断基準としては、例えば、所定のラウンド数だけ所定値より大きい状態が続いた場合、判定部１３は、アーリーストッピングを行うものと判定してもよい。アーリーストッピングの具体的に方法としては、例えば、制御部１１による新たに決定木の学習を行う場合のポインタメモリ３１に対する初期化の停止、および、ラーニングモジュール２０およびクラシフィケーションモジュール５０ａ、５０ｂに対するトリガの出力の停止を行うものとすればよい。
なお、制御部１１は判定部１３を有するものとしたが、判定部１３を有さないものとしてもよい。この場合、ＡＵＣ算出部８１ａ、８１ｂにより算出されたＡＵＣは、例えば、外部に出力される等の構成であってもよい。また、制御部１１が判定部１３を有する代わりに、クラシフィケーションモジュール５０ａ、５０ｂそれぞれが判定部１３に相当するモジュールを有し、当該モジュールがアーリーストッピングを行うか否かを判定した場合、その判定結果を制御部１１へ送信するという構成であってもよい。
また、ＡＵＣ算出部８１ａ、８１ｂ、サンプルウェイト更新部８２ａ、８２ｂ、または勾配情報更新部８３ａ、８３ｂのうちいずれもがハードウェアモジュールで構成されることに限定されるものではない。
また、例えば、サンプルウェイト更新部８２ａ、８２ｂ、および勾配情報更新部８３ａ、８３ｂは、クラシフィケーションモジュール５０ａ、５０ｂ内に独立したモジュールとして存在していることに限定されるものではない。すなわち、クラシフィケーションモジュール５０ａ、５０ｂ全体として、サンプルウェイト更新部８２ａ、８２ｂ、および勾配情報更新部８３ａ、８３ｂの機能を備えている構成であってもよい。
（分割ごとにＡＵＣ算出部を有することによる効果）
図４４は、ＡＵＣ算出部が１つの場合と分割ごとに備えられる場合との処理時間の比較結果の一例を示す図である。図４４を参照しながら、ＡＵＣ算出部が１つの場合と、分割ごとにＡＵＣ算出部を有する場合とにおけるＡＵＣの算出の処理時間の比較結果について説明する。
例えば、分割数が２で学習データがデータメモリ３０ａ、３０ｂに均等に分割されているものとする。この場合、図４４（ｂ）に示すようにＡＵＣ算出部を分割ごとに有する場合、すなわち、ＡＵＣの算出を分割ごとに行う場合は、図４４（ａ）に示すようにＡＵＣ算出部が１つである場合、すなわち、ＡＵＣの算出をすべての学習データについて一度に行う場合と比較して、ＡＵＣの算出時間を削減することができ、高速化を図ることができる。
ここで、すべての学習データを用いて算出したＡＵＣと、分割ごとの学習データを用いてそれぞれ算出されたＡＵＣとは、必ずしも等しいとは限らない。すなわち、ＡＵＣの算出の対象となる学習データの集合が変われば、一般にＡＵＣは異なる値になる。しかし、アーリーストッピングの指標としてＡＵＣを用いる場合、ＡＵＣが向上したか否かが判断できればよいので、全学習データを用いて厳密なＡＵＣを算出する必要はない。上述のように、判定部１３が、ＡＵＣ算出部８１ａ、８１ｂにより算出されたそれぞれのＡＵＣのいずれか、または、双方のＡＵＣの平均値もしくは合計値等に基づいて、アーリーストッピングを行うか否かを判定できればよい。このように、アーリーストッピングにより学習処理を中断することによって、不要な学習処理の継続を抑制すると共に、過学習が進む前に学習処理を中断させることができる。
なお、上述のように、本実施形態に係る学習識別装置１ｄでは、データパラレルの分割数が２であることに限定されるものではなく、３以上でも構わない。この場合、分割ごとにＡＵＣ算出部を有するものとすればよく、ＡＵＣの算出処理の処理時間を、ＡＵＣ算出部が１つの場合と比較して、分割数分の１の処理時間に削減することができる。
（分割ごとにモデルメモリを有することによる効果）
図４５は、モデルメモリが１つの場合と分割ごとに備えられる場合との処理時間の比較結果の一例を示す図である。図４５を参照しながら、モデルメモリが１つの場合と、分割ごとにモデルメモリを有する場合とにおけるモデルメモリにアクセスする処理の処理時間の比較結果について説明する。
上述のように、サンプルウェイト更新部８２ａ、８２ｂは、学習データに対応するサンプルウェイトの更新処理の際に、モデルメモリ４０ａ、４０ｂからノードデータを参照する。ここで、仮に、学習データを複数に分割したデータパラレルの状態で、モデルメモリが１つのみの場合、サンプルウェイトの更新処理の際に、分割ごとにモデルメモリにアクセスすることができず、互いに待ち時間が発生する。例えば、分割数が３の場合で、モデルメモリが１つ（モデルメモリ４０）である場合、分割ごとに独立してモデルメモリ４０にアクセスすることができず、図４５（ａ）に示すように、直列に（逐次的に）アクセスする必要がある。
一方、上述の図４０に示す学習識別装置１ｄのように、分割ごとにモデルメモリ（モデルメモリ４０ａ、４０ｂ）を有する場合、サンプルウェイトの更新処理の際に、分割ごとに並列してモデルメモリにアクセスすることができる。例えば、分割数が３の場合で、モデルメモリが分割ごとに備えられている場合（モデルメモリ４０ａ～４０ｃ）、図４５（ｂ）に示すように、分割ごとに並列して各モデルメモリ（モデルメモリ４０ａ～４０ｃ）にアクセスすることができるので、高速化を実現することできる。このように、分割ごとにモデルメモリを備える構成とすることによって、学習処理の処理時間を高速化することができる。
［第５の実施形態］
本実施形態では、サンプルデータ等が記憶されるデータメモリとして、処理チップ内部のＳＲＡＭではなく、外部メモリに記憶された場合の動作について説明する。
上述のように、学習識別装置が備えるデータメモリ（データメモリ３０等）は、ランダムアクセスが可能な処理チップ内部のＳＲＡＭであるものとして説明した。しかし、処理チップ内部にあるデータメモリとしてのＳＲＡＭではデータ容量が限られるため、大規模なサンプルデータ（学習データ）による学習処理には対応できない。本実施形態では、処理チップ外部に配置される大容量のＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）をデータメモリとして使用した場合に、高速な決定木の学習を行う構成について説明する。
図４６は、第５の実施形態に係る学習識別装置の全体構成の一例を示す図である。図４７は、第５の実施形態に係る学習識別装置における１の学習部のモジュール構成の一例を示す図である。図４８は、第５の実施形態に係る学習識別装置において外部メモリへのサンプルデータの保存態様の一例を示す図である。図４６～図４８を参照しながら、本実施形態に係る学習識別装置１ｅの構成および動作について説明する。なお、本実施形態に係る学習識別装置１ｅは、データパラレルの分割数が３である場合の構成であるものとして説明する。
図４６に示すように、本実施形態に係る学習識別装置１ｅは、振分け部４０１と、ＦＩＦＯ（Ｆｉｒｓｔ－Ｉｎ Ｆｉｒｓｔ－Ｏｕｔ）部４０２＿１～４０２＿３と、学習部１００＿１～１００＿３と、ＦＩＦＯ部４０３＿１～４０３＿３と、左バッファ部４０４Ｌ（第１バッファ部）と、右バッファ部４０４Ｒ（第２バッファ部）と、データメモリ３０Ｄ（データ記憶部）と、を備えている。また、学習識別装置１ｅは、さらに、図４７に示すように、ＣＰＵ１０を備えている。なお、図４６では、説明を簡潔にするために都合上、データメモリ３０Ｄが左右に配置されているが、基本的には単一のメモリである。構成が許す場合には、同時アクセスによる高速化が可能なため、左右のデータメモリ３０Ｄは異なる複数のメモリであってもよい。また、学習識別装置１ｅは、図４６に示す各構成要素だけではなく、他の構成要素、例えば、ＣＰＵ１０のワークエリアとなるＲＡＭ、ＣＰＵ１０が実行するプログラム等を記憶したＲＯＭ、各種データ（プログラム等）を記憶した補助記憶装置、および外部装置と通信を行う通信Ｉ／Ｆ等を備えているものとしてもよい。
データメモリ３０Ｄは、サンプルデータ（学習データ、識別データを含む）およびステート情報（ｗ、ｇ、ｈ）を格納するメモリであり、ＤＲＡＭで構成されている。データメモリ３０Ｄには、例えば、図４８に示す態様でサンプルデータおよびステート情報が保存されている。図４８に示す例では、サンプルデータの特徴量の数が８個であり、各特徴量のビット長が８ビットであり、各サンプルデータに対するステート情報のビット長が３２ビットである場合のサンプルデータおよびステート情報の初期状態の保存態様を示している。すなわち、初期状態では、サンプルデータの番号の少ない方から特徴量、ステート情報の順番で、アドレス順に記憶されている。上述のように、データメモリ３０ＤはＤＲＡＭで実現されているので、データメモリ３０Ｄに対して、アドレスごとに読み書きするのではなく、連続したアドレスをブロックとして読み書きを行うものとする。これによって、単一のアドレスごとにアクセスするよりも、処理速度が高速化することができる。
また、例えば、データメモリ３０Ｄが１６バイト単位でアクセスすると最速となるものとする場合、図４８において各行単位でアクセスすると最速となる。この場合、後述するように、振分け部４０１によって、データメモリ３０Ｄから各行（各行を１ブロックとする）ごとに読み出しが行われ、読み出した行に含まれるサンプルデータのデータ番号ごとに当該サンプルデータおよびステート情報が各学習部（学習部１００＿１～１００＿３）へ振り分けられる。各学習部では、決定木のノードごとに学習が行われ、分岐スコアが最大となる分岐条件が導出される。
また、データメモリ３０Ｄは、図４７に示すように、バンクａ（バンク領域）と、バンクｂ（バンク領域）とを有する。バンクａおよびバンクｂへのデータの読み書き動作は、上述のポインタメモリ３１のバンクＡおよびバンクＢの読み書き動作に準じるが、バンクａおよびバンクｂには、バンクＡおよびバンクＢのようにサンプルデータの格納アドレスが記憶されるのではなく、サンプルデータおよびステート情報自体が記憶される。したがって、データメモリ３０Ｄは、サンプルデータの格納アドレスを管理するポインタメモリ３１を有さない。また、バンクＡおよびバンクＢの場合と同様に、バンクａおよびバンクｂのうち読み出し対象となるバンクを読み出しバンク（読み出し用のバンク領域）、書き込み対象のバンクを書き込みバンク（書き込み用のバンク領域）と称するものとする。なお、以下では、サンプルデータとは、決定木の学習のために用いる学習データであるものとして説明する。
振分け部４０１は、データメモリ３０Ｄのバンクａまたはバンクｂから、サンプルデータおよびステート情報をブロックごとに読み出し、当該ブロックに含まれるサンプルデータのデータ番号ごとにサンプルデータおよびステート情報を、各学習部（学習部１００＿１～１００＿３）に振り分けるモジュールである。このように、データメモリ３０Ｄからの読み出しについてブロック単位で行うことにより、外部メモリであるデータメモリ３０Ｄの速度を十分に引き出すことができる。
ＦＩＦＯ部４０２＿１～４０２＿３は、振分け部４０１から振り分けられたサンプルデータおよびステート情報をＦＩＦＯ形式でバッファリングし、学習部１００＿１～１００＿３それぞれにおける処理のタイミングでサンプルデータおよびステート情報を出力するモジュールである。
学習部１００＿１は、図４７に示すように、１番目の分割に対応するラーニングモジュール２０、クラシフィケーションモジュール５０およびモデルメモリ４０を対象とする学習機能を有するモジュールとして総括的に示すものである。また、学習部１００＿２も同様に２番目の分割に対応し、学習部１００＿３も同様に３番目の分割に対応する。なお、ラーニングモジュール２０、クラシフィケーションモジュール５０およびモデルメモリ４０の動作については、上述した通りである。例えば、クラシフィケーションモジュール５０は、ラーニングモジュール２０により導出された分岐条件に基づき、当該分岐条件に対応するノードのサンプルデータを左右に分岐させる場合に、再度、データメモリ３０ＤからＦＩＦＯ部４０２＿１～４０２＿３を介して読み出し、当該分岐条件でサンプルデータを分岐して、分岐したサンプルデータおよびステート情報を、読み出し時のバンク（読み出しバンク）とは異なる他方のバンク（書き込みバンク）に、後述する左バッファ部４０４Ｌおよび右バッファ部４０４Ｒを介して書き込む。
なお、図４７では、学習部１００＿１～１００＿３を総称するために「学習部１００」と記載し、説明を簡潔にするために、振分け部４０１、ＦＩＦＯ部４０２＿１～４０２＿３、ＦＩＦＯ部４０３＿１～４０３＿３、左バッファ部４０４Ｌ、および右バッファ部４０４Ｒの図示を省略している。また、学習部１００が有するラーニングモジュール２０は、データパラレルの分割ごとに備えられるものとしてもよく、上述のラーニングモジュール２０ａ、２０ｂのように内部にデータパラレルの分割ごとに処理する構成に相当するものであってもよい。また、学習部１００が有するクラシフィケーションモジュール５０は、例えば、上述の図１６または図３８に示すように、データパラレルの分割ごとに備えられるものとすればよい。また、学習部１００が有するモデルメモリ４０は、例えば、上述の図１６または図３８に示すようにデータパラレルの分割ごとに共通であってもよく、または、図４０に示すようにデータパラレルの分割ごとに備えられるものとしてもよい。
また、図４７に示すように、モデルメモリ４０は、データメモリ３０Ｄのように外部メモリとしていない。これは、モデルメモリ４０に必要とされるデータ容量は小さく、クラシフィケーションモジュール５０による識別処理時にランダムアクセスが必須となるため、ＤＲＡＭ等の外部メモリとすると読み書き速度が非常に遅くなるためである。したがって、モデルメモリ４０は、処理チップ内部のＳＲＡＭで構成されることが望ましい。
ＦＩＦＯ部４０３＿１～４０３＿３は、学習部１００＿１～１００＿３のクラシフィケーションモジュール５０の機能によって学習対象のノードにおける分岐方向が識別されたサンプルデータおよび当該分岐方向の情報を、当該学習部１００＿１～１００＿３の出力としてＦＩＦＯ形式でバッファリングするモジュールである。また、、ＦＩＦＯ部４０３＿１～４０３＿３は、バッファリングしたサンプルデータを、対応する分岐方向の情報に従って、適宜、左バッファ部４０４Ｌまたは右バッファ部４０４ＲへＦＩＦＯで出力する。
このように、学習部１００＿１～１００＿３の入力側に上述のＦＩＦＯ部４０２＿１～４０２＿３を配置し、出力側にＦＩＦＯ部４０３＿１～４０３＿３を配置することによって、学習部１００＿１～１００＿３の動作周波数（図４６に示すエンジンクロックリージョン）と、学習部１００＿１～１００＿３以外のモジュール（データメモリ３０Ｄ、振分け部４０１、左バッファ部４０４Ｌおよび右バッファ部４０４Ｒ）の動作周波数（図４６に示すメモリクロックリージョン）を分離することができる。これによって、メモリクロックリージョンでの動作周波数を最大化することが可能となり、データメモリ３０Ｄに対する読み書きの速度を十分に引き出すことができる。また、これにより、学習部１００＿１～１００＿３での処理と、データメモリ３０Ｄに対するブロックごとの読み書き処理とは並列して行うことができ、学習部１００＿１～１００＿３での処理がストールすることなく、処理を継続することができる。
左バッファ部４０４Ｌは、処理対象のノードの左に分岐したサンプルデータを、ＦＩＦＯ部４０３＿１～４０３＿３から受け取って時系列的に順番にバッファリングするモジュールである。左バッファ部４０４Ｌは、図示しないアドレスカウンタと、データ数カウンタとを有している。アドレスカウンタおよびデータ数カウンタは、左に分岐したサンプルデータが左バッファ部４０４Ｌに入力される度に、それぞれカウントをインクリメント（＋１）する。そして、左バッファ部４０４Ｌは、データ数カウンタが所定のデータ容量のサンプルデータがバッファリングされていることを示した際に、当該データ容量のサンプルデータを、バンクａまたはバンクｂのうち書き込みバンクとなっている方に、アドレスカウンタが示すアドレスを利用してアドレスの低い方から高い方に、ブロックごとに書き込む。左バッファ部４０４Ｌは、バッファリングしているサンプルデータをすべて書き込みバンクに書き込み後、データ数カウンタをリセットする。
右バッファ部４０４Ｒは、処理対象のノードの右に分岐したサンプルデータを、ＦＩＦＯ部４０３＿１～４０３＿３から受け取って時系列的に順番にバッファリングするモジュールである。右バッファ部４０４Ｒは、図示しないアドレスカウンタと、データ数カウンタとを有している。データ数カウンタは、右に分岐したサンプルデータが右バッファ部４０４Ｒに入力される度に、カウントをインクリメント（＋１）する。アドレスカウンタは、右に分岐したサンプルデータが右バッファ部４０４Ｒに入力される度に、カウントをデクリメント（－１）する。そして、右バッファ部４０４Ｒは、データ数カウンタが所定のデータ容量のサンプルデータがバッファリングされていることを示した際に、当該データ容量のサンプルデータを、バンクａまたはバンクｂのうち書き込みバンクとなっている方に、アドレスカウンタが示すアドレスを利用してアドレスの高い方から低い方に、ブロックごとに書き込む。すなわち、右バッファ部４０４Ｒにバッファリングされたサンプリングデータは、書き込みバンクに対してＬＩＦＯ（Ｌａｓｔ－Ｉｎ Ｆｉｒｓｔ－Ｏｕｔ）で書き込まれることになる。右バッファ部４０４Ｒは、バッファリングしているサンプルデータをすべて書き込みバンクに書き込み後、データ数カウンタをリセットする。
ここで、右バッファ部４０４Ｒについても、書き込みバンクに対してアドレスの低い方からサンプルデータを書き込むものとすると、仮にサンプルデータのすべてがノードの左に分岐した場合、書き込みバンクについてサンプルデータの全数に対応するメモリ容量が必要となる。これは左バッファ部４０４Ｌについても同様である。したがって、この場合、左バッファ部４０４Ｌがサンプルデータを書き込むための容量と、右バッファ部４０４Ｒがサンプルデータを書き込むための容量との合計は、サンプルデータの全数に対応するメモリ容量の２倍の容量が必要となる。しかし、本実施形態では、上述のポインタメモリ３１におけるバンクＡおよびバンクＢについての書き込みバンクへのアドレスの格納動作と同様に、バンクａおよびバンクｂについての書き込みバンクに対して、左バッファ部４０４Ｌから出力されるノードの左へ分岐したサンプルデータは、アドレスの低い方から書き込まれ、右バッファ部４０４Ｒから出力されるノードの右へ分岐したサンプルデータは、アドレスの高い方から書き込まれるものとしている。これによって、書き込みバンク、すなわち、バンクａおよびバンクｂは、それぞれ、サンプルデータの全数に対応するメモリ容量だけで済むことになる。
なお、左バッファ部４０４Ｌおよび右バッファ部４０４Ｒがデータメモリ３０Ｄのバンクａまたはバンクｂに書き込むタイミングの基準となる所定のデータ容量は、データメモリ３０Ｄに効率よく書き込みができる最適な容量であり、例えば、使用するデータメモリ３０Ｄのバースト長に対応する容量（例えば、データメモリ３０Ｄの（ビット幅）×（バースト長）の整数倍等）が挙げられる。また、基本的に物理メモリの１アドレスに相当するビット幅分のバッファは最低必要となる。例えば、１アドレスあたり１０２４ビット幅を持つ物理メモリでは、最低限１２８バイト単位で書き込む必要がある。その上で、データメモリ３０Ｄに応じたバースト読み込み／書き込みのアドレス数分のバッファを持ち、その単位で書き込むことが望ましい。例えば、１アドレスあたり１０２４ビット幅、バースト長が４のメモリでは、１２８バイト×４＝５１２バイトの単位で書き込むと効率がよい。すなわち、上述のブロック分だけサンプルデータが貯まった場合に書き込むものとしてもよい。また、同じメモリ（データメモリ３０Ｄ）から読み出し／書き込みを行う場合には、その切り替えのオーバーヘッドが存在する。そのため、読み出し／書き込み単位が大きいほうがオーバーヘッドを減らせるが、その場合、左バッファ部４０４Ｌおよび右バッファ部４０４Ｒのバッファサイズが大きく必要となる。よって、例えば、１バーストアクセスを１６回で読み出しと書き込みを切り替えるとして、読み出しと書き込みを５１２バイト×１６＝８１９２バイト単位で切り替える等が考えられる。
また、所定のデータ容量は、例えば、予め定められた固定値を、左バッファ部４０４Ｌおよび右バッファ部４０４Ｒのデータ数カウンタのしきい値として設定されていてもよい。また、所定のデータ容量は、例えば、予め定められたいくつかの設定値のうち、ＣＰＵ１０等によって選択された設定値を、しきい値として設定するものとしてもよい。このとき、予め定められたいくつかの設定値のうち、いずれかの設定値を選択するタイミングは、学習識別装置１ｅの学習処理の動作が停止している場合でもよく、学習処理が動作中に動的に選択されるものとしてもよい。また、（所定のデータ容量）≧（ブロックの容量）を満たす場合、効率よくブロックごとに書き込みが可能となる。
このように、本実施形態に係る学習識別装置１ｅでは、決定木の学習および識別時には、随時サンプルデータ単位で、リアルタイムに分岐されたサンプルデータ等の情報をデータメモリ３０Ｄに書き込む必要はなく、ノード単位で、かつ、上述の図５～図１３で説明した処理ステップと同様のステップ単位でサンプルデータが反映されていればよく、左バッファ部４０４Ｌおよび右バッファ部４０４Ｒにおいて効率のよいデータ容量までサンプルデータが貯まるまで、データメモリ３０Ｄの書き込みバンクへの書き込みを待機する処置が取れる。このように、あるデータ容量まで貯めて、一定の大きさ（ブロック）の単位で読み書きすれば，細かなランダムアクセスにならず、外部メモリであるデータメモリ３０Ｄの速度を十分に引き出すことができる。
また、振分け部４０１によるデータメモリ３０Ｄの読み出しバンクからのサンプルデータの読み出しのアドレス管理、および、左バッファ部４０４Ｌおよび右バッファ部４０４Ｒからデータメモリ３０Ｄの書き込みバンクへのサンプルデータの書き込みのアドレス管理については、例えば、データパラレルの分割ごとに、上述の図３８に示すアドレス管理部（１２ａ、１２ｂ、・・・）が行うものとすればよい。
また、クラシフィケーションモジュール５０による識別処理時には、データメモリ３０Ｄからサンプルデータを読み出しつつ、対象のノードで分岐したサンプルデータをデータメモリ３０Ｄに書き込む必要がある。この場合、１のデータメモリ３０Ｄに対して、時系列で読み出し、書き込みの動作を分割して使用することによって、データメモリ３０Ｄに対する読み書き動作を実現することができる。その際に、データメモリ３０Ｄの読み出しと書き込みとのモードの切り替えは時間がかかる場合があるが、ブロックごとに切り替えたり、あるいは、ＦＩＦＯ部４０２＿１～４０２＿３、ＦＩＦＯ部４０３＿１～４０３＿３、左バッファ部４０４Ｌおよび右バッファ部４０４Ｒの容量を大きくしてより長い単位で切り替えることによって、このオーバーヘッドを低減することができる。具体的には、データメモリ３０Ｄに対するデータの転送効率が最大となるデータ量ごとに、読み出しと書き込みとのモードの切り替えを行うものとすればよい。なお、読み出し、および書き込みを１つのデータメモリ３０Ｄに対して時系列で分割して実現することに限定されるものではなく、バンクａのデータメモリと、バンクｂのデータメモリとを独立に分けて実現するものとしてもよい。これによって、一方のバンクの読み出し処理と、他方のバンクの書き込み処理とを同時に行うことが可能となり、より高速な処理が可能となる。なお、読み出しと書き込みとのモードの切り替えを行うことについて、転送効率が最大となるデータ量ごとに行うことに限定されるものではなく、転送効率が所定値以上となるデータ量ごとに行うものとしてもよい。
また、上述の第１の実施形態～第４の実施形態では、データメモリ３０の中にポインタメモリ３１を展開してバンクＡ、Ｂにサンプルデータのアドレスを格納する構成とすることにより、フィーチャメモリ３２およびステートメモリ３３の容量が、バンクＡ、Ｂのいずれか１つのバンクに格納可能な全アドレスそれぞれに対応するサンプルデータの合計容量で済むことになる。ただし、各ノードのサンプルデータの情報を読み出し、または書き込む際に、バンクＡ、Ｂに格納されるフィーチャメモリ３２およびステートメモリ３３上のアドレスが離散的となるため、ランダムアクセスが必要となり、データメモリ３０としてＤＲＡＭを用いた場合、アクセス速度が低下してしまう。これに対して本実施形態では、ポインタメモリ３１を用いず、直接、サンプルデータおよびステート情報を書き込むバンクａ、ｂの２バンク分用意するため、データ容量としては大きくなるが、連続するアドレスに格納されたブロック単位でサンプルデータおよびステート情報の読み出し、または書き込みをするため、ＤＲＡＭであるデータメモリ３０Ｄを用いても、高速に処理を行うことが可能となる。
以上のように、本実施形態に係る学習識別装置１ｅでは、外部メモリであるデータメモリ３０Ｄに対して所定のブロック単位でデータ（サンプルデータおよびステート情報）を読み書きし、左バッファ部４０４Ｌおよび右バッファ部４０４Ｒは、学習部１００により特定のノードで分岐されたサンプルデータを、予め定められた容量までバッファリングし、当該容量まで貯まったら、サンプルデータを所定のブロックごとに、データメモリ３０Ｄ内の連続したアドレスに書き込むものとしている。これによって、データメモリ３０ＤとしてＤＲＡＭ等を採用することができ、大容量のサンプルデータに対して、決定木１本当たりの学習を高速化できる。
なお、上述の第５実施形態に係る学習識別装置１ｅは、分割数が３のデータパラレルの構成であるものとしたが、他の数の分割数であってもよく、または、分割数が１、すなわちデータパラレルではない構成であってもよい。
［第６の実施形態］
本実施形態では、サンプルデータ等が記憶されるデータメモリとして、処理チップ内部のＳＲＡＭではなく外部メモリに記憶された場合であって、当該外部メモリに記憶されたサンプルデータを用いて、勾配情報の更新処理、および次の決定木の学習のために用いるサンプルデータをサブサンプルにより選択する動作について説明する。
勾配ブースティング決定木（ＧＢＤＴ）による学習では、認識精度向上および処理時間の短縮の目的で、各決定木の学習においてサンプルデータの一部をランダムに選択して学習するデータサブサンプル（以下、本実施形態では、単に「サブサンプル」と称する）が広く利用されている。また、決定木の学習の前後でサブサンプルを行うことによって、各決定木を学習するのに使用したサンプルデータ群が異なり、生成された決定木のバリエーションが広がることになり、予測精度を向上させると共に、過学習の発生を抑制することができる。第１の実施形態等で上述したように、内部のＳＲＡＭを利用する場合は、各決定木の学習の初期ステップで、ＳＲＡＭ（データメモリ３０）に構成されたポインタメモリ３１を初期化する際に、学習に用いるサンプルデータの割合を示すサブサンプル率に応じて、サンプルデータをランダムに選択することでサブサンプルを実現していた。
ここで、第５の実施形態で上述したように、処理チップ外部に配置された大容量の外部メモリ（ＤＲＡＭ等）を用いる場合には、上述の第１の実施形態等で説明したポインタメモリ３１を用いないので、別の構成でサブサンプルを実現する必要がある。このようなサブサンプルの実現方法としては、例えば、以下の２つの方法が考えられる。
１つ目の方法としては、処理チップ内部のＳＲＡＭにサブサンプルを行ったサンプルデータを記憶する方法である。これは、サブサンプルを行ったサンプルデータのデータ容量が処理チップ内部のＳＲＡＭに収まれば利用できるが、ＳＲＡＭの記憶容量は非常に小さく、大量のサンプルデータを扱いたい場合には現実的ではない。
２つ目の方法としては、処理チップ内部のＳＲＡＭにサブサンプルを行ったサンプルデータのアドレスを記憶する方法である。これもサンプルデータのデータ容量が大きい場合には実現が難しくなる。例えば、サンプルデータが２０００万個、サブサンプル率が０．５の場合、１０００万個のサンプルデータを識別できるアドレス空間、すなわち、少なくとも０～９９９万９９９９の値を表現できるビット数のアドレス空間が必要となり、当該ビット数は、ｌｏｇ２（２０００万×０．５）で表される。例えば、８個のサンプルデータを識別できるアドレス、すなわち、０～７の値を表現できるビット数は、ｌｏｇ２（８）＝ｌｏｇ２（２３）＝３［ビット］である。ここで、ｌｏｇ２（２０００万×０．５）≒２３．２５であるため、上述のビット数である全サンプルデータに対応するアドレスを記憶するためのデータ容量は、ｌｏｇ２（２０００万×０．５）×２０００万×０．５≒２３．２５×１０００万＝２３２．５Ｍ［ビット］となる。このようなデータ容量のＳＲＡＭを内部に有するＦＰＧＡは少ない。また、処理チップ外部のＤＲＡＭへは、連続したアドレスをブロックとしてアクセスしなければ、高速な読み込みができないため、高速な学習が実現できなくなる。
そこで、本実施形態では、上述の第５の実施形態と同様に、サンプルデータをチップ外部のＤＲＡＭに格納する構成によってサブサンプルを実現する。勾配ブースティング決定木による学習において、ある決定木の学習の終了後に、すべてのサンプルデータの勾配を更新する必要がある。この更新処理においては、各サンプルデータについて処理チップ外部のＤＲＡＭからサンプルデータ（特徴量）、および対応する勾配情報を読み込み、勾配情報を更新し、更新した勾配情報とサンプルデータとをＤＲＡＭへ書き込む必要がある。ここで、当該ＤＲＡＭに書き込む際に、事前に指定されたサブサンプル率を基に、各サンプルデータについて次の決定木の学習で利用するか否かを判定し、利用するサンプルデータおよび利用しないサンプルデータそれぞれについて用意されたバッファに記憶し、バッファに所定のデータ容量のサンプルデータが溜まった段階で、ＤＲＡＭに書き込むことでサブサンプルを実現する。以下、本実施形態に係る学習識別装置の構成および動作の詳細について説明する。
図４９は、第６の実施形態に係る学習識別装置の全体構成の一例を示す図である。図５０は、第６の実施形態に係る学習識別装置のサブサンプル部の構成の一例を示す図である。図５１は、第６の実施形態に係る学習識別装置における１の学習部のモジュール構成の一例を示す図である。図４９～図５１を参照しながら、本実施形態に係る学習識別装置１ｆの構成および動作（特にサブサンプル動作）について説明する。なお、本実施形態に係る学習識別装置１ｆは、データパラレルの分割数が３である場合の構成であるものとして説明する。ただし、分割数が３のデータパラレルであることに限定されるものではなく、他の数の分割数であってもよく、または、分割数が１、すなわちデータパラレルではない構成であってもよい。
図４９に示すように、本実施形態に係る学習識別装置１ｆ（学習装置の一例）は、振分け部４０１と、ＦＩＦＯ（Ｆｉｒｓｔ－Ｉｎ Ｆｉｒｓｔ－Ｏｕｔ）部４０２＿１～４０２＿３と、学習部１００＿１～１００＿３と、ＦＩＦＯ部４０３＿１～４０３＿３と、サブサンプル部４０６＿１～４０６＿３と、使用データバッファ部４０５Ｕ（第１バッファ部）と、不使用データバッファ部４０５Ｎ（第２バッファ部）と、データメモリ３０Ｄ（データ記憶部）と、を備えている。また、学習識別装置１ｆは、さらに、図５１に示すように、ＣＰＵ１０を備えている。なお、図４９では、説明を簡潔にするために都合上、データメモリ３０Ｄが左右に配置されているが、基本的には単一のメモリである。構成が許す場合には、同時アクセスによる高速化が可能なため、左右のデータメモリ３０Ｄは異なる複数のメモリであってもよい。また、学習識別装置１ｆは、図４９に示す各構成要素だけではなく、他の構成要素、例えば、ＣＰＵ１０のワークエリアとなるＲＡＭ、ＣＰＵ１０が実行するプログラム等を記憶したＲＯＭ、各種データ（プログラム等）を記憶した補助記憶装置、および外部装置と通信を行う通信Ｉ／Ｆ等を備えているものとしてもよい。
データメモリ３０Ｄは、サンプルデータ（学習データ、識別データを含む）およびステート情報（ｗ、ｇ、ｈ）を格納するメモリであり、ＤＲＡＭで構成されている。データメモリ３０Ｄには、例えば、上述の図４８に示す態様でサンプルデータおよびステート情報が保存されている。データメモリ３０ＤはＤＲＡＭで実現されているので、データメモリ３０Ｄに対して、アドレスごとに読み書きするのではなく、連続したアドレスをブロックとして読み書きを行うものとする。これによって、単一のアドレスごとにアクセスするよりも、処理速度が高速化することができる。
また、例えば、データメモリ３０Ｄが１６バイト単位でアクセスすると最速となるものとする場合、図４８において各行単位でアクセスすると最速となる。この場合、後述するように、振分け部４０１によって、データメモリ３０Ｄから各行（各行を１ブロックとする）ごとに読み出しが行われ、読み出した行に含まれるサンプルデータのデータ番号ごとに当該サンプルデータおよびステート情報が各学習部（学習部１００＿１～１００＿３）へ振り分けられる。各学習部では、決定木のノードごとに学習が行われ、分岐スコアが最大となる分岐条件を導出する動作、および、１の決定木の学習後には、サンプルデータごとの勾配情報が新たに算出する動作が行われる。
また、データメモリ３０Ｄは、図５１に示すように、バンクａ（第１バンク領域または第２バンク領域）と、バンクｂ（第２バンク領域または第１バンク領域））とを有する。バンクａは、使用データバッファ部４０５Ｕにバッファリングされた、次の決定木の学習に使用されるサンプルデータを格納するデータメモリ３０Ｄ上のデータ領域である。バンクｂは、不使用データバッファ部４０５Ｎにバッファリングされた、次の決定木の学習に使用されないサンプルデータを格納するデータメモリ３０Ｄ上のデータ領域である。なお、バンクａおよびバンクｂの役割は、逆であってもよい。また、データメモリ３０Ｄは、バンクａのメモリと、バンクｂのメモリとが物理的に別々のメモリで構成されていてもよい。
また、後述するように、図４９に示す学習識別装置１ｆの構成は、サブサンプル動作だけでなく、通常の決定木の学習処理にも用いることができる。そして、学習識別装置１ｆが学習処理を行う場合におけるバンクａおよびバンクｂへのデータの読み書き動作は、上述のポインタメモリ３１のバンクＡおよびバンクＢの読み書き動作に準じるが、バンクａおよびバンクｂには、バンクＡおよびバンクＢのようにサンプルデータの格納アドレスが記憶されるのではなく、サンプルデータおよびステート情報自体が記憶される。したがって、データメモリ３０Ｄは、サンプルデータの格納アドレスを管理するポインタメモリ３１に対応するデータ領域を有さない。なお、以下では、サンプルデータとは、決定木の学習のために用いる学習データであるものとして説明する。
振分け部４０１は、１の決定木の学習後のサブサンプル動作時に、データメモリ３０Ｄのバンクａまたはバンクｂから、勾配情報（一次勾配、二次勾配）を算出する対象となるサンプルデータおよびステート情報をブロックごとに読み出し、当該ブロックに含まれるデータ番号ごとにサンプルデータおよびステート情報を、各学習部（学習部１００＿１～１００＿３）に振り分けるモジュールである。このように、データメモリ３０Ｄからの読み出しについてブロック単位で行うことにより、外部メモリであるデータメモリ３０Ｄの速度を十分に引き出すことができる。なお、学習部１００＿１～１００＿３で分岐条件の導出動作（決定木の学習動作）が行われる場合の動作は、上述の第５の実施形態と同様である。
ＦＩＦＯ部４０２＿１～４０２＿３は、振分け部４０１から振り分けられたサンプルデータおよびステート情報をＦＩＦＯ形式でバッファリングし、学習部１００＿１～１００＿３それぞれにおける処理のタイミングでサンプルデータおよびステート情報を出力するモジュールである。
学習部１００＿１は、図４７に示すように、１番目の分割に対応するラーニングモジュール２０、クラシフィケーションモジュール５０（更新部）およびモデルメモリ４０を対象とする学習機能を有するモジュールとして総括的に示すものである。また、学習部１００＿２も同様に２番目の分割に対応し、学習部１００＿３も同様に３番目の分割に対応する。なお、ラーニングモジュール２０、クラシフィケーションモジュール５０およびモデルメモリ４０の動作については、上述した通りである。
例えば、クラシフィケーションモジュール５０は、１の決定木の学習後のサブサンプル動作時に、当該決定木の学習に使用されたサンプルデータおよびステート情報を、データメモリ３０ＤからＦＩＦＯ部４０２＿１～４０２＿３を介して読み出す。そして、クラシフィケーションモジュール５０は、サンプルデータごとに勾配情報を新たに算出してステート情報を更新して、更新したステート情報およびサンプルデータを、データメモリ３０Ｄに書き込むために、ＦＩＦＯ部４０３＿１～４０３＿３へ出力する。なお、決定木の分岐条件の導出動作（決定木の学習動作）が行われる場合のクラシフィケーションモジュール５０の動作は、上述の第５の実施形態と同様である。
なお、図５１では、学習部１００＿１～１００＿３を総称するために「学習部１００」と記載し、説明を簡潔にするために、振分け部４０１、ＦＩＦＯ部４０２＿１～４０２＿３、ＦＩＦＯ部４０３＿１～４０３＿３、サブサンプル部４０６＿１～４０６＿３、使用データバッファ部４０５Ｕ、および不使用データバッファ部４０５Ｎの図示を省略している。また、学習部１００が有するラーニングモジュール２０は、データパラレルの分割ごとに備えられるものとしてもよく、上述のラーニングモジュール２０ａ、２０ｂのように内部にデータパラレルの分割ごとに処理する構成に相当するものであってもよい。また、学習部１００が有するクラシフィケーションモジュール５０は、例えば、上述の図１６または図３８に示すように、データパラレルの分割ごとに備えられるものとすればよい。また、学習部１００が有するモデルメモリ４０は、例えば、上述の図１６または図３８に示すようにデータパラレルの分割ごとに共通であってもよく、または、図４０に示すようにデータパラレルの分割ごとに備えられるものとしてもよい。
また、図５１に示すように、モデルメモリ４０は、データメモリ３０Ｄのように外部メモリとしていない。これは、モデルメモリ４０に必要とされるデータ容量は小さく、クラシフィケーションモジュール５０による識別処理時にランダムアクセスが必須となるため、ＤＲＡＭ等の外部メモリとすると読み書き速度が非常に遅くなるためである。したがって、モデルメモリ４０は、処理チップ内部のＳＲＡＭで構成されることが望ましい。
ＦＩＦＯ部４０３＿１～４０３＿３は、クラシフィケーションモジュール５０の機能によって、１の決定木の学習後に、勾配情報が更新されたステート情報およびサンプルデータを、学習部１００＿１～１００＿３の出力としてＦＩＦＯ形式でバッファリングするモジュールである。また、ＦＩＦＯ部４０３＿１～４０３＿３は、バッファリングしたサンプルデータおよびステート情報を、適宜、サブサンプル部４０６＿１～４０６＿３へＦＩＦＯ形式で出力する。なお、決定木の分岐条件の導出動作（決定木の学習動作）が行われる場合のＦＩＦＯ部４０３＿１～４０３＿３の動作は、上述の第５の実施形態と同様である。
このように、学習部１００＿１～１００＿３の入力側に上述のＦＩＦＯ部４０２＿１～４０２＿３を配置し、出力側にＦＩＦＯ部４０３＿１～４０３＿３を配置することによって、学習部１００＿１～１００＿３の動作周波数（図４９に示すエンジンクロックリージョン）と、学習部１００＿１～１００＿３以外のモジュール（データメモリ３０Ｄ、振分け部４０１、サブサンプル部４０６＿１～４０６＿３、使用データバッファ部４０５Ｕおよび不使用データバッファ部４０５Ｎ）の動作周波数（図４９に示すメモリクロックリージョン）を分離することができる。これによって、メモリクロックリージョンでの動作周波数を最大化することが可能となり、データメモリ３０Ｄに対する読み書きの速度を十分に引き出すことができる。また、これにより、学習部１００＿１～１００＿３での処理と、データメモリ３０Ｄに対するブロックごとの読み書き処理とは並列して行うことができ、学習部１００＿１～１００＿３での処理がストールすることなく、処理を継続することができる。
サブサンプル部４０６＿１～４０６＿３は、１の決定木の学習後において、学習部１００＿１～１００＿３から出力された更新された勾配情報を有するステート情報およびサンプルデータについて、事前に指定されたサブサンプル率に基づいて、次の決定木の学習に使用するか否かを判定し、使用する場合には使用データバッファ部４０５Ｕへ出力し、使用しない場合には不使用データバッファ部４０５Ｎへ出力するモジュールである。なお、サブサンプル部４０６＿１～４０６＿３について、任意のサブサンプル部を示す場合、または総称する場合、単に「サブサンプル部４０６」と称するものとする。
なお、事前に指定されたサブサンプル率とは、固定された特定の割合（例えば５０％）でもよく、各決定木の学習後のサブサンプル動作時ごとに動的に変更されるものとしてもよい。
サブサンプル部４０６は、図５０に示すように、乱数生成部４１１と、サブサンプル率保持部４１２と、比較器４１３と、書込み判定部４１４と、を有する。乱数生成部４１１は、例えば、ＬＦＳＲ（Ｌｉｎｅａｒ Ｆｅｅｄｂａｃｋ Ｓｈｉｆｔ Ｒｅｇｉｓｔｅｒ：線形帰還シフトレジスタ）等によって構成された、乱数を生成するモジュールである。サブサンプル率保持部４１２は、予め指定されたサブサンプル率を保持しているモジュールである。比較器４１３は、乱数生成部４１１により生成された乱数と、サブサンプル率保持部４１２が保持しているサブサンプル率とを比較し、学習部１００＿１～１００＿３から出力されたサンプルデータを、次の決定木の学習で使用するか否かを判定するモジュールである。すなわち、比較器４１３により学習部１００＿１～１００＿３から出力されるサンプルデータのうち、次の決定木の学習で使用されるサンプルデータは、ランダムに選択されることになる。例えば、比較器４１３は、次の決定木の学習で使用するか否かを示す情報を使用フラグとして書込み判定部４１４へ出力する。なお、乱数生成部４１１および比較器４１３による使用フラグの出力動作は、データ（サンプルデータおよびステート情報）を入力するタイミングと同期して行われるようにすればよい。
書込み判定部４１４は、学習部１００＿１～１００＿３から出力された（ＦＩＦＯ部４０３＿１～４０３＿３から出力された）サンプルデータおよびステート情報を、比較器４１３から出力された使用フラグに従って、使用データバッファ部４０５Ｕまたは不使用データバッファ部４０５Ｎへ出力するモジュールである。例えば、書込み判定部４１４は、使用フラグが次の決定木の学習で使用することを示す場合、入力したサンプルデータおよびステート情報を使用データバッファ部４０５Ｕへ出力し、使用フラグが次の決定木の学習で使用しないことを示す場合、入力したサンプルデータおよびステート情報を不使用データバッファ部４０５Ｎへ出力する。
なお、決定木の分岐条件の導出動作（決定木の学習動作）が行われる場合においては、書込み判定部４１４は、ＦＩＦＯ部４０３＿１～４０３＿３から出力された、学習対象のノードにおける分岐方向の情報およびサンプルデータを入力し、当該分岐方向の情報に従って、当該サンプルデータを、後述するように左バッファ部４０４Ｌとして機能する使用データバッファ部４０５Ｕ、または右バッファ部４０４Ｒとして機能する不使用データバッファ部４０５Ｎへ出力するものとすればよい。
また、サブサンプル部４０６は、各サンプルデータが次の決定木の学習において使用されるか否かを、所定のサブサンプル率に応じてランダムに選択されればよいので、必ずしも学習部１００ごとに１対１で対応している必要はない。
使用データバッファ部４０５Ｕは、１の決定木の学習後において、次の決定木の学習に使用するものとしてサブサンプル部４０６＿１～４０６＿３から出力されたサンプルデータおよびステート情報を、時系列的に順番にバッファリングするモジュールである。使用データバッファ部４０５Ｕは、図示しないアドレスカウンタと、データ数カウンタとを有している。
アドレスカウンタおよびデータ数カウンタは、次の決定木の学習に使用するサンプルデータおよびステート情報が使用データバッファ部４０５Ｕに入力される度に、それぞれカウントをインクリメント（＋１）する。そして、使用データバッファ部４０５Ｕは、データ数カウンタが所定のデータ容量のサンプルデータおよびステート情報がバッファリングされていることを示した際に、当該データ容量のサンプルデータおよびステート情報を、バンクａまたはバンクｂのうち、次の決定木の学習に使用するサンプルデータを格納するためのバンク（以下、「使用バンク」と称する場合がある）に、アドレスカウンタが示すアドレスを利用してアドレスの低い方から高い方に、所定のブロックごとに書き込む。使用データバッファ部４０５Ｕは、バッファリングしているサンプルデータおよびステート情報をすべて使用バンクに書き込み後、データ数カウンタをリセットする。
なお、決定木の分岐条件の導出動作（決定木の学習動作）が行われる場合においては、使用データバッファ部４０５Ｕは、上述の第５の実施形態における左バッファ部４０４Ｌに相当するものとして動作する。
不使用データバッファ部４０５Ｎは、１の決定木の学習後において、次の決定木の学習に使用しないものとしてサブサンプル部４０６＿１～４０６＿３から出力されたサンプルデータおよびステート情報を、時系列的に順番にバッファリングするモジュールである。不使用データバッファ部４０５Ｎは、図示しないアドレスカウンタと、データ数カウンタとを有している。
アドレスカウンタおよびデータ数カウンタは、次の決定木の学習に使用するサンプルデータおよびステート情報が不使用データバッファ部４０５Ｎに入力される度に、それぞれカウントをインクリメント（＋１）する。そして、不使用データバッファ部４０５Ｎは、データ数カウンタが所定のデータ容量のサンプルデータがバッファリングされていることを示した際に、当該データ容量のサンプルデータを、バンクａまたはバンクｂのうち、次の決定木の学習に使用しないサンプルデータを格納するためのバンク（以下、「不使用バンク」と称する場合がある）に、アドレスカウンタが示すアドレスを利用してアドレスの高い方から低い方に、所定のブロックごとに書き込む。不使用データバッファ部４０５Ｎは、バッファリングしているサンプルデータおよびステート情報をすべて不使用バンクに書き込み後、データ数カウンタをリセットする。
なお、決定木の分岐条件の導出動作（決定木の学習動作）が行われる場合においては、不使用データバッファ部４０５Ｎは、上述の第５の実施形態における右バッファ部４０４Ｒに相当するものとして動作する。
なお、使用データバッファ部４０５Ｕおよび不使用データバッファ部４０５Ｎがデータメモリ３０Ｄのバンクａまたはバンクｂに書き込むタイミングの基準となる所定のデータ容量については、上述の第５の実施形態において左バッファ部４０４Ｌおよび右バッファ部４０４Ｒについて説明した内容と同様である。
また、学習部１００（クラシフィケーションモジュール５０）による勾配情報の更新処理時には、データメモリ３０Ｄからサンプルデータおよびステート情報を読み出しつつ、勾配情報を更新したステート情報およびサンプルデータをデータメモリ３０Ｄに書き込む必要がある。この場合、１のデータメモリ３０Ｄに対して、時系列で読み出し、書き込みの動作を分割して使用することによって、データメモリ３０Ｄに対する読み書き動作を実現することができる。その際に、データメモリ３０Ｄの読み出しと書き込みとのモードの切り替えは時間がかかる場合があるが、ブロックごとに切り替えたり、あるいは、ＦＩＦＯ部４０２＿１～４０２＿３、ＦＩＦＯ部４０３＿１～４０３＿３、使用データバッファ部４０５Ｕおよび不使用データバッファ部４０５Ｎの容量を大きくしてより長い単位で切り替えることによって、このオーバーヘッドを低減することができる。具体的には、データメモリ３０Ｄに対するデータの転送効率が最大となるデータ量ごとに、読み出しと書き込みとのモードの切り替えを行うものとすればよい。なお、読み出しと書き込みとのモードの切り替えを行うことについて、転送効率が最大となるデータ量ごとに行うことに限定されるものではなく、転送効率が所定値以上となるデータ量ごとに行うものとしてもよい。
なお、本実施形態では、ＧＢＤＴ（勾配ブースティング決定木）による決定木学習におけるサブサンプル動作を実現する構成として説明したが、図４９～図５１で示した構成は、ＧＢＤＴにおけるサブサンプル動作のみに適用できるものではなく、勾配ブースティング一般におけるサブサンプル動作にも適用することができる。ここで、勾配ブースティングは、任意の機械学習モデルの学習と、各サンプルデータの勾配情報の更新とを反復的に行う手法である。勾配ブースティングにおいて、決定木以外のモデルとしては、例えば最小二乗法、線形回帰、サポートベクタマシン（ＳＶＭ）等を用いたものが挙げられる。
以上のように、本実施形態に係る学習識別装置１ｆでは、処理チップ内部のＳＲＡＭではなく、外部メモリ（例えばＤＲＡＭ）にサンプルデータを保持させるものとし、サブサンプル動作において、次の決定木の学習において使用するサンプルデータを使用データバッファ部４０５Ｕにバッファリングし、使用しないサンプルデータを不使用データバッファ部４０５Ｎにバッファリングするものとしている。そして、各バッファ部において予め定められた容量までサンプルデータをバッファリングした場合に、当該サンプルデータを所定のブロックごとに、データメモリ３０（バンクａ、バンクｂ）に書き込むものとしている。これによって、あるデータ容量までサンプルデータを貯めて、一定の大きさ（ブロック）の単位で読み書きしているので、ＳＲＡＭのような細かなランダムアクセスとならず、ランダムアクセスができない外部メモリ（例えばＤＲＡＭ）であるデータメモリ３０Ｄの速度を十分に引き出すことができる。したがって、勾配ブースティングにおいて、大容量のサンプルデータに対してデータサブサンプルを行うことができる。
また、データメモリが処理チップ（ＦＰＧＡ）内部のＳＲＡＭである場合、決定木を学習した後、ＳＲＡＭに格納されているすべてのサンプルデータを読み出して勾配情報を更新し、さらに、その後すべてのサンプルデータを読み出してサブサンプルを行うものとしていた。この動作を外部メモリであるＤＲＡＭを用いた場合には処理が遅くなる。ただし、本実施形態に係る学習識別装置１ｆでは、データメモリ３０Ｄに格納されたサンプルデータを順次読み出して勾配情報を更新して、そのまま更新した勾配情報およびサンプルデータを、次の決定木の学習に使用するか否かをデータメモリ３０Ｄに振り分けて格納するものとしているため、処理速度を向上させることができる。
また、本実施形態に係る学習識別装置１ｆの構成は、上述の第５の実施形態に係る学習識別装置１ｅと比較して、サブサンプル部４０６を有するか否かの相違点があるのみで、他の構成については同じである。すなわち、本実施形態に係る学習識別装置１ｆは、上述の第５の実施形態に係る学習識別装置１ｅと同様の構成を有しつつ、１の決定木の学習後に必要な勾配情報の更新処理およびサブサンプル動作を、当該構成で実現することができる。したがって、本実施形態に係る学習識別装置１ｆは、学習処理において、上述の第５の実施形態に係る学習識別装置１ｅが有する効果と同じ効果を有することになる。
なお、本実施形態に係る学習識別装置１ｆでは、サンプルデータ、および勾配情報を含むステート情報の双方を外部メモリ（例えばＤＲＡＭ）に格納するものとして説明したが、これに限定されるものではない。例えば、ステート情報についてはサンプルデータよりもデータ量が小さいので処理チップ内部のＳＲＡＭ（第１メモリの一例）に格納し、サンプルデータについては外部メモリ（第２メモリ）に格納するものとしてもよい。この際、ＳＲＡＭに格納したステート情報と、外部メモリに格納したサンプルデータとがそれぞれ対応付けられていればよい。
１、１ａ～１ｆ 学習識別装置
１０ ＣＰＵ
１１ 制御部
１２、１２ａ、１２ｂ アドレス管理部
１２＿１、１２＿２ アドレス管理部
１３ 判定部
１５、１５ａ、１５ｂ コントロールモジュール
２０、２０ａ、２０ｂ ラーニングモジュール
２１、２１＿１、２１＿２ ゲイン算出モジュール
２２ 最適条件導出モジュール
３０、３０ａ、３０ｂ、３０Ｄ データメモリ
３１ ポインタメモリ
３２ フィーチャメモリ
３３ ステートメモリ
４０、４０ａ～４０ｃ モデルメモリ
４１＿１ デプス０用メモリ
４１＿２ デプス１用メモリ
４１＿３ デプス２用メモリ
５０、５０ａ、５０ｂ クラシフィケーションモジュール
５１＿１ ノード０判別器
５１＿２ ノード１判別器
５１＿３ ノード２判別器
６１、６１＿１、６１＿２ 勾配ヒストグラム算出モジュール
６１ａ、６１ｂ 勾配ヒストグラム算出モジュール
６２、６２＿１、６２＿２ 累積勾配算出モジュール
６３、６３＿１、６３＿２ 算出モジュール
７１ 勾配ヒストグラム算出モジュール
７２、７２＿１、７２＿２ 累積勾配算出モジュール
７３、７３＿１、７３＿２ 算出モジュール
８１、８１ａ、８１ｂ ＡＵＣ算出部
８２ａ、８２ｂ サンプルウェイト更新部
８３ａ、８３ｂ 勾配情報更新部
１００、１００＿１～１００＿３ 学習部
１２１ アドレス算出部
１２２ アドレス格納先制御部
１２３ アドレス記憶部
１２３Ａ＿ＥＤ バンクＡ用終了アドレス記憶部
１２３Ａ＿ＳＴ バンクＡ用開始アドレス記憶部
１２３Ｂ＿ＥＤ バンクＢ用終了アドレス記憶部
１２３Ｂ＿ＳＴ バンクＢ用開始アドレス記憶部
１２４ 出力選択部
１３１ 乗算器
１３２、１３３ 加算器
２０１、２０１ａ、２０１ｂ データカウンタ
２０２、２０２ａ、２０２ｂ 加算器
２０３、２０３ａ、２０３ｂ ディレイ
２０４、２０４ａ、２０４ｂ 勾配ヒストグラムメモリ
２０５、２０５ａ、２０５ｂ 総和格納メモリ
２０６ 加算器
２０７ ディレイ
２０８ 勾配ヒストグラムメモリ
２０９ 総和格納メモリ
２１０ しきい値カウンタ
２１１ アキュムレータ
２１２ ディレイ
２１３ 差分器
２１４ アキュムレータ
２１５ ディレイ
２１６ 差分器
３０１ａ、３０１ａ＿１、３０１ａ＿２ 勾配出力モジュール
３０１ｂ、３０１ｂ＿１、３０１ｂ＿２ 勾配出力モジュール
３０２、３０２＿１、３０２＿２ 加算モジュール
３０３、３０３＿１、３０３＿２ アキュムレータモジュール
３０３ｇ、３０３ｈ アキュムレータモジュール
３０４、３０４＿１、３０４＿２ 総和格納メモリ
３０４ｇ、３０４ｈ 総和格納メモリ
３１１ａ、３１１ｂ データカウンタ
３１２、３１２＿１、３１２＿２ 比較器
３１３、３１３＿１、３１３＿２ マルチプレクサ
３２１＿１、３２１＿２ 加算器
３２１＿１＿１、３２１＿１＿２ 加算器
３２２、３２２＿１、３２２＿２ 加算器
３３１＿１ ビン１アキュムレータ
３３１＿２ ビン２アキュムレータ
３４０ しきい値カウンタ
３４１ アキュムレータ
３４２ ディレイ
３４３ 差分器
３４４ アキュムレータ
３４５ ディレイ
３４６ 差分器
３４７、３４８ マルチプレクサ
４０１ 振分け部
４０２＿１～４０２＿３ ＦＩＦＯ部
４０３＿１～４０３＿３ ＦＩＦＯ部
４０４Ｌ 左バッファ部
４０４Ｒ 右バッファ部
４０５Ｎ 不使用データバッファ部
４０５Ｕ 使用データバッファ部
４０６、４０６＿１～４０６＿３ サブサンプル部
４１１ 乱数生成部
４１２ サブサンプル率保持部
４１３ 比較器
４１４ 書込み判定部
特許第５０３２６０２号公報

Claims (16)

  1. 勾配ブースティングによる学習を行う学習装置において、
    前記勾配ブースティングによるモデルを学習するための学習データと、該学習データに対応する勾配情報と、を記憶するデータ記憶部と、
    前記データ記憶部に記憶された前記学習データを用いて前記モデルを学習する学習部と、
    前記学習部により学習された前記モデルを基に、前記各学習データの前記勾配情報を更新する更新部と、
    前記モデルの学習に用いる学習データの割合であるサブサンプル率に基づいて、前記更新部により更新された前記勾配情報に対応する前記学習データについて、１のモデルの学習後の次のモデルの学習に使用するか否かを判定するサブサンプル部と、
    前記サブサンプル部により、前記次のモデルの学習に使用すると判定された前記学習データおよび該学習データに対応する前記勾配情報を予め定められた容量までバッファリングする第１バッファ部と、
    前記サブサンプル部により、前記次のモデルの学習に使用しないと判定された前記学習データおよび該学習データに対応する前記勾配情報を予め定められた容量までバッファリングする第２バッファ部と、
    を備え、
    前記第１バッファ部および前記第２バッファ部は、前記予め定められた容量まで前記学習データおよび前記勾配情報をバッファリングする場合、該学習データおよび該勾配情報を、所定のブロックごとに前記データ記憶部に書き込む学習装置。
  2. 前記更新部は、前記勾配情報を更新するために前記データ記憶部から前記学習データを読み出す場合、所定のブロックごとに読み出す請求項１に記載の学習装置。
  3. 前記データ記憶部は、
    前記第１バッファ部にバッファリングされた前記学習データおよび該学習データに対応する前記勾配情報を格納するための第１バンク領域と、
    前記第２バッファ部にバッファリングされた前記学習データおよび該学習データに対応する前記勾配情報を格納するための第２バンク領域と、
    を有する請求項１または２に記載の学習装置。
  4. 前記データ記憶部は、２つであり、
    ２つの前記データ記憶部のうち、一方の前記データ記憶部は、前記第１バンク領域を有し、他方の前記データ記憶部は、前記第２バンク領域を有する請求項３に記載の学習装置。
  5. 前記データ記憶部は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である請求項１～４のいずれか一項に記載の学習装置。
  6. 前記データ記憶部は、
    少なくとも前記学習部および前記更新部が構成された処理チップ内のメモリであって、前記勾配情報を記憶する第１メモリと、
    前記処理チップ外のメモリであって、前記学習データを記憶する第２メモリと、
    を備えた請求項１～３のいずれか一項に記載の学習装置。
  7. 前記第１メモリは、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、
    前記第２メモリは、ＤＲＡＭである請求項６に記載の学習装置。
  8. 前記予め定められた容量は、前記データ記憶部のバースト長に基づいて定められた請求項１～７のいずれか一項に記載の学習装置。
  9. 前記データ記憶部は、読み出しおよび書き込みの動作が時系列に分割して行われる請求項１～８のいずれか一項に記載の学習装置。
  10. 前記データ記憶部は、読み出しおよび書き込みの動作の転送効率が所定値以上となるように時系列に分割して行われる請求項９に記載の学習装置。
  11. 前記学習部および前記更新部による処理の動作周波数は、前記サブサンプル部、前記第１バッファ部および前記第２バッファ部による処理の動作周波数と異なる請求項１～１０のいずれか一項に記載の学習装置。
  12. 前記学習部および前記更新部は、それぞれ複数である請求項１～１１のいずれか一項に記載の学習装置。
  13. 前記データ記憶部から前記学習データを所定のブロックごとに読み出し、複数の前記学習部に対して順番に該ブロックに含まれる前記学習データを振り分ける振分け部を、さらに備えた請求項１２に記載の学習装置。
  14. 前記学習部は、前記勾配ブースティングである勾配ブースティング決定木により、前記モデルとして決定木を学習する請求項１～１３のいずれか一項に記載の学習装置。
  15. 勾配ブースティング決定木による学習を行う学習装置において、
    前記勾配ブースティング決定木によるモデルとしての決定木を学習するための学習データと、該学習データに対応する勾配情報と、を記憶するデータ記憶部と、
    前記データ記憶部に記憶された前記学習データを用いて前記モデルを学習する学習部と、
    前記学習部により学習された前記モデルを基に、前記各学習データの前記勾配情報を更新する更新部と、
    前記モデルの学習に用いる学習データの割合であるサブサンプル率に基づいて、前記更新部により更新された前記勾配情報に対応する前記学習データについて、１のモデルの学習後の次のモデルの学習に使用するか否かを判定するサブサンプル部と、
    第１バッファ部と、
    第２バッファ部と、
    を備え、
    前記学習部は、前記データ記憶部に記憶された前記学習データを、前記決定木のノードの分岐条件により、該ノードの下位の一方のノードに分岐するか他方のノードに分岐するかを判断し、
    前記第１バッファ部は、前記学習部により前記一方のノードに分岐すると判断された前記学習データを、予め定められた容量までバッファリングし、
    前記第２バッファ部は、前記学習部により前記他方のノードに分岐すると判断された前記学習データを、予め定められた容量までバッファリングし、
    前記第１バッファ部および前記第２バッファ部は、前記予め定められた容量まで前記学習データをバッファリングする場合、該学習データを所定のブロックごとに、前記データ記憶部の連続したアドレスに書き込む学習装置。
  16. 勾配ブースティングによる学習を行う学習方法において
    前記勾配ブースティングによるモデルを学習するための学習データと、該学習データに対応する勾配情報と、を記憶するデータ記憶部に記憶された前記学習データを用いて前記モデルを学習する学習ステップと、
    学習した前記モデルを基に、前記各学習データの前記勾配情報を更新する更新ステップと、
    前記モデルの学習に用いる学習データの割合であるサブサンプル率に基づいて、更新した前記勾配情報に対応する前記学習データについて、１のモデルの学習後の次のモデルの学習に使用するか否かを判定するサブサンプルステップと、
    前記次のモデルの学習に使用すると判定した前記学習データおよび該学習データに対応する前記勾配情報を予め定められた容量まで第１バッファ部にバッファリングする第１バッファリングステップと、
    前記次のモデルの学習に使用しないと判定した前記学習データおよび該学習データに対応する前記勾配情報を予め定められた容量まで第２バッファ部にバッファリングする第２バッファリングステップと、
    前記第１バッファ部および前記第２バッファ部に前記予め定められた容量まで前記学習データおよび前記勾配情報をバッファリングする場合、該学習データおよび該勾配情報を、所定のブロックごとに前記データ記憶部に書き込む書き込みステップと、
    を有する学習方法。
JP2019130620A 2019-07-12 2019-07-12 学習装置および学習方法 Active JP7363145B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019130620A JP7363145B2 (ja) 2019-07-12 2019-07-12 学習装置および学習方法
US16/902,611 US11797884B2 (en) 2019-07-12 2020-06-16 Learning device and learning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019130620A JP7363145B2 (ja) 2019-07-12 2019-07-12 学習装置および学習方法

Publications (2)

Publication Number Publication Date
JP2021015523A JP2021015523A (ja) 2021-02-12
JP7363145B2 true JP7363145B2 (ja) 2023-10-18

Family

ID=74101603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019130620A Active JP7363145B2 (ja) 2019-07-12 2019-07-12 学習装置および学習方法

Country Status (2)

Country Link
US (1) US11797884B2 (ja)
JP (1) JP7363145B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
US11694585B2 (en) 2020-12-28 2023-07-04 Ricoh Company, Ltd. Display apparatus, display system, display control method, and non-transitory recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075737A (ja) 2007-09-19 2009-04-09 Nec Corp 半教師あり学習方法、半教師あり学習装置及び半教師あり学習プログラム
JP2017228086A (ja) 2016-06-22 2017-12-28 富士通株式会社 機械学習管理プログラム、機械学習管理方法、および機械学習管理装置
JP2019080232A (ja) 2017-10-26 2019-05-23 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 勾配圧縮装置、勾配圧縮方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5032602B1 (ja) 1970-10-23 1975-10-22
JPH05342187A (ja) * 1992-06-08 1993-12-24 Toshiba Corp 神経回路網構築装置
JP5032602B2 (ja) 2010-01-21 2012-09-26 株式会社東芝 認識装置
JP6547275B2 (ja) 2014-10-29 2019-07-24 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP6620439B2 (ja) 2015-07-01 2019-12-18 株式会社リコー 学習方法、プログラム及び学習装置
JP2017097585A (ja) 2015-11-24 2017-06-01 株式会社リコー 学習装置、プログラム及び学習方法
US20200014290A1 (en) 2017-02-17 2020-01-09 Arrival Limited Electric motor
US11354601B2 (en) 2018-03-16 2022-06-07 Ricoh Company, Ltd. Learning classification device and learning classification method
JP7035827B2 (ja) 2018-06-08 2022-03-15 株式会社リコー 学習識別装置および学習識別方法
JP7167544B2 (ja) 2018-08-10 2022-11-09 株式会社リコー 学習装置および学習方法
JP7099163B2 (ja) 2018-08-10 2022-07-12 株式会社リコー 学習装置および学習方法
JP7095479B2 (ja) 2018-08-10 2022-07-05 株式会社リコー 学習装置および学習方法
JP7087825B2 (ja) 2018-08-23 2022-06-21 株式会社リコー 学習装置および学習方法
US11875903B2 (en) * 2018-12-31 2024-01-16 Tempus Labs, Inc. Method and process for predicting and analyzing patient cohort response, progression, and survival
US11521161B2 (en) * 2019-01-30 2022-12-06 Walmart Apollo, Llc Automatic determination of pickup wait times

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075737A (ja) 2007-09-19 2009-04-09 Nec Corp 半教師あり学習方法、半教師あり学習装置及び半教師あり学習プログラム
JP2017228086A (ja) 2016-06-22 2017-12-28 富士通株式会社 機械学習管理プログラム、機械学習管理方法、および機械学習管理装置
JP2019080232A (ja) 2017-10-26 2019-05-23 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 勾配圧縮装置、勾配圧縮方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BOSWORTH, EL，"Chapter 12 - The Memory Hierarchy"，Text book for Introduction to Computer Organization (CPSC2105) [online]，2012年，pp. 641-660，[retrieved on 2023.03.20], Retrieved from the Internet: <URL: http://www.edwardbosworth.com/CPSC2105/MyTextbook2105_HTM/MyText2105_Ch12_V06.htm>

Also Published As

Publication number Publication date
US11797884B2 (en) 2023-10-24
JP2021015523A (ja) 2021-02-12
US20210012240A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
JP7035827B2 (ja) 学習識別装置および学習識別方法
JP7087825B2 (ja) 学習装置および学習方法
US11475314B2 (en) Learning device and learning method
JP7087695B2 (ja) 学習装置および学習方法
JP7196542B2 (ja) 学習装置および学習方法
US11694111B2 (en) Learning device and learning method
JP7363145B2 (ja) 学習装置および学習方法
JP7211020B2 (ja) 学習装置および学習方法
JP7095479B2 (ja) 学習装置および学習方法
JP7167544B2 (ja) 学習装置および学習方法
JP7069898B2 (ja) 学習識別装置および学習識別方法
JP7069897B2 (ja) 学習識別装置および学習識別方法
JP7176359B2 (ja) 学習装置および学習方法
JP7040168B2 (ja) 学習識別装置および学習識別方法
JP7200766B2 (ja) 学習装置および学習方法
JP7200765B2 (ja) 学習装置および学習方法
RU2771750C1 (ru) Обучающее устройство и способ обучения

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R151 Written notification of patent or utility model registration

Ref document number: 7363145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151