JP2023529976A - 決定木アンサンブルの分類のためのアーキテクチャと方法 - Google Patents
決定木アンサンブルの分類のためのアーキテクチャと方法 Download PDFInfo
- Publication number
- JP2023529976A JP2023529976A JP2022577210A JP2022577210A JP2023529976A JP 2023529976 A JP2023529976 A JP 2023529976A JP 2022577210 A JP2022577210 A JP 2022577210A JP 2022577210 A JP2022577210 A JP 2022577210A JP 2023529976 A JP2023529976 A JP 2023529976A
- Authority
- JP
- Japan
- Prior art keywords
- tree
- rank
- thresholds
- feature
- architecture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003066 decision tree Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims description 19
- 238000012545 processing Methods 0.000 claims abstract description 53
- 230000006870 function Effects 0.000 claims abstract description 40
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 31
- 239000000543 intermediate Substances 0.000 description 14
- 238000012549 training Methods 0.000 description 7
- 241001442055 Vipera berus Species 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000005265 energy consumption Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Vは、頂点のセットV=N∪Lであり、ここで、Lは葉ノードのセット、Nは特徴fiの1つに対応する閾値
Dは、各ノードvx∈Nのノード比較
Eは、エッジのセット(vx,vy)であり、vx,vy∈{V}はFE:E→{0,1}でラベル付けされて、木を処理するときにエッジに取得されるdxの結果を定義する。
Cはクラスの集合であり、FC:L→Cによって葉ノードに割り当てられる。
各クラスc∈Cについて、経路のセットPc={pc,1,pc,2,・・・,pc,K}は、k=1,・・・,Kに対して、
pc,k={vk,1,vk,2,・・・,vk,J}
によって定義され、vk,m∈Vである。vk,1は、m=1,・・・,Mk-1、Mk=|pc,k|及びvk,M∈Lに対して、ルートノード(vk,m,vk,m+1)∈Eであり、FC(vk,M)=cである。
・メモリには、対応する特徴の閾値のみが含まれていればよい。ノードの特徴インデックス及び子アドレスを格納する必要がないため、メモリ使用量が大幅に削減される。
・グループ化された閾値の重複は、メモリのアクセスに追加情報をもたらさないので、例えば二分探索によって削除することができる。これにより、メモリサイズ及びメモリアクセスエネルギーをさらに削減することが可能になる。
・直列アーキテクチャと比較して、特徴入力をメモリまたは入力マルチプレクサからフェッチする必要はない。これにより、回路の複雑さ及びエネルギー消費が削減される。
・決定木は、一般にバランスが取れていないため、異なる決定に対して異なる実行時間がかかることになる可能性がある。これにより、木間の並列化がより困難になり、同期が必要になる。提案された概念は、例えば二分探索を使用してバランスの取れた方法で閾値を探索することを提案し、この結果として回路の複雑さ及び実行時間を削減する。実行時間は、木ごとに異なる場合があるが、探索比較に並列処理を導入することで調整できるため、全決定を通して一定に保つことができる。
・二分探索は、比較を全て計算する並列アーキテクチャよりもはるかに少ない比較を実行する。場合によっては、二分探索は、特に木で長い分岐が発生する場合には、直列アーキテクチャよりも少ないことすらある比較を計算する。これにより、並列化の量に応じて、実行時間及びエネルギーまたは回路サイズが削減される。
2 木処理ブロック
10 計算ユニット
11 閾値メモリ
12 ロジック
13 入力コンパレータ
14 コンパレータ
15 コンパレータ入力
16 コンパレータ出力
17 ルックアップテーブル
18 コンバイナ
20 木処理ユニット
21 集約ユニット
Claims (15)
- 決定木アンサンブルの分類のためのアーキテクチャであって、ランクコンピューティングブロック(1)及び木処理ブロック(2)を含み、
前記ランクコンピューティングブロック(1)が、分類すべき特徴のセットの特徴ごとに1つの計算ユニット(10)を含み、各計算ユニット(10)が、メモリ(11)及びロジック(12)を含み、
前記メモリ(11)が、前記決定木アンサンブル内の前記決定木の閾値を保存するように構成され、前記メモリが、特徴ごとに1つのグループに前記閾値を保存するように準備され、グループ内の前記閾値が、閾値インデックスに従ってソートされ、
前記ロジック(12)が、対応する閾値のグループの前記閾値のノード比較を行い、前記比較の結果としてランクを出力するように準備され、ランクが、閾値を表すエンコードされたアドレスに相当し、
前記決定木アンサンブル内の木の前記木処理ブロック(2)が、ランクの関数として分類すべき前記特徴のクラスを決定するように構成される、前記アーキテクチャ。 - 前記特徴は、特徴インデックスi∈[1;I]を用いてfiと示され、Iは、分類すべき特徴の個数を示し、前記閾値は、前記決定木アンサンブル内の木のノードを表し、
前記ロジック(12)は、分類すべき特徴を受け取り、前記閾値を前記特徴の値よりも小さい値と大きい値とに分ける各特徴に対する前記ランクを返す探索を実行するように準備され、
前記ランクは、それぞれ前記対応する木処理ユニット(20)に出力され、
前記木処理ユニット(20)は、ブール関数を評価することによって前記クラスを決定するように構成されており、ブール関数それぞれが、前記受け取られたランクの関数として、前記決定木アンサンブル内の決定木を表す、請求項1に記載のアーキテクチャ。 - 前記木処理ブロック(2)は、前記決定されたクラスを前記木処理ユニット(20)から受け取り、前記決定されたクラスの関数としてアンサンブル投票を形成するように準備された集約ユニット(21)を含む、請求項1または請求項2に記載のアーキテクチャ。
- 前記メモリ(11)は、
前記分類すべき特徴のセットからの各特徴に対して1つのメモリセルグループを含み、
グループ内の前記メモリセルは、前記閾値インデックスに従ってアドレス指定可能である、請求項1~3の1項に記載のアーキテクチャ。 - 前記ロジック(12)は、特徴を受け取るように動作可能な第1の入力(13)と、前記メモリ(11)から閾値を受け取るように動作可能な第2の入力(15)とを含むコンパレータ(14)を備え、
前記コンパレータ(14)は、対応する閾値グループの前記閾値の前記ノード比較を行うように動作可能である、請求項1~4の1項に記載のアーキテクチャ。 - 前記木処理ユニット(20)は、アドレスデコード済みランクに基づいて前記ブール関数を評価するために、前記受け取られたランクのアドレスデコードを実行するように準備された1つ以上のコンパレータ(22)を含む、請求項5に記載のアーキテクチャ。
- 前記計算ユニット(10)のそれぞれは、それぞれ専用のルックアップテーブル(17)に接続され、
前記ルックアップテーブル(17)は、前記ルックアップテーブルに接続された前記計算ユニット(10)から専用ランクを受け取るように動作可能な入力側を含み、
前記ルックアップテーブル(17)は、前記入力側で受け取られた前記ランクの関数として中間値を出力するように動作可能である、請求項1~6の1項に記載のアーキテクチャ。 - 前記ランクコンピューティングブロック(1)のそれぞれは、それぞれ専用のルックアップテーブル(17)に接続され、
前記ルックアップテーブル(17)は、前記ルックアップテーブルに接続された前記木処理ユニット(20)の前記中間値を提供するように動作可能である出力側を含み、
前記木処理ユニット(20)は、前記受け取られた中間値の関数として分類すべき前記特徴の前記クラスを決定するように動作可能である、請求項7に記載のアーキテクチャ。 - 演算ユニットを有するコンバイナ(18)をさらに含み、前記コンバイナ(18)は、前記中間値を受け取るように動作可能であり、前記中間値を組み合わせ及び/または重み付けし、分類すべき前記特徴の前記クラスを出力するように動作可能である、請求項7に記載のアーキテクチャ。
- 前記処理ブロック(2)は、1つ以上のルックアップテーブルを含み、
前記ルックアップテーブルは、「~よりも小さい」または「~よりも大きい」比較を行うように動作可能な1つ以上のコンパレータを含む連想メモリに基づいて実装される、請求項7~9の1項に記載のアーキテクチャ。 - 決定木アンサンブルの分類の方法であって、
前記決定木アンサンブル内の決定木を表す閾値を、分類すべき特徴ごとに1つのグループに保存することと、
グループの前記閾値を、閾値インデックスに従ってソートすることと、
対応する閾値グループの前記閾値のノード比較を行うことと、
前記ノード比較の結果としてランクを出力することであって、ランクが、前記閾値を表すためのエンコードされたアドレスに相当する、前記出力することと、
ランクの関数として分類すべき前記特徴のクラスを決定することと、
のステップを含む、前記方法。 - 分類すべき前記特徴は、特徴インデックスi∈[1;I]を用いてfiと示され、Iは、分類すべき特徴の個数を示し、前記閾値は、前記決定木アンサンブル内の木のノードを表し、前記方法は、
ロジック(12)によって分類すべき特徴を受け取り、前記ロジックを使用して、前記閾値を前記特徴の値よりも小さい値と大きい値とに分ける各特徴に対する前記ランクを返す探索を実行することと、
前記ランクを、それぞれ、対応する木処理ユニット(20)に出力することと、
分類すべき前記特徴の前記クラスを、ブール関数を評価することによって決定することであって、前記ブール関数それぞれが、前記受け取られたランクの関数として、前記決定木アンサンブル内の木を表す、前記決定することと、
のさらなるステップを含む、請求項11に記載の方法。 - 前記ランクは、前記ロジック(10)を使用した二分探索から決定される、または
前記ランクは、インメモリ探索から決定される、請求項11または請求項12に記載の方法。 - 前記決定木の評価は、ルックアップテーブルエントリとして保存される事前に算出された値を有するルックアップテーブル(17)を必要とし、前記クラスは、前記ルックアップテーブルエントリに応じて決定される、請求項11~13の1項に記載の方法。
- 前記ルックアップテーブルエントリは、トレーニングソフトウェアによって決定され、前記トレーニングソフトウェアは、分類アーキテクチャ及び前記決定木アンサンブルの両方の数学的記述が同等であるように、ルックアップテーブルエントリの割り当てを決定する、請求項14に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020116293.6 | 2020-06-19 | ||
DE102020116293 | 2020-06-19 | ||
PCT/EP2021/066411 WO2021255171A1 (en) | 2020-06-19 | 2021-06-17 | Architecture for classification of a decision tree ensemble and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023529976A true JP2023529976A (ja) | 2023-07-12 |
Family
ID=76695715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022577210A Pending JP2023529976A (ja) | 2020-06-19 | 2021-06-17 | 決定木アンサンブルの分類のためのアーキテクチャと方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230237387A1 (ja) |
EP (1) | EP4168945A1 (ja) |
JP (1) | JP2023529976A (ja) |
KR (1) | KR20230012632A (ja) |
CN (1) | CN115843358A (ja) |
WO (1) | WO2021255171A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117149663B (zh) * | 2023-10-30 | 2024-02-02 | 合肥中科类脑智能技术有限公司 | 多目标检测算法的部署方法、装置、电子设备和介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10332008B2 (en) * | 2014-03-17 | 2019-06-25 | Microsoft Technology Licensing, Llc | Parallel decision tree processor architecture |
EP3311303A1 (en) * | 2015-06-17 | 2018-04-25 | Tiscali S.p.A. | A method to rank documents by a computer, using additive ensembles of regression trees and cache optimisation, and search engine using such a method |
-
2021
- 2021-06-17 JP JP2022577210A patent/JP2023529976A/ja active Pending
- 2021-06-17 KR KR1020227044809A patent/KR20230012632A/ko unknown
- 2021-06-17 CN CN202180043504.XA patent/CN115843358A/zh active Pending
- 2021-06-17 US US18/001,991 patent/US20230237387A1/en active Pending
- 2021-06-17 WO PCT/EP2021/066411 patent/WO2021255171A1/en unknown
- 2021-06-17 EP EP21735880.3A patent/EP4168945A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230237387A1 (en) | 2023-07-27 |
KR20230012632A (ko) | 2023-01-26 |
WO2021255171A1 (en) | 2021-12-23 |
EP4168945A1 (en) | 2023-04-26 |
CN115843358A (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Colangelo et al. | Exploration of low numeric precision deep learning inference using intel® fpgas | |
Albericio et al. | Cnvlutin: Ineffectual-neuron-free deep neural network computing | |
Reddy et al. | Initialization for K-means clustering using Voronoi diagram | |
CN109635944A (zh) | 一种稀疏卷积神经网络加速器及实现方法 | |
Hojabr et al. | Spaghetti: Streaming accelerators for highly sparse gemm on fpgas | |
Jarollahi et al. | Architecture and implementation of an associative memory using sparse clustered networks | |
Li et al. | Dynamic dataflow scheduling and computation mapping techniques for efficient depthwise separable convolution acceleration | |
Imani et al. | CANNA: Neural network acceleration using configurable approximation on GPGPU | |
JP2023529976A (ja) | 決定木アンサンブルの分類のためのアーキテクチャと方法 | |
Sommer et al. | Efficient hardware acceleration of sparsely active convolutional spiking neural networks | |
Yalamarthy et al. | Low-complexity distributed-arithmetic-based pipelined architecture for an LSTM network | |
Yan et al. | FPGAN: an FPGA accelerator for graph attention networks with software and hardware co-optimization | |
Cai et al. | Convolution without multiplication: A general speed up strategy for CNNs | |
Hsiao et al. | Sparsity-aware deep learning accelerator design supporting CNN and LSTM operations | |
Li et al. | Ristretto: An atomized processing architecture for sparsity-condensed stream flow in cnn | |
Abdelsalam et al. | POLYBiNN: a scalable and efficient combinatorial inference engine for neural networks on FPGA | |
Qasaimeh et al. | An efficient hardware architecture for sparse convolution using linear feedback shift registers | |
CN114860192A (zh) | 一种基于fpga的图神经网络高乘法器利用率的稀疏稠密矩阵乘法阵列 | |
US20220121915A1 (en) | Configurable bnn asic using a network of programmable threshold logic standard cells | |
Ascia et al. | Improving inference latency and energy of network-on-chip based convolutional neural networks through weights compression | |
Song et al. | A high-speed CNN hardware accelerator with regular pruning | |
Mitra et al. | Variable ordering for shared binary decision diagrams targeting node count and path length optimisation using particle swarm technique | |
Chidambaram et al. | Poet-bin: Power efficient tiny binary neurons | |
Montgomerie-Corcoran et al. | Pass: Exploiting post-activation sparsity in streaming architectures for cnn acceleration | |
Choudhury et al. | Training accelerator for two means decision tree |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240527 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240827 |