JP7078758B2 - 機械学習モデルを改良して局所性を改善させること - Google Patents
機械学習モデルを改良して局所性を改善させること Download PDFInfo
- Publication number
- JP7078758B2 JP7078758B2 JP2020566754A JP2020566754A JP7078758B2 JP 7078758 B2 JP7078758 B2 JP 7078758B2 JP 2020566754 A JP2020566754 A JP 2020566754A JP 2020566754 A JP2020566754 A JP 2020566754A JP 7078758 B2 JP7078758 B2 JP 7078758B2
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- memory
- data
- work
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0893—Caches characterised by their organisation or structure
- G06F12/0897—Caches characterised by their organisation or structure with two or more cache hierarchy levels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/12—Replacement control
- G06F12/121—Replacement control using replacement algorithms
- G06F12/126—Replacement control using replacement algorithms with special data handling, e.g. priority of data or instructions, handling errors or pinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/10—Providing a specific technical effect
- G06F2212/1016—Performance improvement
- G06F2212/1021—Hit rate improvement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/60—Details of cache memory
- G06F2212/6028—Prefetching based on hints or prefetch instructions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Neurology (AREA)
- Advance Control (AREA)
- Complex Calculations (AREA)
- Manipulator (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Description
本明細書は、一般に、メモリの特性に基づいて機械学習モデルを改良して局所性を改善させることに関する。
本明細書は、機械学習モデルの局所性を改善させること、および改善したモデルを利用して機械学習の計算を行うことに関する技術について説明する。
詳細な説明
一般に、本明細書において説明する主題は、更新済み機械学習モデルを作成して機械学習モデルが展開される機械学習プロセッサのメモリ階層の特性を考慮することに関する。機械学習モデルは、機械学習モデルの作業、データ依存関係、および/または制御依存関係を改良し、メモリ階層の特性に基づいて機械学習モデルのデータアクセスの局所性を改善させることによって更新され得る。たとえば、機械学習モデルを改良して、データ配置(たとえば、共通して利用されるデータをより高速なメモリに格納すること)および/またはデータ移動(たとえば、しばらくの間利用されることのないデータをより低速のメモリに格納し、利用される前により高速なメモリにプリフェッチすること)における局所性を改善させることができる。
Claims (17)
- データ処理装置によって実行される方法であって、
機械学習モデルのデータを受け付けるステップを含み、前記データは、前記機械学習モデルの作業および前記作業間のデータ依存関係を表し、前記方法は、さらに、
前記機械学習モデルが展開される機械学習プロセッサのメモリ階層の特性を指定するデータを受け付けるステップを含み、前記メモリ階層は、前記機械学習モデルを利用して機械学習の計算を行うときに前記機械学習プロセッサによって使われる機械学習データを格納するための複数のメモリを複数のメモリレベルに含み、前記特性は、各メモリのデータ記憶容量と、各メモリのメモリバンド幅とを含み、前記複数のメモリのうち少なくとも1つは、少なくとも1つのその他のメモリとは異なるメモリバンド幅を有し、前記方法は、さらに、
前記機械学習モデルの作業および制御依存関係を改良して前記メモリ階層の特性を考慮することによって、前記機械学習モデルのデータおよび前記メモリ階層の特性に基づいて更新済み機械学習モデルを作成するステップと、
前記更新済みの機械学習モデルを利用して機械学習の計算を行うステップとを含む、方法。 - 前記機械学習モデルのデータは、前記機械学習モデルの作業と、前記作業間の制御依存関係と、前記作業間のデータ依存関係とを表すグラフを含む、請求項1に記載の方法。
- 前記更新済みの機械学習モデルを作成するステップは、前記作業のうち少なくとも一部の作業について、前記作業の出力を格納するためのメモリを、前記出力が別の作業への入力としていつ使われるかに基づいて前記複数のメモリの中から選択するステップを含む、請求項1または2に記載の方法。
- 前記更新済みの機械学習モデルを作成するステップは、
第1作業の出力データが第2作業によって入力としていつ使われるかに基づいて、前記第1作業の出力データが前記複数のメモリのうち第1メモリに格納されると判断するステップを含み、前記第1メモリは、前記複数のメモリのうち第2メモリよりも低いメモリバンド幅を有し、前記判断に応答して、
前記機械学習プロセッサに、前記第1作業によって前記出力データが生成された後に前記第1作業の出力データを前記第1メモリに格納させる第1制御データと、
前記機械学習プロセッサに、前記出力データが前記第2作業への入力として使われる前に前記出力データを前記第1メモリから前記第2メモリに転送させる第2制御データとを、
前記更新済みの機械学習モデルに含める、請求項1または2に記載の方法。 - 前記第2制御データは、前記機械学習プロセッサに、前記第1作業および前記第2作業とは異なる第3作業が実行されることに応答して前記出力データを前記第1メモリから前記第2メモリに転送させる、請求項4に記載の方法。
- 第1作業の出力データが第2作業によって入力としていつ使われるかに基づいて、前記第1作業の出力データが前記複数のメモリのうち第1メモリに格納されると判断するステップは、
(i)前記第1作業と前記第2作業との間に実行される作業の数または(ii)前記第1作業が実行される時点から前記第2作業が実行される時点までの予想期間のうち、少なくとも1つに基づいて、前記第1作業の出力データが前記第1メモリに格納されると判断するステップを含む、請求項4または5に記載の方法。 - 前記更新済みの機械学習モデルを作成するステップは、
前記機械学習モデルの特定の作業シーケンスのための入力データが前記複数のメモリのうち特定のメモリよりも多くのデータ記憶容量を必要とすると判断するステップを含み、前記判断に応答して、
前記特定の作業シーケンスと同じ作業シーケンスを含む複数の作業シーケンスと、
前記機械学習プロセッサに前記入力データを複数のデータ部分に分割させる第1制御データと、
前記機械学習プロセッサに各データ部分を前記複数の作業シーケンスの各作業シーケンスに割り当てさせる第2制御データと、
前記機械学習プロセッサに前記複数の作業シーケンスを連続して実行させる第3制御データとを、
前記更新済みの機械学習モデルに含める、請求項1または2に記載の方法。 - 前記更新済みの機械学習モデルを作成するステップは、第2の機械学習モデルを利用して前記更新済みの機械学習モデルを前記機械学習モデルおよび前記メモリ階層の特性に基づいて作成するステップを含む、請求項1または2に記載の方法。
- システムであって、
データ処理装置と、
前記データ処理装置とデータ通信するメモリ記憶装置とを備え、前記メモリ記憶装置は、前記データ処理装置によって実行可能な命令を格納し、前記命令は、実行されると、前記データ処理装置に動作を実行させ、前記動作は、
機械学習モデルのデータを受け付けることを含み、前記データは、前記機械学習モデルの作業および前記作業間のデータ依存関係を表し、前記動作は、さらに、
前記機械学習モデルが展開される機械学習プロセッサのメモリ階層の特性を指定するデータを受け付けることを含み、前記メモリ階層は、前記機械学習モデルを利用して機械学習の計算を行うときに前記機械学習プロセッサによって使われる機械学習データを格納するための複数のメモリを複数のメモリレベルに含み、前記特性は、各メモリのデータ記憶容量と、各メモリのメモリバンド幅とを含み、前記複数のメモリのうち少なくとも1つは、少なくとも1つのその他のメモリとは異なるメモリバンド幅を有し、前記動作は、さらに、
前記機械学習モデルの作業および制御依存関係を改良して前記メモリ階層の特性を考慮することによって、前記機械学習モデルのデータおよび前記メモリ階層の特性に基づいて更新済み機械学習モデルを作成することと、
前記更新済みの機械学習モデルを利用して機械学習の計算を行うこととを含む、システム。 - 前記機械学習モデルのデータは、前記機械学習モデルの作業と、前記作業間の制御依存関係と、前記作業間のデータ依存関係とを表すグラフを含む、請求項9に記載のシステム。
- 前記更新済みの機械学習モデルを作成することは、前記作業のうち少なくとも一部の作業について、前記作業の出力を格納するためのメモリを、前記出力が別の作業への入力としていつ使われるかに基づいて前記複数のメモリの中から選択することを含む、請求項9または10に記載のシステム。
- 前記更新済みの機械学習モデルを作成することは、
第1作業の出力データが第2作業によって入力としていつ使われるかに基づいて、前記第1作業の出力データが前記複数のメモリのうち第1メモリに格納されると判断することを含み、前記第1メモリは、前記複数のメモリのうち第2メモリよりも低いメモリバンド幅を有し、前記判断に応答して、
前記機械学習プロセッサに、前記第1作業によって前記出力データが生成された後に前記第1作業の出力データを前記第1メモリに格納させる第1制御データと、
前記機械学習プロセッサに、前記出力データが前記第2作業への入力として使われる前に前記出力データを前記第1メモリから前記第2メモリに転送させる第2制御データとを、
前記更新済みの機械学習モデルに含める、請求項9または10に記載のシステム。 - 前記第2制御データは、前記機械学習プロセッサに、前記第1作業および前記第2作業とは異なる第3作業が実行されることに応答して前記出力データを前記第1メモリから前記第2メモリに転送させる、請求項12に記載のシステム。
- 第1作業の出力データが第2作業によって入力としていつ使われるかに基づいて、前記第1作業の出力データが前記複数のメモリのうち第1メモリに格納されると判断することは、
(i)前記第1作業と前記第2作業との間に実行される作業の数または(ii)前記第1作業が実行される時点から前記第2作業が実行される時点までの予想期間のうち、少なくとも1つに基づいて、前記第1作業の出力データが前記第1メモリに格納されると判断することを含む、請求項12または13に記載のシステム。 - 前記更新済みの機械学習モデルを作成することは、
前記機械学習モデルの特定の作業シーケンスのための入力データが前記複数のメモリのうち特定のメモリよりも多くのデータ記憶容量を必要とすると判断することを含み、前記判断に応答して、
前記特定の作業シーケンスと同じ作業シーケンスを含む複数の作業シーケンスと、
前記機械学習プロセッサに前記入力データを複数のデータ部分に分割させる第1制御データと、
前記機械学習プロセッサに各データ部分を前記複数の作業シーケンスの各作業シーケンスに割り当てさせる第2制御データと、
前記機械学習プロセッサに前記複数の作業シーケンスを連続して実行させる第3制御データとを、
前記更新済みの機械学習モデルに含める、請求項9または10に記載のシステム。 - 前記更新済みの機械学習モデルを作成することは、第2の機械学習モデルを利用して前記更新済みの機械学習モデルを前記機械学習モデルおよび前記メモリ階層の特性に基づいて作成することを含む、請求項9または10に記載のシステム。
- 請求項1~8のいずれかに記載の方法を1つ以上のデータ処理装置に実行させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022082336A JP7430744B2 (ja) | 2018-10-10 | 2022-05-19 | 機械学習モデルを改良して局所性を改善させること |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/156,573 US11263529B2 (en) | 2018-10-10 | 2018-10-10 | Modifying machine learning models to improve locality |
US16/156,573 | 2018-10-10 | ||
PCT/US2019/043861 WO2020076392A1 (en) | 2018-10-10 | 2019-07-29 | Modifying machine learning models to improve locality |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022082336A Division JP7430744B2 (ja) | 2018-10-10 | 2022-05-19 | 機械学習モデルを改良して局所性を改善させること |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021532437A JP2021532437A (ja) | 2021-11-25 |
JP7078758B2 true JP7078758B2 (ja) | 2022-05-31 |
Family
ID=67551741
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020566754A Active JP7078758B2 (ja) | 2018-10-10 | 2019-07-29 | 機械学習モデルを改良して局所性を改善させること |
JP2022082336A Active JP7430744B2 (ja) | 2018-10-10 | 2022-05-19 | 機械学習モデルを改良して局所性を改善させること |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022082336A Active JP7430744B2 (ja) | 2018-10-10 | 2022-05-19 | 機械学習モデルを改良して局所性を改善させること |
Country Status (10)
Country | Link |
---|---|
US (2) | US11263529B2 (ja) |
EP (1) | EP3864582A1 (ja) |
JP (2) | JP7078758B2 (ja) |
KR (2) | KR102572757B1 (ja) |
CN (1) | CN112236784A (ja) |
BR (1) | BR112020024353B1 (ja) |
CA (1) | CA3101214C (ja) |
SG (1) | SG11202011588QA (ja) |
TW (2) | TWI728421B (ja) |
WO (1) | WO2020076392A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11610117B2 (en) * | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
KR20200084099A (ko) * | 2019-01-02 | 2020-07-10 | 삼성전자주식회사 | 뉴럴 네트워크 최적화 장치 및 뉴럴 네트워크 최적화 방법 |
US11687795B2 (en) * | 2019-02-19 | 2023-06-27 | International Business Machines Corporation | Machine learning engineering through hybrid knowledge representation |
US11610134B2 (en) * | 2019-07-08 | 2023-03-21 | Vianai Systems, Inc. | Techniques for defining and executing program code specifying neural network architectures |
US11556757B1 (en) * | 2020-12-10 | 2023-01-17 | Neuralmagic Ltd. | System and method of executing deep tensor columns in neural networks |
US20220188631A1 (en) * | 2020-12-16 | 2022-06-16 | Xmos Inc. | Artificial neural network implementation |
WO2022261245A1 (en) * | 2021-06-09 | 2022-12-15 | Intel Corporation | Methods and apparatus to modify pre-trained models to apply neural architecture search |
US11960982B1 (en) | 2021-10-21 | 2024-04-16 | Neuralmagic, Inc. | System and method of determining and executing deep tensor columns in neural networks |
US20230205539A1 (en) * | 2021-12-29 | 2023-06-29 | Advanced Micro Devices, Inc. | Iommu collocated resource manager |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017075346A1 (en) | 2015-10-28 | 2017-05-04 | Google Inc. | Modifying computational graphs |
US10019668B1 (en) | 2017-05-19 | 2018-07-10 | Google Llc | Scheduling neural network processing |
EP3376441A1 (en) | 2017-03-15 | 2018-09-19 | Siemens Aktiengesellschaft | A method for execution of a machine learning model on memory restricted industrial device |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5664191A (en) | 1994-06-30 | 1997-09-02 | Microsoft Corporation | Method and system for improving the locality of memory references during execution of a computer program |
US6456803B2 (en) * | 2000-02-04 | 2002-09-24 | Canon Kabushiki Kaisha | Image forming apparatus capable of detecting both of regularly reflected light and irregularly reflected light |
US7826396B2 (en) | 2005-03-07 | 2010-11-02 | Miller John L | System and method for implementing PNRP locality |
US20060212654A1 (en) | 2005-03-18 | 2006-09-21 | Vinod Balakrishnan | Method and apparatus for intelligent instruction caching using application characteristics |
US8965819B2 (en) | 2010-08-16 | 2015-02-24 | Oracle International Corporation | System and method for effective caching using neural networks |
US10489703B2 (en) | 2015-05-20 | 2019-11-26 | Nec Corporation | Memory efficiency for convolutional neural networks operating on graphics processing units |
US10699186B2 (en) | 2015-12-02 | 2020-06-30 | Google Llc | Determining orders of execution of a neural network |
US10795725B2 (en) | 2016-03-24 | 2020-10-06 | Fuji Xerox Co., Ltd. | Image processing device, image processing method, and non-transitory computer readable medium for image processing |
CN108279890B (zh) | 2017-01-06 | 2021-12-24 | 阿里巴巴集团控股有限公司 | 组件发布方法、组件构建方法及图形化机器学习算法平台 |
US10956500B2 (en) | 2017-01-19 | 2021-03-23 | Google Llc | Dynamic-length stateful tensor array |
US20190392287A1 (en) * | 2018-06-22 | 2019-12-26 | Samsung Electronics Co., Ltd. | Neural processor |
-
2018
- 2018-10-10 US US16/156,573 patent/US11263529B2/en active Active
-
2019
- 2019-07-29 KR KR1020227038854A patent/KR102572757B1/ko active IP Right Grant
- 2019-07-29 JP JP2020566754A patent/JP7078758B2/ja active Active
- 2019-07-29 CN CN201980036543.XA patent/CN112236784A/zh active Pending
- 2019-07-29 BR BR112020024353-1A patent/BR112020024353B1/pt active IP Right Grant
- 2019-07-29 EP EP19752352.5A patent/EP3864582A1/en active Pending
- 2019-07-29 KR KR1020207034304A patent/KR102465896B1/ko active IP Right Grant
- 2019-07-29 CA CA3101214A patent/CA3101214C/en active Active
- 2019-07-29 SG SG11202011588QA patent/SG11202011588QA/en unknown
- 2019-07-29 WO PCT/US2019/043861 patent/WO2020076392A1/en unknown
- 2019-08-08 TW TW108128203A patent/TWI728421B/zh active
- 2019-08-08 TW TW110113999A patent/TWI757153B/zh active
-
2022
- 2022-02-15 US US17/672,163 patent/US11915139B2/en active Active
- 2022-05-19 JP JP2022082336A patent/JP7430744B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017075346A1 (en) | 2015-10-28 | 2017-05-04 | Google Inc. | Modifying computational graphs |
EP3376441A1 (en) | 2017-03-15 | 2018-09-19 | Siemens Aktiengesellschaft | A method for execution of a machine learning model on memory restricted industrial device |
US10019668B1 (en) | 2017-05-19 | 2018-07-10 | Google Llc | Scheduling neural network processing |
Non-Patent Citations (3)
Title |
---|
Tianqi Chen, et al.,"TVM: An Automated End-to-End Optimizing Compiler for Deep Learning",arXiv:1802.04799v3,version v3,[online], arXiv (Cornell University),2018年10月05日,Pages 1-16,[令和4年4月10日検索], インターネット, <URL: https://arxiv.org/abs/1802.04799v3>. |
Zhi Qiao, et al.,"MR-Graph: a Customizable GPU MapReduce",Proceedings of 2015 IEEE 2nd International Conference on Cyber Security and Cloud Computing,2015年11月05日,Pages 417-422,ISBN: 978-1-4673-9300-3, <DOI: 10.1109/CSCloud.2015.49>. |
米尾 謙史(外2名),「Apache Sparkにおけるデータ依存グラフに基づくメモリ内キャッシュの指示および置換」,情報処理学会研究報告,日本,[online], 情報処理学会,2018年02月20日,Vol.2018-OS-142, No.15,第1~9頁,[平成30年2月20日検索],インターネット,<URL: http://id.nii.ac.jp/1001/00185940/>,ISSN: 2188-8795. |
Also Published As
Publication number | Publication date |
---|---|
JP2022130363A (ja) | 2022-09-06 |
TWI757153B (zh) | 2022-03-01 |
US11915139B2 (en) | 2024-02-27 |
BR112020024353B1 (pt) | 2023-11-07 |
KR102572757B1 (ko) | 2023-08-29 |
KR20210002676A (ko) | 2021-01-08 |
BR112020024353A2 (pt) | 2021-02-23 |
TW202134957A (zh) | 2021-09-16 |
US20220172060A1 (en) | 2022-06-02 |
TW202014939A (zh) | 2020-04-16 |
SG11202011588QA (en) | 2020-12-30 |
CA3101214A1 (en) | 2020-04-16 |
JP2021532437A (ja) | 2021-11-25 |
US20200117999A1 (en) | 2020-04-16 |
TWI728421B (zh) | 2021-05-21 |
CN112236784A (zh) | 2021-01-15 |
US11263529B2 (en) | 2022-03-01 |
WO2020076392A1 (en) | 2020-04-16 |
JP7430744B2 (ja) | 2024-02-13 |
EP3864582A1 (en) | 2021-08-18 |
KR20220153689A (ko) | 2022-11-18 |
CA3101214C (en) | 2023-09-26 |
KR102465896B1 (ko) | 2022-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7078758B2 (ja) | 機械学習モデルを改良して局所性を改善させること | |
US10915816B2 (en) | System and method of executing neural networks | |
KR101959376B1 (ko) | 멀티 코어 최적화된 순환 신경망을 위한 시스템 및 방법 | |
KR102175044B1 (ko) | 인공 신경망 역방향 트레이닝 실행용 장치와 방법 | |
CN106228238B (zh) | 现场可编程门阵列平台上加速深度学习算法的方法和系统 | |
US9910714B2 (en) | Scriptable dynamic load balancing in computer systems | |
CN112711478B (zh) | 基于神经网络的任务处理方法、装置、服务器和存储介质 | |
CN103870335B (zh) | 用于信号流编程的数字信号处理器代码的高效资源管理的系统和方法 | |
KR20220038148A (ko) | 공유 스크래치패드 메모리를 사용한 벡터 축소들 | |
KR20210148586A (ko) | 스케줄러, 스케줄러의 동작 방법 및 이를 포함한 가속기 시스템 | |
TWI782403B (zh) | 具有平行載入儲存之共享高速暫存記憶體 | |
CN116680063B (zh) | 任务调度方法、装置、计算系统、电子设备和存储介质 | |
EP4202774A1 (en) | Runtime predictors for neural network computation reduction | |
US20230004855A1 (en) | Co-operative and adaptive machine learning execution engines | |
KR20230095507A (ko) | 신경망 연산의 스케줄링 방법 및 장치 | |
KR20220049294A (ko) | 스케줄러, 스케줄러의 동작 방법 및 이를 포함한 전자 장치 | |
JP2023024960A (ja) | 効率的なニューラルネットワーク実行のためのメモリ使用の最適化 | |
CN116029890A (zh) | 一种神经网络增强的图形处理器流水线架构 | |
CN115469993A (zh) | 映射方法、映射装置、众核系统、计算机可读介质 | |
CN116484157A (zh) | 矩阵乘计算核选取方法和矩阵乘运算的确定方法 | |
CN113159272A (zh) | 一种用于处理神经网络的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7078758 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |