JP7501617B2 - グループ化畳み込み処理定義変更装置、グループ化畳み込み処理定義変更方法およびグループ化畳み込み処理定義変更プログラム - Google Patents
グループ化畳み込み処理定義変更装置、グループ化畳み込み処理定義変更方法およびグループ化畳み込み処理定義変更プログラム Download PDFInfo
- Publication number
- JP7501617B2 JP7501617B2 JP2022518508A JP2022518508A JP7501617B2 JP 7501617 B2 JP7501617 B2 JP 7501617B2 JP 2022518508 A JP2022518508 A JP 2022518508A JP 2022518508 A JP2022518508 A JP 2022518508A JP 7501617 B2 JP7501617 B2 JP 7501617B2
- Authority
- JP
- Japan
- Prior art keywords
- convolution
- divided
- processing definition
- weight matrix
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims description 86
- 238000012545 processing Methods 0.000 title claims description 76
- 238000000034 method Methods 0.000 title claims description 35
- 238000004364 calculation method Methods 0.000 claims description 106
- 238000013527 convolutional neural network Methods 0.000 claims description 63
- 239000011159 matrix material Substances 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 24
- 238000013473 artificial intelligence Methods 0.000 description 42
- 230000004048 modification Effects 0.000 description 37
- 238000012986 modification Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000011176 pooling Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Description
以下、上述した課題である、グループ化畳み込みの計算速度を高めることができる本発明の実施形態を図面を参照して説明する。図2は、本発明の実施形態のグループ化畳み込み処理定義変更装置の構成例を示すブロック図である。
以下、本実施形態のグループ化畳み込み処理定義変更装置100の動作を図5を参照して説明する。図5は、本実施形態のグループ化畳み込み処理定義変更装置100によるグループ化畳み込み処理定義変更処理の動作を示すフローチャートである。
本実施形態のグループ化畳み込み処理定義変更装置100は、定義変更部120および重み変更部130がグループ化畳み込みの処理をAIチップ400に適した処理に置き換えることによって、グループ化畳み込みの計算を高速化する。
12 主記憶部
13 通信部
14 補助記憶部
15 入力部
16 出力部
17 システムバス
20、100 グループ化畳み込み処理定義変更装置
21 変更手段
22 生成手段
110 取得部
120 定義変更部
130 重み変更部
140 格納部
200 変更前CNN モデル記憶部
300 変更後CNN モデル記憶部
400 AIチップ
Claims (9)
- 第1チャネル~第N チャネル(N は2以上の整数)が順に並べられて構成されている入力されたデータがチャネル方向にG (G は2以上の整数)個に分割され、分割された{(i -1)×N/G +1}チャネル~(i×N/G)チャネル(i=1~G)で構成されているデータに対して第i 重み行列が使用されて畳み込みの計算がi =1からi =G に渡ってそれぞれ実行されるグループ化畳み込みが定義された学習済みの畳み込みニューラルネットワークに関して、前記入力されたデータが分割される数をG からg (g は、G を除くG の約数)に変更する変更手段と、
前記分割される数が変更された後に分割された{(j -1)×N/g +1}チャネル~(j×N/g)チャネル(j=1~g)で構成されているデータの畳み込みの計算で使用される新たな第j 重み行列を、j =1からj =g に渡ってそれぞれ生成する生成手段とを備え、
前記生成手段は、
前記新たな第j 重み行列を、前記新たな第j 重み行列の左上から右下にかけて第{(j -1)×G/g +1}重み行列~第(j×G/g)重み行列を対角線上に順に配置し、重み行列が配置された箇所の成分以外の成分の値を全て0に設定することによって生成する
ことを特徴とするグループ化畳み込み処理定義変更装置。 - 変更手段は、入力されたデータが分割される数をG から1に変更する
請求項1記載のグループ化畳み込み処理定義変更装置。 - 変更手段は、学習済みの畳み込みニューラルネットワークを構成する複数の畳み込み層ごとに入力されたデータが分割される数をそれぞれ変更する
請求項1記載のグループ化畳み込み処理定義変更装置。 - コンピュータが、
第1チャネル~第N チャネル(N は2以上の整数)が順に並べられて構成されている入力されたデータがチャネル方向にG (G は2以上の整数)個に分割され、分割された{(i -1)×N/G +1}チャネル~(i×N/G)チャネル(i=1~G)で構成されているデータに対して第i 重み行列が使用されて畳み込みの計算がi =1からi =G に渡ってそれぞれ実行されるグループ化畳み込みが定義された学習済みの畳み込みニューラルネットワークに関して、前記入力されたデータが分割される数をG からg (g は、G を除くG の約数)に変更し、
前記分割される数が変更された後に分割された{(j -1)×N/g +1}チャネル~(j×N/g)チャネル(j=1~g)で構成されているデータの畳み込みの計算で使用される新たな第j 重み行列を、j =1からj =g に渡ってそれぞれ生成し、
前記新たな第j 重み行列を、前記新たな第j 重み行列の左上から右下にかけて第{(j -1)×G/g +1}重み行列~第(j×G/g)重み行列を対角線上に順に配置し、重み行列が配置された箇所の成分以外の成分の値を全て0に設定することによって生成する
ことを特徴とするグループ化畳み込み処理定義変更方法。 - コンピュータが、
入力されたデータが分割される数をG から1に変更する
請求項4記載のグループ化畳み込み処理定義変更方法。 - コンピュータが、
学習済みの畳み込みニューラルネットワークを構成する複数の畳み込み層ごとに入力されたデータが分割される数をそれぞれ変更する
請求項4記載のグループ化畳み込み処理定義変更方法。 - コンピュータに、
第1チャネル~第N チャネル(N は2以上の整数)が順に並べられて構成されている入力されたデータがチャネル方向にG (G は2以上の整数)個に分割され、分割された{(i -1)×N/G +1}チャネル~(i×N/G)チャネル(i=1~G)で構成されているデータに対して第i 重み行列が使用されて畳み込みの計算がi =1からi =G に渡ってそれぞれ実行されるグループ化畳み込みが定義された学習済みの畳み込みニューラルネットワークに関して、前記入力されたデータが分割される数をG からg (g は、G を除くG の約数)に変更する変更処理、および
前記分割される数が変更された後に分割された{(j -1)×N/g +1}チャネル~(j×N/g)チャネル(j=1~g)で構成されているデータの畳み込みの計算で使用される新たな第j 重み行列を、j =1からj =g に渡ってそれぞれ生成する生成処理を実行させるためのグループ化畳み込み処理定義変更プログラムであって、
前記生成処理で、
前記新たな第j 重み行列を、前記新たな第j 重み行列の左上から右下にかけて第{(j -1)×G/g +1}重み行列~第(j×G/g)重み行列を対角線上に順に配置し、重み行列が配置された箇所の成分以外の成分の値を全て0に設定することによって生成させる
グループ化畳み込み処理定義変更プログラム。 - コンピュータに、
前記変更処理で、入力されたデータが分割される数をG から1に変更させる
請求項7記載のグループ化畳み込み処理定義変更プログラム。 - コンピュータに、
前記変更処理で、学習済みの畳み込みニューラルネットワークを構成する複数の畳み込み層ごとに入力されたデータが分割される数をそれぞれ変更させる
請求項7記載のグループ化畳み込み処理定義変更プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/018168 WO2021220422A1 (ja) | 2020-04-28 | 2020-04-28 | グループ化畳み込み処理定義変更装置、グループ化畳み込み処理定義変更方法およびグループ化畳み込み処理定義変更プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021220422A1 JPWO2021220422A1 (ja) | 2021-11-04 |
JP7501617B2 true JP7501617B2 (ja) | 2024-06-18 |
Family
ID=78332318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022518508A Active JP7501617B2 (ja) | 2020-04-28 | 2020-04-28 | グループ化畳み込み処理定義変更装置、グループ化畳み込み処理定義変更方法およびグループ化畳み込み処理定義変更プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230237322A1 (ja) |
JP (1) | JP7501617B2 (ja) |
WO (1) | WO2021220422A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020044527A1 (ja) | 2018-08-31 | 2020-03-05 | 株式会社アラヤ | 情報処理装置 |
-
2020
- 2020-04-28 JP JP2022518508A patent/JP7501617B2/ja active Active
- 2020-04-28 US US17/918,945 patent/US20230237322A1/en active Pending
- 2020-04-28 WO PCT/JP2020/018168 patent/WO2021220422A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020044527A1 (ja) | 2018-08-31 | 2020-03-05 | 株式会社アラヤ | 情報処理装置 |
Non-Patent Citations (1)
Title |
---|
川田 暁 外3名,SPEX SkinScanによるサンスクリーン剤のUVA Protection Factorの検討,皮膚の科学,2004年,第3巻,第3号,pp.261-265 |
Also Published As
Publication number | Publication date |
---|---|
US20230237322A1 (en) | 2023-07-27 |
JPWO2021220422A1 (ja) | 2021-11-04 |
WO2021220422A1 (ja) | 2021-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3179415B1 (en) | Systems and methods for a multi-core optimized recurrent neural network | |
Lavin et al. | Fast algorithms for convolutional neural networks | |
JP6823495B2 (ja) | 情報処理装置および画像認識装置 | |
US20190095790A1 (en) | Method and apparatus for adapting parameters of neural network | |
KR20190066473A (ko) | 뉴럴 네트워크에서 컨볼루션 연산을 처리하는 방법 및 장치 | |
KR20180075368A (ko) | 인공 신경망 모델에서 메모리 효율성 및 학습 속도 향상을 위한 드롭아웃 방법과 이를 이용한 학습 방법 | |
US20230297819A1 (en) | Processor array for processing sparse binary neural networks | |
US11803360B2 (en) | Compilation method, apparatus, computing device and medium | |
US11954580B2 (en) | Spatial tiling of compute arrays with shared control | |
CN101980182A (zh) | 基于矩阵运算的并行计算方法 | |
JP7401513B2 (ja) | ハードウェアにおけるスパース行列乗算 | |
WO2019182059A1 (ja) | モデル生成装置、モデル生成方法及びプログラム | |
JP7501617B2 (ja) | グループ化畳み込み処理定義変更装置、グループ化畳み込み処理定義変更方法およびグループ化畳み込み処理定義変更プログラム | |
CN113536222A (zh) | 系统局部字段矩阵更新的方法、系统和存储介质 | |
JP7251354B2 (ja) | 情報処理装置、情報処理プログラム、及び情報処理方法 | |
JP2020080048A (ja) | 並列処理装置およびプログラム | |
KR20240017797A (ko) | 커널 확장 및 텐서 누적을 이용한 컨볼루션 | |
TW202244794A (zh) | 記憶體內計算巨集排列的方法、電腦可讀介質及電子裝置 | |
CN113892092B (zh) | 卷积模型硬件加速器的方法和系统 | |
US20210303987A1 (en) | Power reduction for machine learning accelerator background | |
CN114819051A (zh) | 用于执行神经网络计算的模拟电路的校准方法及装置 | |
GB2604924A (en) | Methods and systems for generating the gradients of a loss function with respectto the weights of a convolution layer | |
Rothmann et al. | STANN–Synthesis Templates for Artificial Neural Network Inference and Training | |
JP7540597B2 (ja) | ニューラルネットワークモデル変換装置および方法 | |
KR102690970B1 (ko) | 신경망 액티베이션의 채널별 크기를 감소시키고 채널의 총 개수를 증가시키는 액티베이션 변환방법, 및 이를 위한 하드웨어 가속장치와 컴퓨팅 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7501617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |