JP7047612B2 - ニューラルネットワーク軽量化装置、情報処理装置、ニューラルネットワーク軽量化方法およびプログラム - Google Patents
ニューラルネットワーク軽量化装置、情報処理装置、ニューラルネットワーク軽量化方法およびプログラム Download PDFInfo
- Publication number
- JP7047612B2 JP7047612B2 JP2018110198A JP2018110198A JP7047612B2 JP 7047612 B2 JP7047612 B2 JP 7047612B2 JP 2018110198 A JP2018110198 A JP 2018110198A JP 2018110198 A JP2018110198 A JP 2018110198A JP 7047612 B2 JP7047612 B2 JP 7047612B2
- Authority
- JP
- Japan
- Prior art keywords
- channel
- neural network
- layer
- channels
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Description
前記第1の学習器は、前記学習処理が行われている間に前記調整値を徐々に大きくする学習調整部を備えてもよい。
まず、本発明の実施形態の概要を説明する。近年、物体検知などの各種の分野においてニューラルネットワークが用いられている。しかし、ニューラルネットワークの高性能化を進めていくほど、ニューラルネットワークを構成するパラメータの数が大きくなってしまう傾向があり、パラメータの数が膨大となってしまと、ニューラルネットワークを用いた学習時および推論時に、メモリおよび演算装置に与える負荷が大きくなってしまう。そのため、ニューラルネットワークを軽量化する技術が研究されている。
続いて、本発明の実施形態の詳細について説明する。
続いて、本発明の実施形態に係るニューラルネットワーク軽量化装置10のハードウェア構成例について説明する。以下では、本発明の実施形態に係るニューラルネットワーク軽量化装置10のハードウェア構成例として、情報処理装置900のハードウェア構成例について説明する。なお、以下に説明する情報処理装置900のハードウェア構成例は、ニューラルネットワーク軽量化装置10のハードウェア構成の一例に過ぎない。したがって、ニューラルネットワーク軽量化装置10のハードウェア構成は、以下に説明する情報処理装置900のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
以上に説明したように、本発明の実施形態によれば、複数段の処理層それぞれが複数のチャネルによって接続されたニューラルネットワークの所定の処理層における少なくとも第1のチャネル数のチャネルそれぞれからの入力特徴量とパラメータとに基づいて、前記第1のチャネル数のチャネルそれぞれに対応する出力特徴量を算出するアテンション層と、前記入力特徴量に前記出力特徴量を乗算して得られた演算結果を、前記所定の処理層の次段の処理層に出力する演算部と、を有する、アテンションモジュールを備える、ニューラルネットワーク軽量化装置が提供される。
11 アテンション層
110 畳み込み層
112 活性化関数
114 畳み込み層
116 Softmax関数
118 乗算部
12 演算部
13 アテンションモジュール
14 チャネル選択部
15 削除部
16 第1の学習器
17 学習調整部
18 第2の学習器
20 ニューラルネットワーク
21 処理層
Claims (10)
- 複数段の処理層それぞれが複数のチャネルによって接続されたニューラルネットワークの所定の処理層における少なくとも第1のチャネル数のチャネルそれぞれからの入力特徴量とパラメータとに基づいて、前記第1のチャネル数のチャネルそれぞれに対応する出力特徴量を算出するアテンション層と、
前記入力特徴量に前記出力特徴量を乗算して得られた演算結果を、前記所定の処理層の次段の処理層に出力する演算部と、
を有する、アテンションモジュールと、
前記ニューラルネットワークに接続され、少なくとも前記所定の処理層及び次段の処理層の学習処理を停止させた状態で、誤差逆伝播法によって前記パラメータの学習処理を行う第1の学習器と、
前記学習処理が行われた後に前記アテンション層によって算出された前記出力特徴量と所定の閾値とが所定の関係を満たすチャネルを冗長チャネルとして選択するチャネル選択部と、
前記所定の処理層から前記冗長チャネルを削除することによって前記第1のチャネル数のチャネルを第2のチャネル数のチャネルに変更する削除部と、
前記ニューラルネットワークに接続され、前記冗長チャネルが削除された後に前記ニューラルネットワークの学習処理を行う第2の学習器と、
を備える、ニューラルネットワーク軽量化装置。 - 前記アテンション層は、前記入力特徴量と前記パラメータとに応じた特徴量と前記第1のチャネル数を所定の調整値で除した値との乗算結果を前記出力特徴量として算出し、
前記第1の学習器は、前記学習処理が行われている間に前記調整値を徐々に大きくする学習調整部を備える、
請求項1に記載のニューラルネットワーク軽量化装置。 - 前記学習調整部は、前記調整値をエポック単位またはイテレーション単位で大きくする、
請求項2に記載のニューラルネットワーク軽量化装置。 - 前記学習調整部は、前記第1のチャネル数が大きいほど前記調整値を大きくする、
請求項2に記載のニューラルネットワーク軽量化装置。 - 前記チャネル選択部は、前記出力特徴量が前記所定の閾値を下回るチャネルを前記冗長チャネルとして選択する、
請求項1に記載のニューラルネットワーク軽量化装置。 - 前記ニューラルネットワーク軽量化装置は、
前記複数の処理層それぞれに対応して、前記アテンションモジュール、前記チャネル選択部および前記削除部を有しており、
前記第2の学習器は、前記複数の処理層それぞれから前記冗長チャネルが削除された後に前記ニューラルネットワークの学習処理を行う、
請求項1に記載のニューラルネットワーク軽量化装置。 - 前記複数の処理層それぞれに対応する前記アテンションモジュールは、一部または全部が共通化されている、
請求項1に記載のニューラルネットワーク軽量化装置。 - 前記複数の処理層それぞれに対応する前記アテンションモジュールは、異なるモジュールである、
請求項1に記載のニューラルネットワーク軽量化装置。 - 複数段の処理層それぞれが複数のチャネルによって接続されたニューラルネットワークの所定の処理層における少なくとも第1のチャネル数のチャネルそれぞれからの入力特徴量とパラメータとに基づいて、前記第1のチャネル数のチャネルそれぞれに対応する出力特徴量を算出することと、
前記入力特徴量に前記出力特徴量を乗算して得られた演算結果を、前記所定の処理層の次段の処理層に出力することと、
前記ニューラルネットワークに接続され、少なくとも前記所定の処理層及び次段の処理層の学習処理を停止させた状態で、誤差逆伝播法によって前記パラメータの学習処理を行うことと、
前記学習処理が行われた後に算出された前記出力特徴量と所定の閾値とが所定の関係を満たすチャネルを冗長チャネルとして選択することと、
前記所定の処理層から前記冗長チャネルを削除することによって前記第1のチャネル数のチャネルを第2のチャネル数のチャネルに変更することと、
前記ニューラルネットワークに接続され、前記冗長チャネルが削除された後に前記ニューラルネットワークの学習処理を行うことと、
を含む、ニューラルネットワーク軽量化方法。 - コンピュータを、
複数段の処理層それぞれが複数のチャネルによって接続されたニューラルネットワークの所定の処理層における少なくとも第1のチャネル数のチャネルそれぞれからの入力特徴量とパラメータとに基づいて、前記第1のチャネル数のチャネルそれぞれに対応する出力特徴量を算出するアテンション層と、
前記入力特徴量に前記出力特徴量を乗算して得られた演算結果を、前記所定の処理層の次段の処理層に出力する演算部と、
を有する、アテンションモジュールと、
前記ニューラルネットワークに接続され、少なくとも前記所定の処理層及び次段の処理層の学習処理を停止させた状態で、誤差逆伝播法によって前記パラメータの学習処理を行う第1の学習器と、
前記学習処理が行われた後に前記アテンション層によって算出された前記出力特徴量と所定の閾値とが所定の関係を満たすチャネルを冗長チャネルとして選択するチャネル選択部と、
前記所定の処理層から前記冗長チャネルを削除することによって前記第1のチャネル数のチャネルを第2のチャネル数のチャネルに変更する削除部と、
前記ニューラルネットワークに接続され、前記冗長チャネルが削除された後に前記ニューラルネットワークの学習処理を行う第2の学習器と、
を備える、ニューラルネットワーク軽量化装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018110198A JP7047612B2 (ja) | 2018-06-08 | 2018-06-08 | ニューラルネットワーク軽量化装置、情報処理装置、ニューラルネットワーク軽量化方法およびプログラム |
US16/434,145 US11468331B2 (en) | 2018-06-08 | 2019-06-06 | Neural network load reduction device, information processing unit, and neural network load reduction method and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018110198A JP7047612B2 (ja) | 2018-06-08 | 2018-06-08 | ニューラルネットワーク軽量化装置、情報処理装置、ニューラルネットワーク軽量化方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019212206A JP2019212206A (ja) | 2019-12-12 |
JP7047612B2 true JP7047612B2 (ja) | 2022-04-05 |
Family
ID=68765113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018110198A Active JP7047612B2 (ja) | 2018-06-08 | 2018-06-08 | ニューラルネットワーク軽量化装置、情報処理装置、ニューラルネットワーク軽量化方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11468331B2 (ja) |
JP (1) | JP7047612B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200053886A (ko) | 2018-11-09 | 2020-05-19 | 삼성전자주식회사 | 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템 |
US11444845B1 (en) * | 2019-03-05 | 2022-09-13 | Amazon Technologies, Inc. | Processing requests using compressed and complete machine learning models |
JP7353772B2 (ja) * | 2019-03-07 | 2023-10-02 | キヤノン株式会社 | データ処理装置及びその方法、プログラム |
US11410016B2 (en) * | 2019-04-26 | 2022-08-09 | Alibaba Group Holding Limited | Selective performance of deterministic computations for neural networks |
JP6787444B1 (ja) | 2019-05-23 | 2020-11-18 | 沖電気工業株式会社 | ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム |
JP6856112B1 (ja) * | 2019-12-25 | 2021-04-07 | 沖電気工業株式会社 | ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム |
JP7189865B2 (ja) * | 2019-12-27 | 2022-12-14 | Kddi株式会社 | モデル圧縮装置及びプログラム |
JP7242590B2 (ja) * | 2020-02-05 | 2023-03-20 | 株式会社東芝 | 機械学習モデル圧縮システム、プルーニング方法及びプログラム |
CN111414992A (zh) * | 2020-02-24 | 2020-07-14 | 北京爱芯科技有限公司 | 使用卷积神经网络对图像进行卷积计算的方法和装置 |
CN113408561B (zh) * | 2020-03-17 | 2024-06-18 | 北京京东乾石科技有限公司 | 模型生成方法、目标检测方法、装置、设备及存储介质 |
JP2022017847A (ja) | 2020-07-14 | 2022-01-26 | 富士通株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
JP7427200B2 (ja) * | 2020-11-02 | 2024-02-05 | 本田技研工業株式会社 | ノード枝刈り装置、ノード枝刈り方法、およびプログラム |
JP7501315B2 (ja) | 2020-11-06 | 2024-06-18 | 富士通株式会社 | 演算処理プログラム、演算処理方法および情報処理装置 |
CN112418405B (zh) * | 2020-12-03 | 2022-08-19 | 厦门市美亚柏科信息股份有限公司 | 模型压缩方法和装置 |
US20220187819A1 (en) * | 2020-12-10 | 2022-06-16 | Hitachi, Ltd. | Method for event-based failure prediction and remaining useful life estimation |
CN112733652B (zh) * | 2020-12-31 | 2024-04-19 | 深圳赛安特技术服务有限公司 | 图像目标识别方法、装置、计算机设备及可读存储介质 |
WO2022217419A1 (zh) * | 2021-04-12 | 2022-10-20 | 深圳元戎启行科技有限公司 | 神经网络模型推理方法、装置、计算机设备和存储介质 |
-
2018
- 2018-06-08 JP JP2018110198A patent/JP7047612B2/ja active Active
-
2019
- 2019-06-06 US US16/434,145 patent/US11468331B2/en active Active
Non-Patent Citations (1)
Title |
---|
LUO, Jian-Hao, WU, Jianxin,AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference,[online],arXiv,2018年05月24日,[検索日 2022.01.11] インターネット:<URL:https://arxiv.org/abs/1805.08941v2> |
Also Published As
Publication number | Publication date |
---|---|
US20190378014A1 (en) | 2019-12-12 |
US11468331B2 (en) | 2022-10-11 |
JP2019212206A (ja) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7047612B2 (ja) | ニューラルネットワーク軽量化装置、情報処理装置、ニューラルネットワーク軽量化方法およびプログラム | |
JP7273489B2 (ja) | 神経網及びそのウェートをプルーニングする方法 | |
US10460230B2 (en) | Reducing computations in a neural network | |
CN113905391B (zh) | 集成学习网络流量预测方法、系统、设备、终端、介质 | |
JP6787444B1 (ja) | ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム | |
US11704570B2 (en) | Learning device, learning system, and learning method | |
US11475099B2 (en) | Optimization apparatus and method for controlling thereof | |
KR20190117713A (ko) | 신경망 아키텍처 최적화 | |
Huang et al. | Deep neural networks compression learning based on multiobjective evolutionary algorithms | |
US20220092408A1 (en) | Neural network weight distribution using a tree direct-memory access (dma) bus | |
CN108805268A (zh) | 基于进化算法的深度强化学习策略网络训练方法 | |
WO2021042857A1 (zh) | 图像分割模型的处理方法和处理装置 | |
JP6856112B1 (ja) | ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム | |
US20220366257A1 (en) | Small and Fast Video Processing Networks via Neural Architecture Search | |
WO2010048758A1 (en) | Classification of a document according to a weighted search tree created by genetic algorithms | |
JP7287388B2 (ja) | 情報処理装置および情報処理方法 | |
Oh et al. | Genetically optimized fuzzy polynomial neural networks with fuzzy set-based polynomial neurons | |
CN112131089B (zh) | 软件缺陷预测的方法、分类器、计算机设备及存储介质 | |
CN112836794A (zh) | 一种图像神经架构的确定方法、装置、设备及存储介质 | |
JP7081708B1 (ja) | ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム | |
CN112561050A (zh) | 一种神经网络模型训练方法及装置 | |
JP6992864B1 (ja) | ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム | |
JP7454888B1 (ja) | ハードウェア特性を利用してニューラルネットワークモデルを軽量化する方法及び装置 | |
JP7092228B1 (ja) | 学習装置、学習方法およびプログラム | |
JP6801751B1 (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7047612 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |