JP7099968B2 - 演算装置 - Google Patents
演算装置 Download PDFInfo
- Publication number
- JP7099968B2 JP7099968B2 JP2019016217A JP2019016217A JP7099968B2 JP 7099968 B2 JP7099968 B2 JP 7099968B2 JP 2019016217 A JP2019016217 A JP 2019016217A JP 2019016217 A JP2019016217 A JP 2019016217A JP 7099968 B2 JP7099968 B2 JP 7099968B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- reduction
- contraction
- neural network
- dnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Description
まず、スケジューラ80は、縮約前のDNN100をネットワーク解析部20へ入力する。スケジューラ80は、データセット200から適用先アプリケーションに応じたデータをネットワーク解析部20へ入力して、DNN100の特徴量を算出させる。
まず、ネットワーク解析部20は、縮約による認識精度への感度を解析し、縮約前のDNN100のニューラルネットワーク毎に特徴量を算出する。ネットワーク解析部20は、縮約済みのDNN300の適用先のアプリケーションに応じた複数のデータをデータセット200から読み込んで、縮約前のDNN100へ順次入力し、DNN100のニューラルネットワーク毎に発火状態を推定(数値化)して特徴量とする。
以上のように、上記実施例1~4のDNN縮約自動化装置1は、以下のような構成とすることができる。
4 データセンタ
5 インターコネクト
10 メモリ
20 ネットワーク解析部
30 縮約部
40 再学習部
50 最適化エンジン部
60 縮約率補正部
70 精度判定部
80 スケジューラ
90 ストレージ
100、300 DNN
200 データセット200
Claims (8)
- 入力データと、重み係数を用いて演算を行うニューラルネットワークを有する演算装置であって、
前記入力データによる前記ニューラルネットワークのニューロンの発火状態を算出するネットワーク解析部と、
前記ニューロンの発火状態に基づいて、前記ニューラルネットワークの縮約率が設定された複数の縮約パターンから縮約パターンの候補を絞り込み、前記絞り込んだ縮約パターンの候補に基づいて前記ニューラルネットワークの縮約を実行して縮約後のニューラルネットワークを生成する縮約部と、
前記縮約部で生成された前記縮約後のニューラルネットワークに推論を実行して推論誤差を算出し、前記複数の縮約パターンの中から前記推論誤差に基づいて縮約パターンを抽出する最適化エンジン部と、
を有し、
前記最適化エンジン部は、
前記推論誤差が最小となる縮約パターンを抽出することを特徴とする演算装置。 - 請求項1に記載の演算装置であって、
前記縮約部で生成された前記縮約後のニューラルネットワークに対して、前記入力データによって再度学習を実施する再学習部を、さらに有することを特徴とする演算装置。 - 請求項1に記載の演算装置であって、
前記縮約部で生成された前記縮約後のニューラルネットワークに対して、前記入力データによって再度学習を実施する再学習部を、さらに有し、
前記ネットワーク解析部と、前記縮約部および前記最適化エンジン部ならびに前記再学習部の演算途中における中間データを一時的に格納するメモリと、
前記ネットワーク解析部と、前記縮約部と、前記再学習部と、前記最適化エンジン部および前記メモリをスレーブとし、前記スレーブを制御するマスタとしてのスケジューラと、
前記マスタと前記スレーブを接続するインターコネクトと、をさらに有することを特徴とする演算装置。 - 請求項1に記載の演算装置であって、
前記ネットワーク解析部は、
前記ニューラルネットワークと、前記縮約後のニューラルネットワークの適用先に応じた入力データとして受け付け、前記ニューラルネットワークの各ニューロンの発火状態を推定して数値化した特徴量を算出し、当該特徴量を前記適用先に特有の特徴を包含した解析結果として出力することを特徴とする演算装置。 - 請求項4に記載の演算装置であって、
前記縮約部は、
前記ネットワーク解析部の解析結果を受け付け、前記解析結果において数値化された特徴量に基づいてニューラルネットワークの縮約を実行し、前記縮約後のニューラルネットワークおよび前記重み係数の最適解候補を複数出力することを特徴とする演算装置。 - 請求項1に記載の演算装置であって、
前記縮約部は、
縮約手法が異なる複数の縮約実行部を有し、前記ニューラルネットワークの適用先に応じて前記縮約実行部を切り替えることを特徴とする演算装置。 - 請求項5に記載の演算装置であって、
前記縮約部が出力する縮約後のニューラルネットワークに対して、前記入力データによって再度学習を実施する再学習部を、さらに有し、
前記再学習部は、
前記ニューラルネットワークおよび前記重み係数の最適解候補を入力として受け付け、前記ニューラルネットワークおよび前記重み係数を初期値として、再び学習を行うことで、再学習済みのニューラルネットワーク及び再学習済みの重み係数を出力することを特徴とする演算装置。 - 請求項7に記載の演算装置であって、
前記縮約部で縮約を実行した縮約後のニューラルネットワークに推論を実行して推論誤差を算出し、前記複数の縮約パターンの中から前記推論誤差に基づいて縮約パターンを抽出する最適化エンジン部を、さらに有し、
前記最適化エンジン部は、
複数の前記ニューラルネットワークおよび前記再学習済みの重み係数を入力として受け付けて、予め設定された確率論的探索を用いて、前記縮約パターンを算出することを特徴とする演算装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019016217A JP7099968B2 (ja) | 2019-01-31 | 2019-01-31 | 演算装置 |
CN201980088624.4A CN113366509A (zh) | 2019-01-31 | 2019-10-11 | 运算装置 |
US17/420,823 US20220092395A1 (en) | 2019-01-31 | 2019-10-11 | Computing device |
PCT/JP2019/040272 WO2020158058A1 (ja) | 2019-01-31 | 2019-10-11 | 演算装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019016217A JP7099968B2 (ja) | 2019-01-31 | 2019-01-31 | 演算装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020123269A JP2020123269A (ja) | 2020-08-13 |
JP7099968B2 true JP7099968B2 (ja) | 2022-07-12 |
Family
ID=71840539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019016217A Active JP7099968B2 (ja) | 2019-01-31 | 2019-01-31 | 演算装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220092395A1 (ja) |
JP (1) | JP7099968B2 (ja) |
CN (1) | CN113366509A (ja) |
WO (1) | WO2020158058A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220046324A (ko) * | 2020-10-07 | 2022-04-14 | 삼성전자주식회사 | 인공 신경망을 이용한 추론을 위한 트레이닝 방법, 인공 신경망을 이용한 추론 방법, 및 추론 장치 |
JP2022077466A (ja) * | 2020-11-11 | 2022-05-23 | 日立Astemo株式会社 | 情報処理装置およびニューラルネットワーク縮約方法 |
DE112021004853T5 (de) * | 2020-11-16 | 2023-07-13 | Hitachi Astemo, Ltd. | Dnn-kontraktionsvorrichtung und bordrechenvorrichtung |
JP2023063944A (ja) | 2021-10-25 | 2023-05-10 | 富士通株式会社 | 機械学習プログラム、機械学習方法、及び、情報処理装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005346472A (ja) | 2004-06-03 | 2005-12-15 | Canon Inc | 情報処理方法、情報処理装置、撮像装置 |
JP2019159693A (ja) | 2018-03-12 | 2019-09-19 | Kddi株式会社 | 情報処理装置、情報処理端末、及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2877413B2 (ja) * | 1990-02-06 | 1999-03-31 | 富士通株式会社 | 余剰ニューロン決定処理方式 |
US8700552B2 (en) * | 2011-11-28 | 2014-04-15 | Microsoft Corporation | Exploiting sparseness in training deep neural networks |
CN106503654A (zh) * | 2016-10-24 | 2017-03-15 | 中国地质大学(武汉) | 一种基于深度稀疏自编码网络的人脸情感识别方法 |
CN111860826A (zh) * | 2016-11-17 | 2020-10-30 | 北京图森智途科技有限公司 | 一种低计算能力处理设备的图像数据处理方法及装置 |
EP3340129B1 (en) * | 2016-12-21 | 2019-01-30 | Axis AB | Artificial neural network class-based pruning |
CN108154232A (zh) * | 2018-01-23 | 2018-06-12 | 厦门中控智慧信息技术有限公司 | 人工神经网络的剪枝方法、装置、设备及可读存储介质 |
-
2019
- 2019-01-31 JP JP2019016217A patent/JP7099968B2/ja active Active
- 2019-10-11 WO PCT/JP2019/040272 patent/WO2020158058A1/ja active Application Filing
- 2019-10-11 CN CN201980088624.4A patent/CN113366509A/zh active Pending
- 2019-10-11 US US17/420,823 patent/US20220092395A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005346472A (ja) | 2004-06-03 | 2005-12-15 | Canon Inc | 情報処理方法、情報処理装置、撮像装置 |
US20070244842A1 (en) | 2004-06-03 | 2007-10-18 | Mie Ishii | Information Processing Method and Apparatus, and Image Pickup Device |
JP2019159693A (ja) | 2018-03-12 | 2019-09-19 | Kddi株式会社 | 情報処理装置、情報処理端末、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN113366509A (zh) | 2021-09-07 |
US20220092395A1 (en) | 2022-03-24 |
WO2020158058A1 (ja) | 2020-08-06 |
JP2020123269A (ja) | 2020-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7099968B2 (ja) | 演算装置 | |
US11661068B2 (en) | Vehicle system for recognizing objects | |
KR102582194B1 (ko) | 선택적 역전파 | |
KR102570706B1 (ko) | 분류를 위한 강제된 희소성 | |
CN112771543A (zh) | 通过包括实现成本作为目标来训练神经网络 | |
KR20170140214A (ko) | 신경망을 위한 훈련 기준으로서의 필터 특이성 | |
WO2018084948A1 (en) | Enhanced siamese trackers | |
CN111670415A (zh) | 用于控制系统的预测控制器、车辆及方法 | |
JP7366274B2 (ja) | ニューラル・ネットワークのための適応的探索方法および装置 | |
KR101876051B1 (ko) | 기계 학습 시스템 및 그의 사용자 제어 패턴 학습 방법 | |
US20100082126A1 (en) | Control device, control program, and control method | |
JP7091209B2 (ja) | 情報処理方法及び情報処理システム | |
US20210357782A1 (en) | Methods and systems for support policy learning | |
US20220156508A1 (en) | Method For Automatically Designing Efficient Hardware-Aware Neural Networks For Visual Recognition Using Knowledge Distillation | |
CN114162146B (zh) | 行驶策略模型训练方法以及自动驾驶的控制方法 | |
JP7059214B2 (ja) | 演算装置 | |
US20210319272A1 (en) | Meta-learning neural architecture search via graph networks on search space lattices | |
CN110674920A (zh) | 用于二元神经网络的概率性训练 | |
US10902312B2 (en) | Tracking axes during model conversion | |
KR20220081782A (ko) | 뉴럴 네트워크를 이용하는 데이터 처리 방법, 데이터 처리 장치 및 이를 포함한 전자 장치 | |
US11967141B2 (en) | Neural architecture search for fusing multiple networks into one | |
US20220413496A1 (en) | Predictive Modeling of Aircraft Dynamics | |
US20220284271A1 (en) | Sparsity-based neural network mapping to computing units in a system-on-chip | |
CN112541568A (zh) | 用于运行人工神经网络的方法、设备和计算机程序 | |
JP6990636B2 (ja) | 情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7099968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |