JP7179850B2 - 畳み込みニューラル・ネットワークの完全なカーネルを近似するためのスパース・カーネルの融合 - Google Patents
畳み込みニューラル・ネットワークの完全なカーネルを近似するためのスパース・カーネルの融合 Download PDFInfo
- Publication number
- JP7179850B2 JP7179850B2 JP2020530640A JP2020530640A JP7179850B2 JP 7179850 B2 JP7179850 B2 JP 7179850B2 JP 2020530640 A JP2020530640 A JP 2020530640A JP 2020530640 A JP2020530640 A JP 2020530640A JP 7179850 B2 JP7179850 B2 JP 7179850B2
- Authority
- JP
- Japan
- Prior art keywords
- kernel
- pattern
- sparse
- kernels
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
- G06F18/21345—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis enforcing sparsity or involving a domain transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Description
Claims (13)
- 畳み込みニューラル・ネットワークためのシステムであって、前記システムが、
コンピュータ実行可能コンポーネントを格納するメモリと、
前記メモリに格納されたコンピュータ実行可能コンポーネントを実行するプロセッサとを備えており、前記コンピュータ実行可能コンポーネントが、
スパース・カーネルの第1のパターンおよび補完カーネルの第2のパターンを決定するパターン・コンポーネントであって、前記第1のパターンが、前記スパース・カーネルの第1のサンプル行列内の有効なサンプルの位置を表し、前記第2のパターンが、前記第1のパターンを補完する前記補完カーネルの第2のサンプル行列内の有効なサンプルの位置を表す、前記パターン・コンポーネントと、
融合方法に従って結合された前記スパース・カーネルの特徴および前記補完カーネルの特徴の結合に基づいて、畳み込みニューラル・ネットワークの完全なカーネルの近似を表す融合されたカーネルを生成する融合コンポーネントと、
前記融合されたカーネルをトレーニングするトレーニング・コンポーネントとを備えている、システム。 - 前記融合方法が、前記第1のパターンのスキップされるサンプルを前記第2のパターンの有効なサンプルに置き換える空間結合演算を使用して、前記スパース・カーネルの前記特徴および前記補完カーネルの前記特徴を結合する、請求項1に記載のシステム。
- 前記融合方法が、演算子に従って、前記スパース・カーネルおよび前記補完カーネルのペアワイズ連結に基づいて、前記スパース・カーネルおよび前記補完カーネルを結合する、請求項1に記載のシステム。
- 前記演算子が加算演算子である、請求項3に記載のシステム。
- 前記演算子が逆演算子である、請求項3に記載のシステム。
- 前記融合方法が、チャネルの次元における1×1チャネル行列の適用に基づいて、前記スパース・カーネル、前記補完カーネル、および前記融合されたカーネルの特徴を結合することを含むチャネルワイズ融合手順を含んでいる、請求項1ないし5のいずれかに記載のシステム。
- 前記補完カーネルが、前記第1のサンプル行列内の少なくとも1つのスキップされるサンプルの位置に対応する前記第2のサンプル行列内の位置で少なくとも1つの有効なサンプルを含んでいる、請求項1ないし6のいずれかに記載のシステム。
- 前記補完カーネルが、前記第1のサンプル行列内のスキップされるサンプルを含んでいる位置に対応する前記第2のサンプル行列内のすべての位置で有効なサンプルを含んでいる、請求項1ないし7のいずれかに記載のシステム。
- トレーニング済みの畳み込みニューラル・ネットワークの元の学習された完全なカーネルに割り当てられたパラメータ加重の調査に基づいて、前記パターン・コンポーネントが前記第1のパターンを決定する、請求項1ないし8のいずれかに記載のシステム。
- 前記スパース・カーネルの前記第1のサンプル行列が3×3行列であり、前記第1のパターンが「+」形状を有しており、前記補完カーネルの前記第2のサンプル行列が3×3行列であり、前記第2のパターンが「x」形状を有している、請求項1ないし9のいずれかに記載のシステム。
- 複数の種類の前記スパース・カーネル、複数の種類の前記補完カーネル、複数のスパース・カーネル、複数の補完カーネル、ペアワイズ・カーネル融合の演算子、またはチャネルワイズ融合が使用されるべきかどうかを示すインジケータのうちの少なくとも1つを含んでいる構成データを受信する受信コンポーネントをさらに備えている、請求項1ないし10のいずれかに記載のシステム。
- 畳み込みニューラル・ネットワークのためのコンピュータ実装方法であって、前記方法が、
プロセッサに動作可能なように結合されたデバイスによって、スパース・カーネルの第1のパターンおよび補完カーネルの第2のパターンを決定することであって、前記第1のパターンが、前記スパース・カーネルの第1のサンプル行列内の有効なサンプルの位置を表し、前記第2のパターンが、前記第1のパターンを補完する前記補完カーネルの第2のサンプル行列内の有効なサンプルの位置を表す、前記決定することと、
融合方法に従って結合された前記スパース・カーネルの特徴および前記補完カーネルの特徴の結合に応答して、前記デバイスによって、畳み込みニューラル・ネットワークの完全なカーネルの近似を表す融合されたカーネルを生成することと、
前記デバイスによって、前記融合されたカーネルをトレーニングすることとを含んでいる、コンピュータ実装方法。 - 畳み込みニューラル・ネットワークのためのコンピュータ・プログラムであって、コンピュータに、
スパース・カーネルの第1のパターンおよび補完カーネルの第2のパターンを決定することであって、前記第1のパターンが、前記スパース・カーネルの第1のサンプル行列内の有効なサンプルの位置を表し、前記第2のパターンが、前記第1のパターンを補完する前記補完カーネルの第2のサンプル行列内の有効なサンプルの位置を表す、前記決定することと、
融合方法に従って結合された前記スパース・カーネルの特徴および前記補完カーネルの特徴の結合に応答して、畳み込みニューラル・ネットワークの完全なカーネルの近似を表す融合されたカーネルを生成することと、
前記融合されたカーネルをトレーニングすることとを実行させるためのコンピュータ・プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/841,480 US10740659B2 (en) | 2017-12-14 | 2017-12-14 | Fusing sparse kernels to approximate a full kernel of a convolutional neural network |
US15/841,480 | 2017-12-14 | ||
PCT/IB2018/059993 WO2019116291A1 (en) | 2017-12-14 | 2018-12-13 | Fusing sparse kernels to approximate a full kernel of a convolutional neural network |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021507345A JP2021507345A (ja) | 2021-02-22 |
JP2021507345A5 JP2021507345A5 (ja) | 2021-07-26 |
JP7179850B2 true JP7179850B2 (ja) | 2022-11-29 |
Family
ID=66814568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020530640A Active JP7179850B2 (ja) | 2017-12-14 | 2018-12-13 | 畳み込みニューラル・ネットワークの完全なカーネルを近似するためのスパース・カーネルの融合 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10740659B2 (ja) |
JP (1) | JP7179850B2 (ja) |
CN (1) | CN111344720A (ja) |
DE (1) | DE112018006377T5 (ja) |
GB (1) | GB2583623A (ja) |
WO (1) | WO2019116291A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102548718B1 (ko) * | 2017-06-07 | 2023-06-28 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US11144290B2 (en) | 2019-09-13 | 2021-10-12 | Huawei Technologies Co., Ltd. | Method and apparatus for enabling autonomous acceleration of dataflow AI applications |
US20210256385A1 (en) * | 2020-02-14 | 2021-08-19 | Northeastern University | Computer-implemented methods and systems for dnn weight pruning for real-time execution on mobile devices |
US11494875B2 (en) | 2020-03-25 | 2022-11-08 | Nintendo Co., Ltd. | Systems and methods for machine learned image conversion |
US11379951B2 (en) | 2020-03-25 | 2022-07-05 | Nintendo Co., Ltd. | Systems and methods for machine learned image conversion |
CN113344199B (zh) * | 2021-06-17 | 2024-05-03 | 阿波罗智联(北京)科技有限公司 | 用于训练可分离卷积网络的方法、路侧设备及云控平台 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014535118A (ja) | 2011-11-09 | 2014-12-25 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置:ニューラル構成要素メモリ転送 |
WO2016197026A1 (en) | 2015-06-05 | 2016-12-08 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
US20170103308A1 (en) | 2015-10-08 | 2017-04-13 | International Business Machines Corporation | Acceleration of convolutional neural network training using stochastic perforation |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077612B (zh) * | 2014-07-15 | 2017-09-22 | 中国科学院合肥物质科学研究院 | 一种基于多特征稀疏表示技术的害虫图像识别方法 |
US9652817B2 (en) | 2015-03-12 | 2017-05-16 | Samsung Electronics Co., Ltd. | Automated compute kernel fusion, resizing, and interleave |
CN105046193B (zh) * | 2015-06-05 | 2018-07-10 | 上海大学 | 一种基于融合稀疏表示矩阵的人体动作识别方法 |
US9972063B2 (en) | 2015-07-30 | 2018-05-15 | International Business Machines Corporation | Pipelined approach to fused kernels for optimization of machine learning workloads on graphical processing units |
US9904874B2 (en) | 2015-11-05 | 2018-02-27 | Microsoft Technology Licensing, Llc | Hardware-efficient deep convolutional neural networks |
CN108701210B (zh) | 2016-02-02 | 2021-08-17 | 北京市商汤科技开发有限公司 | 用于cnn网络适配和对象在线追踪的方法和系统 |
US10181188B2 (en) * | 2016-02-19 | 2019-01-15 | International Business Machines Corporation | Structure-preserving composite model for skin lesion segmentation |
US10885437B2 (en) | 2016-05-18 | 2021-01-05 | Nec Corporation | Security system using a convolutional neural network with pruned filters |
CN107330463B (zh) | 2017-06-29 | 2020-12-08 | 南京信息工程大学 | 基于cnn多特征联合和多核稀疏表示的车型识别方法 |
-
2017
- 2017-12-14 US US15/841,480 patent/US10740659B2/en not_active Expired - Fee Related
-
2018
- 2018-12-13 WO PCT/IB2018/059993 patent/WO2019116291A1/en active Application Filing
- 2018-12-13 DE DE112018006377.1T patent/DE112018006377T5/de active Pending
- 2018-12-13 GB GB2010475.8A patent/GB2583623A/en not_active Withdrawn
- 2018-12-13 CN CN201880072812.3A patent/CN111344720A/zh active Pending
- 2018-12-13 JP JP2020530640A patent/JP7179850B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014535118A (ja) | 2011-11-09 | 2014-12-25 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 無監督ニューラルリプレイ、学習改善、関連付け、およびメモリ転送のための方法および装置:ニューラル構成要素メモリ転送 |
WO2016197026A1 (en) | 2015-06-05 | 2016-12-08 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
US20170103308A1 (en) | 2015-10-08 | 2017-04-13 | International Business Machines Corporation | Acceleration of convolutional neural network training using stochastic perforation |
Also Published As
Publication number | Publication date |
---|---|
CN111344720A (zh) | 2020-06-26 |
US20190188526A1 (en) | 2019-06-20 |
DE112018006377T5 (de) | 2020-08-20 |
GB2583623A (en) | 2020-11-04 |
WO2019116291A1 (en) | 2019-06-20 |
GB202010475D0 (en) | 2020-08-19 |
US10740659B2 (en) | 2020-08-11 |
JP2021507345A (ja) | 2021-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7179850B2 (ja) | 畳み込みニューラル・ネットワークの完全なカーネルを近似するためのスパース・カーネルの融合 | |
CN110506260B (zh) | 用于神经网络环境中的增强数据处理的方法、系统和介质 | |
Li et al. | Cross-modal weighting network for RGB-D salient object detection | |
CN108229655B (zh) | 卷积神经网络(cnn)处理方法和设备 | |
US11836610B2 (en) | Concurrent training of functional subnetworks of a neural network | |
WO2020113355A1 (en) | A content adaptive attention model for neural network-based image and video encoders | |
JP7537709B2 (ja) | トレーニングされた機械学習モデルへの敵対的ロバスト性の追加 | |
JP7451614B2 (ja) | オンチップの計算ネットワーク | |
US20200151573A1 (en) | Dynamic precision scaling at epoch granularity in neural networks | |
JP7513358B2 (ja) | 機械学習モデルを堅牢化するための学習入力のプリプロセッシング | |
JP7110357B2 (ja) | 量子コンピューティング・デバイス設計 | |
JP7372011B2 (ja) | 深層学習の大規模なモデル・サポート | |
WO2021218037A1 (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
Eldesokey et al. | Normalized convolution upsampling for refined optical flow estimation | |
CN115145391A (zh) | 一种基于ai深度学习的虚拟现实跑步机自适应方法及系统 | |
US20190114542A1 (en) | Electronic apparatus and control method thereof | |
Wang et al. | A multi-scale attentive recurrent network for image dehazing | |
US11556816B2 (en) | Conditional parallel coordinates in automated artificial intelligence with constraints | |
US10671891B2 (en) | Reducing computational costs of deep reinforcement learning by gated convolutional neural network | |
US20220391572A1 (en) | Visualization scheme of noise in a quantum circuit | |
US20220036245A1 (en) | EXTRACTING SEQUENCES FROM d-DIMENSIONAL INPUT DATA FOR SEQUENTIAL PROCESSING WITH NEURAL NETWORKS | |
US20190361920A1 (en) | Representing search results via a three-dimensional matrix | |
JP2022520912A (ja) | データ処理方法、装置及びチップ、電子機器、記憶媒体 | |
US11989897B2 (en) | Depth map generation from sparse depth samples in an augmented reality environment | |
US20240193464A1 (en) | Network-lightweight model for multi deep-learning tasks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210518 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210525 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220502 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7179850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |