JP7041244B1 - 表現的ボトルネック現象が最小化された人工ニューラルネットワークに基づく電子装置およびその動作方法 - Google Patents
表現的ボトルネック現象が最小化された人工ニューラルネットワークに基づく電子装置およびその動作方法 Download PDFInfo
- Publication number
- JP7041244B1 JP7041244B1 JP2020219478A JP2020219478A JP7041244B1 JP 7041244 B1 JP7041244 B1 JP 7041244B1 JP 2020219478 A JP2020219478 A JP 2020219478A JP 2020219478 A JP2020219478 A JP 2020219478A JP 7041244 B1 JP7041244 B1 JP 7041244B1
- Authority
- JP
- Japan
- Prior art keywords
- artificial neural
- neural network
- rank
- layers
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- 230000004913 activation Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 21
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
102、104:外部装置
110:カメラモジュール
120:連結端子
130:通信モジュール
140:入力モジュール
150:表示モジュール
160:オーディオモジュール
170:メモリ
180:プロセッサ
190:ネットワーク
Claims (20)
- 電子装置の動作方法であって、
入力されるデータを検出する段階、および
複数の中間層を有する人工ニューラルネットワークに基づき、前記データを処理する段階を含み、
前記人工ニューラルネットワークは、
前記中間層での表現的ボトルネック現象が最小化されるように、前記中間層のそれぞれの加重値マトリックスに対するランクが拡張されるように設計される、
動作方法。 - 前記人工ニューラルネットワークは、
前記中間層の前記ランクを拡張させるために、前記中間層のそれぞれに対して入力チャネルサイズが増加されるように設計される、
請求項1に記載の動作方法。 - 前記人工ニューラルネットワークは、
前記中間層の前記ランクを拡張させるために、非線形活性化関数を利用するように設計される、
請求項1に記載の動作方法。 - 前記人工ニューラルネットワークは、
前記中間層の前記ランクを拡張させるために、前記中間層の間で拡張層の個数が増加されるように設計される、
請求項1に記載の動作方法。 - 前記入力チャネルサイズは、
インプットディメンションに対するアウトプットディメンションの割合を示す、
請求項2に記載の動作方法。 - 前記拡張層のそれぞれは、出力側層のディメンションが入力側層のディメンションよりも大きいときの前記出力側層であり、
前記入力側層は、前記中間層のうちのいずれか1つであり、前記出力側層は、前記中間層のうちの他の1つであって、前記入力側層に隣接するものである、
請求項4に記載の動作方法。 - 前記ランクは、
前記入力チャネルサイズが増加されることにより、線形的に拡張される、
請求項2に記載の動作方法。 - 前記ランクは、
前記拡張層の個数が増加されることにより、線形的に拡張される、
請求項4に記載の動作方法。 - 前記拡張層の個数は、
2と前記中間層の個数よりも1だけ少ない数との間のある1つの値である、
請求項4に記載の動作方法。 - 請求項1~9のうちのいずれか一項に記載の動作方法を前記電子装置に実行させる、コンピュータプログラム。
- 請求項1~9のうちのいずれか一項に記載の動作方法を前記電子装置に実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。
- 電子装置であって、
メモリ、および
前記メモリと連結し、前記メモリに記録された少なくとも1つの命令を実行するように構成された、プロセッサを含み、
前記プロセッサは、
複数の中間層を有する人工ニューラルネットワークに基づき、入力されるデータを処理するように構成され、
前記人工ニューラルネットワークは、
前記中間層での表現的ボトルネック現象が最小化されるように、前記中間層の加重値マトリックスに対するランクが拡張されるように設計される、
電子装置。 - 前記人工ニューラルネットワークは、
前記中間層の前記ランクを拡張させるために、前記中間層のそれぞれに対して入力チャネルサイズが増加されるように設計される、
請求項12に記載の電子装置。 - 前記人工ニューラルネットワークは、
前記中間層の前記ランクを拡張させるために、非線形活性化関数を利用するように設計される、
請求項12に記載の電子装置。 - 前記人工ニューラルネットワークは、
前記中間層の前記ランクを拡張させるために、前記中間層の間で拡張層の個数が増加されるように設計される、
請求項12に記載の電子装置。 - 前記入力チャネルサイズは、
インプットディメンションに対するアウトプットディメンションの割合を示す、
請求項13に記載の電子装置。 - 前記拡張層のそれぞれは、出力側層のディメンションが入力側層のディメンションよりも大きいときの前記出力側層であり、
前記入力側層は、前記中間層のうちのいずれか1つであり、前記出力側層は、前記中間層のうちの他の1つであって、前記入力側層に隣接するものである、
請求項15に記載の電子装置。 - 前記ランクは、
前記入力チャネルサイズが増加されることにより、線形的に拡張される、
請求項13に記載の電子装置。 - 前記ランクは、
前記拡張層の個数が増加されることにより、線形的に拡張される、
請求項15に記載の電子装置。 - 前記拡張層の個数は、
2と前記中間層の個数よりも1だけ少ない数との間のある1つの値である、
請求項15に記載の電子装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200120504A KR102427737B1 (ko) | 2020-09-18 | 2020-09-18 | 표현적 병목 현상이 최소화된 인공 신경망을 기반으로 하는 전자 장치 및 그의 동작 방법 |
KR10-2020-0120504 | 2020-09-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7041244B1 true JP7041244B1 (ja) | 2022-03-23 |
JP2022051484A JP2022051484A (ja) | 2022-03-31 |
Family
ID=80854992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020219478A Active JP7041244B1 (ja) | 2020-09-18 | 2020-12-28 | 表現的ボトルネック現象が最小化された人工ニューラルネットワークに基づく電子装置およびその動作方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7041244B1 (ja) |
KR (1) | KR102427737B1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5242062B2 (ja) | 2007-02-09 | 2013-07-24 | 田中貴金属工業株式会社 | ハイドロキシアパタイト粒子分散金属膜及びその形成方法 |
JP2017525038A (ja) | 2014-07-16 | 2017-08-31 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ニューラルネットワークにおける畳込み演算の分解 |
WO2019146189A1 (ja) | 2018-01-29 | 2019-08-01 | 日本電気株式会社 | ニューラルネットワークのランク最適化装置および最適化方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05242062A (ja) * | 1992-02-26 | 1993-09-21 | Matsushita Graphic Commun Syst Inc | ニューラルネット中間層ユニット数の決定方法 |
CN107633295B (zh) * | 2017-09-25 | 2020-04-28 | 南京地平线机器人技术有限公司 | 用于适配神经网络的参数的方法和装置 |
-
2020
- 2020-09-18 KR KR1020200120504A patent/KR102427737B1/ko active IP Right Grant
- 2020-12-28 JP JP2020219478A patent/JP7041244B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5242062B2 (ja) | 2007-02-09 | 2013-07-24 | 田中貴金属工業株式会社 | ハイドロキシアパタイト粒子分散金属膜及びその形成方法 |
JP2017525038A (ja) | 2014-07-16 | 2017-08-31 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ニューラルネットワークにおける畳込み演算の分解 |
WO2019146189A1 (ja) | 2018-01-29 | 2019-08-01 | 日本電気株式会社 | ニューラルネットワークのランク最適化装置および最適化方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20220037711A (ko) | 2022-03-25 |
JP2022051484A (ja) | 2022-03-31 |
KR102427737B1 (ko) | 2022-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6912583B2 (ja) | サービス処理方法および装置 | |
TWI743458B (zh) | 一種並行化執行區塊鏈交易的方法、裝置及系統 | |
CN108733342B (zh) | 音量调节方法、移动终端及计算机可读存储介质 | |
CN109614372B (zh) | 一种对象存储、读取方法、装置、及业务服务器 | |
WO2017005085A1 (zh) | 一种数据压缩方法、装置及终端 | |
TW201644141A (zh) | 異種電池細胞格切換 | |
US9715502B1 (en) | Distributed data migration using chunking | |
US20160269674A1 (en) | Dynamic Video Capture Rate Control | |
US10028059B2 (en) | Headphone and associated host apparatus supporting both digital and analog audio connectivity | |
CN110244963B (zh) | 数据更新方法、装置及终端设备 | |
KR102034661B1 (ko) | 뉴럴네트워크를 위한 데이터 양자화 방법 및 장치 | |
CN110650209A (zh) | 实现负载均衡的方法和装置 | |
CN111831448A (zh) | 请求的处理方法、装置和电子设备 | |
CN107977418A (zh) | 一种截屏图片管理方法、截屏图片管理装置及移动终端 | |
JP7041244B1 (ja) | 表現的ボトルネック現象が最小化された人工ニューラルネットワークに基づく電子装置およびその動作方法 | |
JP6440721B2 (ja) | コンピューティングデバイスによるアプリケーションの使用の認証 | |
CN106233274B (zh) | 一种在计算装置之间同步文件的方法、系统和计算装置 | |
KR20220101847A (ko) | 전자 장치 및 전자 장치의 스토리지 운영 방법 | |
US20150178101A1 (en) | Adjusting settings based on sensor data | |
KR20200040554A (ko) | 전자 장치, 외부 전자 장치 및 전자 장치를 이용한 외부 전자 장치를 제어하는 방법 | |
KR20200068275A (ko) | 저장 장치를 초기화하는 방법 및 전자 장치 | |
CN112732426B (zh) | 一种动态调整任务优先级的方法、系统、设备及介质 | |
CN110633105B (zh) | 指令序列处理方法、装置、电子设备和存储介质 | |
EP3591926A1 (en) | Providing connectivity for a plurality of iot devices | |
US9471782B2 (en) | File scanning method and system, client and server |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201228 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210107 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210414 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7041244 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |