JP7037143B2 - ニューラルネットワークのための方法及び電子装置 - Google Patents
ニューラルネットワークのための方法及び電子装置 Download PDFInfo
- Publication number
- JP7037143B2 JP7037143B2 JP2017132072A JP2017132072A JP7037143B2 JP 7037143 B2 JP7037143 B2 JP 7037143B2 JP 2017132072 A JP2017132072 A JP 2017132072A JP 2017132072 A JP2017132072 A JP 2017132072A JP 7037143 B2 JP7037143 B2 JP 7037143B2
- Authority
- JP
- Japan
- Prior art keywords
- activation
- threshold
- change
- artificial neuron
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Description
活性化及び前記人工ニューロンの入力シナプスによって受信される入力信号に基づいて、前記人工ニューロンの現在の活性化を決定するステップと、
前記決定された現在の活性化及び前記人工ニューロンによって以前に発生したイベントに対応する第2活性化に基づいて、第1活性化の変化量を決定するステップと、前記決定された第1活性化の変化量及び第1閾値に基づいて、新しいイベントの発生の有無を決定するステップと、前記新しいイベントの発生に応答して出力シナプスに前記新しいイベントに対応する出力信号を送信するステップとを含む。
デルタネットワークの目的は、加重値マトリックス(weight matrix)及び状態ベクトル(state vector)のように密集したマトリックス-ベクトルの積を完全和(full addition)と結合した希少マトリックス-ベクトルの積に変換したものである。この変換によって、メモリアクセス及び演算が減少し得る。この変換を示すためにマトリックス-ベクトルの積が数式(4)のように定義される。
GRUにおいて、デルタネットワーク演算に代替されるマトリックス-ベクトルの積演算が数回発生してもよい。以下ではデルタネットワークがGRUに適用される場合をRNNに関する実施形態として説明するが、デルタネットワークはLSTMのような他の方式のRNNにも適用され得る。数式(8)はGRUのパラメータを示す。具体的に、数式(8)でrはリセットゲート値を示し、zはアップデートゲート値を示し、cは出力隠れ状態ベクトルを示し、hはアップデートされた隠れ状態ベクトルを示す。また、数式(8)において、太く表示された部分はマトリックス-ベクトルの積演算を示す。数式(8)でW及びxは任意に前置される。
上述した数式は、ネットワークで最初の算出としての正確に同じ答を与えるために設計される。例えば、t-1における入力ベクトル及びtにおける入力ベクトル間の差が予め決定された閾値よりも大きい場合、t-1における入力ベクトル及びtにおける入力ベクトル間の差が入力デルタベクトルに決定され、t-1における入力ベクトル及びtにおける入力ベクトル間の差が予め決定された閾値よりも小さい場合、ゼロベクトルが入力デルタベクトルに決定される。隠れ状態デルタベクトルも同じ方式で決定される。
a)四捨五入(rounding)ネットワークの活性化:上述した閾値デルタネットワークの算出は、部分的に算出された状態の四捨五入に類似の機能を行う。Δタームは小さい差として0に設定されるが、大きい差でネットワークはアップデートされてもよい。トレーニング過程で四捨五入を行う場合に発生し得る小さい四捨五入エラー(small rounding error)に対し、ネットワークを強化する様々な方法が考えられる。より正確性を高めるために、活性化四捨五入を行うこともある。この場合、ネットワークが確実に訓練され得るため、このような小さい四捨五入エラーに堅固である。また、低い精密度算出は電力消費をより減少させ得る。
ガウスノイズを追加する作業は、閾値デルタネットワークで行う切断作業とは依然として同一ではない。これを補完するために、モデルをデルタネットワークで直接にトレーニングすることができる。テストモデルで直接トレーニングすることで、ネットワークは、閾値デルタネットワークが一般的に作るエラータイプに対して堅固になる。
ネットワークがデルタネットワークモデルを使用して訓練されることによって、コストはデルタ条件と関わり、かつ全体のコストに追加される。一括処理(batch)でΔhのためのL1標準(norm)は平均絶対値変化として算出され、L1標準は加重因子βによって調整される。希少コストLは、損失関数に加えて含まれてもよい。数式(17)は希少コストLを示す。
重さ希薄性(weight sparsity)の影響:トレーニング後に深層ネットワークの加重値行列で希薄性の量は算出コストの節減及び速度向上に影響を及す。トレーニングされた低い精密ネットワークで加重値行列の希薄性は極めて大きいことがある。0はデルタベクトルと倍数的に(multiplicatively)作用して必要な積-累積(multiply-accumulate)をはるかに少なく生成する。したがって、アップデート回数に対する加重値希薄性の影響を考慮することで、追加的な正確度が損失されることなく速度の向上を取得できる。
105 人工ニューロン
110 入力レイヤ
120~140 中間レイヤ又は隠れレイヤ
150 出力レイヤ
Claims (25)
- ニューラルネットワークを用いて実行される方法であって、
人工ニューロンの以前の活性化及び前記人工ニューロンの入力シナプスによって受信される入力信号に基づいて、前記人工ニューロンの現在の活性化を決定するステップと、
前記決定された現在の活性化及び前記人工ニューロンによって以前に発生したイベントに対応する第2活性化に基づいて、第1活性化の変化量を決定するステップと、
前記決定された第1活性化の変化量及び第1閾値に基づいて、新しいイベントの発生の有無を決定するステップと、
前記新しいイベントの発生に応答して出力シナプスに前記新しいイベントに対応する出力信号を送信するステップと、
を含む方法。 - 前記新しいイベントは、前記決定された第1活性化の変化量が前記第1閾値を上回る又は下回ることにより発生する、請求項1に記載の方法。
- 前記出力信号は、前記決定された第1活性化の変化量と前記第1閾値の大小関係を示す符号ビットを含む、請求項1又は2に記載の方法。
- 前記入力シナプスによって接続された以前レイヤに対応する第2閾値を受信するステップをさらに含み、
前記現在の活性化を決定するステップは、前記以前の活性化、前記入力信号、及び前記第2閾値に基づいて前記現在の活性化を決定するステップを含む、請求項1ないし3のうち何れか一項に記載の方法。 - 前記出力信号は、予め決定されたビットの精密度で近似化された前記決定された第1活性化の変化量を含む、請求項1ないし4のうち何れか一項に記載の方法。
- 前記ビットの精密度は、要求正確度及び可用リソースのうち少なくとも1つにより調整される、請求項5に記載の方法。
- 前記第1閾値は、単位時間の間に発生するイベントの数に応じて調整される、請求項1ないし6のうち何れか一項に記載の方法。
- 前記第1閾値は、前記単位時間の間に発生する前記イベントの数が予め決定された第3閾値を超過することにより増加し、前記単位時間の間に発生する前記イベントの数が予め決定された第4閾値未満であることにより減少し、前記第3閾値は前記第4閾値よりも大きい、請求項7に記載の方法。
- 前記出力信号の送信後に、前記決定された現在の活性化に基づいて前記第1閾値をアップデートするステップをさらに含む、請求項1ないし8のうち何れか一項に記載の方法。
- 前記第1閾値は、固定間隔、ログ間隔、又は、桁数に応じて調整される、請求項9に記載の方法。
- 前記決定された現在の活性化を格納するステップをさらに含む、請求項1ないし10のうち何れか一項に記載の方法。
- 予め決定された動作モードを指示する制御信号を受信するステップと、
前記入力シナプスによって前記動作モードに対応してフレーム化された入力信号を受信するステップと、
前記フレーム化された入力信号に基づいて前記現在の活性化を決定するステップと、
をさらに含む、請求項1ないし11のうち何れか一項に記載の方法。 - 前記ニューラルネットワークは、人工ニューラルネットワーク、完全接続ネットワーク、深層畳み込みネットワーク、リカレントニューラルネットワーク、及びスパイキングニューラルネットワークのいずれか1つである、請求項1ないし12のうち何れか一項に記載の方法。
- 請求項1ないし請求項13のいずれか一項に記載の方法を電子装置のコンピュータに実行させるコンピュータプログラム。
- 人工ニューロンに対応するプロセッシングユニットを含む電子装置であって、
前記プロセッシングユニットそれぞれは、コンピュータで読み込むことのできる命令語を格納するメモリ及びプロセッサを含み、
前記命令語が前記プロセッサで実行されることにより、前記プロセッサは、以前の活性化及び入力リンクによって受信される入力信号に基づいて現在の活性化を決定し、前記決定された現在の活性化及び以前に発生したイベントに対応する第2活性化に基づいて第1活性化の変化量を決定し、前記決定された第1活性化の変化量及び第1閾値に基づいて新しいイベントの発生の有無を決定し、前記新しいイベントの発生に応答して出力リンクで前記新しいイベントに対応する出力信号を送信する、電子装置。 - 前記新しいイベントは、前記決定された第1活性化の変化量が前記第1閾値を上回る又は下回ることにより発生する、請求項15に記載の電子装置。
- 前記出力信号は、前記決定された第1活性化の変化量と前記第1閾値の大小関係を示す符号ビットを含む、請求項15又は16に記載の電子装置。
- 前記プロセッサは、前記入力リンクによって接続された以前レイヤに対応する第2閾値をさらに受信し、前記以前の活性化、前記入力信号、及び前記第2閾値に基づいて前記現在の活性化を決定する、請求項15ないし17のうちの何れか一項に記載の電子装置。
- 前記出力信号は、予め決定されたビットの精密度で近似化された前記決定された第1活性化の変化量を含む、請求項15ないし18のうちの何れか一項に記載の電子装置。
- 前記ビットの精密度は、要求正確度及び可用リソースのうち少なくとも1つにより調整される、請求項19に記載の電子装置。
- 前記第1閾値は、単位時間の間に発生するイベントの数に応じて調整される、請求項15ないし20のうちの何れか一項に記載の電子装置。
- 前記第1閾値は、前記単位時間の間に発生する前記イベントの数が予め決定された第3閾値を超過することにより増加し、前記単位時間の間に発生する前記イベントの数が予め決定された第4閾値未満であることにより減少し、前記第3閾値は前記第4閾値よりも大きい、請求項21に記載の電子装置。
- 前記プロセッサは、前記出力信号の送信後に、前記決定された現在の活性化に基づいて前記第1閾値をアップデートする、請求項15ないし22のうち何れか一項に記載の電子装置。
- 前記第1閾値は、固定間隔、ログ間隔、又は、桁数に応じて調整される、請求項23に記載の電子装置。
- 前記メモリは、前記決定された現在の活性化を格納する、請求項15ないし24のうちの何れか一項に記載の電子装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021156767A JP7290256B2 (ja) | 2016-07-13 | 2021-09-27 | ニューラルネットワークのための方法 |
JP2021156768A JP7237122B2 (ja) | 2016-07-13 | 2021-09-27 | ニューラルネットワークのための方法 |
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662361626P | 2016-07-13 | 2016-07-13 | |
US62/361,626 | 2016-07-13 | ||
KR20160113039 | 2016-09-02 | ||
KR10-2016-0113039 | 2016-09-02 | ||
US201662429146P | 2016-12-02 | 2016-12-02 | |
US62/429,146 | 2016-12-02 | ||
KR1020170053543A KR102399548B1 (ko) | 2016-07-13 | 2017-04-26 | 뉴럴 네트워크를 위한 방법 및 그 방법을 수행하는 장치 |
KR10-2017-0053543 | 2017-04-26 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021156767A Division JP7290256B2 (ja) | 2016-07-13 | 2021-09-27 | ニューラルネットワークのための方法 |
JP2021156768A Division JP7237122B2 (ja) | 2016-07-13 | 2021-09-27 | ニューラルネットワークのための方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018010633A JP2018010633A (ja) | 2018-01-18 |
JP7037143B2 true JP7037143B2 (ja) | 2022-03-16 |
Family
ID=59227625
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017132072A Active JP7037143B2 (ja) | 2016-07-13 | 2017-07-05 | ニューラルネットワークのための方法及び電子装置 |
JP2021156768A Active JP7237122B2 (ja) | 2016-07-13 | 2021-09-27 | ニューラルネットワークのための方法 |
JP2021156767A Active JP7290256B2 (ja) | 2016-07-13 | 2021-09-27 | ニューラルネットワークのための方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021156768A Active JP7237122B2 (ja) | 2016-07-13 | 2021-09-27 | ニューラルネットワークのための方法 |
JP2021156767A Active JP7290256B2 (ja) | 2016-07-13 | 2021-09-27 | ニューラルネットワークのための方法 |
Country Status (3)
Country | Link |
---|---|
US (3) | US10949737B2 (ja) |
EP (1) | EP3270330B1 (ja) |
JP (3) | JP7037143B2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11544545B2 (en) | 2017-04-04 | 2023-01-03 | Hailo Technologies Ltd. | Structured activation based sparsity in an artificial neural network |
US11551028B2 (en) | 2017-04-04 | 2023-01-10 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network |
US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
US11615297B2 (en) | 2017-04-04 | 2023-03-28 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network compiler |
US10387298B2 (en) | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
US10403266B2 (en) * | 2017-10-18 | 2019-09-03 | Intel Corporation | Detecting keywords in audio using a spiking neural network |
US10504507B2 (en) * | 2017-12-28 | 2019-12-10 | Syntiant | Always-on keyword detector |
US10431207B2 (en) | 2018-02-06 | 2019-10-01 | Robert Bosch Gmbh | Methods and systems for intent detection and slot filling in spoken dialogue systems |
WO2019199313A1 (en) * | 2018-04-12 | 2019-10-17 | Landmark Graphics Corporation | Recurrent neural network model for bottomhole pressure and temperature in stepdown analysis |
US11030518B2 (en) * | 2018-06-13 | 2021-06-08 | United States Of America As Represented By The Secretary Of The Navy | Asynchronous artificial neural network architecture |
KR20200010640A (ko) * | 2018-06-27 | 2020-01-31 | 삼성전자주식회사 | 모션 인식 모델을 이용한 자체 운동 추정 장치 및 방법, 모션 인식 모델 트레이닝 장치 및 방법 |
FR3085217B1 (fr) * | 2018-08-23 | 2021-06-25 | Idemia Identity & Security France | Procede de determination de pose et d'identification d'une vue tridimensionnelle de visage |
US11010132B2 (en) | 2018-09-28 | 2021-05-18 | Tenstorrent Inc. | Processing core with data associative adaptive rounding |
EP3839829A1 (en) * | 2019-12-17 | 2021-06-23 | GrAl Matter Labs S.A.S. | Neural network processor and method of neural network processing |
US20210271965A1 (en) * | 2020-02-28 | 2021-09-02 | Intuit Inc. | Method and system for optimizing results of a function in a knowledge graph using neural networks |
CN111709514A (zh) * | 2020-05-08 | 2020-09-25 | 北京百度网讯科技有限公司 | 神经网络模型的处理方法和装置 |
US20220067509A1 (en) * | 2020-09-02 | 2022-03-03 | Alibaba Group Holding Limited | System and method for learning from partial compressed representation |
US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
JP7164239B1 (ja) * | 2021-11-26 | 2022-11-01 | 株式会社オイコス | ジェルネイルステッカー及びその製造方法、ジェルネイルステッカーを用いた施術方法 |
JP7164238B1 (ja) * | 2021-11-26 | 2022-11-01 | 株式会社オイコス | ジェルネイルステッカー及びその製造方法、ジェルネイルステッカーを用いた施術方法 |
WO2023144396A1 (en) | 2022-01-28 | 2023-08-03 | Spinncloud Systems Gmbh | Method and hardware architecture for event-based classification of electrocardiogram (ecg) signals |
US11960985B2 (en) * | 2022-09-08 | 2024-04-16 | Micron Technology, Inc. | Artificial neural network computation using integrated circuit devices having analog inference capability |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69504316T2 (de) | 1994-03-08 | 1999-01-21 | Preben Alstrom | Neuronales netzwerk |
IT1280816B1 (it) * | 1995-03-22 | 1998-02-11 | Cselt Centro Studi Lab Telecom | Metodo per velocizzare l'esecuzione di reti neurali per il trattamento di segnali correlati. |
JP2003076976A (ja) | 2001-08-31 | 2003-03-14 | Mitsui Eng & Shipbuild Co Ltd | パターンマッチング方法 |
KR100442434B1 (ko) | 2002-03-07 | 2004-07-30 | 엘지전자 주식회사 | 학습된 신경망 설계를 위한 어레이 구조 연산 방법 |
EP2360629A3 (en) | 2005-05-07 | 2012-04-11 | Stephen L. Thaler | Device for the autonomous bootstrapping of useful information |
JP4728055B2 (ja) | 2005-06-24 | 2011-07-20 | エルピーダメモリ株式会社 | 人工神経回路 |
US8224759B2 (en) * | 2007-05-01 | 2012-07-17 | Evolved Machines, Inc. | Regulating activation threshold levels in a simulated neural circuit |
KR100919684B1 (ko) | 2007-07-16 | 2009-10-06 | (주)엔인포메이션시스템즈 | 데이터 마이닝 방법 |
US8127075B2 (en) * | 2007-07-20 | 2012-02-28 | Seagate Technology Llc | Non-linear stochastic processing storage device |
JP5393589B2 (ja) | 2010-05-17 | 2014-01-22 | 本田技研工業株式会社 | 電子回路 |
US9092736B2 (en) | 2010-07-07 | 2015-07-28 | Qualcomm Incorporated | Communication and synapse training method and hardware for biologically inspired networks |
US9460387B2 (en) * | 2011-09-21 | 2016-10-04 | Qualcomm Technologies Inc. | Apparatus and methods for implementing event-based updates in neuron networks |
US9412064B2 (en) * | 2011-08-17 | 2016-08-09 | Qualcomm Technologies Inc. | Event-based communication in spiking neuron networks communicating a neural activity payload with an efficacy update |
US9146546B2 (en) * | 2012-06-04 | 2015-09-29 | Brain Corporation | Systems and apparatus for implementing task-specific learning using spiking neurons |
US8903746B2 (en) | 2012-03-22 | 2014-12-02 | Audrey Kudritskiy | System and method for viewing, modifying, storing, and running artificial neural network components |
US9753959B2 (en) | 2013-10-16 | 2017-09-05 | University Of Tennessee Research Foundation | Method and apparatus for constructing a neuroscience-inspired artificial neural network with visualization of neural pathways |
US20150269481A1 (en) | 2014-03-24 | 2015-09-24 | Qualcomm Incorporated | Differential encoding in neural networks |
US9373058B2 (en) | 2014-05-29 | 2016-06-21 | International Business Machines Corporation | Scene understanding using a neurosynaptic system |
US20150372805A1 (en) * | 2014-06-23 | 2015-12-24 | Qualcomm Incorporated | Asynchronous pulse modulation for threshold-based signal coding |
US10474949B2 (en) | 2014-08-19 | 2019-11-12 | Qualcomm Incorporated | Knowledge-graph biased classification for data |
US10366158B2 (en) * | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US10509862B2 (en) * | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
-
2017
- 2017-05-26 US US15/607,007 patent/US10949737B2/en active Active
- 2017-06-27 EP EP17178120.6A patent/EP3270330B1/en active Active
- 2017-07-05 JP JP2017132072A patent/JP7037143B2/ja active Active
-
2021
- 2021-02-09 US US17/171,551 patent/US20210166112A1/en active Pending
- 2021-02-09 US US17/171,554 patent/US20210166113A1/en active Pending
- 2021-09-27 JP JP2021156768A patent/JP7237122B2/ja active Active
- 2021-09-27 JP JP2021156767A patent/JP7290256B2/ja active Active
Non-Patent Citations (1)
Title |
---|
Garen Arevian, et al.,"Optimising the Hystereses of a Two Context Layer RNN for Text Classification",Proceedings of International Joint Conference on Neural Networks 2007,2007年08月17日,Pages 1-6,<DOI: 10.1109/IJCNN.2007.4371427>. |
Also Published As
Publication number | Publication date |
---|---|
JP2021192321A (ja) | 2021-12-16 |
JP2018010633A (ja) | 2018-01-18 |
US10949737B2 (en) | 2021-03-16 |
US20210166113A1 (en) | 2021-06-03 |
EP3270330B1 (en) | 2020-10-28 |
US20180018558A1 (en) | 2018-01-18 |
US20210166112A1 (en) | 2021-06-03 |
JP2021192322A (ja) | 2021-12-16 |
EP3270330A1 (en) | 2018-01-17 |
JP7290256B2 (ja) | 2023-06-13 |
JP7237122B2 (ja) | 2023-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7037143B2 (ja) | ニューラルネットワークのための方法及び電子装置 | |
KR102399548B1 (ko) | 뉴럴 네트워크를 위한 방법 및 그 방법을 수행하는 장치 | |
EP3739499A1 (en) | Grammar transfer using one or more neural networks | |
JP6605259B2 (ja) | ニューラルネットワーク構造拡張方法、次元縮小方法、及びその方法を用いた装置 | |
US11544549B2 (en) | Method and apparatus with neural network | |
US11902705B2 (en) | Video prediction using one or more neural networks | |
US20220004935A1 (en) | Ensemble learning for deep feature defect detection | |
KR20210029785A (ko) | 활성화 희소화를 포함하는 신경 네트워크 가속 및 임베딩 압축 시스템 및 방법 | |
US20210132688A1 (en) | Gaze determination using one or more neural networks | |
US20190354865A1 (en) | Variance propagation for quantization | |
US20210067735A1 (en) | Video interpolation using one or more neural networks | |
US20210118166A1 (en) | Pose determination using one or more neural networks | |
KR20190098671A (ko) | 뉴럴 네트워크의 고속 처리 방법 및 그 방법을 이용한 장치 | |
KR20200076461A (ko) | 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치 | |
Park et al. | Speculative backpropagation for CNN parallel training | |
Wuraola et al. | Efficient activation functions for embedded inference engines | |
Safa et al. | Neuromorphic near-sensor computing: from event-based sensing to edge learning | |
US20230108177A1 (en) | Hardware-Aware Progressive Training Of Machine Learning Models | |
US20230153604A1 (en) | Performing simulations using machine learning | |
JP7310927B2 (ja) | 物体追跡装置、物体追跡方法及び記録媒体 | |
Yuan et al. | Trainable Spiking-YOLO for low-latency and high-performance object detection | |
Xu et al. | Deep Learning in Image Classification: An Overview | |
KR20230071719A (ko) | 이미지 처리용 신경망 훈련 방법 및 전자 장치 | |
WO2023143707A1 (en) | Training a neural network to perform a machine learning task | |
Lebdeh et al. | Efficient Processing of Spiking Neural Networks via Task Specialization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7037143 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |