JPWO2018016608A1 - ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム - Google Patents
ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム Download PDFInfo
- Publication number
- JPWO2018016608A1 JPWO2018016608A1 JP2018528880A JP2018528880A JPWO2018016608A1 JP WO2018016608 A1 JPWO2018016608 A1 JP WO2018016608A1 JP 2018528880 A JP2018528880 A JP 2018528880A JP 2018528880 A JP2018528880 A JP 2018528880A JP WO2018016608 A1 JPWO2018016608 A1 JP WO2018016608A1
- Authority
- JP
- Japan
- Prior art keywords
- input
- matrix
- neural network
- vector
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Neurology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
- Feedback Control In General (AREA)
Abstract
Description
重み分解部12は、重み行列Wを実数の係数行列Cwと整数の基底行列Mwとの積に分解する。図3は、重み行列Wを基底数kwの基底行列Mwと係数行列Cwに分解する処理を説明する図である。本実施の形態では、重み分解部12は、重み行列Wを二値又は三値の基底行列Mwと実数の係数行列Cwに分解する。以下、本実施の形態の重み分解部12において、二値又は三値の基底行列Mwと実数の係数行列Cwに分解する手法として、第1ないし第4の手法を説明する。
第1の分解手法として、データ非依存型の分解手法を説明する。第1の分解手法では、重み分解部12は、分解誤差を表す下式のコスト関数g1を解くことで分解を行う。
(1)基底行列Mw及び係数行列Cwをランダムに初期化する。
(2)基底行列Mwの要素を固定して、係数行列Cwの要素を最小二乗法により最適化することで、コスト関数g1が最小になるように係数行列Cwの要素を更新する。
(3)係数行列Cwの要素を固定して、コスト関数g1が最小になるように全探索で基底行列Mwの要素を更新する。
(4)収束するまで(2)及び(3)を繰り返す。例えば、コスト関数g1が所定の収束条件(例えば、減少量が一定値以下となる)を満たしたときに、収束したと判定する。
(5)ステップ(1)〜ステップ(4)により得た解を候補として保持する。
(6)ステップ(1)〜ステップ(5)を繰り返し、最もコスト関数g1を小さくできた候補基底行列Mw及び候補係数行列Cwを最終結果として採用する。なお、このステップ(1)〜ステップ(5)の繰り返しはなくてもよいが、複数回繰り返すことで、初期値依存の問題を回避できる。
第2の分解手法として、係数行列Cwを疎にするデータ非依存型の分解手法を説明する。第2の分解手法では、重み分解部12は、分解誤差である下式のコスト関数g2を解くことで分解を行う。
(1)基底行列Mw及び係数行列Cwをランダムに初期化する。
(2)基底行列Mwの要素を固定して、係数行列Cwの要素を近接勾配法で最適化する。
(3)係数行列Cwの要素を固定して、コスト関数g2が最小になるように全探索で基底行列Mの要素を更新する。
(4)収束するまで(2)及び(3)を繰り返す。例えば、コスト関数g2が所定の収束条件(例えば、減少量が一定値以下となる)を満たしたときに、収束したと判定する。
(5)ステップ(1)〜ステップ(4)により得た解を候補として保持する。
(6)ステップ(1)〜ステップ(5)を繰り返し、最もコスト関数g2を小さくできた候補基底行列Mw及び候補係数行列Cwを最終結果として採用する。なお、このステップ(1)〜ステップ(5)の繰り返しはなくてもよいが、複数回繰り返すことで、初期値依存の問題を回避できる。
次に、第3の分解手法を説明する。第1の分解手法では、コスト関数g1として、分解誤差
(1)第1又は第2の分解手法によって、基底行列Mw及び係数行列Cwを求めて、これをそれらの初期値とする。
(2)基底行列Mwの要素を固定して、係数行列Cwの要素を最小二乗法で最適化する。
(3)係数行列Cwの要素を固定して、基底行列Mwの要素を最適化することで、基底行列Mwの要素を更新する。この基底行列Mwの更新処理については後述する。
(4)収束するまで(2)及び(3)を繰り返し、コスト関数g3を最小化した基底行列Mw及び係数行列Cwを候補として保持する。
(5)ステップ(1)〜(6)を繰り返し、コスト関数g3を最小化した基底行列Mw及び係数行列Cwを最終結果として採用する。なお、ステップ(1)では再度第1又は第2の分解手法による基底行列Mw及び係数行列Cwの最適化が行われるので、初期値が変更される。また、ステップ(5)の繰り返しはなくてもよいが、複数回繰り返すことで、初期値依存の問題を軽減できる。
(3−1)基底行列Mwの要素のうち、ランダムにT個を選択する。
(3−2)2T通りの組み合わせ(後述の三値分解の場合は3T通り)を試し、最もコスト関数g3を最小化したものを採用する。
(3−3)ステップ(3−1)及びステップ(3−2)を収束するまで繰り返す。
第4の分解手法は、第2の分解手法と第3の分解手法とを組み合わせたものである。具体的には、下式のコスト関数g4を解くことで分解を行う。
次に、入力ベクトルxの分解について説明する。図6は、入力ベクトルxを基底数kxの基底行列Mxと係数ベクトルcxとの積とバイアスbxとに分解する処理の変形例を説明する図である。入力ベクトルxは、図6及び下式(12)に示すように分解される。
(1)基底行列Mxをランダムに初期化する。
(2)基底行列Mxを固定して、係数ベクトルcxの要素及びバイアスbxを最小二乗法により最適化することで、コスト関数Jxが最小になるように、係数ベクトルcxの要素及び係数bxを更新する。
(3)係数ベクトルcxの要素及びバイアスbxを固定して、コスト関数Jxが最小になるように全探索で基底行列Mxの要素を更新する。
(4)収束するまで(2)及び(3)を繰り返す。例えば、コスト関数Jxが所定の収束条件(例えば、減少量が一定値以下となる)を満たしたときに、収束したと判定する。
Claims (19)
- ニューラルネットワークモデルを記憶する記憶部と、
入力情報を前記ニューラルネットワークモデルの入力層に入力して出力層を出力する演算部と、
を備え、
前記ニューラルネットワークモデルの少なくとも1つの層の重み行列が整数の行列である重み基底行列と実数の行列である重み係数行列との積で構成されているニューラルネットワーク装置。 - 前記演算部は、前記少なくとも1つの層において、前層の出力ベクトルを入力ベクトルとして、前記入力ベクトルを整数の行列である入力基底行列と実数のベクトルである入力係数ベクトルとの積と入力バイアスとの和に分解して、前記入力ベクトルと前記重み行列との積を求める請求項1に記載のニューラルネットワーク装置。
- 前記重み基底行列は二値行列であり、前記入力基底行列は二値行列であり、
前記演算部は、前記重み基底行列と前記入力基底行列との積演算を論理演算とビットカウントで行う請求項2に記載のニューラルネットワーク装置。 - 前記重み基底行列は三値行列であり、前記入力基底行列は二値行列であり、
前記演算部は、前記重み基底行列と前記入力基底行列との積演算を論理演算とビットカウントで行う請求項2に記載のニューラルネットワーク装置。 - 前記演算部は、前記入力ベクトルに対して、前記入力基底行列を最適化することで、前記入力ベクトルを分解する請求項3又は4に記載のニューラルネットワーク装置。
- 前記演算部は、前記入力ベクトルの各要素について、前記入力ベクトルの各要素に対応する前記入力基底行列の行のすべての組み合わせと学習された前記入力係数ベクトルとの積と学習された前記入力バイアスとの和の中から最も近い候補を選ぶことで前記入力基底行列を最適化する請求項5に記載のニューラルネットワーク装置。
- 前記記憶部は、前記入力ベクトルの各要素の値と、それに対する前記最も近い候補における入力基底行列の値との関係を規定したルックアップテーブルを記憶しており、
前記演算部は、前記ルックアップテーブルを参照することで、前記入力ベクトルに対して前記入力基底行列を最適化する請求項6に記載のニューラルネットワーク装置。 - 前記記憶部は、前記入力ベクトルの各要素について、前記入力ベクトルの各要素に対応する前記入力基底行列の行のすべての組み合わせと、それによって得られる前記入力ベクトルの各要素の近似値の候補を大きさ順に並べたときの中点を記憶しており、
前記演算部は、前記入力ベクトルの各要素について、前記中点を用いた二分木探索法によって前記入力ベクトルの各要素に対応する前記入力基底行列の行を決定することで前記入力基底行列を最適化する請求項6に記載のニューラルネットワーク装置。 - 車載カメラで得た画像を前記入力情報として歩行者検知を行う請求項1ないし8のいずれかに記載のニューラルネットワーク装置。
- 前記ニューラルネットワークモデルは、畳込みニューラルネットワークモデルであり、
前記畳込みニューラルネットワークモデルは、畳込み層の複数のフィルタをまとめることで前記重み行列とし、前記畳込み層を全結合層とみなして、当該重み行列を整数の重み基底行列と実数の重み係数行列との積で構成しており、
前記演算部は、全結合層とみなされた前記畳込み層で、分解された前記入力ベクトルと分解された前記重み行列との積を求める請求項2ないし8のいずれかに記載のニューラルネットワーク装置。 - ニューラルネットワークモデルを用いて認識を行うニューラルネットワーク装置であって、
前記ニューラルネットワークモデルの少なくとも1つの層の演算として論理演算を行う、ニューラルネットワーク装置。 - ニューラルネットワークモデルを用いて認識を行うニューラルネットワーク装置であって、
前記ニューラルネットワークモデルの少なくとも1つの層の演算に用いる二値又は三値の行列を記憶している、ニューラルネットワーク装置。 - 請求項1ないし12のいずれかに記載のニューラルネットワーク装置と、
前記入力情報を取得する車載センサと、
前記出力に基づいて車両を制御する車両制御装置と、
を備えた、車両制御システム。 - ニューラルネットワークモデルを取得する取得部と、
前記ニューラルネットワークモデルの少なくとも1つの層の重み行列を整数の行列である重み基底行列と実数の行列である重み係数行列との積に分解する重み分解部と、
前記重み基底行列と前記重み係数行列を出力する出力部と、
を備えた分解処理装置。 - 入力ベクトルを整数の行列である入力基底行列と実数のベクトルである入力係数ベクトルとの積と入力バイアスとの和に分解するための前記入力係数ベクトルと前記入力バイアスを学習する入力事前分解部をさらに備え、
前記出力部は、前記学習により得られた前記入力係数ベクトルを出力する請求項14に記載の分解処理装置。 - 前記入力事前分解部は、前記入力係数ベクトル及び前記入力バイアスに基づいて、前記入力ベクトルに対して前記入力基底行列を最適化するためのルックアップテーブルを生成し、
前記出力部は、前記ルックアップテーブルを出力する請求項15に記載の分解処理装置。 - コンピュータを、入力情報をニューラルネットワークモデルの入力層に入力して出力層から出力情報を得るニューラルネットワーク装置として機能させるプログラムであって、
前記コンピュータの記憶部には、
前記ニューラルネットワークモデルの少なくとも1つの全結合層の重み行列を分解して得られた整数の重み基底行列及び実数の重み係数行列と、
入力ベクトルを整数の入力基底行列と実数の入力係数ベクトルとの積と入力バイアスとの和に分解するための、学習によって得られた前記入力係数ベクトル及び前記入力バイアスのうちの前記入力係数ベクトルと、
前記学習によって得られた前記入力係数ベクトル及び前記入力バイアスに基づいて得られた、前記入力ベクトルの各要素の値と、それに対する入力基底行列の値との関係を規定したルックアップテーブルと、
が記憶され、
前記プログラムは、前記コンピュータを、前記ニューラルネットワークモデルの少なくとも1つの全結合層において、前層の出力ベクトルを入力ベクトルとして、前記記憶部から読み出した前記重み基底行列、前記実数の重み係数行列、及び前記入力係数ベクトルと、前記記憶部から読み出した前記ルックアップテーブルを参照して得られた前記入力ベクトルに対応する前記入力基底行列とを用いて、前記入力ベクトルと前記重み行列との積を求める演算部として機能させるプログラム。 - コンピュータを、入力情報をニューラルネットワークモデルの入力層に入力して出力層から出力情報を得るニューラルネットワーク装置として機能させるプログラムであって、
前記コンピュータの記憶部には、
前記ニューラルネットワークモデルの少なくとも1つの全結合層の重み行列を分解して得られた整数の重み基底行列及び実数の重み係数行列と、
入力ベクトルを整数の入力基底行列と実数の入力係数ベクトルとの積と入力バイアスとの和に分解するための、学習によって得られた前記入力係数ベクトル及び前記入力バイアスのうちの前記入力係数ベクトルと、
前記学習によって得られた前記入力係数ベクトル及び前記入力バイアスに基づいて得られた、前記入力ベクトルの各要素についての、前記入力ベクトルの各要素に対応する前記入力基底行列の行のすべての組み合わせと、それによって得られる前記入力ベクトルの各要素の近似値の候補を大きさ順に並べたときの中点と、
が記憶され、
前記プログラムは、前記コンピュータを、前記ニューラルネットワークモデルの少なくとも1つの全結合層において、前層の出力ベクトルを入力ベクトルとして、前記記憶部から読み出した前記重み基底行列、前記実数の重み係数行列、及び前記入力係数ベクトルと、前記入力基底行列の行のすべての組み合わせと前記中点とを用いて、前記入力ベクトルと前記重み行列との積を求める演算部として機能させるプログラム。 - ニューラルネットワークモデルを記憶する記憶部と、
入力情報を前記ニューラルネットワークモデルの入力層に入力して出力層を出力する演算部と、
を備え、
前記演算部は、前記ニューラルネットワークモデルの少なくとも1つの層において、前層の出力ベクトルを入力ベクトルとして、前記入力ベクトルを整数の行列である入力基底行列と実数のベクトルである入力係数ベクトルとの積と入力バイアスとの和に分解して、分解された前記入力ベクトルと重み行列との積を求めるニューラルネットワーク装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016143705 | 2016-07-21 | ||
JP2016143705 | 2016-07-21 | ||
PCT/JP2017/026363 WO2018016608A1 (ja) | 2016-07-21 | 2017-07-20 | ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018016608A1 true JPWO2018016608A1 (ja) | 2019-05-09 |
JP6921079B2 JP6921079B2 (ja) | 2021-08-18 |
Family
ID=60992638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018528880A Active JP6921079B2 (ja) | 2016-07-21 | 2017-07-20 | ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11657267B2 (ja) |
JP (1) | JP6921079B2 (ja) |
CN (1) | CN109716362B (ja) |
WO (1) | WO2018016608A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019033381A1 (en) * | 2017-08-18 | 2019-02-21 | Intel Corporation | EFFECTIVE NEURONIC NETWORKS WITH MATRIX STRUCTURES DEVELOPED IN AUTOMATIC LEARNING ENVIRONMENTS |
CN110245741A (zh) * | 2018-03-09 | 2019-09-17 | 佳能株式会社 | 多层神经网络模型的优化和应用方法、装置及存储介质 |
US11755880B2 (en) | 2018-03-09 | 2023-09-12 | Canon Kabushiki Kaisha | Method and apparatus for optimizing and applying multilayer neural network model, and storage medium |
US20220058428A1 (en) * | 2018-12-07 | 2022-02-24 | Sony Semiconductor Solutions Corporation | Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object |
CN111382847B (zh) * | 2018-12-27 | 2022-11-22 | 上海寒武纪信息科技有限公司 | 数据处理装置及相关产品 |
CN110162403B (zh) * | 2019-05-28 | 2021-07-13 | 首都师范大学 | 一种基于人工神经网络的硬件资源分配方法及系统 |
JP7114528B2 (ja) * | 2019-07-08 | 2022-08-08 | 株式会社東芝 | 推論装置、学習装置、推論方法及び学習方法 |
CN110349107B (zh) * | 2019-07-10 | 2023-05-26 | 北京字节跳动网络技术有限公司 | 图像增强的方法、装置、电子设备、及存储介质 |
JP7265946B2 (ja) * | 2019-07-12 | 2023-04-27 | 株式会社メガチップス | ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム |
KR102512932B1 (ko) * | 2020-01-31 | 2023-03-22 | 한국과학기술원 | 암 환자의 발현량 데이터로부터 암세포 내재적 특성을 추출하는 방법 및 이를 위한 장치 |
WO2021166011A1 (ja) * | 2020-02-17 | 2021-08-26 | 三菱電機株式会社 | モデル生成装置、車載装置、および、モデル生成方法 |
KR20210111014A (ko) * | 2020-03-02 | 2021-09-10 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
JP7384081B2 (ja) * | 2020-03-18 | 2023-11-21 | 株式会社デンソー | 情報処理装置、データ分解方法、及びデータ分解プログラム |
TWI723823B (zh) * | 2020-03-30 | 2021-04-01 | 聚晶半導體股份有限公司 | 基於神經網路的物件偵測裝置和物件偵測方法 |
CN113554145B (zh) * | 2020-04-26 | 2024-03-29 | 伊姆西Ip控股有限责任公司 | 确定神经网络的输出的方法、电子设备和计算机程序产品 |
CN111681263B (zh) * | 2020-05-25 | 2022-05-03 | 厦门大学 | 基于三值量化的多尺度对抗性目标跟踪算法 |
JPWO2022244216A1 (ja) * | 2021-05-20 | 2022-11-24 | ||
CN114462680A (zh) * | 2022-01-05 | 2022-05-10 | 北京京东振世信息技术有限公司 | 车辆配置方法、装置、存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05101025A (ja) * | 1991-10-03 | 1993-04-23 | Hamamatsu Photonics Kk | ニユーラルネツトワーク装置及びその実行方法 |
JP2014112358A (ja) * | 2012-11-05 | 2014-06-19 | Denso It Laboratory Inc | 関連性判定装置、関連性判定プログラム、及び関連性判定方法 |
JP2016042359A (ja) * | 2014-08-18 | 2016-03-31 | 株式会社デンソーアイティーラボラトリ | 認識装置、実数行列分解方法、認識方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69032259T2 (de) * | 1989-09-20 | 1998-08-13 | Fujitsu Ltd | Paralleldatenverarbeitungsanlage |
US8457409B2 (en) * | 2008-05-22 | 2013-06-04 | James Ting-Ho Lo | Cortex-like learning machine for temporal and hierarchical pattern recognition |
US9728184B2 (en) * | 2013-06-18 | 2017-08-08 | Microsoft Technology Licensing, Llc | Restructuring deep neural network acoustic models |
CN105224984B (zh) * | 2014-05-31 | 2018-03-13 | 华为技术有限公司 | 一种基于深度神经网络的数据类别识别方法及装置 |
WO2016039651A1 (en) * | 2014-09-09 | 2016-03-17 | Intel Corporation | Improved fixed point integer implementations for neural networks |
US10534994B1 (en) * | 2015-11-11 | 2020-01-14 | Cadence Design Systems, Inc. | System and method for hyper-parameter analysis for multi-layer computational structures |
-
2017
- 2017-07-20 WO PCT/JP2017/026363 patent/WO2018016608A1/ja active Application Filing
- 2017-07-20 US US16/318,779 patent/US11657267B2/en active Active
- 2017-07-20 JP JP2018528880A patent/JP6921079B2/ja active Active
- 2017-07-20 CN CN201780056821.9A patent/CN109716362B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05101025A (ja) * | 1991-10-03 | 1993-04-23 | Hamamatsu Photonics Kk | ニユーラルネツトワーク装置及びその実行方法 |
JP2014112358A (ja) * | 2012-11-05 | 2014-06-19 | Denso It Laboratory Inc | 関連性判定装置、関連性判定プログラム、及び関連性判定方法 |
JP2016042359A (ja) * | 2014-08-18 | 2016-03-31 | 株式会社デンソーアイティーラボラトリ | 認識装置、実数行列分解方法、認識方法 |
Non-Patent Citations (1)
Title |
---|
MOHAMMAD RASTEGARI ET AL.: ""XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks"", ARXIV.ORG [ONLINE], vol. arXiv:1603.05279v3, JPN6021003004, May 2016 (2016-05-01), pages 1 - 17, ISSN: 0004437634 * |
Also Published As
Publication number | Publication date |
---|---|
JP6921079B2 (ja) | 2021-08-18 |
US20190286982A1 (en) | 2019-09-19 |
CN109716362B (zh) | 2024-01-09 |
CN109716362A (zh) | 2019-05-03 |
WO2018016608A1 (ja) | 2018-01-25 |
US11657267B2 (en) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6921079B2 (ja) | ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム | |
Huang et al. | YOLO-LITE: a real-time object detection algorithm optimized for non-GPU computers | |
CN107688855B (zh) | 针对于复杂神经网络的分层量化方法与装置 | |
US20190087713A1 (en) | Compression of sparse deep convolutional network weights | |
CA3098447A1 (en) | Systems and methods for unifying statistical models for different data modalities | |
US11601134B2 (en) | Optimized quantization for reduced resolution neural networks | |
JP6393058B2 (ja) | 情報処理装置、情報処理方法 | |
WO2019209658A1 (en) | Learning a truncation rank of singular value decomposed matrices representing weight tensors in neural networks | |
CN112633309A (zh) | 基于贝叶斯优化的查询高效的黑盒对抗攻击 | |
Luzhnica et al. | Clique pooling for graph classification | |
CN112085161B (zh) | 一种基于随机信息传递的图神经网络方法 | |
KR20220058897A (ko) | 컴퓨트-인-메모리 어레이의 컬럼 임계치들을 조정함으로써 xnor 등가 연산들을 수행 | |
CN111767962A (zh) | 基于生成对抗式网络的一阶段目标检测方法、系统及装置 | |
KR20210039921A (ko) | 신경망 모델을 최적화하도록 구성된 심층 신경망 시스템의 동작 방법 | |
KR20210127069A (ko) | 융합 모델 신경망의 성능 제어 방법 | |
JP2017215897A (ja) | 特徴点位置推定装置、特徴点位置推定システム、特徴点位置推定方法、および特徴点位置推定プログラム | |
CN114463540A (zh) | 使用神经网络对图像进行分割 | |
US11295229B1 (en) | Scalable generation of multidimensional features for machine learning | |
US20230056735A1 (en) | Method of performing classification processing using machine learning model, information processing device, and computer program | |
CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
Hämäläinen et al. | Scalable robust clustering method for large and sparse data | |
US11699077B2 (en) | Multi-layer neural network system and method | |
Swaney et al. | Efficient skin segmentation via neural networks: HP-ELM and BD-SOM | |
US7877339B2 (en) | Method and system of creating an approximate kernel matrix to train a kernel machine | |
Goel et al. | Implementing RNN with Non-Randomized GA for the Storage of Static Image Patterns |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210720 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6921079 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |