JP7392830B2 - 情報処理方法 - Google Patents
情報処理方法 Download PDFInfo
- Publication number
- JP7392830B2 JP7392830B2 JP2022510291A JP2022510291A JP7392830B2 JP 7392830 B2 JP7392830 B2 JP 7392830B2 JP 2022510291 A JP2022510291 A JP 2022510291A JP 2022510291 A JP2022510291 A JP 2022510291A JP 7392830 B2 JP7392830 B2 JP 7392830B2
- Authority
- JP
- Japan
- Prior art keywords
- weight parameter
- learning
- gradient
- information processing
- arbitration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 66
- 238000003672 processing method Methods 0.000 title claims description 27
- 230000013016 learning Effects 0.000 claims description 252
- 238000000034 method Methods 0.000 claims description 77
- 238000012545 processing Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000004821 distillation Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
第一の学習データセットを用いて第一の学習処理を行い、第一の重みパラメタを含む第一の学習モデルを生成すると共に、第二の学習データセットを用いて第二の学習処理を行い、第二の重みパラメタを含む第二の学習モデルを生成し、
前記第一の学習処理と前記第二の学習処理とを行う際に、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する、
という構成をとる。
第一の学習データセットを用いて第一の学習処理を行い、第一の重みパラメタを含む第一の学習モデルを生成する第一の学習手段と、
第二の学習データセットを用いて第二の学習処理を行い、第二の重みパラメタを含む第二の学習モデルを生成する第二の学習手段と、
前記第一の学習処理と前記第二の学習処理とを行う際に、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する調停手段と、
を備えた、
という構成をとる。
情報処理装置に、
第一の学習データセットを用いて第一の学習処理を行い、第一の重みパラメタを含む第一の学習モデルを生成する第一の学習手段と、
第二の学習データセットを用いて第二の学習処理を行い、第二の重みパラメタを含む第二の学習モデルを生成する第二の学習手段と、
前記第一の学習処理と前記第二の学習処理とを行う際に、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する調停手段と、
を実現させる、
という構成をとる。
本発明の第1の実施形態を、図1乃至図7を参照して説明する。図1乃至図3は、学習装置の構成を説明するための図であり、図4乃至図5は、学習装置の処理動作を説明するための図である。図6乃至図7は、学習装置による効果を説明するための図である。
本実施形態における学習装置1は、例えば、監視カメラ等のエッジ機器に搭載される学習モデルを学習するためのものである。特に、学習装置1は、一例として、2つの学習モデルを学習する際に、各学習モデルで用いられる重みパラメタが同一の値となるよう学習モデルを生成する機能を有する。これにより、各学習モデルで用いられる重みパラメタのデータ容量を抑制し、エッジ機器の記憶容量の削減を図ることとする。但し、学習装置1が学習する学習モデルはいかなる内容のものであってもよく、いかなる装置にて利用されるものであってもよい。
次に、主に図2のブロック図及び図4のフローチャートを参照して、上述した学習装置1の動作を説明する。まず、第一の学習部100は、第一の学習データセット410からデータを読み込み(ステップS1)、順伝搬処理を行う(ステップS3)。並行して、第二の学習部200は、第二の学習データセット420からデータを読み込み(ステップS2)、順伝搬処理を行う(ステップS4)。
次に、本実施形態の効果について、図6乃至図7を参照して説明する。本実施形態では、2つの学習済みモデルの重みパラメタにできるだけ共通性をもたせる、つまり、略同一となるように学習するように構成されているため、重みパラメタを格納するために必要な記憶容量を削減できる。
0b10 when (addr == 0b010) or (addr == 0b111) else
0b01 when (addr == 0b001) or (addr == 0b100) else
0b00
という簡単な回路で実現でき、図7の左側に示す例と比較して記憶容量(回路規模)を削減できる。
次に、本発明の第2の実施形態を、図8乃至図10を参照して説明する。図8乃至図9は、実施形態2における情報処理装置の構成を示すブロック図であり、図10は、情報処理装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明した学習装置及び学習方法の構成の概略を示している。
・CPU(Central Processing Unit)501(演算装置)
・ROM(Read Only Memory)502(記憶装置)
・RAM(Random Access Memory)503(記憶装置)
・RAM503にロードされるプログラム群504
・プログラム群504を格納する記憶装置505
・情報処理装置外部の記憶媒体510の読み書きを行うドライブ装置506
・情報処理装置外部の通信ネットワーク511と接続する通信インタフェース507
・データの入出力を行う入出力インタフェース508
・各構成要素を接続するバス509
第一の学習データセットを用いて第一の学習処理を行い、第一の重みパラメタを含む第一の学習モデルを生成すると共に、第二の学習データセットを用いて第二の学習処理を行い、第二の重みパラメタを含む第二の学習モデルを生成し(ステップS101)、
前記第一の学習モデルと前記第二の学習モデルとを生成する際に、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する(ステップS102)、
という処理を実行する。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理方法、情報処理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
第一の学習データセットを用いて第一の学習処理を行い、第一の重みパラメタを含む第一の学習モデルを生成すると共に、第二の学習データセットを用いて第二の学習処理を行い、第二の重みパラメタを含む第二の学習モデルを生成し、
前記第一の学習処理と前記第二の学習処理とを行う際に、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する、
情報処理方法。
(付記2)
付記1に記載の情報処理方法であって、
前記第一の学習処理として、前記第一の重みパラメタを用いて順伝搬処理を行うと共に、前記第一の重みパラメタに対する第一の勾配を算出する逆伝搬処理を行い、
前記第二の学習処理として、前記第二の重みパラメタを用いて順伝搬処理を行うと共に、前記第二の重みパラメタに対する第二の勾配を算出する逆伝搬処理を行い、
前記第一の重みパラメタと、前記第一の勾配と、前記第二の重みパラメタと、前記第二の勾配と、を用いて、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する、
情報処理方法。
(付記3)
付記2に記載の情報処理方法であって、
前記第一の重みパラメタと、前記第一の勾配と、前記第二の重みパラメタと、前記第二の勾配と、を用いて、調停後の第一の勾配と調停後の第二の勾配とを算出し、前記調停後の第一の勾配と前記調停後の第二の勾配とに基づいて、前記第一の重みパラメタと前記第二の重みパラメタとを更新する、
情報処理方法。
(付記4)
付記3に記載の情報処理方法であって、
前記第一の重みパラメタをP1、前記第一の勾配をG1、前記第二の重みパラメタをP2、前記第二の勾配をG2、前記調停後の第一の勾配をG1n、前記調停後の第二の勾配をG2n、前記第一の学習処理と前記第二の学習処理との優先度をβ(0≦β≦1)、とした場合に、
G1n=G1+β{(P2+G2)-(P1+G1)}
G2n=G2+(1-β){(P1+G1)-(P2+G2)}
にて前記調停後の第一の勾配と前記調停後の第二の勾配とを算出する、
情報処理方法。
(付記5)
付記3又は4に記載の情報処理方法であって、
前記第一の重みパラメタと前記調停後の第一の勾配とに基づいて、前記第一の重みパラメタを更新し、前記第二の重みパラメタと前記調停後の第二の勾配とに基づいて、前記第二の重みパラメタを更新する、
情報処理方法。
(付記6)
付記5に記載の情報処理方法であって、
前記第一の重みパラメタをP1、前記調停後の第一の勾配をG1n、前記更新後の第一の重みパラメタP1n、前記第二の重みパラメタをP2、前記調停後の第二の勾配をG2n、前記更新後の第二の重みパラメタをP2n、学習率をλ(0<λ<1)、とした場合に、
P1n=P1+λ・G1n
P2n=P2+λ・G2n
にて前記更新後の第一の重みパラメタと前記更新後の第二の重みパラメタとを算出する、
情報処理方法。
(付記7)
第一の学習データセットを用いて第一の学習処理を行い、第一の重みパラメタを含む第一の学習モデルを生成する第一の学習手段と、
第二の学習データセットを用いて第二の学習処理を行い、第二の重みパラメタを含む第二の学習モデルを生成する第二の学習手段と、
前記第一の学習処理と前記第二の学習処理とを行う際に、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する調停手段と、
を備えた情報処理装置。
(付記8)
付記7に記載の情報処理装置であって、
前記第一の学習手段は、前記第一の学習処理として、前記第一の重みパラメタを用いて順伝搬処理を行うと共に、前記第一の重みパラメタに対する第一の勾配を算出する逆伝搬処理を行い、
前記第二の学習手段は、前記第二の学習処理として、前記第二の重みパラメタを用いて順伝搬処理を行うと共に、前記第二の重みパラメタに対する第二の勾配を算出する逆伝搬処理を行い、
前記調停手段は、前記第一の重みパラメタと、前記第一の勾配と、前記第二の重みパラメタと、前記第二の勾配と、を用いて、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する、
情報処理装置。
(付記8.1)
付記8に記載の情報処理装置であって、
前記調停手段は、前記第一の重みパラメタと、前記第一の勾配と、前記第二の重みパラメタと、前記第二の勾配と、を用いて、調停後の第一の勾配と調停後の第二の勾配とを算出し、前記調停後の第一の勾配と前記調停後の第二の勾配とに基づいて、前記第一の重みパラメタと前記第二の重みパラメタとを更新する、
情報処理装置。
(付記8.2)
付記8.1に記載の情報処理装置であって、
前記調停手段は、前記第一の重みパラメタをP1、前記第一の勾配をG1、前記第二の重みパラメタをP2、前記第二の勾配をG2、前記調停後の第一の勾配をG1n、前記調停後の第二の勾配をG2n、前記第一の学習処理と前記第二の学習処理との優先度をβ(0≦β≦1)、とした場合に、
G1n=G1+β{(P2+G2)-(P1+G1)}
G2n=G2+(1-β){(P1+G1)-(P2+G2)}
にて前記調停後の第一の勾配と前記調停後の第二の勾配とを算出する、
情報処理装置。
(付記8.3)
付記8.1又は8.2に記載の情報処理装置であって、
前記調停手段は、前記第一の重みパラメタと前記調停後の第一の勾配とに基づいて、前記第一の重みパラメタを更新し、前記第二の重みパラメタと前記調停後の第二の勾配とに基づいて、前記第二の重みパラメタを更新する、
情報処理装置。
(付記8.4)
付記8.3に記載の情報処理装置であって、
前記調停手段は、前記第一の重みパラメタをP1、前記調停後の第一の勾配をG1n、更新後の第一の重みパラメタP1n、前記第二の重みパラメタをP2、前記調停後の第二の勾配をG2n、更新後の第二の重みパラメタをP2n、学習率をλ(0<λ<1)、とした場合に、
P1n=P1+λ・G1n
P2n=P2+λ・G2n
にて前記更新後の第一の重みパラメタと前記更新後の第二の重みパラメタとを算出する、
情報処理装置。
(付記9)
情報処理装置に、
第一の学習データセットを用いて第一の学習処理を行い、第一の重みパラメタを含む第一の学習モデルを生成する第一の学習手段と、
第二の学習データセットを用いて第二の学習処理を行い、第二の重みパラメタを含む第二の学習モデルを生成する第二の学習手段と、
前記第一の学習処理と前記第二の学習処理とを行う際に、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する調停手段と、
を実現させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
100 第一の学習部
111,112,113,114,115 中間層記憶部
121,122,124 中間層演算器
130 ロス関数計算部
200 第二の学習部
300 モデル調停部
310 重み調停部
311 勾配調停部
321 第一の重みパラメタ更新部
322 第二の重みパラメタ更新部
400 学習データ記憶部
410 第一の学習データセット
420 第二の学習データセット
500 情報処理装置
501 CPU
502 ROM
503 RAM
504 プログラム群
505 記憶装置
506 ドライブ装置
507 通信インタフェース
508 入出力インタフェース
509 バス
510 記憶媒体
511 通信ネットワーク
521 第一の学習手段
522 第二の学習手段
523 調停手段
Claims (9)
- 第一の学習データセットを用いて第一の学習処理を行い、第一の重みパラメタを含む第一の学習モデルを生成すると共に、第二の学習データセットを用いて第二の学習処理を行い、第二の重みパラメタを含む第二の学習モデルを生成し、
前記第一の学習処理と前記第二の学習処理とを行う際に、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する、
情報処理方法。 - 請求項1に記載の情報処理方法であって、
前記第一の学習処理として、前記第一の重みパラメタを用いて順伝搬処理を行うと共に、前記第一の重みパラメタに対する第一の勾配を算出する逆伝搬処理を行い、
前記第二の学習処理として、前記第二の重みパラメタを用いて順伝搬処理を行うと共に、前記第二の重みパラメタに対する第二の勾配を算出する逆伝搬処理を行い、
前記第一の重みパラメタと、前記第一の勾配と、前記第二の重みパラメタと、前記第二の勾配と、を用いて、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する、
情報処理方法。 - 請求項2に記載の情報処理方法であって、
前記第一の重みパラメタと、前記第一の勾配と、前記第二の重みパラメタと、前記第二の勾配と、を用いて、調停後の第一の勾配と調停後の第二の勾配とを算出し、前記調停後の第一の勾配と前記調停後の第二の勾配とに基づいて、前記第一の重みパラメタと前記第二の重みパラメタとを更新する、
情報処理方法。 - 請求項3に記載の情報処理方法であって、
前記第一の重みパラメタをP1、前記第一の勾配をG1、前記第二の重みパラメタをP2、前記第二の勾配をG2、前記調停後の第一の勾配をG1n、前記調停後の第二の勾配をG2n、前記第一の学習処理と前記第二の学習処理との優先度をβ(0≦β≦1)、とした場合に、
G1n=G1+β{(P2+G2)-(P1+G1)}
G2n=G2+(1-β){(P1+G1)-(P2+G2)}
にて前記調停後の第一の勾配と前記調停後の第二の勾配とを算出する、
情報処理方法。 - 請求項3又は4に記載の情報処理方法であって、
前記第一の重みパラメタと前記調停後の第一の勾配とに基づいて、前記第一の重みパラメタを更新し、前記第二の重みパラメタと前記調停後の第二の勾配とに基づいて、前記第二の重みパラメタを更新する、
情報処理方法。 - 請求項5に記載の情報処理方法であって、
前記第一の重みパラメタをP1、前記調停後の第一の勾配をG1n、更新後の第一の重みパラメタP1n、前記第二の重みパラメタをP2、前記調停後の第二の勾配をG2n、更新後の第二の重みパラメタをP2n、学習率をλ(0<λ<1)、とした場合に、
P1n=P1+λ・G1n
P2n=P2+λ・G2n
にて前記更新後の第一の重みパラメタと前記更新後の第二の重みパラメタとを算出する、
情報処理方法。 - 第一の学習データセットを用いて第一の学習処理を行い、第一の重みパラメタを含む第一の学習モデルを生成する第一の学習手段と、
第二の学習データセットを用いて第二の学習処理を行い、第二の重みパラメタを含む第二の学習モデルを生成する第二の学習手段と、
前記第一の学習処理と前記第二の学習処理とを行う際に、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する調停手段と、
を備えた情報処理装置。 - 請求項7に記載の情報処理装置であって、
前記第一の学習手段は、前記第一の学習処理として、前記第一の重みパラメタを用いて順伝搬処理を行うと共に、前記第一の重みパラメタに対する第一の勾配を算出する逆伝搬処理を行い、
前記第二の学習手段は、前記第二の学習処理として、前記第二の重みパラメタを用いて順伝搬処理を行うと共に、前記第二の重みパラメタに対する第二の勾配を算出する逆伝搬処理を行い、
前記調停手段は、前記第一の重みパラメタと、前記第一の勾配と、前記第二の重みパラメタと、前記第二の勾配と、を用いて、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する、
情報処理装置。 - 情報処理装置に、
第一の学習データセットを用いて第一の学習処理を行い、第一の重みパラメタを含む第一の学習モデルを生成する第一の学習手段と、
第二の学習データセットを用いて第二の学習処理を行い、第二の重みパラメタを含む第二の学習モデルを生成する第二の学習手段と、
前記第一の学習処理と前記第二の学習処理とを行う際に、前記第一の重みパラメタと前記第二の重みパラメタとが略同一の値となるよう前記第一の重みパラメタと前記第二の重みパラメタとを更新する調停手段と、
を実現させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/013810 WO2021192182A1 (ja) | 2020-03-26 | 2020-03-26 | 情報処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021192182A1 JPWO2021192182A1 (ja) | 2021-09-30 |
JPWO2021192182A5 JPWO2021192182A5 (ja) | 2022-11-08 |
JP7392830B2 true JP7392830B2 (ja) | 2023-12-06 |
Family
ID=77891105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022510291A Active JP7392830B2 (ja) | 2020-03-26 | 2020-03-26 | 情報処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230087752A1 (ja) |
JP (1) | JP7392830B2 (ja) |
WO (1) | WO2021192182A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020445A (ja) | 2008-07-09 | 2010-01-28 | Sony Corp | 学習装置、学習方法、およびプログラム |
JP2018055259A (ja) | 2016-09-27 | 2018-04-05 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2020
- 2020-03-26 JP JP2022510291A patent/JP7392830B2/ja active Active
- 2020-03-26 WO PCT/JP2020/013810 patent/WO2021192182A1/ja active Application Filing
- 2020-03-26 US US17/910,270 patent/US20230087752A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020445A (ja) | 2008-07-09 | 2010-01-28 | Sony Corp | 学習装置、学習方法、およびプログラム |
JP2018055259A (ja) | 2016-09-27 | 2018-04-05 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
HE, Xiaoxi et al.,"Multi-Task Zipping via Layer-wise Neuron Sharing",arXiv.org [online],arXiv:1805.09791v2,Cornell University,2019年03月,pp.1-11,[検索日 2020.06.29], インターネット<URL:https://arxiv.org/pdf/1805.09791v2> |
Also Published As
Publication number | Publication date |
---|---|
WO2021192182A1 (ja) | 2021-09-30 |
US20230087752A1 (en) | 2023-03-23 |
JPWO2021192182A1 (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021208151A1 (zh) | 一种模型压缩方法、图像处理方法以及装置 | |
CN107340993B (zh) | 运算装置和方法 | |
JP7240657B2 (ja) | ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム | |
JP6635265B2 (ja) | 予測装置、予測方法および予測プログラム | |
US20190266473A1 (en) | Operation processing apparatus, information processing apparatus and information processing method | |
JP7372347B2 (ja) | データ圧縮方法およびコンピューティングデバイス | |
US20170206450A1 (en) | Method and apparatus for machine learning | |
CN115210720A (zh) | 提供集成教师-学生系统的方法、设备和介质 | |
JP6789894B2 (ja) | ネットワーク係数圧縮装置、ネットワーク係数圧縮方法およびプログラム | |
US20210326710A1 (en) | Neural network model compression | |
JP7345262B2 (ja) | データ圧縮装置、データ処理装置、データ圧縮方法、プログラム、及び学習済みモデル | |
US20160285473A1 (en) | Scalable High-Bandwidth Architecture for Lossless Compression | |
US20220222541A1 (en) | Neural Network Representation Formats | |
JP2019139338A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20220114454A1 (en) | Electronic apparatus for decompressing a compressed artificial intelligence model and control method therefor | |
JP7434604B2 (ja) | ニューラル画像圧縮における画像置換を用いたコンテンツ適応型オンライン訓練 | |
Struharik et al. | Conna–compressed cnn hardware accelerator | |
CN112884146A (zh) | 一种训练基于数据量化与硬件加速的模型的方法及系统 | |
JP7392830B2 (ja) | 情報処理方法 | |
CN108234195B (zh) | 预测网络性能的方法和装置、设备、介质 | |
CN109389209B (zh) | 处理装置及处理方法 | |
CN110889080A (zh) | 乘积累加运算装置、乘积累加运算方法和系统 | |
TWI708196B (zh) | 使用基於累積計數分佈之函數之用於模型參數之解壓縮之方法及處理器 | |
US10559093B2 (en) | Selecting encoding options | |
TWI729939B (zh) | 使用基於累積計數分佈之函數之用於模型參數之解壓縮之方法及處理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220908 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231106 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7392830 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |