WO2019142242A1 - データ処理システムおよびデータ処理方法 - Google Patents

データ処理システムおよびデータ処理方法 Download PDF

Info

Publication number
WO2019142242A1
WO2019142242A1 PCT/JP2018/001052 JP2018001052W WO2019142242A1 WO 2019142242 A1 WO2019142242 A1 WO 2019142242A1 JP 2018001052 W JP2018001052 W JP 2018001052W WO 2019142242 A1 WO2019142242 A1 WO 2019142242A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
learning
data
slope
parameter
Prior art date
Application number
PCT/JP2018/001052
Other languages
English (en)
French (fr)
Inventor
陽一 矢口
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2019566014A priority Critical patent/JP6942204B2/ja
Priority to PCT/JP2018/001052 priority patent/WO2019142242A1/ja
Priority to CN201880086497.XA priority patent/CN111602146B/zh
Publication of WO2019142242A1 publication Critical patent/WO2019142242A1/ja
Priority to US16/929,805 priority patent/US20200349445A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present invention relates to a data processing system and a data processing method.
  • a neural network is a mathematical model that includes one or more non-linear units, and is a machine learning model that predicts an output corresponding to an input.
  • Many neural networks have one or more intermediate layers (hidden layers) in addition to the input layer and the output layer. The output of each intermediate layer becomes the input of the next layer (intermediate layer or output layer). Each layer of the neural network produces an output in response to the input and its parameters.
  • Deep neural networks that have become capable of learning achieve high performance in a wide variety of tasks including image classification by improving expressive power.
  • PReLU function was proposed with the gradient for negative value input as a parameter to be optimized (learned), and the accuracy improvement was achieved compared to ReLU, but when the gradient parameter of PReLU is learned using the gradient, the gradient parameter The value may be much larger than 1, and the output of PReLU with such parameters is divergent and learning will fail.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide a technique capable of realizing relatively high accuracy and stable learning.
  • a data processing system outputs data that is output by performing processing according to a neural network on learning data, and an ideal output for the learning data.
  • a learning unit is provided that optimizes optimization target parameters of the neural network based on comparison with data.
  • the learning unit is one of optimization parameters that is a slope ratio parameter indicating a ratio between the slope when the input value is in the positive range and the slope when the input value is in the negative range of the activation function of the neural network. Optimize as.
  • Another aspect of the invention is a data processing method.
  • This method comprises the steps of: outputting output data corresponding to learning data by executing processing according to a neural network on learning data; output data corresponding to learning data; and an ideal output for the learning data Optimizing the optimization target parameters of the neural network based on the comparison with the data.
  • Optimization step In the optimization step, a slope ratio parameter indicating the ratio of the slope when the input value is in the positive range and the slope when the input value is in the negative range of the activation function of the neural network. Is optimized as one of the optimization parameters.
  • any combination of the above-described constituent elements, one obtained by converting the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program and the like is also effective as an aspect of the present invention.
  • FIG. 1 It is a block diagram showing the function and composition of a data processing system concerning an embodiment. It is a figure which shows the flowchart of the learning process by a data processing system. It is a figure which shows the flowchart of the application process by a data processing system.
  • FIG. 1 is a block diagram showing the function and configuration of a data processing system 100 according to an embodiment.
  • Each block shown here can be realized by hardware as an element such as a CPU (central processing unit) of a computer or a mechanical device, and as software as a computer program or the like. It depicts the functional blocks realized by the collaboration of Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by a combination of hardware and software.
  • the data processing system 100 applies, to the image, a “learning process” of learning a neural network based on an image for learning and a correct value that is ideal output data for the image, and a learned neural network.
  • application processing that performs image processing such as image classification, object detection or image segmentation.
  • the data processing system 100 executes a process according to a neural network on an image for learning, and outputs output data for the image for learning. Then, the data processing system 100 updates a parameter for optimization (learning) of the neural network (hereinafter, referred to as “optimization target parameter”) so that the output data approaches the correct value.
  • the optimization target parameter is optimized by repeating this.
  • the data processing system 100 executes the process according to the neural network on the image using the optimization target parameter optimized in the learning process, and outputs the output data for the image.
  • the data processing system 100 interprets the output data to perform image classification of the image, object detection from the image, and image segmentation of the image.
  • the data processing system 100 includes an acquisition unit 110, a storage unit 120, a neural network processing unit 130, a learning unit 140, and an interpretation unit 150.
  • the neural network processing unit 130 and the learning unit 140 mainly realize the learning processing function
  • the neural network processing unit 130 and the interpreting unit 150 mainly realize the application processing function.
  • the acquiring unit 110 acquires a plurality of learning images at one time and correct values corresponding to each of the plurality of images. Further, the acquisition unit 110 acquires an image to be processed in the application process.
  • the image may be, for example, an RGB image, or a grayscale image, regardless of the number of channels.
  • the storage unit 120 stores the image acquired by the acquisition unit 110, and serves as a work area of the neural network processing unit 130, the learning unit 140 and the interpretation unit 150, and a storage area of parameters of the neural network.
  • the neural network processing unit 130 executes processing in accordance with the neural network.
  • the neural network processing unit 130 executes processing corresponding to each component of each layer of the input layer processing unit 131 which executes processing corresponding to each component of the input layer of the neural network, and one or more intermediate layers (hidden layer).
  • the intermediate layer processing unit 132 includes an output layer processing unit 133 that executes processing corresponding to each component of the output layer.
  • k c is a parameter indicating the ratio between the slope when the input value is in the positive range and the slope when the input value is in the negative range (hereinafter referred to as “slope ratio parameter”).
  • the slope ratio parameter k c is set independently for each component.
  • components are channels of input data, coordinates of input data, and input data itself.
  • the learning unit 140 optimizes optimization target parameters of the neural network.
  • the learning unit 140 calculates an error using an objective function (error function) that compares an output obtained by inputting a learning image into the neural network processing unit 130 and a correct value corresponding to the image.
  • the learning unit 140 calculates the gradient of the parameter by the gradient back propagation method or the like as described in Non-Patent Document 1 based on the calculated error, and the optimization target parameter of the neural network is calculated based on the momentum method. Update.
  • the parameters to be optimized include a slope ratio parameter k c in addition to the weighting factor and the bias. For example, “1” is set as the initial value of the slope ratio parameter k c .
  • the learning unit 140 updates the slope non-parameter k c with the momentum method (equation (5) below) based on the calculated slope.
  • ⁇ momentum
  • ⁇ learning rate
  • FIG. 2 shows a flowchart of learning processing by the data processing system 100.
  • the acquisition unit 110 acquires a plurality of learning images (S10).
  • the neural network processing unit 130 executes a process according to the neural network on each of the plurality of learning images acquired by the acquisition unit 110, and outputs output data for each (S12).
  • the learning unit 140 updates the parameters based on the output data for each of the plurality of learning images and the correct value for each (S14). In updating this parameter, in addition to the weighting factor and bias, the slope ratio parameter k c is also updated as the optimization target parameter.
  • the learning unit 140 determines whether the termination condition is satisfied (S16). If the end condition is not satisfied (N in S16), the process returns to S10. If the end condition is satisfied (Y in S16), the process ends.
  • FIG. 3 shows a flowchart of application processing by the data processing system 100.
  • the acquisition unit 110 acquires an image of an application processing target (S20).
  • the neural network processing unit 130 executes processing on the image acquired by the acquisition unit 110 according to the neural network in which the optimization target parameters have been optimized, ie, the learned neural network, and outputs output data (S22).
  • the interpretation unit 150 interprets the output data, performs image classification of the image of the object, detects an object from the image of the object, and performs image segmentation on the image of the object (S24).
  • the ratio of the slope of the activation function when the input value is in the positive range and the slope of the activation function when the input value is in the negative range is It is the parameter to be optimized, and the larger inclination is fixed at 1. Thereby, stabilization of learning can be realized.
  • 100 data processing system 130 neural network processing unit, 140 learning unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

データ処理システム１００は、学習データに対してニューラルネットワークにしたがった処理を実行することにより出力される出力データと、その学習データに対する理想的な出力データとの比較に基づいて、ニューラルネットワークの最適化対象パラメータを最適化する学習部１４０を備える。学習部１４０は、ニューラルネットワークの活性化関数の、入力値が正の範囲にあるときの傾きと入力値が負の範囲にあるときの傾きとの比率を示す傾斜比パラメータを、最適化パラメータのひとつとして最適化する。

Description

データ処理システムおよびデータ処理方法
　本発明は、データ処理システムおよびデータ処理方法に関する。
　ニューラルネットワークは、１以上の非線形ユニットを含む数学的モデルであり、入力に対応する出力を予測する機械学習モデルである。多くのニューラルネットワークは、入力層と出力層の他に、１以上の中間層（隠れ層）をもつ。各中間層の出力は次の層（中間層または出力層）の入力となる。ニューラルネットワークの各層は、入力および自身のパラメータに応じて出力を生成する。
Alex Krizhevsky、Ilya Sutskever、Geoffrey E. Hinton、「ImageNet Classification with Deep Convolutional Neural Networks」、NIPS2012_4824
　ＲｅＬＵ関数を活性化関数に用いることにより、ディープニューラルネットワークの学習を困難にする勾配消失問題を緩和することができる。学習が可能になったディープニューラルネットワークは表現力の向上によって画像分類を含む多種多様なタスクにおいて高性能を達成している。
　しかし、ＲｅＬＵ関数は負値入力に対する勾配が０であるため、１／２の期待値で勾配が完全に消失し、学習が滞る。解決のために負値入力にわずかな傾きの固定勾配を持つＬｅａｋｙ　ＲｅＬＵ関数が提案されたが、精度向上には至っていない。
　また、負値入力に対する勾配を最適化（学習）対象のパラメータとしたＰＲｅＬＵ関数が提案され、ＲｅＬＵと比較して精度向上を達成したが、勾配を用いてＰＲｅＬＵの勾配パラメータを学習すると勾配パラメータが１よりもはるかに大きい値になる場合があり、そのようなパラメータをもったＰＲｅＬＵの出力は発散を伴うため学習に失敗してしまう。
　本発明はこうした状況に鑑みなされたものであり、その目的は、比較的高精度、かつ、安定した学習を実現できる技術を提供することにある。
　上記課題を解決するために、本発明のある態様のデータ処理システムは、学習データに対してニューラルネットワークにしたがった処理を実行することにより出力される出力データと、その学習データに対する理想的な出力データとの比較に基づいて、ニューラルネットワークの最適化対象パラメータを最適化する学習部を備える。学習部は、ニューラルネットワークの活性化関数の、入力値が正の範囲にあるときの傾きと入力値が負の範囲にあるときの傾きとの比率を示す傾斜比パラメータを、最適化パラメータのひとつとして最適化する。
　本発明の別の態様は、データ処理方法である。この方法は、学習データに対してニューラルネットワークにしたがった処理を実行することにより学習データに対応する出力データを出力するステップと、学習データに対応する出力データと、その学習データに対する理想的な出力データとの比較に基づいて、ニューラルネットワークの最適化対象パラメータを最適化するステップと、を備える。最適化対象パラメータを最適化するステップでは、ニューラルネットワークの活性化関数の、入力値が正の範囲にあるときの傾きと入力値が負の範囲にあるときの傾きとの比率を示す傾斜比パラメータを、最適化パラメータのひとつとして最適化する。
　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、比較的高精度、かつ、安定した学習を実現できる。
実施の形態に係るデータ処理システムの機能および構成を示すブロック図である。 データ処理システムによる学習処理のフローチャートを示す図である。 データ処理システムによる適用処理のフローチャートを示す図である。
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。
　なお、以下ではデータ処理装置を画像処理に適用する場合を例に説明するが、当業者によれば、データ処理装置を音声認識処理、自然言語処理、その他の処理にも適用可能であることが理解されよう。
　図１は、実施の形態に係るデータ処理システム１００の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵ（central processing unit）をはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
　データ処理システム１００は、学習用の画像と、その画像に対する理想的な出力データである正解値とに基づいてニューラルネットワークの学習を行う「学習処理」と、学習済みのニューラルネットワークを画像に適用し、画像分類、物体検出または画像セグメンテーションなどの画像処理を行う「適用処理」と、を実行する。
　学習処理では、データ処理システム１００は、学習用の画像に対してニューラルネットワークにしたがった処理を実行し、学習用の画像に対する出力データを出力する。そしてデータ処理システム１００は、出力データが正解値に近づくようにニューラルネットワークの最適化（学習）対象のパラメータ（以下、「最適化対象パラメータ」と呼ぶ）を更新する。これを繰り返すことにより最適化対象パラメータが最適化される。
　適用処理では、データ処理システム１００は、学習処理において最適化された最適化対象パラメータを用いて、画像に対してニューラルネットワークにしたがった処理を実行し、その画像に対する出力データを出力する。データ処理システム１００は、出力データを解釈して、画像を画像分類したり、画像から物体検出したり、画像に対して画像セグメンテーションを行ったりする。
　データ処理システム１００は、取得部１１０と、記憶部１２０と、ニューラルネットワーク処理部１３０と、学習部１４０と、解釈部１５０と、を備える。主にニューラルネットワーク処理部１３０と学習部１４０により学習処理の機能が実現され、主にニューラルネットワーク処理部１３０と解釈部１５０により適用処理の機能が実現される。
　取得部１１０は、学習処理においては、一度に複数枚の学習用の画像と、それら複数枚の画像のそれぞれに対応する正解値とを取得する。また取得部１１０は、適用処理においては、処理対象の画像を取得する。なお、画像は、チャンネル数は特に問わず、例えばＲＧＢ画像であっても、また例えばグレースケール画像であってもよい。
　記憶部１２０は、取得部１１０が取得した画像を記憶する他、ニューラルネットワーク処理部１３０、学習部１４０および解釈部１５０のワーク領域や、ニューラルネットワークのパラメータの記憶領域となる。
　ニューラルネットワーク処理部１３０は、ニューラルネットワークにしたがった処理を実行する。ニューラルネットワーク処理部１３０は、ニューラルネットワークの入力層の各コンポーネントに対応する処理を実行する入力層処理部１３１と、１以上の中間層（隠れ層）の各層の各コンポーネントに対応する処理を実行する中間層処理部１３２と、出力層の各コンポーネントに対応する処理を実行する出力層処理部１３３と、を含む。
　中間層処理部１３２は、中間層の各層の各コンポーネントの処理として、前段の層（入力層または前段の中間層）からの入力データに対して活性化関数を適用する活性化処理を実行する。なお中間層処理部１３２は、活性化処理に加えて、畳み込み処理や間引き処理やその他の処理を実行してもよい。
　活性化関数は、以下の式（１）により与えられる。
Figure JPOXMLDOC01-appb-M000002
 　ここで、ｋｃは入力値が正の範囲にあるときの傾きと入力値が負の範囲にあるときの傾きとの比率を示すパラメータ（以下、「傾斜比パラメータ」と呼ぶ）。傾斜比パラメータｋｃは、コンポーネントごと独立に設定される。例えばコンポーネントは入力データのチャンネルや、入力データの座標や、入力データそのものである。
　出力層処理部１３３は、例えばソフトマックス関数、シグモイド関数、クロスエントロピー関数などを組み合わせた演算を行う。
　学習部１４０は、ニューラルネットワークの最適化対象パラメータを最適化する。学習部１４０は、学習用の画像をニューラルネットワーク処理部１３０に入力することにより得られた出力と、その画像に対応する正解値とを比較する目的関数（誤差関数）により、誤差を算出する。学習部１４０は、算出された誤差に基づいて、非特許文献１に記載のように、勾配逆伝搬法等によりパラメータについての勾配を計算し、モーメンタム法に基づいてニューラルネットワークの最適化対象パラメータを更新する。最適化対象パラメータには、重み係数およびバイアスに加え、傾斜比パラメータｋｃが含まれる。なお、傾斜比パラメータｋｃの初期値には、例えば「１」が設定される。
　学習部１４０による処理を、傾斜比パラメータｋｃを更新する場合を例に具体的に説明する。
　学習部１４０は、ニューラルネットワークの目的関数εの傾斜比パラメータｋｃについての勾配を、勾配逆伝搬法に基づき、以下の式（２）で算出する。
Figure JPOXMLDOC01-appb-M000003
 　ここで、∂ε/∂f(xc)は後続の層から逆伝搬されてきた勾配である。
　学習部１４０は、中間層の各層の各コンポーネントにおける入力ｘｃ、傾斜比パラメータｋｃそれぞれについての勾配∂f(xc)/∂xc、∂f(xc)/∂ｋcは以下の式（３）、（４）で算出する。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　学習部１４０は、算出された勾配に基づき、モーメンタム法（以下の式（５））で傾斜非パラメータｋｃを更新する
Figure JPOXMLDOC01-appb-M000006
 　ここで、
　μ：モーメンタム
　η：学習率
　である。
　例えば、μ＝０．９、η＝０．１に設定する。
　取得部１１０による学習用の画像の取得と、ニューラルネットワーク処理部１３０による学習用画像に対するニューラルネットワークにしたがった処理と、学習部１４０による最適化対象パラメータの更新とを繰り返すことにより、最適化対象パラメータが最適化される。
　また、学習部１４０は、学習を終了すべきか否かを判定する。学習を終了すべき終了条件は、例えば学習が所定回数行われたことや、外部から終了の指示を受けたことや、最適化対象パラメータの更新量の平均値が所定値に達したことや、算出された誤差が所定の範囲内に収まったことである。学習部１４０は、終了条件が満たされる場合、学習処理を終了させる。学習部１４０は、終了条件が満たされない場合、処理をニューラルネットワーク処理部１３０に戻す。
　解釈部１５０は、出力層処理部１３３からの出力を解釈して、画像分類、物体検出または画像セグメンテーションを実施する。
　実施の形態に係るデータ処理システム１００の動作を説明する。
　図２は、データ処理システム１００による学習処理のフローチャートを示す。取得部１１０は、複数枚の学習用の画像を取得する（Ｓ１０）。ニューラルネットワーク処理部１３０は、取得部１１０が取得した複数枚の学習用の画像のそれぞれに対して、ニューラルネットワークにしたがった処理を実行し、それぞれについての出力データを出力する（Ｓ１２）。学習部１４０は、複数枚の学習用の画像のそれぞれについての出力データと、それぞれについての正解値とに基づいて、パラメータを更新する（Ｓ１４）。このパラメータの更新では、重み付け係数やバイアスに加えて、傾斜比パラメータｋｃも最適化対象パラメータとして更新する。学習部１４０は、終了条件が満たされるか否かを判定する（Ｓ１６）。終了条件が満たされない場合（Ｓ１６のＮ）、処理はＳ１０に戻される。終了条件が満たされる場合（Ｓ１６のＹ）、処理は終了する。
　図３は、データ処理システム１００による適用処理のフローチャートを示す。取得部１１０は、適用処理の対象の画像を取得する（Ｓ２０）。ニューラルネットワーク処理部１３０は、取得部１１０が取得した画像に対して、最適化対象パラメータが最適化されたすなわち学習済みのニューラルネットワークにしたがった処理を実行し、出力データを出力する（Ｓ２２）。解釈部１５０は、出力データを解釈し、対象の画像を画像分類したり、対象の画像から物体検出したり、対象の画像に対して画像セグメンテーションを行ったりする（Ｓ２４）。
　以上説明した実施の形態に係るデータ処理システム１００によると、入力値が正の範囲にあるときの活性化関数の傾きと入力値が負の範囲にあるときの活性化関数の傾きとの比率が最適化対象のパラメータとされ、また大きい方の傾きが１に固定される。これにより、学習の安定化を実現することができる。
　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　１００　データ処理システム、　１３０　ニューラルネットワーク処理部、　１４０　学習部。
　本発明は、データ処理システムおよびデータ処理方法に関する。

Claims (7)

  1. 　学習データに対してニューラルネットワークにしたがった処理を実行することにより出力される出力データと、その学習データに対する理想的な出力データとの比較に基づいて、前記ニューラルネットワークの最適化対象パラメータを最適化する学習部を備え、
    　前記学習部は、前記ニューラルネットワークの活性化関数の、入力値が正の範囲にあるときの傾きと入力値が負の範囲にあるときの傾きとの比率を示す傾斜比パラメータを、最適化パラメータのひとつとして最適化することを特徴とするデータ処理システム。
  2. 　前記活性化関数は、
    Figure JPOXMLDOC01-appb-M000001
     　で表現されることを特徴とする請求項１に記載のデータ処理システム。
  3. 　前記学習部は、傾斜比パラメータの初期値として１を設定することを特徴とする請求項１または２に記載のデータ処理システム。
  4. 　前記ニューラルネットワークは、畳み込みニューラルネットワークであり、コンポーネントごとに独立した傾斜比パラメータを有することを特徴とする請求項１から３のいずれかに記載のデータ処理システム。
  5. 　前記コンポーネントはチャンネルであることを特徴とする請求項４に記載のデータ処理システム。
  6. 　学習データに対してニューラルネットワークにしたがった処理を実行することにより学習データに対応する出力データを出力するステップと、
    　学習データに対応する出力データと、その学習データに対する理想的な出力データとの比較に基づいて、前記ニューラルネットワークの最適化対象パラメータを最適化するステップと、を備え、
    　前記最適化対象パラメータを最適化するステップでは、前記ニューラルネットワークの活性化関数の、入力値が正の範囲にあるときの傾きと入力値が負の範囲にあるときの傾きとの比率を示す傾斜比パラメータを、最適化パラメータのひとつとして最適化することを特徴とするデータ処理方法。
  7. 　学習データに対してニューラルネットワークにしたがった処理を実行することにより出力される出力データと、その学習データに対する理想的な出力データとの比較に基づいて、前記ニューラルネットワークの最適化対象パラメータを最適化する機能をコンピュータに実現させるためのプログラムであって、
    　前記最適化対象パラメータを最適化する機能は、前記ニューラルネットワークの活性化関数の、入力値が正の範囲にあるときの傾きと入力値が負の範囲にあるときの傾きとの比率を示す傾斜比パラメータを、最適化パラメータのひとつとして最適化することを特徴とするプログラム。
PCT/JP2018/001052 2018-01-16 2018-01-16 データ処理システムおよびデータ処理方法 WO2019142242A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019566014A JP6942204B2 (ja) 2018-01-16 2018-01-16 データ処理システムおよびデータ処理方法
PCT/JP2018/001052 WO2019142242A1 (ja) 2018-01-16 2018-01-16 データ処理システムおよびデータ処理方法
CN201880086497.XA CN111602146B (zh) 2018-01-16 2018-01-16 数据处理系统、数据处理方法和记录介质
US16/929,805 US20200349445A1 (en) 2018-01-16 2020-07-15 Data processing system and data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/001052 WO2019142242A1 (ja) 2018-01-16 2018-01-16 データ処理システムおよびデータ処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/929,805 Continuation US20200349445A1 (en) 2018-01-16 2020-07-15 Data processing system and data processing method

Publications (1)

Publication Number Publication Date
WO2019142242A1 true WO2019142242A1 (ja) 2019-07-25

Family

ID=67302116

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/001052 WO2019142242A1 (ja) 2018-01-16 2018-01-16 データ処理システムおよびデータ処理方法

Country Status (4)

Country Link
US (1) US20200349445A1 (ja)
JP (1) JP6942204B2 (ja)
CN (1) CN111602146B (ja)
WO (1) WO2019142242A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004503001A (ja) * 2000-06-29 2004-01-29 アスペン　テクノロジー　インコーポレイテッド 経験的プロセスの非線形近似器を制約するコンピュータ装置とその方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0178805B1 (ko) * 1992-08-27 1999-05-15 정호선 스스로 학습이 가능한 다층 신경회로망 및 학습 방법
US20160180214A1 (en) * 2014-12-19 2016-06-23 Google Inc. Sharp discrepancy learning
JP2017097585A (ja) * 2015-11-24 2017-06-01 株式会社リコー 学習装置、プログラム及び学習方法
US9892344B1 (en) * 2015-11-30 2018-02-13 A9.Com, Inc. Activation layers for deep learning networks
US10733503B2 (en) * 2016-02-18 2020-08-04 Intel Corporation Technologies for shifted neural networks
JP6727642B2 (ja) * 2016-04-28 2020-07-22 株式会社朋栄 学習型アルゴリズムによるフォーカス補正処理方法
US11615310B2 (en) * 2016-05-20 2023-03-28 Deepmind Technologies Limited Training machine learning models by determining update rules using recurrent neural networks
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
US10970819B2 (en) * 2017-05-26 2021-04-06 Rakuten, Inc. Image processing device, image processing method, and image processing program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004503001A (ja) * 2000-06-29 2004-01-29 アスペン　テクノロジー　インコーポレイテッド 経験的プロセスの非線形近似器を制約するコンピュータ装置とその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HE, KAIMING ET AL.: "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification", 2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), 6 February 2015 (2015-02-06) - 7 December 2015 (2015-12-07), pages 1026 - 1034, XP032866428 *

Also Published As

Publication number Publication date
JP6942204B2 (ja) 2021-09-29
JPWO2019142242A1 (ja) 2020-11-19
CN111602146B (zh) 2024-05-10
US20200349445A1 (en) 2020-11-05
CN111602146A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
JP7045947B2 (ja) ニューラルネットワークの学習装置および学習方法
US10789734B2 (en) Method and device for data quantization
US9619749B2 (en) Neural network and method of neural network training
US20180349758A1 (en) Computation method and device used in a convolutional neural network
EP3380939B1 (en) Adaptive artificial neural network selection techniques
WO2019207770A1 (ja) 学習済みモデル更新装置、学習済みモデル更新方法、プログラム
JP6610278B2 (ja) 機械学習装置、機械学習方法及び機械学習プログラム
CN113610232B (zh) 网络模型量化方法、装置、计算机设备以及存储介质
US10853738B1 (en) Inference circuit for improving online learning
CN111523686B (zh) 一种模型联合训练的方法和系统
US11449734B2 (en) Neural network reduction device, neural network reduction method, and storage medium
US20220164666A1 (en) Efficient mixed-precision search for quantizers in artificial neural networks
US20200349444A1 (en) Data processing system and data processing method
KR20210015990A (ko) 학습된 파라미터의 형태변환을 이용한 컨벌루션 신경망 파라미터 최적화 방법, 컨벌루션 신경망 연산방법 및 그 장치
Lam et al. Gaussian Process Neural Networks for Speech Recognition.
WO2019142242A1 (ja) データ処理システムおよびデータ処理方法
JP7047665B2 (ja) 学習装置、学習方法及び学習プログラム
JP2023078578A (ja) 画像処理装置、学習システム、および、学習方法
WO2020003450A1 (ja) データ処理システムおよびデータ処理方法
JP7055211B2 (ja) データ処理システムおよびデータ処理方法
WO2024024217A1 (ja) 機械学習装置、機械学習方法、および機械学習プログラム
WO2023100427A1 (ja) 機械学習装置、機械学習方法、および機械学習プログラム
WO2020044566A1 (ja) データ処理システムおよびデータ処理方法
WO2024057374A1 (ja) 抽出システム、抽出方法および抽出プログラム
Takanashi et al. Image Classification Using l 1-fidelity Multi-layer Convolutional Sparse Representation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18901526

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019566014

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18901526

Country of ref document: EP

Kind code of ref document: A1