WO2020003450A1 - データ処理システムおよびデータ処理方法 - Google Patents

データ処理システムおよびデータ処理方法 Download PDF

Info

Publication number
WO2020003450A1
WO2020003450A1 PCT/JP2018/024645 JP2018024645W WO2020003450A1 WO 2020003450 A1 WO2020003450 A1 WO 2020003450A1 JP 2018024645 W JP2018024645 W JP 2018024645W WO 2020003450 A1 WO2020003450 A1 WO 2020003450A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
neural network
learning
intermediate data
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/024645
Other languages
English (en)
French (fr)
Inventor
陽一 矢口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to PCT/JP2018/024645 priority Critical patent/WO2020003450A1/ja
Priority to JP2020526814A priority patent/JP6994572B2/ja
Priority to CN201880094927.2A priority patent/CN112313676A/zh
Publication of WO2020003450A1 publication Critical patent/WO2020003450A1/ja
Priority to US17/133,402 priority patent/US20210117793A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation

Definitions

  • the present invention relates to a data processing system and a data processing method.
  • a neural network is a mathematical model that includes one or more nonlinear units, and is a machine learning model that predicts an output corresponding to an input.
  • Many neural networks have one or more hidden layers in addition to the input and output layers. The output of each intermediate layer becomes the input of the next layer (intermediate layer or output layer). Each layer of the neural network produces an output depending on the input and its parameters.
  • One of the problems in neural network learning is overfitting to learning data. Overfitting to the training data causes a deterioration in prediction accuracy for unknown data.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique capable of suppressing overfitting with learning data.
  • a data processing system includes a neural network processing unit that performs processing according to a neural network including an input layer, one or more intermediate layers, and an output layer, and a neural network processing unit.
  • a learning unit that optimizes the optimization target parameters of the neural network based on a comparison between output data output by the unit performing the processing on the learning data and ideal output data for the learning data. , Is provided.
  • the neural network processing unit is intermediate data representing input data to an intermediate layer element constituting the intermediate layer of the M-th layer (M is an integer of 1 or more) or output data from the intermediate layer element, and is included in the learning data.
  • Disturbance processing that applies an operation using at least one intermediate data selected from the N intermediate data to each of N intermediate data based on a set of N (an integer of 2 or more) learning samples to be executed Execute
  • FIG. 1 is a block diagram illustrating functions and configurations of a data processing system according to an embodiment. It is a figure which shows an example of a structure of a neural network typically. It is a figure showing the flow chart of the learning processing by the data processing system. It is a figure showing the flow chart of the application processing by the data processing system. It is a figure which shows another example of a structure of a neural network typically.
  • the neural network has an extremely large number of parameters to be optimized, so that a complex mapping that is overfit with the learning data is obtained.
  • overfitting can be mitigated by adding perturbations to the geometric shape, values, and the like of the learning data.
  • the effect is limited because perturbation data is filled only in the vicinity of each learning data.
  • data is amplified by mixing two learning data and ideal output data corresponding to each at an appropriate ratio.
  • the pseudo data is densely filled in the space of the learning data and the space of the output data, and it is possible to further suppress overfitting.
  • the expression space in the middle part of the network is learned so that the data to be learned can be expressed in a wide distribution. Therefore, in the present invention, a method of improving the representation space of the intermediate part by mixing data in many intermediate layers from the layer close to the input to the layer close to the output, and suppressing the overfitting of the network as a whole with the learning data. suggest. Hereinafter, a specific description will be given.
  • FIG. 1 is a block diagram showing functions and configuration of data processing system 100 according to the embodiment.
  • Each block shown here can be realized by hardware or other elements or mechanical devices such as a CPU (central processing unit) of the computer, and is realized by a computer program or the like in software.
  • the data processing system 100 performs a “learning process” for learning a neural network based on a learning image (learning data) and a correct value that is ideal output data for the image.
  • An "application process” for applying image processing such as image classification, object detection, or image segmentation by applying to an unknown image (unknown data) is executed.
  • the data processing system 100 executes a process according to the neural network on the learning image, and outputs output data on the learning image. Then, the data processing system 100 updates a parameter to be optimized (learned) of the neural network (hereinafter, referred to as an “optimization target parameter”) in a direction in which the output data approaches the correct value. By repeating this, the optimization target parameter is optimized.
  • the data processing system 100 executes a process according to the neural network on the image using the optimization target parameters optimized in the learning process, and outputs output data for the image.
  • the data processing system 100 interprets the output data, classifies the image into an image, detects an object from the image, and performs image segmentation on the image.
  • the data processing system 100 includes an acquisition unit 110, a storage unit 120, a neural network processing unit 130, a learning unit 140, and an interpretation unit 150.
  • the function of the learning process is mainly realized by the neural network processing unit 130 and the learning unit 140
  • the function of the application process is mainly realized by the neural network processing unit 130 and the interpretation unit 150.
  • the acquisition unit 110 sets a set of N (integer of 2 or more) learning images (learning samples) and N correct values corresponding to each of the N learning images. To get.
  • the acquisition unit 110 acquires an image to be processed in the application processing.
  • the image is not limited to a particular number of channels, and may be, for example, an RGB image or, for example, a grayscale image.
  • the storage unit 120 stores the images acquired by the acquisition unit 110, and serves as a work area for the neural network processing unit 130, the learning unit 140, and the interpretation unit 150, and a storage area for neural network parameters.
  • the neural network processing unit 130 executes a process according to the neural network.
  • the neural network processing unit 130 includes an input layer processing unit 131 that performs a process corresponding to the input layer of the neural network, an intermediate layer processing unit 132 that performs a process corresponding to the hidden layer (hidden layer), and a And an output layer processing unit 133 for executing the processing.
  • FIG. 2 is a diagram schematically illustrating an example of the configuration of a neural network.
  • the neural network includes two intermediate layers, and each intermediate layer includes an intermediate layer element that performs a convolution process and an intermediate layer element that performs a pooling process.
  • the number of the intermediate layers is not particularly limited.
  • the number of the intermediate layers may be one or three or more.
  • the intermediate layer processing unit 132 executes processing of each element of each intermediate layer.
  • the neural network includes at least one disturbance element.
  • the neural network includes a disturbance element before and after each hidden layer.
  • the intermediate layer processing unit 132 also executes processing corresponding to the disturbance element.
  • the intermediate layer processing unit 132 executes a disturbance process as a process corresponding to the disturbance element.
  • the disturbance processing is intermediate data representing input data to an intermediate layer element or output data from an intermediate layer element, and includes N intermediate intermediate images based on N learning images included in a set of learning images.
  • the disturbance processing is given by the following equation (1) as an example.
  • all of the N learning images included in the set of learning images are used to disturb other images of the N learning images.
  • Other images are linearly combined with each of the N learning images.
  • the intermediate layer processing unit 132 executes a process given by the following equation (2) as a process corresponding to the disturbance element, instead of the disturbance process, that is, without executing the disturbance process. That is, a process of outputting the input as it is is executed.
  • the learning unit 140 optimizes optimization target parameters of the neural network.
  • the learning unit 140 calculates an error by using an objective function (error function) that compares an output obtained by inputting a learning image to the neural network processing unit 130 and a correct answer value corresponding to the image.
  • the learning unit 140 calculates the gradient of the parameter based on the calculated error by the gradient back propagation method or the like, and updates the optimization target parameter of the neural network based on the momentum method.
  • the optimization target parameter Is optimized By repeating the acquisition of the learning image by the acquisition unit 110, the processing of the neural network processing unit 130 on the learning image according to the neural network, and the update of the optimization target parameter by the learning unit 140, the optimization target parameter Is optimized.
  • the learning unit 140 determines whether to end the learning.
  • the ending condition for ending the learning includes, for example, that learning has been performed a predetermined number of times, that an instruction for ending has been received from outside, that the average value of the update amount of the optimization target parameter has reached a predetermined value, That is, the calculated error falls within a predetermined range.
  • the learning unit 140 terminates the learning process. If the termination condition is not satisfied, the learning unit 140 returns the processing to the neural network processing unit 130.
  • the interpretation unit 150 interprets the output from the output layer processing unit 133 and performs image classification, object detection, or image segmentation.
  • FIG. 3 shows a flowchart of the learning process by the data processing system 100.
  • the acquisition unit 110 acquires a plurality of learning images (S10).
  • the neural network processing unit 130 executes a process according to the neural network on each of the plurality of learning images acquired by the acquisition unit 110, and outputs output data for each (S12).
  • the learning unit 140 updates the parameters based on the output data for each of the plurality of learning images and the correct answer value for each (S14).
  • the learning unit 140 determines whether the termination condition is satisfied (S16). If the termination condition is not satisfied (N in S16), the process returns to S10. If the termination condition is satisfied (Y in S16), the process ends.
  • FIG. 4 shows a flowchart of an application process by the data processing system 100.
  • the acquisition unit 110 acquires an image to be subjected to the application processing (S20).
  • the neural network processing unit 130 executes a process according to the neural network in which the optimization target parameters have been optimized, that is, a learned neural network, on the image acquired by the acquiring unit 110, and outputs output data (S22).
  • the interpretation unit 150 interprets the output data, classifies the target image into an image, detects an object from the target image, and performs image segmentation on the target image (S24).
  • each of the N intermediate data based on the N learning images included in the set of learning images is selected from the N intermediate data. Is disturbed using at least one intermediate data, ie, homogeneous data. The rational expansion of the data distribution by the disturbance using the homogeneous data suppresses the overfitting to the learning data.
  • all of the N learning images included in the set of learning images are used to disturb other images of the N learning images. . Therefore, all data can be learned without bias.
  • the application processing can be performed in the same processing time as when the present invention is not used.
  • each of the N intermediate data based on the N learning images included in the set of learning images is converted into at least one intermediate data selected from the N intermediate data, that is, What is necessary is just to disturb using data, and various modifications are possible. Hereinafter, some modified examples will be described.
  • the perturbation process may be given by the following equation (4).
  • the partial differential of the disturbance processing vector x used in the back propagation is given by the following equation (5).
  • the processing executed as processing corresponding to the disturbance element at the time of the application processing, that is, the processing executed as a substitute for the disturbance processing, is given by the following equation (6).
  • the uniformity of the scale improves the accuracy of the image processing in the application processing.
  • the perturbation process may be given by the following equation (7).
  • the random numbers associated with each k are obtained independently.
  • Back propagation can be considered in the same manner as in the embodiment.
  • the disturbance processing may be given by the following equation (8).
  • the data used for the disturbance is randomly selected, the randomness of the disturbance can be enhanced.
  • the disturbance processing may be given by the following equation (9).
  • the disturbance processing may be given by the following equation (10).
  • FIG. 5 is a diagram schematically illustrating another example of the configuration of the neural network.
  • a disturbance element is included after the convolution processing.
  • it corresponds to a method that includes a disturbance element after each convolution process of the existing methods Residual networks and Densely connected networks.
  • the intermediate data to be input to the intermediate layer element for performing the convolution process and the intermediate data output by inputting the intermediate data to the intermediate layer element are obtained by performing a disturbance process. And the intermediate data obtained.
  • an operation for integrating an identity mapping path whose input / output relationship is an identity mapping and an optimization target path having the optimization target parameter in the path is executed. According to this modification, learning can be further stabilized by applying a disturbance to the optimization target path while maintaining the identity of the identity mapping path.
  • ⁇ may be monotonically increased according to the number of times of learning. Thereby, over-learning can be further suppressed in the later stage of learning when learning is stabilized.
  • the present invention relates to a data processing system and a data processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

データ処理システム１００は、入力層、１以上の中間層および出力層を含むニューラルネットワークにしたがった処理を実行するニューラルネットワーク処理部１３０と、ニューラルネットワーク処理部１３０が学習データに対してニューラルネットワークにしたがった処理を実行することにより出力される出力データと、その学習データに対する理想的な出力データとの比較に基づいて、ニューラルネットワークの最適化対象パラメータを最適化する学習部と、を備える。ニューラルネットワーク処理部１３０は、第Ｍ層（Ｍは１以上の整数）の中間層を構成する中間層要素への入力データまたは中間層要素からの出力データを表す中間データであって、学習データに含まれるＮ（２以上の整数）個の学習サンプルのセットに基づくＮ個の中間データのそれぞれに対して、当該Ｎ個の中間データから選択した少なくとも１つの中間データを用いた演算を適用する攪乱処理を実行する。

Description

データ処理システムおよびデータ処理方法
　本発明は、データ処理システムおよびデータ処理方法に関する。
　ニューラルネットワークは、１以上の非線形ユニットを含む数学的モデルであり、入力に対応する出力を予測する機械学習モデルである。多くのニューラルネットワークは、入力層と出力層の他に、１以上の中間層（隠れ層）をもつ。各中間層の出力は次の層（中間層または出力層）の入力となる。ニューラルネットワークの各層は、入力および自身のパラメータに応じて出力を生成する。
Alex Krizhevsky、Ilya Sutskever、Geoffrey E. Hinton、「ImageNet Classification with Deep Convolutional Neural Networks」、NIPS2012_4824
　ニューラルネットワークの学習における問題のひとつとして学習データへの過適合が知られている。学習データへの過適合は、未知データに対する予測精度の悪化を引き起こす。
　本発明はこうした状況に鑑みなされたものであり、その目的は、学習データへの過適合を抑止できる技術を提供することにある。
　上記課題を解決するために、本発明のある態様のデータ処理システムは、入力層、１以上の中間層および出力層を含むニューラルネットワークにしたがった処理を実行するニューラルネットワーク処理部と、ニューラルネットワーク処理部が学習データに対して処理を実行することにより出力される出力データと、その学習データに対する理想的な出力データとの比較に基づいて、ニューラルネットワークの最適化対象パラメータを最適化する学習部と、を備える。ニューラルネットワーク処理部は、第Ｍ層（Ｍは１以上の整数）の中間層を構成する中間層要素への入力データまたは中間層要素からの出力データを表す中間データであって、学習データに含まれるＮ（２以上の整数）個の学習サンプルのセットに基づくＮ個の中間データのそれぞれに対して、当該Ｎ個の中間データから選択した少なくとも１つの中間データを用いた演算を適用する攪乱処理を実行する。
　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、学習データへの過適合を抑止できる。
実施の形態に係るデータ処理システムの機能および構成を示すブロック図である。 ニューラルネットワークの構成の一例を模式的に示す図である。 データ処理システムによる学習処理のフローチャートを示す図である。 データ処理システムによる適用処理のフローチャートを示す図である。 ニューラルネットワークの構成の他の一例を模式的に示す図である。
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。
　実施の形態を説明する前に、基礎となった知見を説明する。
　ニューラルネットワークの学習において学習データそのもののみを学習すると、ニューラルネットワークは非常に多い最適化対象パラメータを持つため学習データに過適合した複雑な写像が得られてしまう。一般的なデータ増幅では、学習データの幾何形状、値等に摂動を加えることにより過適合を緩和できる。しかし、各学習データの近傍のみに摂動データが充填されるため、その効果は限定的である。Between Class Learningでは、２つの学習データおよび各々に対応する理想的な出力データを適当な比率で混合することでデータを増幅する。これにより、学習データの空間と出力データの空間で密に擬似データが充填され、より過適合を抑制できる。一方、学習の際、ネットワークの中間部の表現空間は学習されるデータを広い分布に表現できるよう学習される。よって本発明では、入力に近い層から出力に近い層まで多くの中間層でデータを混合することで中間部の表現空間を改善し、ネットワーク全体としても学習データへの過適合を抑制する方法を提案する。以下、具体的に説明する。
　以下ではデータ処理装置を画像処理に適用する場合を例に説明するが、当業者によれば、データ処理装置を音声認識処理、自然言語処理、その他の処理にも適用可能であることが理解されよう。
　図１は、実施の形態に係るデータ処理システム１００の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵ（central processing unit）をはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
　データ処理システム１００は、学習用の画像（学習データ）と、その画像に対する理想的な出力データである正解値とに基づいてニューラルネットワークの学習を行う「学習処理」と、学習済みのニューラルネットワークを未知の画像（未知データ）に適用し、画像分類、物体検出または画像セグメンテーションなどの画像処理を行う「適用処理」と、を実行する。
　学習処理では、データ処理システム１００は、学習用の画像に対してニューラルネットワークにしたがった処理を実行し、学習用の画像に対する出力データを出力する。そしてデータ処理システム１００は、出力データが正解値に近づく方向にニューラルネットワークの最適化（学習）対象のパラメータ（以下、「最適化対象パラメータ」と呼ぶ）を更新する。これを繰り返すことにより最適化対象パラメータが最適化される。
　適用処理では、データ処理システム１００は、学習処理において最適化された最適化対象パラメータを用いて、画像に対してニューラルネットワークにしたがった処理を実行し、その画像に対する出力データを出力する。データ処理システム１００は、出力データを解釈して、画像を画像分類したり、画像から物体検出したり、画像に対して画像セグメンテーションを行ったりする。
　データ処理システム１００は、取得部１１０と、記憶部１２０と、ニューラルネットワーク処理部１３０と、学習部１４０と、解釈部１５０と、を備える。主にニューラルネットワーク処理部１３０と学習部１４０により学習処理の機能が実現され、主にニューラルネットワーク処理部１３０と解釈部１５０により適用処理の機能が実現される。
　取得部１１０は、学習処理においては、Ｎ（２以上の整数）個の学習用の画像（学習サンプル）のセットと、それらＮ個の学習用の画像のそれぞれに対応するＮ個の正解値とを取得する。また取得部１１０は、適用処理においては、処理対象の画像を取得する。なお、画像は、チャンネル数は特に問わず、例えばＲＧＢ画像であっても、また例えばグレースケール画像であってもよい。
　記憶部１２０は、取得部１１０が取得した画像を記憶する他、ニューラルネットワーク処理部１３０、学習部１４０および解釈部１５０のワーク領域や、ニューラルネットワークのパラメータの記憶領域となる。
　ニューラルネットワーク処理部１３０は、ニューラルネットワークにしたがった処理を実行する。ニューラルネットワーク処理部１３０は、ニューラルネットワークの入力層に対応する処理を実行する入力層処理部１３１と、中間層（隠れ層）に対応する処理を実行する中間層処理部１３２と、出力層に対応する処理を実行する出力層処理部１３３と、を含む。
　図２は、ニューラルネットワークの構成の一例を模式的に示す図である。この例では、ニューラルネットワークは２つの中間層を含み、各中間層は畳み込み処理を行う中間層要素とプーリング処理を行う中間層要素とを含んで構成されている。なお、中間層の数は特に限定されず、例えば中間層の数が１であっても、３以上であってもよい。図示の例の場合、中間層処理部１３２は、各中間層の各要素の処理を実行する。
　また、本実体の形態では、ニューラルネットワークは、少なくとも１つの攪乱要素を含む。図示の例では、ニューラルネットワークは各中間層の前後に攪乱要素を含んでいる。攪乱要素では、中間層処理部１３２は、この攪乱要素に対応する処理も実行する。
　中間層処理部１３２は、学習処理時は、攪乱要素に対応する処理として攪乱処理を実行する。攪乱処理とは、中間層要素への入力データまたは中間層要素からの出力データを表す中間データであって、学習用の画像のセットに含まれるＮ個の学習用の画像に基づくＮ個の中間データのそれぞれに対して、当該Ｎ個の中間データから選択した少なくとも１つの中間データを用いた演算を適用する処理をいう。
　具体的には、攪乱処理は、一例として以下の式（１）により与えられる。
Figure JPOXMLDOC01-appb-M000001
 　この例では、学習用の画像のセットに含まれるＮ個の学習用の画像のすべてがそれぞれ、当該Ｎ個の学習の画像のうちの他の画像を攪乱するのに用いられている。また、Ｎ個の学習用の画像のそれぞれに、他の画像が線形結合されている。
　また、中間層処理部１３２は、適用処理時は、攪乱要素に対応する処理として攪乱処理の代わりに、つまり攪乱処理を実行せずに、以下の式（２）により与えられる処理を実行する。つまり、入力をそのまま出力する処理を実行する。
Figure JPOXMLDOC01-appb-M000002
　学習部１４０は、ニューラルネットワークの最適化対象パラメータを最適化する。学習部１４０は、学習用の画像をニューラルネットワーク処理部１３０に入力することにより得られた出力と、その画像に対応する正解値とを比較する目的関数（誤差関数）により、誤差を算出する。学習部１４０は、算出された誤差に基づいて、勾配逆伝搬法等によりパラメータについての勾配を計算し、モーメンタム法に基づいてニューラルネットワークの最適化対象パラメータを更新する。
　なお、逆伝搬で用いる、攪乱処理のベクトルｘに対する偏微分は以下の式（３）により与えられる。
Figure JPOXMLDOC01-appb-M000003
　取得部１１０による学習用の画像の取得と、ニューラルネットワーク処理部１３０による学習用画像に対するニューラルネットワークにしたがった処理と、学習部１４０による最適化対象パラメータの更新とを繰り返すことにより、最適化対象パラメータが最適化される。
　また、学習部１４０は、学習を終了すべきか否かを判定する。学習を終了すべき終了条件は、例えば学習が所定回数行われたことや、外部から終了の指示を受けたことや、最適化対象パラメータの更新量の平均値が所定値に達したことや、算出された誤差が所定の範囲内に収まったことである。学習部１４０は、終了条件が満たされる場合、学習処理を終了させる。学習部１４０は、終了条件が満たされない場合、処理をニューラルネットワーク処理部１３０に戻す。
　解釈部１５０は、出力層処理部１３３からの出力を解釈して、画像分類、物体検出または画像セグメンテーションを実施する。
　実施の形態に係るデータ処理システム１００の動作を説明する。
　図３は、データ処理システム１００による学習処理のフローチャートを示す。取得部１１０は、複数枚の学習用の画像を取得する（Ｓ１０）。ニューラルネットワーク処理部１３０は、取得部１１０が取得した複数枚の学習用の画像のそれぞれに対して、ニューラルネットワークにしたがった処理を実行し、それぞれについての出力データを出力する（Ｓ１２）。学習部１４０は、複数枚の学習用の画像のそれぞれについての出力データと、それぞれについての正解値とに基づいて、パラメータを更新する（Ｓ１４）。学習部１４０は、終了条件が満たされるか否かを判定する（Ｓ１６）。終了条件が満たされない場合（Ｓ１６のＮ）、処理はＳ１０に戻される。終了条件が満たされる場合（Ｓ１６のＹ）、処理は終了する。
　図４は、データ処理システム１００による適用処理のフローチャートを示す。取得部１１０は、適用処理の対象の画像を取得する（Ｓ２０）。ニューラルネットワーク処理部１３０は、取得部１１０が取得した画像に対して、最適化対象パラメータが最適化されたすなわち学習済みのニューラルネットワークにしたがった処理を実行し、出力データを出力する（Ｓ２２）。解釈部１５０は、出力データを解釈し、対象の画像を画像分類したり、対象の画像から物体検出したり、対象の画像に対して画像セグメンテーションを行ったりする（Ｓ２４）。
　以上説明した実施の形態に係るデータ処理システム１００によると、学習用の画像のセットに含まれるＮ個の学習用の画像に基づくＮ個の中間データのそれぞれが、当該Ｎ個の中間データから選択された少なくとも１つの中間データ、すなわち同質なデータを用いて攪乱される。同質なデータを用いた攪乱による合理的なデータ分布拡張により、学習データへの過適合が抑制される。
　また、データ処理システム１００によると、学習用の画像のセットに含まれるＮ個の学習用の画像のすべてがそれぞれ、当該Ｎ個の学習の画像のうちの他の画像を攪乱するのに用いられる。このため、すべてのデータを偏りなく学習させることができる。
　また、データ処理システム１００によると、適用処理時は攪乱処理を実行しないため、本発明を利用しない場合と同程度の処理時間で適用処理を実行できる。
　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
（変形例１）
　適用処理では、学習用の画像のセットに含まれるＮ個の学習用の画像に基づくＮ個の中間データのそれぞれを、当該Ｎ個の中間データから選択された少なくとも１つの中間データ、すなわち同質なデータを用いて攪乱すればよく、様々な変形例が考えられる。以下、変形例をいくつか説明する。
　攪乱処理は、以下の式（４）により与えられてもよい。
Figure JPOXMLDOC01-appb-M000004
 　この場合、逆伝搬で用いる、攪乱処理のベクトルｘに対する偏微分は以下の式（５）で与えられる。
Figure JPOXMLDOC01-appb-M000005
 　また、適用処理時に攪乱要素に対応する処理として実行される処理は、つまり攪乱処理の代わりとして実行される処理は、以下の式（６）により与えられる。スケールが揃うことによって適用処理における画像処理の精度が向上する。
Figure JPOXMLDOC01-appb-M000006
　攪乱処理は、以下の式（７）により与えられてもよい。
Figure JPOXMLDOC01-appb-M000007
 　各ｋに関連する乱数は独立に得られる。また、逆伝搬は実施の形態の場合と同様に考えられる。
　撹乱処理は、以下の式（８）により与えられてもよい。
Figure JPOXMLDOC01-appb-M000008
 　この場合、攪乱に用いるデータがランダムに選択されるため、攪乱のランダム性を強化できる。
　撹乱処理は、以下の式（９）により与えられてもよい。
Figure JPOXMLDOC01-appb-M000009
　撹乱処理は、以下の式（１０）により与えられてもよい。
Figure JPOXMLDOC01-appb-M000010
（変形例２）
　図５は、ニューラルネットワークの構成の他の一例を模式的に示す図である。この例では、畳み込み処理の後に攪乱要素を含む。つまり、既存手法であるResidual networksやDensely connected networksの各畳み込み処理の後に攪乱要素を含めたものに相当する。各中間層では、畳み込み処理を行う中間層要素に入力されるべき中間データと、当該中間データを当該中間層要素に入力することにより出力された中間データに対して攪乱処理を実行することにより得られる中間データとが統合される。別の言い方をすると、各中間層では、入出力関係が恒等写像である恒等写像経路と、経路に前記最適化対象パラメータを有する最適化対象経路とを統合する演算が実行される。本変形例によれば、恒等写像経路の恒等性を維持したまま最適化対象経路に撹乱を加えることで、学習をより安定させることができる。
（変形例３）
　実施の形態では特に言及しなかったが、式（１）において、σを学習の繰り返し回数に応じて単調増加させてもよい。これにより学習が安定化する学習後期に、より過学習を抑えることができる。
　１００　データ処理システム、　１３０　ニューラルネットワーク処理部、　１４０　学習部。
　本発明は、データ処理システムおよびデータ処理方法に関する。

Claims (8)

  1. 　入力層、１以上の中間層および出力層を含むニューラルネットワークにしたがった処理を実行するニューラルネットワーク処理部と、
    　前記ニューラルネットワーク処理部が学習データに対して前記処理を実行することにより出力される出力データと、その学習データに対する理想的な出力データとの比較に基づいて、前記ニューラルネットワークの最適化対象パラメータを最適化する学習部と、を備え、
    　前記ニューラルネットワーク処理部は、第Ｍ層（Ｍは１以上の整数）の中間層を構成する中間層要素への入力データまたは前記中間層要素からの出力データを表す中間データであって、学習データに含まれるＮ（２以上の整数）個の学習サンプルのセットに基づくＮ個の中間データのそれぞれに対して、当該Ｎ個の中間データから選択した少なくとも１つの中間データを用いた演算を適用する攪乱処理を実行することを特徴とするデータ処理システム。
  2. 　前記ニューラルネットワーク処理部は、攪乱処理として、Ｎ個の中間データのそれぞれに対して、当該Ｎ個の中間データから選択した少なくとも１つの中間データを線形結合することを特徴とする請求項１に記載のデータ処理システム。
  3. 　前記ニューラルネットワーク処理部は、攪乱処理として、Ｎ個の中間データのそれぞれに対して、当該Ｎ個の中間データから選択した少なくとも１つの中間データを乱数倍したデータを足し合わせることを特徴とする請求項２に記載のデータ処理システム。
  4. 　前記ニューラルネットワーク処理部は、攪乱処理として、Ｎ個の中間データのそれぞれに対して、当該Ｎ個の中間データからランダムに選択された少なくとも１つの中間データを用いた演算を適用することを特徴とする請求項１に記載のデータ処理システム。
  5. 　前記ニューラルネットワーク処理部は、攪乱処理として、Ｎ個の中間データのうちのｉ（ｉは２以上Ｎ以下の整数）番目の中間データに対して、順序をランダムに並べ替えた当該Ｎ個の中間データのｉ番目の中間データを用いた演算を適用することを特徴とする請求項４に記載のデータ処理システム。
  6. 　前記ニューラルネットワーク処理部は、中間層要素に入力されるべき中間データと、当該中間データを当該中間層要素に入力することにより出力された中間データに対して攪乱処理を実行することにより得られる中間データとを統合する処理を実行することを特徴とする請求項１に記載のデータ処理システム。
  7. 　前記ニューラルネットワーク処理部は、適用処理時は、攪乱処理を実行しないことを特徴とする請求項１から６のいずれかに記載のデータ処理システム。
  8. 　前記ニューラルネットワーク処理部は、適用処理時は、攪乱処理の代わりに、Ｎ個の中間データのうちのｉ番目の中間データに乗じられる係数の期待値を乗じた結果を当該ｉ番目の中間データに対する出力データとして出力することを特徴とする請求項２に記載のデータ処理システム。
PCT/JP2018/024645 2018-06-28 2018-06-28 データ処理システムおよびデータ処理方法 Ceased WO2020003450A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/024645 WO2020003450A1 (ja) 2018-06-28 2018-06-28 データ処理システムおよびデータ処理方法
JP2020526814A JP6994572B2 (ja) 2018-06-28 2018-06-28 データ処理システムおよびデータ処理方法
CN201880094927.2A CN112313676A (zh) 2018-06-28 2018-06-28 数据处理系统及数据处理方法
US17/133,402 US20210117793A1 (en) 2018-06-28 2020-12-23 Data processing system and data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/024645 WO2020003450A1 (ja) 2018-06-28 2018-06-28 データ処理システムおよびデータ処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/133,402 Continuation US20210117793A1 (en) 2018-06-28 2020-12-23 Data processing system and data processing method

Publications (1)

Publication Number Publication Date
WO2020003450A1 true WO2020003450A1 (ja) 2020-01-02

Family

ID=68986767

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/024645 Ceased WO2020003450A1 (ja) 2018-06-28 2018-06-28 データ処理システムおよびデータ処理方法

Country Status (4)

Country Link
US (1) US20210117793A1 (ja)
JP (1) JP6994572B2 (ja)
CN (1) CN112313676A (ja)
WO (1) WO2020003450A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342922A (zh) * 2022-12-13 2023-06-27 之江实验室 基于多任务模型的智能肝脏影像征象分析及li-rads分类系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017211939A (ja) * 2016-05-27 2017-11-30 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110861A (ja) * 1992-09-30 1994-04-22 Hitachi Ltd 適応的制御システム
KR102288280B1 (ko) 2014-11-05 2021-08-10 삼성전자주식회사 영상 학습 모델을 이용한 영상 생성 방법 및 장치
CN106485192B (zh) * 2015-09-02 2019-12-06 富士通株式会社 用于图像识别的神经网络的训练方法和装置
JP6927211B2 (ja) * 2016-07-04 2021-08-25 日本電気株式会社 画像診断学習装置、画像診断装置、方法およびプログラム
CN108074211B (zh) * 2017-12-26 2021-03-16 浙江芯昇电子技术有限公司 一种图像处理装置及方法
CN108154145B (zh) * 2018-01-24 2020-05-19 北京地平线机器人技术研发有限公司 检测自然场景图像中的文本的位置的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017211939A (ja) * 2016-05-27 2017-11-30 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム

Also Published As

Publication number Publication date
CN112313676A (zh) 2021-02-02
JPWO2020003450A1 (ja) 2021-02-18
US20210117793A1 (en) 2021-04-22
JP6994572B2 (ja) 2022-01-14

Similar Documents

Publication Publication Date Title
US12169779B2 (en) Parameter-efficient multi-task and transfer learning
EP4341862A1 (en) Low-rank adaptation of neural network models
Wang Optimization for training deep models
US20190114742A1 (en) Image upscaling with controllable noise reduction using a neural network
CN110622178A (zh) 学习神经网络结构
JP2017037392A (ja) ニューラルネットワーク学習装置
JP6942203B2 (ja) データ処理システムおよびデータ処理方法
US11790236B2 (en) Minimum deep learning with gating multiplier
CN118673999B (zh) 大模型微调方法、装置、设备、介质及程序产品
JP2016218513A (ja) ニューラルネットワーク及びそのためのコンピュータプログラム
CN120226020A (zh) 用于机器学习的前向-前向训练
CN112836820A (zh) 用于图像分类任务的深度卷积网络训方法、装置及系统
JP2017049907A (ja) ニューラルネットワーク、その学習方法、及びコンピュータプログラム
US20250045585A1 (en) Method for neural network training with multiple supervisors
JP7047665B2 (ja) 学習装置、学習方法及び学習プログラム
WO2020003450A1 (ja) データ処理システムおよびデータ処理方法
US9336498B2 (en) Method and apparatus for improving resilience in customized program learning network computational environments
JP7000586B2 (ja) データ処理システムおよびデータ処理方法
JP6942204B2 (ja) データ処理システムおよびデータ処理方法
US20210383221A1 (en) Systems And Methods For Machine-Learned Models With Message Passing Protocols
JP7188589B2 (ja) 復元装置、復元方法、およびプログラム
CN116368493B (zh) 用于具有随机架构的权重共享神经网络的方法和装置
JPWO2020044567A1 (ja) データ処理システムおよびデータ処理方法
US20250315306A1 (en) Task-Based Distributional Semantic Model or Embeddings for Inferring Intent Similarity
Ling Ming et al. Woa-wtconv-kanformer for long term time series forecasting

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18923988

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020526814

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18923988

Country of ref document: EP

Kind code of ref document: A1