WO2019123544A1 - データ処理方法およびデータ処理装置 - Google Patents

データ処理方法およびデータ処理装置 Download PDF

Info

Publication number
WO2019123544A1
WO2019123544A1 PCT/JP2017/045573 JP2017045573W WO2019123544A1 WO 2019123544 A1 WO2019123544 A1 WO 2019123544A1 JP 2017045573 W JP2017045573 W JP 2017045573W WO 2019123544 A1 WO2019123544 A1 WO 2019123544A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
statistic
feature map
mini
batch
Prior art date
Application number
PCT/JP2017/045573
Other languages
English (en)
French (fr)
Inventor
淳 安藤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/045573 priority Critical patent/WO2019123544A1/ja
Publication of WO2019123544A1 publication Critical patent/WO2019123544A1/ja
Priority to US16/905,539 priority patent/US11544563B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present invention relates to a data processing method and a data processing apparatus.
  • Non-Patent Document 1 discloses a technique for performing normalization on a minibatch basis in the middle layer of this convolutional neural network. According to the technology described in Non-Patent Document 1, convergence performance of learning and generalization performance to unknown images are improved.
  • Non-Patent Document 1 since the average and standard deviation of all the data contained in the minibatch are used as statistics used for normalization of each data contained in the minibatch, each data is normalized independently. Processing can not proceed. This hinders the further improvement of the learning speed.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide a technology capable of realizing further improvement in learning speed in data processing using a neural network.
  • a data processing method applies a first convolutional neural network layer to each data of a mini-batch including one or more data, and generates a first feature map of each data.
  • a first CNN application step for outputting the first statistic, a first statistic calculation step for independently calculating the first statistic of each data included in the minibatch based on the first feature map of each data, and each data included in the minibatch Calculation step of calculating a normalization parameter of each data based on the first statistic and the cumulative statistic, and the first feature map of each data included in the minibatch, the normalization parameter of each data Normalization applied step for normalizing and outputting a normalized feature map of each data, and a normalized feature map of each data included in the mini-batch Includes applying the second convolutional neural network layer, and the 2CNN application step of outputting the second characteristic map of each data.
  • the apparatus applies a first convolutional neural network layer to each data of a mini-batch including one or more data to output a first feature map of each data, and each data included in the mini-batch.
  • the first statistic calculating unit independently calculates the first statistic based on the first feature map of each data, the first statistic of each data included in the mini-batch, and the cumulative statistics.
  • a normalization parameter calculation unit that calculates normalization parameters of data, and a first feature map of each data included in the minibatch are normalized using the normalization parameters of each data, and a normalized feature map of each data is output.
  • Applying a second convolutional neural network layer to the normalization application unit and the normalized feature map of each data included in the mini-batch to obtain a second feature map of each data And a second 2CNN application unit to output.
  • any combination of the above-described constituent elements, one obtained by converting the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program and the like is also effective as an aspect of the present invention.
  • Fig. 2 shows a model of a convolutional neural network. It is a block diagram showing functional composition of a data processor concerning an embodiment. It is a flowchart which shows an example of the learning process by the data processing apparatus of FIG. It is a flowchart which shows an example of the application process by the data processor of FIG.
  • the data processing apparatus applies “learning processing” to learn a convolutional neural network based on a large number of data and their corresponding correct data and applies the learned convolutional neural network to test data Execute "apply processing" to perform data processing of
  • the data processor performs normalization in at least one normalization layer of the convolutional neural network independently in the learning process for each data included in the mini-batch. Specifically, the data processor uses statistics based on statistics (average and standard deviation) calculated independently for each data included in the currently processed mini-batch and statistics based on data included in the mini-batch processed so far. Based on certain cumulative statistics (mean and standard deviation), normalization processing of each data included in the currently processed mini-batch is performed independently for each data. Thereby, the normalization process in the normalization layer can be performed independently for each data while maintaining the generalization performance. That is, normalization processing can be performed in parallel in the normalization layer while maintaining generalization performance.
  • the data processing apparatus executes a convolutional neural network based on a model called VGG-16 shown in FIG. 1 in the present embodiment.
  • VGG-16 a model called VGG-16 shown in FIG. 1 in the present embodiment.
  • conv, norm, relu, and maxpool respectively indicate a convolution layer, a normalization layer, an activation layer, and a maximum pooling layer.
  • the following description focuses on one of the plurality of normalization layers.
  • the normalization layer of interest is called the attention normalization layer
  • the layer before the attention normalization layer is called the first convolutional neural network layer
  • the layer after the attention normalization layer is called the second convolutional neural network layer.
  • FIG. 2 is a block diagram showing a functional configuration of the data processing apparatus 100 according to the embodiment.
  • Each block shown here can be realized by hardware as an element or mechanical device such as a CPU (central processing unit) or a GPU (Graphics Processing Unit) of a computer, and as software as a computer program or the like
  • functional blocks realized by their cooperation are depicted. Therefore, it is understood by those skilled in the art who have been mentioned in the present specification that these functional blocks can be realized in various forms by a combination of hardware and software.
  • the data processing apparatus 100 includes a learning processing unit 102 that executes learning processing, an application processing unit 104 that executes application processing, and a cumulative statistic holding unit 106.
  • the data processing apparatus 100 is applied to image processing will be described as an example. However, it will be understood by those skilled in the art that the data processing apparatus 100 is also applicable to speech recognition processing, natural language processing, and other processing.
  • the learning processing unit 102 repeatedly executes learning in mini-batch units.
  • the learning processing unit 102 executes the processing of each layer of the cumulative statistic initialization unit 108, the CNN initialization unit 110, the mini batch acquisition unit 112, the correct answer acquisition unit 114, and the first convolutional neural network layer.
  • the cumulative statistic initializing unit 108 initializes the cumulative statistic held in the cumulative statistic holding unit 106, triggered by the start of learning based on the user's instruction.
  • the cumulative statistic initialization unit 108 sets “0” as the initial value of the cumulative statistic that accumulates the average, and sets “1” as the initial value of the cumulative statistic that accumulates the standard deviation. Do.
  • the CNN initialization unit 110 uses the weight coefficients of the convolutional layer of the convolutional neural network (that is, the first convolutional neural network layer and the second convolutional neural network layer described later) triggered by the start of learning based on the user's instruction. initialize.
  • CNN initialization unit 110 Specifically, the average to initialize 0, using the normal random number of standard deviations wscale / ⁇ (c i ⁇ k ⁇ k).
  • wscale is a scale parameter
  • c i is the number of input channels in the convolutional layer
  • k is the convolution kernel size.
  • the weight coefficient of the convolutional layer which has already been learned by the large-scale image DB different from the image DB used for the main learning may be used. Thereby, even when the number of images used for learning is small, it is possible to perform high-performance convolutional neural network learning.
  • the mini-batch acquisition unit 112 “mini-batch” a predetermined number of one or more (several in the present embodiment) predetermined number of images (hereinafter, a collection of these images) from among a large number of images prepared in advance. Get it).
  • the correct answer acquiring unit 114 acquires correct answer data corresponding to each image acquired by the mini-batch acquiring unit 112 from among a large number of correct answer data prepared in advance.
  • the correct answer indicated by the correct answer data is a binary value indicating whether the classified category object is included in the image when using the data processing apparatus 100 for image classification, and an image when using the data processing apparatus 100 for object detection. It is a binary value indicating whether or not the detection target is included in each candidate frame corresponding to each upper point, and is an image of an ideal conversion result when the data processing apparatus 100 is used for image conversion.
  • the first CNN application unit 116 applies the first convolutional neural network layer to each image included in the mini-batch, that is, executes the processing of each layer included in the first convolutional neural network layer, and the feature map of each image Make it output.
  • first feature map the feature map output by applying the first convolutional neural network layer will be referred to as "first feature map”.
  • the first statistic calculation unit 118 independently calculates the statistic of each image (hereinafter, referred to as “first statistic”) from the first feature map of each image included in the mini-batch.
  • first statistic a first statistic to calculate the average mu new new and the standard deviation sigma new new first feature map of the corresponding image.
  • the average mu new new, each standard deviation sigma new new the formula (1) is calculated by equation (2).
  • I is the first feature map
  • W and H are the width and height of the first feature map
  • x, y, c and b are the subscripts and height of the width of the first feature map, respectively ,
  • the normalization parameter calculation unit 120 normalizes the first feature map of each image based on the first statistic of each image included in the minibatch and the accumulated statistic held in the accumulated statistic holding unit 106
  • the first statistics mean mu new new, standard deviation sigma new new
  • cumulative statistics average mu old, standard deviation sigma old
  • ratio statistic difference range d max of, r Rounding statistics differences d and r rounded to fit within max are calculated.
  • the statistical difference ranges d max and r max are determined experimentally or empirically, respectively.
  • the rounding statistic differences d and r are calculated by the equations (3) and (4), respectively.
  • the normalization parameter calculation unit 120 calculates normalization parameters ⁇ and ⁇ of each image based on the first statistic of each image included in the mini-batch and the rounding statistic difference. Specifically, the normalization parameters ⁇ and ⁇ are respectively calculated by Equation (5) and Equation (6).
  • the statistic difference range d max , r max is changed according to the number of learning iterations.
  • the statistic difference ranges d max and r max are the mini-batch acquisition unit 112, the correct answer acquisition unit 114, the first CNN application unit 116, the first statistic calculation unit 118, the normalization parameter calculation unit 120, and the normalization application unit 122.
  • the cumulative statistic updating unit 126, the second CNN applying unit 128, the entire error calculating unit 130, the error propagating unit 132, and the CNN updating unit 134 are changed according to the number of repetitions of a series of processes. Specifically, at the time when the number of repetitions is small, the accumulated statistic fluctuates greatly and is unstable.
  • the statistical value difference range is narrowed so that the normalization parameter becomes closer to the first statistic, and the number of repetitions is large.
  • the statistical difference range is broadened so that the normalization parameter approaches the accumulated statistics. That is, the statistic difference range is broadened as the number of repetitions increases.
  • the statistical value difference range may be broadened in proportion to the number of repetitions.
  • the normalization parameter calculation unit 120 specifically calculates the normalization parameters ⁇ and ⁇ of each image included in the mini-batch by a weighted sum of the first statistic of each image and the cumulative statistic, (7) It may be calculated by equation (8).
  • w s is the weight of the first statistic
  • (1-w s ) is the weight of the cumulative statistic.
  • the weights w s of the first statistics as normalized parameters is close to the first statistic is larger
  • the normalization parameter is The weight w s of the first statistic is small (and hence the weight of the cumulative statistic (1-w s ) is large) so as to be close to the cumulative statistic. That is, as the number of repetitions increases, the weight w s of the first statistic is smaller (thus, the weight (1-w s ) of the cumulative statistic is larger).
  • the weight w s of the first statistic may be small (and hence the weight of the cumulative statistic (1-w s ) large) in proportion to the number of repetitions.
  • the normalization application unit 122 normalizes the first feature map of each image included in the mini-batch using the normalization parameter of each image, and outputs the normalized feature map of each image.
  • the normalized feature map is calculated by equation (9).
  • O is a normalized feature map
  • I is a first feature map
  • ⁇ and ⁇ are coefficients obtained by learning.
  • the second statistic calculation unit 124 calculates a statistic based on at least one of the one or more images included in the mini-batch (hereinafter, referred to as “second statistic”).
  • the second statistic calculation unit 124 determines, as the second statistic, the average ⁇ ′ and the standard deviation ⁇ ′ of the first feature map of at least one of the one or more images included in the minibatch. Calculate Specifically, the average ⁇ ′ and the standard deviation ⁇ ′ are calculated by the equations (10) and (11), respectively.
  • B is the number of mini-batch images.
  • the cumulative statistic update unit 126 updates the cumulative statistic held in the cumulative statistic holding unit 106 based on the second statistic.
  • the cumulative statistic updating unit 126 updates the weighted sum of the second statistic and the cumulative statistic as a new cumulative statistic, as shown in equations (12) and (13).
  • w d is the weight of the accumulated statistic
  • (1-w d ) is the weight of the second statistic.
  • the second CNN application unit 128 applies the second convolutional neural network layer to the normalized feature map of each image included in the mini-batch, that is, executes the processing of each layer included in the second convolutional neural network layer, Output the feature map of the image.
  • the feature map output by applying the second convolutional neural network layer is referred to as a “second feature map”.
  • the overall error calculation unit 130 calculates an error of the entire process (hereinafter referred to as “total error”) based on the second feature map.
  • the error propagation unit 132 calculates an error in each process of the first CNN application unit 116, the normalization application unit 122, and the second CNN application unit 128 based on the entire error.
  • the CNN updating unit 134 updates the first convolutional neural network layer and the second convolutional neural network layer based on the error calculated by the error propagation unit 132.
  • a stochastic gradient descent method may be used as a method for updating a convolutional neural network based on an error.
  • the end condition determination unit 136 determines whether or not learning by the learning processing unit 102 should be ended.
  • the termination condition for terminating learning is, for example, that learning has been performed a predetermined number of times, or that an instruction for termination has been received from the outside.
  • the termination condition determination unit 136 terminates the processing by the learning processing unit 102 when the termination condition is satisfied. If the termination condition is not satisfied, the termination condition determination unit 136 returns the process to the mini-batch acquisition unit 112.
  • the application processing unit 104 includes a test data acquisition unit 140, a test data first CNN application unit 142, a normalization parameter setting unit 144, a test data normalization application unit 146, and a test data second CNN application unit 148. , And the data processing unit 150.
  • the test data acquisition unit 140 acquires a test image.
  • the normalization parameter setting unit 144 sets, as the normalization parameter, the cumulative statistic held in the cumulative statistic holding unit 106, that is, the cumulative statistic calculated by the learning process.
  • the first CNN application unit 142 for test data, the normalization application unit 146 for test data, and the second CNN application unit 148 for test data are configured similarly to the first CNN application unit 116, the normalization application unit 122, and the second CNN application unit 128, respectively. Be done.
  • the test data first CNN application unit 142 applies the first convolutional neural network layer to the test image, and outputs a first feature map of the test image.
  • the test data normalization application unit 146 normalizes the first feature map of the test image using the normalization parameters, and outputs a normalized feature map of the test image.
  • the test data second CNN application unit 148 applies the second convolutional neural network layer to the normalized feature map of the test image, and outputs the second feature map of the test image.
  • the data processing unit 150 performs image processing such as image classification, object detection, or image conversion on the test image based on the second feature map of the test image.
  • FIG. 3 is a flowchart showing an example of learning processing by the data processing apparatus 100.
  • the cumulative statistic initialization unit 108 initializes the cumulative statistic (S12).
  • the CNN initializing unit 110 initializes the first neural network and the second neural network (S14).
  • the mini-batch acquisition unit 112 acquires a mini-batch (S16).
  • the correct answer acquiring unit 114 acquires correct answer data corresponding to the mini-batch (S18).
  • the first CNN application unit 116 applies a first neural network to each of the images included in the mini-batch, and outputs a first feature map of each of the images (S20).
  • the first statistic calculation unit 118 calculates the first statistic of each image independently (for example, in parallel) from the first feature map of each image (S22).
  • the normalization parameter calculation unit 120 calculates a normalization parameter of each image based on the first statistic of each image and the accumulated statistic (S24).
  • the normalization application unit 122 normalizes the first feature map of each image using the normalization parameter of each image, and outputs the normalized feature map of each image (S26).
  • the second statistic calculation unit 124 calculates a second statistic based on at least one of the one or more images included in the mini-batch (S28).
  • the cumulative statistic updating unit 126 updates the cumulative statistic based on the second statistic (S30).
  • the second CNN application unit 128 applies the second neural network to the normalized feature map of each image, and outputs the second feature map of each image (S32).
  • the overall error calculation unit 130 calculates an overall error based on the second feature map (S34).
  • the error propagation unit 132 calculates an error in each process of the first CNN application unit 116, the normalization application unit 122, and the second CNN application unit 128 based on the total error (S36).
  • the CNN updating unit 134 updates the first convolutional neural network layer and the second convolutional neural network layer based on the error calculated by the error propagation unit 132 (S38).
  • the termination condition determination unit 136 determines whether the termination condition is satisfied (S40). If the end condition is not satisfied (N in S40), the process returns to S16. If the end condition is satisfied (Y in S40), the process ends.
  • FIG. 4 is a flowchart showing an example of the application process by the data processing apparatus 100.
  • the test data acquisition unit 140 acquires a test image (S42).
  • the test data first CNN application unit 142 applies a first neural network to the test image, and outputs a first feature map of the test image (S44).
  • the normalization parameter setting unit 144 sets the accumulated statistic calculated in the learning process as a normalization parameter (S46).
  • the test data normalization application unit 146 normalizes the first feature map of the test image using the set normalization parameter, and outputs the test image normalization feature map (S48).
  • the test data second CNN application unit 148 applies the second neural network to the normalized feature map of the test image, and outputs the second feature map of the test image (S50).
  • the data processing unit 150 performs image processing on the test image based on the second feature map of the test image (S52).
  • normalization processing in the normalization layer can be performed independently for each data while maintaining the generalization performance.
  • normalization processing in the normalization layer that is, processing by the first statistic calculation unit 118, the normalization parameter calculation unit 120, and the normalization application unit 122 can be executed in parallel.
  • the processing by the first CNN application unit 116 and the second CNN application unit 128 can be performed independently for each data from the original, and the processing by the cumulative statistic updating unit 126 stores, for example, the first statistic calculated for each data. It can be calculated later, for example. Therefore, according to the data processing apparatus 100 according to the embodiment, efficient parallel processing is performed by preparing a plurality of Graphics Processing Units (GPU) and allocating a plurality of data included in the mini-batch to execute each processing. Can.
  • GPU Graphics Processing Unit
  • the data processing apparatus 100 executes a convolutional neural network based on VGG-16
  • the present invention is not limited to this, and the data processing apparatus 100 may use a convolutional neural network based on another model. It may be executed.
  • the data processing apparatus 100 may execute, for example, a convolutional neural network based on Residual Network in which Identity Mapping (IM) is introduced, having deeper layers. In this case, more accurate recognition processing can be performed.
  • IM Identity Mapping
  • 100 data processing apparatus 112 mini batch acquisition unit, 116 first CNN application unit, 118 first statistic calculation unit, 120 normalization parameter calculation unit, 122 normalization application unit, 128 second CNN application unit.
  • the present invention relates to a data processing method and a data processing apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

データ処理装置１００は、ミニバッチに含まれる各データに、第１の畳み込みニューラルネットワーク層を適用して、各データの第１特徴マップを出力させる第１ＣＮＮ適用部１１６と、ミニバッチに含まれる各データの第１統計量を、各データの第１特徴マップに基づいて独立に算出する第１統計量算出部１１８と、ミニバッチに含まれる各データの第１統計量と、累積統計量を基に、各データの正規化パラメータを算出する正規化パラメータ算出部１２０と、ミニバッチに含まれる各データの第１特徴マップを、各データの正規化パラメータを用いて正規化し、各データの正規化特徴マップを出力させる正規化適用部１２２と、ミニバッチに含まれる各データの正規化特徴マップに、第２の畳み込みニューラルネットワーク層を適用して、各データの第２特徴マップを出力させる第２ＣＮＮ適用部１２８と、備える。

Description

データ処理方法およびデータ処理装置
　本発明は、データ処理方法およびデータ処理装置に関する。
　近年、ディープラーニングを用いたデータ処理が注目を集めている。ディープラーニングのモデルの１つに畳み込みニューラルネットワーク（CNN : Convolutional Neural Network）がある。非特許文献１には、この畳み込みニューラルネットワークの中間層においてミニバッチごとに正規化を行う技術が開示されている。非特許文献１に記載される技術によれば、学習の収束性能や未知画像への汎化性能が向上する。
Sergey Ioffe，Christian Szegedy、「Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift」、arXiv:1502.03167 (2015)
　非特許文献１に記載される従来の技術では、ミニバッチに含まれる各データの正規化に用いる統計量としてミニバッチに含まれるすべてのデータの平均および標準偏差を用いるため、データごとに独立に正規化処理を進めることができない。これは、学習速度のさらなる向上の妨げとなる。
　本発明はこうした状況に鑑みなされたものであり、その目的は、ニューラルネットワークを用いたデータ処理において、学習速度のさらなる向上を実現できる技術を提供することにある。
　上記課題を解決するために、本発明のある態様のデータ処理方法は、１以上のデータを含むミニバッチの各データに、第１の畳み込みニューラルネットワーク層を適用して、各データの第１特徴マップを出力させる第１ＣＮＮ適用ステップと、ミニバッチに含まれる各データの第１統計量を、各データの第１特徴マップに基づいて独立に算出する第１統計量算出ステップと、ミニバッチに含まれる各データの第１統計量と、累積統計量を基に、各データの正規化パラメータを算出する正規化パラメータ算出ステップと、ミニバッチに含まれる各データの第１特徴マップを、各データの正規化パラメータを用いて正規化し、各データの正規化特徴マップを出力させる正規化適用ステップと、ミニバッチに含まれる各データの正規化特徴マップに、第２の畳み込みニューラルネットワーク層を適用して、各データの第２特徴マップを出力させる第２ＣＮＮ適用ステップと、を含む。
　本発明の別の態様は、データ処理装置である。この装置は、１以上のデータを含むミニバッチの各データに、第１の畳み込みニューラルネットワーク層を適用して、各データの第１特徴マップを出力させる第１ＣＮＮ適用部と、ミニバッチに含まれる各データの第１統計量を、各データの第１特徴マップに基づいて独立に算出する第１統計量算出部と、ミニバッチに含まれる各データの第１統計量と、累積統計量を基に、各データの正規化パラメータを算出する正規化パラメータ算出部と、ミニバッチに含まれる各データの第１特徴マップを、各データの正規化パラメータを用いて正規化し、各データの正規化特徴マップを出力させる正規化適用部と、ミニバッチに含まれる各データの正規化特徴マップに、第２の畳み込みニューラルネットワーク層を適用して、各データの第２特徴マップを出力させる第２ＣＮＮ適用部と、を備える。
　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、ニューラルネットワークを用いたデータ処理において、学習速度のさらなる向上を実現できる。
畳み込みニューラルネットワークのモデルを示す図である。 実施の形態に係るデータ処理装置の機能構成を示すブロック図である。 図１のデータ処理装置による学習処理の一例を示すフローチャートである。 図１のデータ処理装置による適用処理の一例を示すフローチャートである。
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。
　実施の形態に係るデータ処理装置は、多数のデータとそれらに対応する正解データを基に畳み込みニューラルネットワークの学習を行う「学習処理」と、学習された畳み込みニューラルネットワークをテストデータに適用して所定のデータ処理を行う「適用処理」と、を実行する。
　データ処理装置は、学習処理において、畳み込みニューラルネットワークの少なくとも１つの正規化層での正規化処理を、ミニバッチに含まれるデータごとに独立に実施する。具体的にはデータ処理装置は、現在処理しているミニバッチに含まれるデータごとに独立に算出した統計量（平均および標準偏差）と、それまでに処理したミニバッチに含まれるデータに基づく統計量である累積統計量（平均および標準偏差）とに基づいて、現在処理しているミニバッチに含まれる各データの正規化処理をデータごとに独立に実施する。これにより、汎化性能を維持しつつも、正規化層での正規化処理をデータごとに独立に実施できる。つまり、汎化性能を維持しつつも、正規化層での正規化処理を並列に実行できる。
　データ処理装置は、本実施の形態では、図１に示す、ＶＧＧ－１６と呼ばれるモデルをベースにした畳み込みニューラルネットワークを実行する。図１において、ｃｏｎｖ、ｎｏｒｍ、ｒｅｌｕ、ｍａｘｐｏｏｌはそれぞれ、畳み込み層、正規化層、活性化層、最大プーリング層を示す。
　以下では、複数の正規化層のうちの１つに注目して説明する。注目する正規化層を注目正規化層、注目正規化層よりも前の層を第１の畳み込みニューラルネットワーク層、注目正規化層よりも後の層を第２の畳み込みニューラルネットワーク層と呼ぶ。
　図２は、実施の形態に係るデータ処理装置１００の機能構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵ（central processing unit）やＧＰＵ（Graphics　Processing　Unit）をはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
　データ処理装置１００は、学習処理を実行する学習処理部１０２と、適用処理を実行する適用処理部１０４と、累積統計量保持部１０６と、を備える。
　以下では、データ処理装置１００を画像処理に適用する場合を例に説明する。ただし、当業者によれば、データ処理装置１００を音声認識処理、自然言語処理、その他の処理にも適用可能であることが理解されよう。
　学習処理部１０２は、ミニバッチ単位で学習を繰り返し実行する。学習処理部１０２は、累積統計量初期化部１０８と、ＣＮＮ初期化部１１０と、ミニバッチ取得部１１２と、正解取得部１１４と、第１の畳み込みニューラルネットワーク層の各層の処理を実行する第１ＣＮＮ適用部１１６と、第１統計量算出部１１８と、正規化パラメータ算出部１２０と、注目正規化層の処理を実行する正規化適用部１２２と、第２統計量算出部１２４と、累積統計量更新部１２６と、第２の畳み込みニューラルネットワーク層の各層の処理を実行する第２ＣＮＮ適用部１２８と、全体誤差算出部１３０と、誤差伝播部１３２と、ＣＮＮ更新部１３４と、終了条件判定部１３６と、を備える。
　累積統計量初期化部１０８は、ユーザの指示に基づく学習の開始を契機として、累積統計量保持部１０６に保持される累積統計量を初期化する。本実施の形態では、累積統計量初期化部１０８は、平均を累積する累積統計量の初期値として「０」を設定し、標準偏差を累積する累積統計量の初期値として「１」を設定する。
　ＣＮＮ初期化部１１０は、ユーザの指示に基づく学習の開始を契機として、畳み込みニューラルネットワーク（つまり、後述の第１の畳み込みニューラルネットワーク層および第２の畳み込みニューラルネットワーク層）の畳み込み層の重み係数を初期化する。具体的にはＣＮＮ初期化部１１０は、初期化には平均０、標準偏差wscale／√(ci×k×k)の正規乱数を用いる。wscaleはスケールパラメータであり、ciは畳み込み層の入力チャンネル数であり、kは畳み込みカーネルサイズである。また、畳み込み層の重み係数の初期値として、本学習に用いる画像ＤＢとは異なる大規模画像ＤＢによって学習済みの畳み込み層の重み係数を用いてもよい。これにより、学習に用いる画像枚数が少ない場合でも高性能な畳み込みニューラルネットワークの学習を行うことができる。
　ミニバッチ取得部１１２は、予め用意された多数の画像のなかから、１回の学習で利用する１以上（本実施の形態では複数）の所定数の画像（以下、この画像の集まりを「ミニバッチ」と呼ぶ）を取得する。
　正解取得部１１４は、予め用意された多数の正解データのなかから、ミニバッチ取得部１１２により取得された各画像に対応する正解データを取得する。なお正解データが示す正解は、データ処理装置１００を画像分類に用いる場合は画像上に分類カテゴリ対象が含まれるか否かを表す２値であり、データ処理装置１００を物体検出に用いる場合は画像上の各点に対応した候補枠ごとに検出対象が含まれるか否かを表す２値であり、データ処理装置１００を画像変換に用いる場合は理想的な変換結果の画像である。
　第１ＣＮＮ適用部１１６は、ミニバッチに含まれる各画像に第１の畳み込みニューラルネットワーク層を適用し、すなわち第１の畳み込みニューラルネットワーク層に含まれる各層の処理を実行し、各画像の特徴マップをそれぞれ出力させる。以下、第１の畳み込みニューラルネットワーク層を適用したことにより出力された特徴マップを「第１特徴マップ」と呼ぶ。
　第１統計量算出部１１８は、ミニバッチに含まれる各画像の第１特徴マップから、各画像の統計量（以下、「第１統計量」と呼ぶ）をそれぞれ独立に算出する。本実施の形態では、第１統計量算出部１１８は、第１統計量として、対応する画像の第１特徴マップの平均μｎｅｗと標準偏差σｎｅｗを算出する。具体的には、平均μｎｅｗ、標準偏差σｎｅｗはそれぞれ、式（１）、式（２）で算出される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 　ここで、Ｉは第１特徴マップであり、Ｗ、Ｈはそれぞれ第１特徴マップの横幅、高さであり、ｘ、ｙ、ｃ、ｂはそれぞれ第１特徴マップの横幅の添え字、高さの添え字、チャンネル数の添え字、ミニバッチ画像数の添え字である。
　正規化パラメータ算出部１２０は、ミニバッチに含まれる各画像の第１統計量と、累積統計量保持部１０６に保持される累積統計量を基に、各画像の第１特徴マップを正規化するときに用いるパラメータである正規化パラメータを算出する。まず正規化パラメータ算出部１２０は、第１統計量（平均μｎｅｗ、標準偏差σｎｅｗ）と累積統計量（平均μｏｌｄ、標準偏差σｏｌｄ）の差または比が統計量差範囲ｄｍａｘ、ｒｍａｘに収まるように丸めた丸め統計量差ｄ、ｒを算出する。なお統計量差範囲ｄｍａｘ、ｒｍａｘはそれぞれ、実験的または経験的に決定される。
　具体的には、丸め統計量差ｄ、ｒはそれぞれ、式（３）、式（４）で算出される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　次に正規化パラメータ算出部１２０は、ミニバッチに含まれる各画像の第１統計量と、丸め統計量差を基に、各画像の正規化パラメータμ、σを算出する。具体的には、正規化パラメータμ、σはそれぞれ、式（５）、式（６）で算出される。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　統計量差範囲ｄｍａｘ、ｒｍａｘは、学習の繰り返し回数に応じて変更される。言い換えると、統計量差範囲ｄｍａｘ、ｒｍａｘは、ミニバッチ取得部１１２、正解取得部１１４、第１ＣＮＮ適用部１１６、第１統計量算出部１１８、正規化パラメータ算出部１２０、正規化適用部１２２、累積統計量更新部１２６、第２ＣＮＮ適用部１２８、全体誤差算出部１３０、誤差伝播部１３２およびＣＮＮ更新部１３４による一連の処理の繰り返し回数に応じて変更される。具体的には、繰り返し回数が少ない時点では、累積統計量は大きく変動し不安定であるため、正規化パラメータが第１統計量に近くなるように統計量差範囲は狭くし、繰り返し回数が多くなった時点では、多くのミニバッチから算出した統計量を用いて汎化性能を向上させるべく、正規化パラメータが累積統計量に近くなるように統計量差範囲は広くする。つまり、繰り返し回数が多くなるほど統計量差範囲は広くする。一例としては、繰り返し回数に比例して、統計量差範囲を広くしてもよい。
　変形例として、正規化パラメータ算出部１２０は、ミニバッチに含まれる各画像の正規化パラメータμ、σを、各画像の第１統計量と、累積統計量との重み付け和により、具体的には式（７）、式（８）により、算出してもよい。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
 　ここで、ｗｓは第１統計量の重みであり、（１－ｗｓ）は累積統計量の重みである。統計量差範囲と同様に、繰り返し回数が少ない時点では累積統計量が大きく変動し不安定であるため、正規化パラメータが第１統計量に近くなるように第１統計量の重みｗｓは大きく（したがって累積統計量の重み（１－ｗｓ）は小さく）し、繰り返し回数が多くなった時点ではより多くのミニバッチから算出した統計量を用いて汎化性能を向上させるため、正規化パラメータが累積統計量に近くなるように第１統計量の重みｗｓは小さく（したがって累積統計量の重み（１－ｗｓ）は大きく）する。つまり、繰り返し回数が多くなるほど第１統計量の重みｗｓを小さく（したがって累積統計量の重み（１－ｗｓ）は大きく）する。一例としては、繰り返し回数に比例して、第１統計量の重みｗｓを小さく（したがって累積統計量の重み（１－ｗｓ）は大きく）してもよい。
　正規化適用部１２２は、ミニバッチに含まれる各画像の第１特徴マップを、各画像の正規化パラメータを用いて正規化し、各画像の正規化特徴マップを出力させる。具体的には正規化特徴マップは、式（９）により算出される。
Figure JPOXMLDOC01-appb-M000009
 　ここで、Ｏは正規化特徴マップ、Ｉは第１特徴マップ、γ、βは学習によって獲得される係数である。
　第２統計量算出部１２４は、ミニバッチに含まれる１以上の画像のうちの少なくとも１つの画像に基づく統計量（以下、「第２統計量」と呼ぶ）を算出する。本実施の形態では、第２統計量算出部１２４は、第２統計量として、ミニバッチに含まれる１以上の画像のうちの少なくとも１つの画像の第１特徴マップの平均μ’と標準偏差σ’を算出する。具体的には、平均μ’、標準偏差σ’はそれぞれ、式（１０）、式（１１）で算出される。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
 　ここで、Ｂはミニバッチ画像数である。
　累積統計量更新部１２６は、第２統計量に基づいて、累積統計量保持部１０６に保持される累積統計量を更新する。本実施の形態では、累積統計量更新部１２６は、式（１２）、式（１３）に示すように、第２統計量と累積統計量の重み付け和を、新たな累積統計量として更新する。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
 　ここで、ｗｄは累積統計量の重みであり、（１－ｗｄ）は第２統計量の重みである。
　第２ＣＮＮ適用部１２８は、ミニバッチに含まれる各画像の正規化特徴マップに、第２の畳み込みニューラルネットワーク層を適用し、すなわち第２の畳み込みニューラルネットワーク層に含まれる各層の処理を実行し、各画像の特徴マップを出力させる。以下、第２の畳み込みニューラルネットワーク層を適用したことにより出力された特徴マップを「第２特徴マップ」と呼ぶ。
　全体誤差算出部１３０は、第２の特徴マップを基に、処理全体の誤差（以下、「全体誤差」と呼ぶ）を算出する。
　誤差伝播部１３２は、全体誤差を基に、第１ＣＮＮ適用部１１６、正規化適用部１２２および第２ＣＮＮ適用部１２８の各処理における誤差を算出する。
　ＣＮＮ更新部１３４は、誤差伝播部１３２により算出された誤差を基に、第１の畳み込みニューラルネットワーク層および第２の畳み込みニューラルネットワーク層を更新する。誤差を基に畳み込みニューラルネットワークを更新するための手法には、例えば確率的勾配降下法を用いてもよい。
　終了条件判定部１３６は、学習処理部１０２による学習を終了すべきか否かを判定する。学習を終了すべき終了条件は、例えば学習が所定回数行われたことや、外部から終了の指示を受けたことである。終了条件判定部１３６は、終了条件が満たされる場合、学習処理部１０２による処理を終了させる。終了条件判定部１３６は、終了条件が満たされない場合、処理をミニバッチ取得部１１２に戻す。
　適用処理部１０４は、テストデータ取得部１４０と、テストデータ用第１ＣＮＮ適用部１４２と、正規化パラメータ設定部１４４と、テストデータ用正規化適用部１４６と、テストデータ用第２ＣＮＮ適用部１４８と、データ処理部１５０と、を含む。
　テストデータ取得部１４０は、テスト画像を取得する。正規化パラメータ設定部１４４は、累積統計量保持部１０６に保持される累積統計量、つまり学習処理により算出された累積統計量を正規化パラメータに設定する。
　テストデータ用第１ＣＮＮ適用部１４２、テストデータ用正規化適用部１４６、テストデータ用第２ＣＮＮ適用部１４８はそれぞれ、第１ＣＮＮ適用部１１６、正規化適用部１２２、第２ＣＮＮ適用部１２８と同様に構成される。テストデータ用第１ＣＮＮ適用部１４２は、テスト画像に第１の畳み込みニューラルネットワーク層を適用し、テスト画像の第１特徴マップを出力させる。テストデータ用正規化適用部１４６、テスト画像の第１特徴マップを正規化パラメータを用いて正規化し、テスト画像の正規化特徴マップを出力させる。テストデータ用第２ＣＮＮ適用部１４８は、テスト画像の正規化特徴マップに第２の畳み込みニューラルネットワーク層を適用し、テスト画像の第２特徴マップを出力させる。
　データ処理部１５０は、テスト画像の第２特徴マップを基に、当該テスト画像に対して画像分類、物体検出または画像変換などの画像処理を行う。
　以上のように構成されたデータ処理装置１００の動作を説明する。
　図３は、データ処理装置１００による学習処理の一例を示すフローチャートである。累積統計量初期化部１０８は、累積統計量を初期化する（Ｓ１２）。ＣＮＮ初期化部１１０は、第１のニューラルネットワークおよび第２のニューラルネットワークを初期化する（Ｓ１４）。ミニバッチ取得部１１２は、ミニバッチを取得する（Ｓ１６）。正解取得部１１４は、ミニバッチに対応する正解データを取得する（Ｓ１８）。第１ＣＮＮ適用部１１６は、ミニバッチに含まれる各画像に第１のニューラルネットワークを適用し、各画像の第１特徴マップを出力させる（Ｓ２０）。第１統計量算出部１１８は、各画像の第１特徴マップから、各画像の第１統計量をそれぞれ独立に（例えば並列に）算出する（Ｓ２２）。
　正規化パラメータ算出部１２０は、各画像の第１統計量と、累積統計量を基に、各画像の正規化パラメータを算出する（Ｓ２４）。正規化適用部１２２は、各画像の第１特徴マップを、各画像の正規化パラメータを用いて正規化し、各画像の正規化特徴マップを出力させる（Ｓ２６）。第２統計量算出部１２４は、ミニバッチに含まれる１以上の画像のうちの少なくとも１つの画像に基づく第２統計量を算出する（Ｓ２８）。累積統計量更新部１２６は、第２統計量に基づいて、累積統計量を更新する（Ｓ３０)。第２ＣＮＮ適用部１２８は、各画像の正規化特徴マップに第２のニューラルネットワークを適用し、各画像の第２特徴マップを出力させる（Ｓ３２）。全体誤差算出部１３０は、第２の特徴マップを基に、全体誤差を算出する（Ｓ３４）。誤差伝播部１３２は、全体誤差を基に、第１ＣＮＮ適用部１１６、正規化適用部１２２および第２ＣＮＮ適用部１２８の各処理における誤差を算出する（Ｓ３６）。ＣＮＮ更新部１３４は、誤差伝播部１３２により算出された誤差を基に、第１の畳み込みニューラルネットワーク層および第２の畳み込みニューラルネットワーク層を更新する（Ｓ３８）。終了条件判定部１３６は、終了条件が満たされるか否かを判定する（Ｓ４０）。終了条件が満たされない場合（Ｓ４０のＮ）、処理はＳ１６に戻される。終了条件が満たされる場合（Ｓ４０のＹ）、処理は終了する。
　図４は、データ処理装置１００による適用処理の一例を示すフローチャートである。テストデータ取得部１４０は、テスト画像を取得する（Ｓ４２）。テストデータ用第１ＣＮＮ適用部１４２は、テスト画像に第１のニューラルネットワークを適用し、テスト画像の第１特徴マップを出力させる（Ｓ４４）。正規化パラメータ設定部１４４は、学習処理で算出された累積統計量を、正規化パラメータに設定する（Ｓ４６）。テストデータ用正規化適用部１４６は、テスト画像の第１特徴マップを、設定された正規化パラメータを用いて正規化し、テスト画像の正規化特徴マップを出力させる（Ｓ４８）。テストデータ用第２ＣＮＮ適用部１４８は、テスト画像の正規化特徴マップに第２のニューラルネットワークを適用し、テスト画像の第２特徴マップを出力させる（Ｓ５０）。データ処理部１５０は、テスト画像の第２特徴マップを基に、当該テスト画像に対して画像処理を行う（Ｓ５２）。
　以上説明した実施の形態に係るデータ処理装置１００によると、汎化性能を維持しつつも、正規化層での正規化処理を、データごとに独立に実施できる。これにより、正規化層での正規化処理を、すなわち第１統計量算出部１１８、正規化パラメータ算出部１２０および正規化適用部１２２による処理を、並列に実行できる。また、第１ＣＮＮ適用部１１６および第２ＣＮＮ適用部１２８による処理は、元からデータごとに独立に実施でき、累積統計量更新部１２６による処理は、例えばデータごとに算出した第１統計量を保存しておくなどして、後から算出できる。したがって、実施の形態に係るデータ処理装置１００によると、複数のGraphics Processing Unit（GPU）を用意しミニバッチに含まれる複数のデータを割り当て各処理を実行させることで、効率的な並列処理を行うことができる。
　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
（第１の変形例）
　実施の形態では、データ処理装置１００がＶＧＧ－１６をベースにした畳み込みニューラルネットワークを実行する場合について説明したが、これに限られず、データ処理装置１００は他のモデルをベースにした畳み込みニューラルネットワークを実行してもよい。データ処理装置１００は例えば、より深い層を持つ、Identity Mapping(IM)を導入したResidual Networkをベースにした畳み込みニューラルネットワークを実行してもよい。この場合、より高精度な認識処理を行うことができる。
　１００　データ処理装置、　１１２　ミニバッチ取得部、　１１６　第１ＣＮＮ適用部、　１１８　第１統計量算出部、　１２０　正規化パラメータ算出部、　１２２　正規化適用部、　１２８　第２ＣＮＮ適用部。
　本発明は、データ処理方法およびデータ処理装置に関する。

Claims (14)

  1. 　１以上のデータを含むミニバッチの各データに、第１の畳み込みニューラルネットワーク層を適用して、各データの第１特徴マップを出力させる第１ＣＮＮ適用ステップと、
    　前記ミニバッチに含まれる各データの第１統計量を、各データの第１特徴マップに基づいて独立に算出する第１統計量算出ステップと、
    　前記ミニバッチに含まれる各データの第１統計量と、累積統計量を基に、各データの正規化パラメータを算出する正規化パラメータ算出ステップと、
    　前記ミニバッチに含まれる各データの第１特徴マップを、各データの正規化パラメータを用いて正規化し、各データの正規化特徴マップを出力させる正規化適用ステップと、
    　前記ミニバッチに含まれる各データの正規化特徴マップに、第２の畳み込みニューラルネットワーク層を適用して、各データの第２特徴マップを出力させる第２ＣＮＮ適用ステップと、を含むことを特徴とするデータ処理方法。
  2. 　前記ミニバッチに含まれる１以上のデータのうちの少なくとも１つのデータの第１特徴マップに基づく第２統計量を算出する第２統計量算出ステップと、
    　前記第２統計量を基に前記累積統計量を更新する累積統計量更新ステップと、をさらに含むことを特徴とする請求項１に記載のデータ処理方法。
  3. 　前記ミニバッチは複数のデータを含み、
    　前記ミニバッチに含まれる複数のデータを複数のプロセッサに割り当てて、前記第１統計量算出ステップ、前記正規化パラメータ算出ステップおよび前記正規化適用ステップにおける処理を、並列に実行させることを特徴とする請求項１または２に記載のデータ処理方法。
  4. 　前記ミニバッチに含まれる各データの正解データを取得する正解取得ステップと、
    　前記ミニバッチに含まれる各データの正解データと各データの第２特徴マップを基に、処理全体の誤差を算出する全体誤差算出ステップと、
    　前記処理全体の誤差を基に、前記第１ＣＮＮ適用ステップ、前記正規化適用ステップ、前記第２ＣＮＮ適用ステップの各処理における誤差を算出する誤差伝播ステップと、
    　前記各処理における誤差を基に前記第１の畳み込みニューラルネットワーク層と前記第２の畳み込みニューラルネットワーク層を更新するＣＮＮ更新ステップと、をさらに含むことを特徴とする請求項１から３のいずれかに記載のデータ処理方法。
  5. 　前記正規化パラメータ算出ステップでは、前記ミニバッチに含まれる各データの第１統計量と前記累積統計量との差または比が所定の統計量差範囲に収まるように丸めることで各データの丸め統計量差を算出し、各データの第１統計量と各データの丸め統計量差を基に各データの正規化パラメータを算出することを特徴とする請求項１から４のいずれかに記載のデータ処理方法。
  6. 　前記各ステップにおける一連の処理の繰り返し回数に応じて、前記統計量差範囲を変更することを特徴とする請求項５に記載のデータ処理方法。
  7. 　前記正規化パラメータ算出ステップでは、前記ミニバッチに含まれる各データの第１統計量と前記累積統計量との重み付け和を基に各データの正規化パラメータを算出することを特徴とする請求項１から４のいずれかに記載のデータ処理方法。
  8. 　前記各ステップにおける一連の処理の繰り返し回数に応じて、前記重み付け和における重み付けを変更することを特徴とする請求項７に記載のデータ処理方法。
  9. 　前記累積統計量更新ステップでは、前記第２統計量と前記累積統計量の重み付け和を新たな累積統計量として設定することを特徴とする請求項２に記載のデータ処理方法。
  10. 　前記第１統計量算出ステップでは、前記ミニバッチに含まれる各データの第１統計量として、各データの第１特徴マップの平均および標準偏差を算出することを特徴とする請求項１から９のいずれかに記載のデータ処理方法。
  11. 　前記第２統計量算出ステップでは、前記第２統計量として、前記ミニバッチに含まれる１以上のデータのうちの少なくとも１つのデータの第１特徴マップの平均および標準偏差を算出することを特徴とする請求項２に記載のデータ処理方法。
  12. 　前記累積統計量更新ステップでは、前記平均に対応する前記累積統計量の初期値として０を設定し、前記標準偏差に対応する前記累積統計量の初期値として１を設定することを特徴とする請求項１１に記載のデータ処理方法。
  13. 　テストデータに前記第１の畳み込みニューラルネットワーク層を適用して、テストデータの第１特徴マップを出力させるテストデータ用第１ＣＮＮ適用ステップ、
    　前記累積統計量を前記正規化パラメータに設定する正規化パラメータ設定ステップと、
    　前記テストデータの第１特徴マップを、前記正規化パラメータを用いて正規化し、前記テストデータの正規化特徴マップを出力させるテストデータ用正規化適用ステップと、
    　前記テストデータの正規化特徴マップに、前記第２の畳み込みニューラルネットワーク層を適用して、前記テストデータの第２特徴マップを出力させるテストデータ用第２ＣＮＮ適用ステップと、
    　前記テストデータの第２特徴マップを基に、所定のデータ処理を行うテストデータ処理ステップと、をさらに含むことを特徴とする請求項１から１２のいずれかに記載のデータ処理方法。
  14. 　１以上のデータを含むミニバッチの各データに、第１の畳み込みニューラルネットワーク層を適用して、各データの第１特徴マップを出力させる第１ＣＮＮ適用部と、
    　前記ミニバッチに含まれる各データの第１統計量を、各データの第１特徴マップに基づいて独立に算出する第１統計量算出部と、
    　前記ミニバッチに含まれる各データの第１統計量と、累積統計量を基に、各データの正規化パラメータを算出する正規化パラメータ算出部と、
    　前記ミニバッチに含まれる各データの第１特徴マップを、各データの正規化パラメータを用いて正規化し、各データの正規化特徴マップを出力させる正規化適用部と、
    　前記ミニバッチに含まれる各データの正規化特徴マップに、第２の畳み込みニューラルネットワーク層を適用して、各データの第２特徴マップを出力させる第２ＣＮＮ適用部と、を備えることを特徴とするデータ処理装置。
PCT/JP2017/045573 2017-12-19 2017-12-19 データ処理方法およびデータ処理装置 WO2019123544A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/045573 WO2019123544A1 (ja) 2017-12-19 2017-12-19 データ処理方法およびデータ処理装置
US16/905,539 US11544563B2 (en) 2017-12-19 2020-06-18 Data processing method and data processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/045573 WO2019123544A1 (ja) 2017-12-19 2017-12-19 データ処理方法およびデータ処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/905,539 Continuation US11544563B2 (en) 2017-12-19 2020-06-18 Data processing method and data processing device

Publications (1)

Publication Number Publication Date
WO2019123544A1 true WO2019123544A1 (ja) 2019-06-27

Family

ID=66992570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045573 WO2019123544A1 (ja) 2017-12-19 2017-12-19 データ処理方法およびデータ処理装置

Country Status (2)

Country Link
US (1) US11544563B2 (ja)
WO (1) WO2019123544A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259566A1 (ja) * 2021-06-09 2022-12-15 コニカミノルタ株式会社 ニューラル・ネットワーク・システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114365180A (zh) 2019-11-29 2022-04-15 奥林巴斯株式会社 图像处理方法、学习装置以及图像处理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015215837A (ja) * 2014-05-13 2015-12-03 株式会社デンソー 演算処理装置
WO2016123409A1 (en) * 2015-01-28 2016-08-04 Google Inc. Batch normalization layers

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04158482A (ja) 1990-10-23 1992-06-01 Ricoh Co Ltd 矢印方向検出装置
JP3111433B2 (ja) 1992-03-31 2000-11-20 オムロン株式会社 画像処理装置
EP1863013B1 (en) * 1998-10-09 2013-01-02 Sony Corporation Normalization of vector codebook data for audio-visual speech recognition.
JP2008282267A (ja) 2007-05-11 2008-11-20 Seiko Epson Corp シーン識別装置、及び、シーン識別方法
JP5075924B2 (ja) 2010-01-13 2012-11-21 株式会社日立製作所 識別器学習画像生成プログラム、方法、及びシステム
JP2011150541A (ja) 2010-01-21 2011-08-04 Sony Corp 学習装置、学習方法、及びプログラム
JP6188400B2 (ja) 2013-04-26 2017-08-30 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP2017164007A (ja) 2016-03-14 2017-09-21 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム
JP2019003396A (ja) 2017-06-15 2019-01-10 コニカミノルタ株式会社 目的物体検出装置、該方法およびプログラム
CN107767343B (zh) * 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
US20190164037A1 (en) * 2017-11-29 2019-05-30 Electronics And Telecommunications Research Institute Apparatus for processing convolutional neural network using systolic array and method thereof
JP6760318B2 (ja) 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
TWI667576B (zh) * 2018-07-09 2019-08-01 國立中央大學 機器學習方法及機器學習裝置
JP6986160B2 (ja) 2018-08-10 2021-12-22 オリンパス株式会社 画像処理方法および画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015215837A (ja) * 2014-05-13 2015-12-03 株式会社デンソー 演算処理装置
WO2016123409A1 (en) * 2015-01-28 2016-08-04 Google Inc. Batch normalization layers

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259566A1 (ja) * 2021-06-09 2022-12-15 コニカミノルタ株式会社 ニューラル・ネットワーク・システム
JP7211556B1 (ja) * 2021-06-09 2023-01-24 コニカミノルタ株式会社 ニューラル・ネットワーク・システム

Also Published As

Publication number Publication date
US11544563B2 (en) 2023-01-03
US20200320393A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
JP6625785B1 (ja) データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法
CN110288030B (zh) 基于轻量化网络模型的图像识别方法、装置及设备
CN110969251B (zh) 基于无标签数据的神经网络模型量化方法及装置
US20210019630A1 (en) Loss-error-aware quantization of a low-bit neural network
JP6965206B2 (ja) クラスタリング装置、クラスタリング方法およびプログラム
CN109086653B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
JP2020135011A (ja) 情報処理装置及び方法
CN108734287A (zh) 深度神经网络模型的压缩方法及装置、终端、存储介质
CN110647974A (zh) 深度神经网络中的网络层运算方法及装置
WO2019123544A1 (ja) データ処理方法およびデータ処理装置
WO2016125500A1 (ja) 特徴変換装置、認識装置、特徴変換方法及びコンピュータ読み取り可能記録媒体
WO2019142241A1 (ja) データ処理システムおよびデータ処理方法
CN110222817A (zh) 基于学习自动机的卷积神经网络压缩方法、系统及介质
JP6943295B2 (ja) 学習装置、学習方法、および学習プログラム
JP6600288B2 (ja) 統合装置及びプログラム
CN109256142B (zh) 语音转换基于扩展内核类网格法处理零散数据建模方法及设备
CN114830137A (zh) 用于生成预测模型的方法和系统
CN108694414A (zh) 基于数字图像转化和深度学习的数字取证文件碎片分类方法
CN114970732A (zh) 分类模型的后验校准方法、装置、计算机设备及介质
JP2022151502A (ja) プログラム、情報処理装置、及び方法
WO2020040007A1 (ja) 学習装置、学習方法及び学習プログラム
KR20220075521A (ko) 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법
CN111310823A (zh) 目标分类方法、装置和电子系统
WO2019142242A1 (ja) データ処理システムおよびデータ処理方法
WO2020044567A1 (ja) データ処理システムおよびデータ処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17935750

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17935750

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP