WO2017149971A1 - 演算処理装置 - Google Patents

演算処理装置 Download PDF

Info

Publication number
WO2017149971A1
WO2017149971A1 PCT/JP2017/001554 JP2017001554W WO2017149971A1 WO 2017149971 A1 WO2017149971 A1 WO 2017149971A1 JP 2017001554 W JP2017001554 W JP 2017001554W WO 2017149971 A1 WO2017149971 A1 WO 2017149971A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing unit
processing
arithmetic
pooling
result data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/001554
Other languages
English (en)
French (fr)
Inventor
顕一 蓑谷
智章 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of WO2017149971A1 publication Critical patent/WO2017149971A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure relates to an arithmetic processing device.
  • CNN convolutional neural network
  • a convolution operation process is executed on a plurality of different calculation result data obtained by the previous hierarchy, that is, feature value extraction result data, an activation process is executed, and a pooling process is executed. Therefore, higher-dimensional feature amounts are extracted. Further, by performing normalization processing on the processing result data by the pooling processing, the feature amount recognition rate can be improved, and the feature amount extraction processing can be performed more preferentially.
  • an object of the present disclosure is to suppress the occurrence of latency by improving the configuration for performing normalization processing in an arithmetic processing device that realizes arithmetic processing using a neural network.
  • the arithmetic processing device is an arithmetic processing device that performs an arithmetic operation using a neural network in which a plurality of processing layers are hierarchically connected, and includes a convolution arithmetic processing unit, a pooling processing unit, an integration processing unit, A statistical processing unit and a normalization processing unit are provided.
  • the convolution operation processing unit performs a convolution operation process on the input data input from the previous layer.
  • the pooling processing unit performs a pooling process on the processing result data by the convolution operation unit.
  • the integration processing unit integrates the processing result data by the pooling processing unit before the calculation of the next layer is started.
  • the statistical processing unit calculates an average value and a standard deviation of the data integrated by the integration processing unit.
  • the normalization processing unit uses the average value and the standard deviation calculated by the statistical processing unit in the previous layer, and the processing result data output by the pooling processing unit in the previous layer Normalization processing is executed for.
  • the normalization process can be performed using the statistical value obtained during the calculation process of the previous layer in the input part of the calculation process in the next layer. Therefore, it is not necessary to read data from the memory twice in the same processing hierarchy, and the occurrence of latency can be suppressed.
  • FIG. 1 is a diagram conceptually illustrating a configuration example of a convolutional neural network.
  • FIG. 2 is a diagram “part 1” that visually shows the flow of arithmetic processing in the intermediate layer.
  • FIG. 3 is a diagram “part 2” that visually shows the flow of arithmetic processing in the intermediate layer.
  • FIG. 4 is a diagram showing general arithmetic expressions and functions used in the feature amount extraction processing.
  • FIG. 5 is a block diagram schematically illustrating a configuration example of the arithmetic processing device according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of a normalization function.
  • FIG. 1 is a diagram conceptually illustrating a configuration example of a convolutional neural network.
  • FIG. 2 is a diagram “part 1” that visually shows the flow of arithmetic processing in the intermediate layer.
  • FIG. 3 is a diagram “part 2” that visually shows the flow of arithmetic processing in the intermediate layer.
  • FIG. 7 is a diagram visually showing the flow of arithmetic processing by the arithmetic processing device.
  • FIG. 8 is a block diagram schematically illustrating a configuration example of the arithmetic processing device according to the second embodiment.
  • FIG. 9 is a diagram illustrating an example of a subtraction expression and a division expression constituting the normalization process.
  • FIG. 10 is a block diagram schematically illustrating a configuration example of the arithmetic processing device according to the third embodiment.
  • FIG. 11 is a diagram illustrating a sampling example of processing result data of the pooling processing unit,
  • FIG. 12 is a block diagram schematically illustrating a configuration example of the arithmetic processing device according to the fourth embodiment.
  • FIG. 13 is a diagram illustrating an example of processing result data of the pooling processing unit in binary number
  • FIG. 14 is a block diagram “part 1” schematically illustrating a configuration example of an arithmetic processing device according to the fifth embodiment.
  • FIG. 15 is a block diagram “part 2” schematically illustrating a configuration example of the arithmetic processing device according to the fifth embodiment.
  • FIG. 16 is a diagram illustrating an example of a nonlinear activation function
  • FIG. 17 is a block diagram schematically illustrating a configuration example of an arithmetic processing device according to the sixth embodiment.
  • FIG. 1 conceptually shows the configuration of a neural network, in this case a convolutional neural network, applied to arithmetic processing units 10, 20, 30, 40, 50, and 60, which will be described in detail later. That is, the convolutional neural network N is applied to an image recognition technique for recognizing a predetermined shape or pattern from the image data D1 that is input data, and includes an intermediate layer Na and a total coupling layer Nb.
  • the intermediate layer Na has a configuration in which a plurality of feature quantity extraction processing layers Na1, Na2,. Each feature amount extraction processing layer Na1, Na2,... Includes a convolution layer C and a pooling layer P, respectively.
  • the arithmetic processing unit scans the input image data D1 for each predetermined size by, for example, raster scanning. A plurality of feature amounts included in the input image are extracted by performing a known feature amount extraction process on the scanned data. Note that the first feature amount extraction processing layer Na1 extracts relatively simple single feature amounts such as a linear feature amount extending in the horizontal direction and a linear feature amount extending in the oblique direction. At this time, the arithmetic processing device generates a plurality of feature maps respectively corresponding to the plurality of features included in the input image.
  • the arithmetic processing unit scans input data input from the feature amount extraction processing layer Na1 of the previous layer for every predetermined size by, for example, raster scanning. A plurality of feature amounts included in the input image are extracted by performing a known feature amount extraction process on the scanned data.
  • the feature amount extraction processing layer Na2 of the second layer by integrating the spatial positional relationship of a plurality of feature amounts extracted by the feature amount extraction processing layer Na1 of the first layer, Extract higher-dimensional composite features.
  • the arithmetic processing device generates a plurality of feature maps respectively corresponding to the plurality of features included in the input image.
  • the arithmetic processing unit scans the input data input from the preceding feature amount extraction processing layer Na2 for each predetermined size by, for example, raster scanning.
  • a plurality of feature amounts included in the input image are extracted by performing a known feature amount extraction process on the scanned data.
  • the feature extraction processing layer Na3 of the third layer is integrated by considering the spatial positional relationship of a plurality of feature amounts extracted by the feature extraction processing layer Na2 of the second layer, Extract higher-dimensional composite features.
  • the arithmetic processing device generates a plurality of feature maps respectively corresponding to the plurality of features included in the input image. In this way, by repeating the feature amount extraction processing by the plurality of feature amount extraction processing layers, the arithmetic processing device performs image recognition of the detection target object included in the image data D1.
  • the arithmetic processing unit extracts various feature amounts included in the input image data D1 in a high dimension by repeating the processing by the plurality of feature amount extraction processing layers Na1, Na2, Na3... In the intermediate layer Na. Then, the arithmetic processing unit outputs the result obtained by the processing of the intermediate layer Na to the all coupling layer Nb as intermediate operation result data.
  • the all combined layer Nb combines a plurality of intermediate calculation result data obtained from the intermediate layer Na and outputs final calculation result data. That is, the total connection layer Nb combines a plurality of intermediate operation result data obtained from the intermediate layer Na, and further performs a sum-of-products operation while varying the weighting coefficient for the combined result, thereby obtaining a final operation.
  • Result data that is, image data in which the detection target included in the image data D1 as input data is recognized is output. At this time, the part where the value of the result of the product-sum operation is large is recognized as a part or all of the detection target.
  • the arithmetic processing device uses a predetermined size for the input data Dn input from the feature extraction processing layer in the previous hierarchy, in this case, according to the filter size for each 3 ⁇ 3 pixel indicated by hatching in the figure. Scan.
  • the pixel size is not limited to 3 ⁇ 3 pixels, and can be appropriately changed, for example, 5 ⁇ 5 pixels.
  • the arithmetic processing unit performs a known convolution operation on the scanned data. Then, the arithmetic processing device performs a well-known activation process on the data after the convolution operation, and outputs the result to the convolution layer C. Then, the arithmetic processing unit performs a well-known pooling process on the output data Cn of the convolution layer C at a predetermined size, in this case, 2 ⁇ 2 pixels, and outputs the result to the pooling layer P. Then, the arithmetic processing device outputs the output data Pn of the pooling layer P to the feature amount extraction processing layer of the next layer.
  • the pixel size is not limited to 2 ⁇ 2 pixels and can be changed as appropriate.
  • the arithmetic processing unit performs well-known normalization processing on the data Pn1, Pn2,... After the pooling processing, thereby converting the pooling data Pn into the normalized data Nn1, Pn2, which is a predetermined reference format. ... and then output to the next layer. Thereby, the pooling data Pn can be output to the next layer in a more unified format. Therefore, the recognition rate of the feature amount can be improved, and the feature amount extraction process can be performed more preferentially. In each embodiment described later, the arithmetic processing device is improved in the configuration for performing this normalization process.
  • FIG. 4 shows general examples of a convolution function used for convolution calculation processing, a function used for activation processing, and a function used for pooling processing.
  • the convolution function Yij is a function that accumulates values obtained by multiplying the output Xij of the immediately preceding layer by the weighting factors Wp, q obtained by learning.
  • “N” indicates a pixel size to be processed by one cycle of convolution operation processing. That is, for example, when the pixel size of one calculation cycle is “3 ⁇ 3” pixels, the value of N is “2”.
  • the convolution function Yij may be a function for adding a predetermined bias value to the accumulated value.
  • the convolution function can be adopted as long as it is a function capable of multiply-accumulate operation that can cope with all-join processing.
  • a well-known logistic sigmoid function, ReLU function (Rectified Linear Units), or the like is used.
  • ReLU function Rectified Linear Units
  • the pooling process a known maximum pooling function that outputs a maximum value of input data, a known average pooling function that outputs an average value of input data, or the like is used.
  • the processing by the convolution layer C and the processing by the pooling layer P are repeated, so that higher-dimensional feature amounts can be extracted.
  • a plurality of embodiments according to an arithmetic processing device to which the convolutional neural network N is applied will be described.
  • the arithmetic processing device that performs the processing of the nth layer is indicated by a solid line
  • the arithmetic processing device that performs the processing of the (n + 1) th layer that is the next layer is indicated by a two-dot chain line. It shows by.
  • a calculation block that performs processing of the nth layer is indicated by a solid line
  • a calculation block that performs processing of the (n + 1) th layer that is the next layer is indicated by a two-dot chain line.
  • the arithmetic processing device 10 illustrated in FIG. 5 includes a convolution arithmetic processing unit 11, a pooling processing unit 12, an integration processing unit 13, a statistical processing unit 14, and a normalization processing unit 15.
  • the convolution operation processing unit 11 performs a well-known convolution operation process on the input data input from the previous layer, and outputs the processing result data to the pooling processing unit 12.
  • the arithmetic processing device 10 performs a known activation process on the processing result data of the convolution arithmetic processing unit 11 by an activation processing unit (not shown) and outputs the result to the pooling processing unit 12.
  • the pooling processing unit 12 performs a well-known pooling process on the processing result data input from the convolution operation processing unit 11, and outputs the processing result data to the normalization processing unit 15 at the next layer arithmetic processing. It is supposed to be.
  • the integration processing unit 13 integrates the processing result data output from the pooling processing unit 12 before the calculation processing in the next layer is started.
  • the statistical processing unit 14 calculates the average value and standard deviation of the data integrated by the integration processing unit 13, that is, the processing result data output by the pooling processing unit 12.
  • the normalization processing unit 15 includes a subtractor, a divider, and the like (not shown), and when arithmetic processing in the next layer is started, the average value and standard deviation calculated by the statistical processing unit 14 in the previous layer are used.
  • a known normalization process is performed on the processing result data output by the pooling processing unit 12 in the previous hierarchy.
  • the normalization processing unit 15 performs normalization processing based on, for example, the normalization function shown in FIG.
  • the normalization processing is performed using the statistical value obtained during the arithmetic processing in the previous layer in the input portion of the arithmetic processing in the next layer. Therefore, it is not necessary to read out data from the memory twice in the same processing hierarchy, and normalization processing can be performed in a pipeline over two consecutive layers. Therefore, the processing speed can be increased and the occurrence of latency can be suppressed.
  • the arithmetic processing device 20 illustrated in FIG. 8 includes a convolution arithmetic processing unit 21, a pooling processing unit 22, an integration processing unit 23, a statistical processing unit 24, and a normalization processing unit 25.
  • the normalization processing unit 25 includes a subtraction processing unit 25a and a division processing unit 25b.
  • the subtraction processing unit 25a calculates the average value calculated by the statistical processing unit 24 in the previous hierarchy based on the subtraction formula (1) illustrated in FIG. 9 from the processing result data output by the pooling processing unit 22 in the previous hierarchy. Subtract.
  • the convolution operation processing unit 21 performs a well-known convolution operation process on the processing result data output from the subtraction processing unit 25a.
  • the division processing unit 25b divides the processing result data output from the convolution operation processing unit 21 by the standard deviation calculated by the statistical processing unit 24 in the previous hierarchy based on the division formula (2) illustrated in FIG.
  • a division circuit corresponding to the number of data input to the normalization processing unit is necessary, and there is a problem that the circuit scale increases. is there.
  • the arithmetic processing unit 20 a normalization process including subtraction is performed, a convolution operation process is performed on the processing result data, and a normalization process including division is performed on the processing result data.
  • the convolution operation process there are a plurality of input data, but only one data is output. Therefore, according to the configuration of the arithmetic processing unit 20, since the division is performed after the convolution arithmetic processing, the number of division circuits can be reduced.
  • the arithmetic processing device 30 illustrated in FIG. 10 includes a convolution arithmetic processing unit 31, a pooling processing unit 32, an integration processing unit 33, a statistical processing unit 34, a normalization processing unit 35, and a sampling processing unit 36.
  • the sampling processing unit 36 samples a part of the processing result data output from the pooling processing unit 32.
  • the sampling processing unit 36 outputs the sampled data to the integration processing unit 33.
  • the integration processing unit 33 integrates only part of the data sampled by the sampling processing unit 36, that is, the processing result data by the pooling processing unit 32.
  • the statistical processing unit 34 calculates the average value and the standard deviation based only on a part of the processing result data by the pooling processing unit 32 accumulated by the accumulation processing unit 33.
  • the average value and the standard deviation are calculated based on only a part rather than all of the processing result data by the pooling processing unit 32 and used for the normalization process. In this way, it is possible to perform normalization processing with sufficiently high accuracy even with statistical values based only on part of the processing result data by the pooling processing unit 32. Moreover, according to the arithmetic processing unit 30, the processing load of the integration processing unit 33 can be reduced.
  • the arithmetic processing device 40 illustrated in FIG. 12 includes a convolution arithmetic processing unit 41, a pooling processing unit 42, an integration processing unit 43, a statistical processing unit 44, a normalization processing unit 45, a right shift processing unit 46, and a left shift processing unit 47.
  • the right shift processing unit 46 is provided between the pooling processing unit 42 and the integration processing unit 43, shifts the processing result data by the pooling processing unit 42 to the right by a predetermined bit, and outputs it to the integration processing unit 43.
  • the left shift processing unit 47 is provided between the integration processing unit 43 and the statistical processing unit 44, shifts the processing result data by the integration processing unit 43 to the left by a predetermined bit, and outputs it to the statistical processing unit 44.
  • the integration processing unit 43 is configured to integrate only the upper predetermined bits of the processing result data by the pooling processing unit 42. According to the arithmetic processing unit 40, the integration processing unit 43 integrates not only all bits of the processing result data by the pooling processing unit 42 but only the upper predetermined bits. According to this configuration, the processing load of the integration processing unit 43 can be reduced.
  • the arithmetic processing device 50 illustrated in FIG. 14 includes a plurality of arithmetic blocks 500 each including a convolution arithmetic processing unit 51, a pooling processing unit 52, an integration processing unit 53, a statistical processing unit 54, and a normalization processing unit 55.
  • FIG. 14 shows only one calculation block 500.
  • Each calculation block 500 includes a weight adjustment processing unit 56.
  • the weight adjustment processing unit 56 specifies a weighting coefficient indicating the maximum value among the weighting coefficients used when the convolution operation processing unit 51 of each operation block 500 executes the convolution operation processing. Then, the weight adjustment processing unit 56 divides the weighting factor used by the convolution operation processing unit 51 by the absolute value of the maximum value of the identified weighting factor. As a result, the weight adjustment processing unit 56 adjusts the weight coefficient so that it falls within the range of ⁇ 1 to 1.
  • the arithmetic processing device 50 specifies the maximum value of the weighting coefficient used when each of the plurality of convolution arithmetic processing units 51 executes the convolution arithmetic processing, and uses the absolute value of the specified maximum value to determine the plurality of convolution arithmetic processing units 51.
  • the weighting factor used by is divided to adjust the weighting factor to a range of ⁇ 1 to 1.
  • the arithmetic processing device 50 may further include a storage unit 57 and a multiplication processing unit 58.
  • the storage unit 57 stores the absolute value of the maximum value of the weighting coefficient specified by the weight adjustment processing unit 56.
  • the multiplication processing unit 58 is constituted by, for example, a multiplier, and multiplies the processing result data output from the convolution operation processing unit 51 by the absolute value of the maximum value of the weighting coefficient stored in the storage unit 57 to activate the multiplication result.
  • the activation processing unit 59 performs a well-known activation process on the input processing result data, and outputs the processing result data to the pooling processing unit 52.
  • This configuration is particularly effective when the activation function used for the activation process is non-linear. That is, in the processing result data by the non-linear activation function illustrated in FIG. 16, when the amount of change in the processing result near the processing result R1 when the weighting factor of the convolution operation is not adjusted and the weighting factor of the convolution operation are adjusted. The amount of change in the processing result in the vicinity of the processing result R2 is different. Therefore, the arithmetic processing unit 50 multiplies the processing result data R2 when the weighting factor is adjusted by the absolute value of the maximum value used when the weighting factor is adjusted, as shown by the arrow r. The processing result data of the arithmetic processing is returned to the processing result data R1 when the weighting coefficient is not adjusted.
  • An arithmetic processing device 60 illustrated in FIG. 17 includes a plurality of arithmetic blocks 600 each including a convolution arithmetic processing unit 61, a pooling processing unit 62, an integration processing unit 63, and a normalization processing unit 65.
  • the calculation block 600 includes an addition processing unit 66 and a storage unit 67, respectively.
  • the statistical processing unit 64 is provided in any one of the plurality of calculation blocks 600, in this case, the most upstream calculation block 600.
  • the lower side of the figure is defined as the downstream side
  • the upper side of the figure is defined as the upstream side.
  • the addition processing unit 66 adds the data input from the calculation block 600 downstream of itself to the data input from the integration processing unit 63 that constitutes the same calculation block 600 as that of the addition processing unit 66 and outputs the result to the storage unit 67. To do.
  • the storage unit 67 stores the data input from the addition processing unit 66 and outputs the data to the addition processing unit 66 of the arithmetic block 600 on the upstream side of itself.
  • the storage unit 67 of the most upstream calculation block 600 outputs the stored data to the statistical processing unit 64.
  • the statistical processing unit 64 calculates an average value and a standard deviation for the input data and outputs them to the normalization processing unit 65 of each calculation block 600. That is, the statistical processing unit 64 calculates the average value and standard deviation of the data calculated by the plurality of integration processing units 63 and provides them to the plurality of normalization processing units 65, respectively.
  • the statistical processing unit 64 is not provided in each arithmetic block 600, but the statistical processing unit 64 is provided only in one arithmetic block 600, and the statistical The statistical value output from the processing unit 64 is shared by the plurality of normalization processing units 65. According to this configuration, even if a plurality of operation blocks 600 are provided, the statistical processing unit 64 having a relatively large circuit scale can be suppressed to one, and the entire apparatus can be made compact and low in cost. Can be planned.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Complex Calculations (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

演算処理装置１０は、前階層から入力される入力データに対して畳み込み演算処理を実行する畳み込み演算処理部１１と、畳み込み演算処理部による処理結果データに対してプーリング処理を実行するプーリング処理部１２と、次回層の演算が開始される前に、プーリング処理部による処理結果データを積算する積算処理部１３と、積算処理部が積算するデータの平均値および標準偏差を算出する統計処理部１４と、次回層の演算が開始されると、前階層において統計処理部により算出された平均値および標準偏差を用いて、前階層においてプーリング処理部により出力された処理結果データに対して正規化処理を実行する正規化処理部１５と、を備える。

Description

演算処理装置 関連出願の相互参照
　本出願は、２０１６年３月１日に出願された日本出願番号２０１６－０３８９５６号に基づくもので、ここにその記載内容を援用する。
　本開示は、演算処理装置に関する。
　従来より、複数の処理層が階層的に接続されたニューラルネットワークによる演算を実行する演算処理装置が考えられている。特に画像認識を行う演算処理装置においては、いわゆる畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が中核的な存在となっている。
特許第５１８４８２４号公報
　従来の畳み込みニューラルネットワークでは、前段の階層により得られる複数の異なる演算結果データ、つまり特徴量の抽出結果データに対して畳み込み演算処理を実行し、活性化処理を実行し、プーリング処理を実行することで、より高次元の特徴量の抽出を行っている。そして、さらに、プーリング処理による処理結果データに対して正規化処理を施すことにより、特徴量の認識率を向上することができ、特徴量の抽出処理を一層優位に行うことができる。
　ところで、処理結果データに対して正規化処理を行う場合、従来では、まず、畳み込み演算処理時にメモリからデータを読み出し、読み出したデータに対して畳み込み演算処理およびプーリング処理を行い、その演算結果データをメモリに格納する。そして、その後、同一の処理階層において、そのメモリに格納したデータを読み出し、読み出したデータに対して正規化処理を行う。即ち、従来技術では、同一の処理階層においてメモリからのデータの読み出しを２回行う必要があり、大きなレイテンシが発生してしまう。
　そこで、本開示は、ニューラルネットワークによる演算処理を実現する演算処理装置において、正規化処理を行うための構成に改良を施すことにより、レイテンシの発生を抑えることを目的とする。
　本開示の一態様において、演算処理装置は、複数の処理層が階層的に接続されたニューラルネットワークによる演算を実行する演算処理装置であって、畳み込み演算処理部、プーリング処理部、積算処理部、統計処理部、正規化処理部を備える。畳み込み演算処理部は、前階層から入力される入力データに対して畳み込み演算処理を実行する。プーリング処理部は、前記畳み込み演算部による処理結果データに対してプーリング処理を実行する。積算処理部は、次回層の演算が開始される前に、前記プーリング処理部による処理結果データを積算する。統計処理部は、前記積算処理部が積算するデータの平均値および標準偏差を算出する。正規化処理部は、次回層の演算が開始されると、前階層において前記統計処理部により算出された平均値および標準偏差を用いて、前階層において前記プーリング処理部により出力された処理結果データに対して正規化処理を実行する。
　この構成によれば、次回層における演算処理の入力部分において、前階層の演算処理時に得られた統計値を用いて正規化処理を行うことができる。そのため、同一の処理階層においてメモリからのデータの読み出しを２回行う必要が無く、レイテンシの発生を抑えることができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、畳み込みニューラルネットワークの構成例を概念的に示す図であり、 図２は、中間層における演算処理の流れを視覚的に示す図「その１」であり、 図３は、中間層における演算処理の流れを視覚的に示す図「その２」であり、 図４は、特徴量抽出処理に用いられる一般的な演算式および関数を示す図であり、 図５は、第１実施形態に係る演算処理装置の構成例を概略的に示すブロック図であり、 図６は、正規化関数の一例を示す図であり、 図７は、演算処理装置による演算処理の流れを視覚的に示す図であり、 図８は、第２実施形態に係る演算処理装置の構成例を概略的に示すブロック図であり、 図９は、正規化処理を構成する減算式および除算式の一例を示す図であり、 図１０は、第３実施形態に係る演算処理装置の構成例を概略的に示すブロック図であり、 図１１は、プーリング処理部の処理結果データのサンプリング例を示す図であり、 図１２は、第４実施形態に係る演算処理装置の構成例を概略的に示すブロック図であり、 図１３は、プーリング処理部の処理結果データの一例を２進数により示す図であり、 図１４は、第５実施形態に係る演算処理装置の構成例を概略的に示すブロック図「その１」であり、 図１５は、第５実施形態に係る演算処理装置の構成例を概略的に示すブロック図「その２」であり、 図１６は、非線形の活性化関数の一例を示す図であり、 図１７は、第６実施形態に係る演算処理装置の構成例を概略的に示すブロック図である。
　以下、演算処理装置の複数の実施形態について図面を参照しながら説明する。なお、各実施形態において実質的に同一の要素には同一の符号を付し、説明を省略する。
　（ニューラルネットワーク）
　図１には、詳しくは後述する演算処理装置１０，２０，３０，４０，５０，６０に適用されるニューラルネットワーク、この場合、畳み込みニューラルネットワークの構成を概念的に示している。即ち、畳み込みニューラルネットワークＮは、入力データである画像データＤ１から所定の形状やパターンを認識する画像認識技術に応用されるものであり、中間層Ｎａと全結合層Ｎｂとを有する。中間層Ｎａは、複数の特徴量抽出処理層Ｎａ１，Ｎａ２・・・が階層的に接続された構成である。各特徴量抽出処理層Ｎａ１，Ｎａ２・・・は、それぞれ畳み込み層Ｃおよびプーリング層Ｐを備える。
　次に、中間層Ｎａにおける処理の流れについて説明する。図２に例示するように、第１層目の特徴量抽出処理層Ｎａ１では、演算処理装置は、入力される画像データＤ１を例えばラスタスキャンにより所定サイズごとに走査する。そして、走査したデータに対して周知の特徴量抽出処理を施すことにより入力画像に含まれる複数の特徴量を抽出する。なお、第１層目の特徴量抽出処理層Ｎａ１では、例えば水平方向に延びる線状の特徴量や斜め方向に延びる線状の特徴量などといった比較的シンプルな単独の特徴量を抽出する。このとき、演算処理装置は、入力画像に含まれる複数の特徴にそれぞれ対応する複数の特徴マップを生成する。
　第２層目の特徴量抽出処理層Ｎａ２では、演算処理装置は、前階層の特徴量抽出処理層Ｎａ１から入力される入力データを例えばラスタスキャンにより所定サイズごとに走査する。そして、走査したデータに対して周知の特徴量抽出処理を施すことにより入力画像に含まれる複数の特徴量を抽出する。なお、第２層目の特徴量抽出処理層Ｎａ２では、第１層目の特徴量抽出処理層Ｎａ１で抽出された複数の特徴量の空間的な位置関係などを考慮しながら統合させることで、より高次元の複合的な特徴量を抽出する。このとき、演算処理装置は、入力画像に含まれる複数の特徴にそれぞれ対応する複数の特徴マップを生成する。
　第３層目の特徴量抽出処理層Ｎａ３では、演算処理装置は、前階層の特徴量抽出処理層Ｎａ２から入力される入力データを例えばラスタスキャンにより所定サイズごとに走査する。そして、走査したデータに対して周知の特徴量抽出処理を施すことにより入力画像に含まれる複数の特徴量を抽出する。なお、第３層目の特徴量抽出処理層Ｎａ３では、第２層目の特徴量抽出処理層Ｎａ２で抽出された複数の特徴量の空間的な位置関係などを考慮しながら統合させることで、より高次元の複合的な特徴量を抽出する。このとき、演算処理装置は、入力画像に含まれる複数の特徴にそれぞれ対応する複数の特徴マップを生成する。このように、複数の特徴量抽出処理層による特徴量の抽出処理を繰り返すことで、演算処理装置は、画像データＤ１に含まれる検出対象物体の画像認識を行う。
　演算処理装置は、中間層Ｎａにおいて複数の特徴量抽出処理層Ｎａ１，Ｎａ２，Ｎａ３・・・による処理を繰り返すことで入力画像データＤ１に含まれる種々の特徴量を高次元で抽出していく。そして、演算処理装置は、中間層Ｎａの処理により得られた結果を中間演算結果データとして全結合層Ｎｂに出力する。
　全結合層Ｎｂは、中間層Ｎａから得られる複数の中間演算結果データを結合して最終的な演算結果データを出力する。即ち、全結合層Ｎｂは、中間層Ｎａから得られる複数の中間演算結果データを結合し、さらに、その結合結果に対して重み係数を異ならせながら積和演算を行うことにより、最終的な演算結果データ、即ち、入力データである画像データＤ１に含まれる検出対象物を認識した画像データを出力する。このとき、積和演算による演算結果の値が大きい部分が検出対象物の一部または全部として認識される。
　次に、演算処理装置による特徴量抽出処理の流れについて説明する。図３に例示するように、演算処理装置は、前階層の特徴量抽出処理層から入力される入力データＤｎを所定サイズ、この場合、図にてハッチングで示す３×３画素ごとのフィルタサイズにより走査する。なお、画素サイズは、３×３画素に限られず、例えば５×５画素など適宜変更することができる。
　そして、演算処理装置は、走査したデータに対して、それぞれ周知の畳み込み演算を行う。そして、演算処理装置は、畳み込み演算後のデータに対して周知の活性化処理を行い、畳み込み層Ｃの出力とする。そして、演算処理装置は、畳み込み層Ｃの出力データＣｎに対して、所定サイズ、この場合、２×２画素ごとに周知のプーリング処理を行い、プーリング層Ｐの出力とする。そして、演算処理装置は、プーリング層Ｐの出力データＰｎを次の階層の特徴量抽出処理層に出力する。なお、画素サイズは、２×２画素に限られず適宜変更することができる。
　ここで、演算処理装置は、プーリング処理後のデータＰｎ１，Ｐｎ２，・・・に対して周知の正規化処理を施すことにより、プーリングデータＰｎを所定の基準形式である正規化データＮｎ１，Ｐｎ２，・・・に変換してから次の階層に出力する。これにより、より統一された形式でプーリングデータＰｎを次の階層に出力することができる。従って、特徴量の認識率を向上することができ、特徴量の抽出処理を一層優位に行うことができる。後述する各実施形態においては、演算処理装置には、この正規化処理を行うための構成に改良が施されている。
　図４には、畳み込み演算処理に用いられる畳み込み関数、活性化処理に用いられる関数、プーリング処理に用いられる関数の一般的な例を示している。即ち、畳み込み関数Ｙｉｊは、直前の層の出力Ｘｉｊに学習により得られる重み係数Ｗｐ，ｑを乗算した値を累積する関数となっている。なお、「Ｎ」は１サイクルの畳み込み演算処理により処理される画素サイズを示す。即ち、例えば１演算サイクルの画素サイズが「３×３」画素である場合、Ｎの値は「２」である。また、畳み込み関数Ｙｉｊは、累積値に所定のバイアス値を加算する関数としてもよい。また、畳み込み関数は、全結合処理にも対応し得る積和演算が可能な関数であれば、種々の関数を採用することができる。また、活性化処理には、周知のロジスティックジグモイド関数やＲｅＬＵ関数（Rectified Linear Units）などが用いられる。また、プーリング処理には、入力されるデータの最大値を出力する周知の最大プーリング関数や、入力されるデータの平均値を出力する周知の平均プーリング関数などが用いられる。
　上述した畳み込みニューラルネットワークＮによれば、コンボルーション層Ｃによる処理およびプーリング層Ｐによる処理が繰り返されることにより、より高次元の特徴量の抽出が可能となる。次に、この畳み込みニューラルネットワークＮを適用した演算処理装置に係る複数の実施形態について説明する。なお、各実施形態に係る図においては、第ｎ層目の処理を行っている演算処理装置を実線により示し、次回層である第ｎ＋１層目の処理を行っている演算処理装置を二点鎖線により示している。また、第ｎ層目の処理を行っている演算ブロックを実線により示し、次回層である第ｎ＋１層目の処理を行っている演算ブロックを二点鎖線により示している。
　（第１実施形態）
　図５に例示する演算処理装置１０は、畳み込み演算処理部１１、プーリング処理部１２、積算処理部１３、統計処理部１４、正規化処理部１５を備える。畳み込み演算処理部１１は、前階層から入力される入力データに対して周知の畳み込み演算処理を実行して、その処理結果データをプーリング処理部１２に出力する。なお、演算処理装置１０は、畳み込み演算処理部１１の処理結果データに対して図示しない活性化処理部により周知の活性化処理を実行してからプーリング処理部１２に出力する。プーリング処理部１２は、畳み込み演算処理部１１から入力される処理結果データに対して周知のプーリング処理を実行して、その処理結果データを、次回層の演算処理時における正規化処理部１５に出力するようになっている。
　積算処理部１３は、プーリング処理部１２が出力する処理結果データを、次回層における演算処理が開始される前に積算する。統計処理部１４は、積算処理部１３が積算するデータ、つまり、プーリング処理部１２が出力する処理結果データの平均値および標準偏差を算出する。正規化処理部１５は、図示しない減算器や除算器などを備えており、次回層における演算処理が開始されると、前階層において統計処理部１４により算出された平均値および標準偏差を用いて、前階層においてプーリング処理部１２により出力された処理結果データに対して周知の正規化処理を実行する。正規化処理部１５は、例えば図６に示す正規化関数に基づいて正規化処理を実行する。
　演算処理装置１０によれば、図７に例示するように、次回層における演算処理の入力部分において、前階層の演算処理時に得られた統計値を用いて正規化処理を行うようにした。そのため、同一の処理階層においてメモリからのデータの読み出しを２回行う必要が無く、連続する２層にわたって正規化処理をパイプライン化して行うことができる。よって、処理の高速化を図ることができ、レイテンシの発生を抑えることができる。
　（第２実施形態）
　図８に例示する演算処理装置２０は、畳み込み演算処理部２１、プーリング処理部２２、積算処理部２３、統計処理部２４、正規化処理部２５を備える。正規化処理部２５は、減算処理部２５ａおよび除算処理部２５ｂを備える。
　減算処理部２５ａは、図９に例示する減算式（１）に基づいて、前階層において統計処理部２４により算出された平均値を、前階層においてプーリング処理部２２により出力された処理結果データから減算する。畳み込み演算処理部２１は、減算処理部２５ａが出力する処理結果データに対し周知の畳み込み演算処理を実行する。除算処理部２５ｂは、図９に例示する除算式（２）に基づいて、畳み込み演算処理部２１が出力する処理結果データを、前階層において統計処理部２４により算出された標準偏差により除算する。
　減算および除算からなる正規化処理を行った上で畳み込み演算処理を行う構成では、正規化処理部に入力されるデータの数に応じた除算回路が必要であり、回路規模が大きくなるという課題がある。演算処理装置２０によれば、減算からなる正規化処理を行い、その処理結果データに対して畳み込み演算処理を行い、その処理結果データに対して除算からなる正規化処理を行うようにした。畳み込み演算処理において、入力されるデータは複数であるのに対し、出力されるデータは１つである。そのため、演算処理装置２０の構成によれば、畳み込み演算処理の後に除算を行うようにしたので、除算回路の数を削減することができる。
　（第３実施形態）
　図１０に例示する演算処理装置３０は、畳み込み演算処理部３１、プーリング処理部３２、積算処理部３３、統計処理部３４、正規化処理部３５、サンプリング処理部３６を備える。図１１に例示するように、サンプリング処理部３６は、プーリング処理部３２が出力する処理結果データの一部をサンプリングする。そして、サンプリング処理部３６は、サンプリングしたデータを積算処理部３３に出力する。そして、積算処理部３３は、サンプリング処理部３６によってサンプリングされたデータ、つまり、プーリング処理部３２による処理結果データの一部のみを積算する。そして、統計処理部３４は、積算処理部３３により積算されたプーリング処理部３２による処理結果データの一部のみに基づいて、その平均値および標準偏差を算出する。
　演算処理装置３０によれば、プーリング処理部３２による処理結果データの全てではなく一部のみに基づいて、その平均値と標準偏差を算出して正規化処理に用いる。このように、プーリング処理部３２による処理結果データの一部のみに基づく統計値によっても十分精度が高い正規化処理を行うことができる。また、演算処理装置３０によれば、積算処理部３３の処理負荷を低減することができる。
　（第４実施形態）
　図１２に例示する演算処理装置４０は、畳み込み演算処理部４１、プーリング処理部４２、積算処理部４３、統計処理部４４、正規化処理部４５、右シフト処理部４６、左シフト処理部４７を備える。右シフト処理部４６は、プーリング処理部４２と積算処理部４３との間に設けられており、プーリング処理部４２による処理結果データを所定ビットだけ右にシフトさせて積算処理部４３に出力する。左シフト処理部４７は、積算処理部４３と統計処理部４４との間に設けられており、積算処理部４３による処理結果データを所定ビットだけ左にシフトさせて統計処理部４４に出力する。
　なお、右シフト処理部４６がデータを右シフトするときのビット数と、左シフト処理部４７がデータを左シフトするときのビット数は同じである。そのため、図１３に例示するように、積算処理部４３は、プーリング処理部４２による処理結果データの上位の所定ビットのみを積算する構成となる。演算処理装置４０によれば、積算処理部４３により、プーリング処理部４２による処理結果データの全ビットではなく上位の所定ビットのみを積算する。この構成によれば、積算処理部４３の処理負荷を低減することができる。
　（第５実施形態）
　図１４に例示する演算処理装置５０は、畳み込み演算処理部５１、プーリング処理部５２、積算処理部５３、統計処理部５４、正規化処理部５５を有する演算ブロック５００を複数備える構成である。なお、図１４には、１つの演算ブロック５００のみを示している。演算ブロック５００には、それぞれ重み調整処理部５６が備えられている。重み調整処理部５６は、各演算ブロック５００の畳み込み演算処理部５１がそれぞれ畳み込み演算処理を実行する際に用いる重み係数のうち最大の値を示す重み係数を特定する。そして、重み調整処理部５６は、その特定した重み係数の最大値の絶対値により、畳み込み演算処理部５１が用いる重み係数を除算する。これにより、重み調整処理部５６は、重み係数を－１～１の範囲に収まるように調整する。
　演算処理装置５０は、複数の畳み込み演算処理部５１がそれぞれ畳み込み演算処理を実行する際に用いる重み係数の最大値を特定し、その特定した最大値の絶対値により、複数の畳み込み演算処理部５１が用いる重み係数を除算して、重み係数を－１～１の範囲に調整する。このように重み係数を所定の範囲内に収めることで、当該重み係数を用いて算出される畳み込み演算処理の処理結果データを所定の範囲内に収めることができ、処理結果データのぶれを抑えることができる。よって、処理結果データを、浮動小数点数よりも表現範囲が狭い固定小数点数によっても表現することができ、また、固定小数点数による処理により、より高速で精度の良い演算が可能となる。
　なお、図１５に例示するように、演算処理装置５０は、さらに、記憶部５７、乗算処理部５８を備える構成とするとよい。この構成において、記憶部５７は、重み調整処理部５６が特定した重み係数の最大値の絶対値を記憶する。乗算処理部５８は、例えば乗算器で構成されており、畳み込み演算処理部５１が出力する処理結果データに、記憶部５７に記憶されている重み係数の最大値の絶対値を乗算して、活性化処理部５９に出力する。活性化処理部５９は、入力される処理結果データに対して周知の活性化処理を実行して、その処理結果データをプーリング処理部５２に出力する。
　この構成は、活性化処理に用いる活性化関数が非線形である場合に特に効果を発揮する。即ち、図１６に例示する非線形の活性化関数により処理結果データにおいては、畳み込み演算の重み係数を調整しない場合の処理結果Ｒ１付近における処理結果の変化量と、畳み込み演算の重み係数を調整した場合の処理結果Ｒ２付近における処理結果の変化量とが異なってくる。そのため、演算処理装置５０は、重み係数を調整した場合の処理結果データＲ２に対し、重み係数の調整の際に用いた最大値の絶対値を乗算することにより、矢印ｒで示すように、畳み込み演算処理の処理結果データを、重み係数を調整しない場合の処理結果データＲ１に戻すようにした。これにより、調整された重み係数により高速で精度の良い畳み込み演算を行いつつも、その処理結果データを、重み係数を調整しなかった場合の処理結果データに近似させることができ、特に活性化関数が非線形である場合であっても、その影響を抑えることができる。
　（第６実施形態）
　図１７に例示する演算処理装置６０は、畳み込み演算処理部６１、プーリング処理部６２、積算処理部６３、正規化処理部６５を有する演算ブロック６００を複数備える。演算ブロック６００には、それぞれ、加算処理部６６、記憶部６７が備えられている。また、複数の演算ブロック６００のうちの何れか１つ、この場合、最上流の演算ブロック６００には、統計処理部６４が備えられている。なお、説明の便宜上、図の下側を下流側、図の上側を上流側と定義する。
　加算処理部６６は、自身と同じ演算ブロック６００を構成する積算処理部６３から入力されるデータに、自身よりも下流側の演算ブロック６００から入力されるデータを加算して、記憶部６７に出力する。記憶部６７は、加算処理部６６から入力されるデータを記憶するとともに、そのデータを自身よりも上流側の演算ブロック６００の加算処理部６６に出力する。最も上流側の演算ブロック６００の記憶部６７は、記憶したデータを統計処理部６４に出力する。統計処理部６４は、入力されたデータについて平均値と標準偏差を算出し、各演算ブロック６００の正規化処理部６５にそれぞれ出力する。即ち、統計処理部６４は、複数の積算処理部６３が算出するデータの平均値および標準偏差を算出して、複数の正規化処理部６５にそれぞれ提供する。
　演算処理装置６０によれば、複数の演算ブロック６００を備える構成において、各演算ブロック６００にそれぞれ統計処理部６４を設けるのではなく、１つの演算ブロック６００のみに統計処理部６４を設け、当該統計処理部６４が出力する統計値を複数の正規化処理部６５により共用するようにした。この構成によれば、複数の演算ブロック６００を備える場合であっても、回路規模が比較的大きくなる統計処理部６４を１つだけに抑えることができ、装置全体としてコンパクト化や低コスト化を図ることができる。
　（その他の実施形態）
　なお、本開示は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。例えば、上述した複数の実施形態を適宜組み合わせて実施してもよい。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (7)

  1. 　複数の処理層が階層的に接続されたニューラルネットワークによる演算を実行する演算処理装置（１０，２０，３０，４０，５０，６０）であって、
    　前階層から入力される入力データに対して畳み込み演算処理を実行する畳み込み演算処理部（１１，２１，３１，４１，５１，６１）と、
    　前記畳み込み演算処理部による処理結果データに対してプーリング処理を実行するプーリング処理部（１２，２２，３２，４２，５２，６２）と、
    　次回層の演算が開始される前に、前記プーリング処理部による処理結果データを積算する積算処理部（１３，２３，３３，４３，５３，６３）と、
    　前記積算処理部が積算するデータの平均値および標準偏差を算出する統計処理部（１４，２４，３４，４４，５４，６４）と、
    　次回層の演算が開始されると、前階層において前記統計処理部により算出された平均値および標準偏差を用いて、前階層において前記プーリング処理部により出力された処理結果データに対して正規化処理を実行する正規化処理部（１５，２５，３５，４５，５５，６５）と、
    を備える演算処理装置。
  2. 　前記正規化処理部（２５）は、減算処理部（２５ａ）および除算処理部（２５ｂ）を備え、
    　前記減算処理部は、前階層において前記統計処理部（２４）により算出された平均値を、前階層において前記プーリング処理部（２２）により出力された処理結果データから減算し、
    　前記畳み込み演算処理部（２１）は、前記減算処理部が出力する処理結果データに対して畳み込み演算処理を実行し、
    　前記除算処理部は、前記畳み込み演算処理部が出力する処理結果データを、前階層において前記統計処理部（２４）により算出された標準偏差により除算する請求項１に記載の演算処理装置。
  3. 　前記積算処理部（３３）は、前記プーリング処理部（３２）による処理結果データの一部を積算する請求項１または２に記載の演算処理装置。
  4. 　前記積算処理部（４３）は、前記プーリング処理部（４２）による処理結果データの上位の所定ビットを積算する請求項１から３の何れか１項に記載の演算処理装置。
  5. 　前記畳み込み演算処理部（６１）、前記プーリング処理部（６２）、前記積算処理部（６３）、前記正規化処理部（６５）を有する演算ブロック（６００）が複数備えられ、
    　前記統計処理部（６４）は、複数の前記積算処理部（６３）が算出するデータの平均値および標準偏差を算出する請求項１から４の何れか１項に記載の演算処理装置。
  6. 　前記畳み込み演算処理部（５１）、前記プーリング処理部（５２）、前記積算処理部（５３）、前記正規化処理部（５５）を有する演算ブロック（５００）が複数備えられ、
    　複数の前記畳み込み演算処理部がそれぞれ畳み込み演算処理を実行する際に用いる重み係数の最大値を特定し、その特定した最大値の絶対値により、複数の前記畳み込み演算処理部が用いる重み係数を除算する重み調整処理部（５６）を備える請求項１から５の何れか１項に記載の演算処理装置。
  7. 　前記畳み込み演算処理部（５１）が前記重み調整処理部により調整された重み係数を用いて演算した演算結果データに、前記重み係数の最大値の絶対値を乗算する乗算処理部（５８）を備える請求項６に記載の演算処理装置。
PCT/JP2017/001554 2016-03-01 2017-01-18 演算処理装置 Ceased WO2017149971A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-038956 2016-03-01
JP2016038956A JP6561877B2 (ja) 2016-03-01 2016-03-01 演算処理装置

Publications (1)

Publication Number Publication Date
WO2017149971A1 true WO2017149971A1 (ja) 2017-09-08

Family

ID=59743775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001554 Ceased WO2017149971A1 (ja) 2016-03-01 2017-01-18 演算処理装置

Country Status (2)

Country Link
JP (1) JP6561877B2 (ja)
WO (1) WO2017149971A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021509994A (ja) * 2018-05-23 2021-04-08 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 画像処理方法、装置、コンピュータ装置及びコンピュータ記憶媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580369B2 (en) 2017-10-23 2023-02-14 Nec Corporation Inference apparatus, convolution operation execution method, and program
JP6757349B2 (ja) * 2018-03-12 2020-09-16 株式会社東芝 固定小数点を用いて認識処理を行う多層の畳み込みニューラルネットワーク回路を実現する演算処理装置
WO2020013075A1 (ja) * 2018-07-12 2020-01-16 ソニー株式会社 積和演算システム及び積和演算方法
JP2020201883A (ja) 2019-06-13 2020-12-17 キヤノン株式会社 データ処理装置及びその制御方法
JP7342544B2 (ja) 2019-09-09 2023-09-12 富士通株式会社 学習プログラムおよび学習方法
JP7322620B2 (ja) 2019-09-13 2023-08-08 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013069132A (ja) * 2011-09-22 2013-04-18 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
JP2015215837A (ja) * 2014-05-13 2015-12-03 株式会社デンソー 演算処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013069132A (ja) * 2011-09-22 2013-04-18 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
JP2015215837A (ja) * 2014-05-13 2015-12-03 株式会社デンソー 演算処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021509994A (ja) * 2018-05-23 2021-04-08 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 画像処理方法、装置、コンピュータ装置及びコンピュータ記憶媒体
US11080569B2 (en) 2018-05-23 2021-08-03 Beijing Sensetime Technology Development Co., Ltd. Method and device for image processing, and computer storage medium

Also Published As

Publication number Publication date
JP6561877B2 (ja) 2019-08-21
JP2017156941A (ja) 2017-09-07

Similar Documents

Publication Publication Date Title
JP6561877B2 (ja) 演算処理装置
US12282852B2 (en) Dynamic quantization of neural networks
JP2015215837A (ja) 演算処理装置
US20200160493A1 (en) Image filtering based on image gradients
JP6365258B2 (ja) 演算処理装置
KR20200049366A (ko) 뉴럴 네트워크 프로세서 및 그것의 컨볼루션 연산 방법
JP6414458B2 (ja) 演算処理装置
JP7274180B2 (ja) プログラム、ニューラルネットワーク処理コンピュータ、ニューラルネットワーク処理装置、およびニューラルネットワークの演算方法
JP2019091439A5 (ja) 画像データ補間の方法
KR20230050340A (ko) 테이블 형식의 컨볼루션 및 가속
KR100298327B1 (ko) 고속 컨벌루션 처리 방법 및 그 장치
JP2010028241A (ja) ビット選択回路
CN103514589A (zh) 图像恢复中的滤波方法
CN112200299B (zh) 神经网络计算装置、数据处理方法及装置
CN117994506A (zh) 一种动态知识集成的遥感图像显著性目标检测方法
KR101546200B1 (ko) 다중 스펙트럼 영상의 대칭점 매칭 방법 및 장치
Zhang et al. An efficient multiplier-less architecture for 2-D convolution with quadrant symmetric kernels
CN101815165A (zh) 实时高效的数字图像分数阶积分滤波器
JPWO2018235168A1 (ja) 学習装置、超解像化装置、学習方法、超解像化方法およびプログラム
Mishra et al. Noise removing filters and its implementation on FPGA
CN114359116B (zh) 一种双边滤波器的硬件架构系统及其权重优化方法
JP2017219960A (ja) 演算処理装置
US20240112456A1 (en) On-device inference method for multi-frame processing in a neural network
CN112308199B (zh) 数据块的处理方法、装置及存储介质
CN121785563A (zh) 数据处理方法及装置、电子设备、存储介质、程序产品

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17759443

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17759443

Country of ref document: EP

Kind code of ref document: A1