WO2023037882A1 - 機械学習装置 - Google Patents

機械学習装置 Download PDF

Info

Publication number
WO2023037882A1
WO2023037882A1 PCT/JP2022/032026 JP2022032026W WO2023037882A1 WO 2023037882 A1 WO2023037882 A1 WO 2023037882A1 JP 2022032026 W JP2022032026 W JP 2022032026W WO 2023037882 A1 WO2023037882 A1 WO 2023037882A1
Authority
WO
WIPO (PCT)
Prior art keywords
machine learning
input
arithmetic
unit
learning device
Prior art date
Application number
PCT/JP2022/032026
Other languages
English (en)
French (fr)
Inventor
浩二 玉野
勇二 黒土
Original Assignee
ローム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ローム株式会社 filed Critical ローム株式会社
Priority to DE112022003426.2T priority Critical patent/DE112022003426T5/de
Priority to CN202280057809.0A priority patent/CN117882091A/zh
Publication of WO2023037882A1 publication Critical patent/WO2023037882A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to a machine learning device.
  • AI artificial intelligence
  • machine learning inference using various inference models such as neural networks is conventionally known (for neural networks, see Patent Document 1, for example).
  • an object of the present disclosure is to provide a machine learning device capable of reducing circuit size.
  • a machine learning device includes a data conversion unit configured to convert input time-series data into frequency feature data, and a machine learning inference based on the frequency feature data. and an arithmetic circuit unit configured to be commonly used by the data conversion unit and the machine learning inference unit.
  • FIG. 1 is a block diagram showing the functional configuration of a machine learning device according to an exemplary embodiment of the present disclosure
  • FIG. FIG. 2 is a diagram showing a configuration example of an arithmetic circuit unit.
  • FIG. 3 is a diagram showing a configuration example of an operator.
  • FIG. 4 is a diagram showing a first configuration example of the machine learning device.
  • FIG. 5 is a diagram showing a second configuration example of the machine learning device.
  • FIG. 6 is a diagram showing a configuration example of a neural network.
  • FIG. 7 is a diagram showing the configuration of a fully bonded layer.
  • FIG. 8 is a diagram showing ReLU as an example of an activation function.
  • FIG. 9 is a diagram showing a sigmoid function as an example of an activation function.
  • FIG. 1 is a block diagram showing the functional configuration of a machine learning device according to an exemplary embodiment of the present disclosure
  • FIG. 2 is a diagram showing a configuration example of an arithmetic circuit unit
  • FIG. 10 is a diagram showing another configuration example of the neural network.
  • FIG. 11 is a diagram showing the configuration of a machine learning device according to a modification.
  • FIG. 12 is a diagram illustrating an example of pipelined arithmetic processing.
  • FIG. 13 is a diagram showing a first application example of the machine learning device.
  • FIG. 14 is a diagram showing a second application example of the machine learning device.
  • FIG. 1 is a block diagram showing the functional configuration of a machine learning device according to an exemplary embodiment of the present disclosure
  • FIG. A machine learning device 1 shown in FIG. 1 has a data conversion unit 2 , a machine learning inference unit 3 , and an arithmetic circuit unit 4 .
  • the data conversion unit 2 performs conversion processing to convert the time-series data D1 input from the outside of the machine learning device 1 into the frequency feature amount data D2.
  • the frequency feature amount data D2 is data representing the frequency feature amount of the time-series data D1.
  • Hadamard transform, discrete Fourier transform, discrete cosine transform, or the like is used as the transform process.
  • the machine learning inference unit 3 performs machine learning inference with the frequency feature amount data D2 as input, and outputs the inference result.
  • Machine learning inference is performed using inference models such as neural networks and multiple regression analysis.
  • the accuracy of machine learning inference can be improved by performing preprocessing in conversion processing by the data conversion unit 2 .
  • the arithmetic circuit unit 4 is an arithmetic circuit commonly used by the data conversion unit 2 and the machine learning inference unit 3. That is, the data conversion unit 2 performs conversion processing using the arithmetic processing by the arithmetic circuit unit 4 , and the machine learning inference unit 3 performs machine learning inference using the arithmetic processing by the arithmetic circuit unit 4 . By sharing the arithmetic circuit unit 4 in this manner, the circuit size of the machine learning device 1 is reduced.
  • FIG. 2 is a diagram showing a configuration example of the arithmetic circuit section 4. As shown in FIG. As shown in FIG. 2, the arithmetic circuit section 4 has an operator 40 . The operator 40 performs arithmetic processing based on the input first arithmetic input A and second arithmetic input B, and outputs an arithmetic output C as an arithmetic result.
  • Both the first operation input A and the second operation input B are at least one of matrix, vector, and scalar. At least one of the first calculation input A and the second calculation input B may be selectable from two or more of matrix, vector, and scalar depending on the calculation process to be performed. Further, the calculation method of the operator 40 may be selectable from two or more calculation methods (for example, multiplication (product), maximum value output, minimum value output, etc.) according to the calculation process to be performed.
  • a matrix is selected as the first calculation input A
  • a vector is selected as the second calculation input B
  • multiplication is selected as the calculation method of the operator 40
  • a matrix or vector is selected as the first operation input A
  • a vector is selected as the second operation input B
  • multiplication is selected as the operation method of the operator 40
  • the operation output C AB is output
  • the first calculation input A and the second calculation input B are both vectors
  • the maximum value output is selected as the calculation method of the operator 40
  • At least one of the first operation input A and the second operation input B may change the size of at least one of the matrix and the vector depending on the operation processing to be performed.
  • the size of the first operation input A, which is a matrix, and the size of the second operation input B, which is a vector can be changed by the processing by the data conversion unit 2 and the processing by the machine learning inference unit 3 .
  • FIG. 3 is a diagram showing a configuration example of the operator 40.
  • the operator 40 shown in FIG. 3 has, as an example, an adder 40A, a subtractor 40B, a multiplier 40C, a MAX calculator 40D, and a MIN calculator 40E.
  • the MAX calculator 40D performs calculation to output the maximum value among the input values.
  • the MIN computing unit 40E performs computation to output the minimum value among the input values.
  • the calculation method of the operator 40 can be selected. For example, multiplication of the first operation input A and the second operation input B can be selected by selecting the adder 40A, the subtractor 40B, and the multiplier 40C. Further, by selecting the MAX calculator 40D or the MIN calculator 40E, the output of the maximum value or the minimum value of the first calculation input A and the second calculation input B can be selected.
  • FIG. 3 is merely an example, and some computing units shown in FIG. 3 may be omitted, or computing units different from the computing units shown in FIG. 3 (such as computing units that output absolute values) may be provided. may
  • the arithmetic unit for example, the adder 40A and the subtractor 40B used in the calculation by the operator 40 performed in the processing by the data conversion unit 2 and the processing by the machine learning inference unit 3 can be shared, the arithmetic circuit unit 4 circuit size can be reduced.
  • FIG. 4 is a diagram showing a first configuration example of the machine learning device 1. As shown in FIG. FIG. 4 is a configuration example in which the functional configuration shown in FIG. 1 described above is made more concrete.
  • the machine learning device 1 according to the first configuration example shown in FIG. It has an integrated output section (I/O) 8 and is configured as an MCU (Micro Control Unit).
  • I/O integrated output section
  • MCU Micro Control Unit
  • the CPU 5 is a processor that operates according to programs stored in the ROM 7 .
  • a RAM 6 is a memory in which data is temporarily stored.
  • the RAM 6 stores, for example, the calculation result by the CPU 5, the time-series data D1, the calculation result by the arithmetic circuit unit 4, and the like.
  • Programs executed by the CPU 5 are stored in the ROM 7 .
  • the input/output unit 8 receives time-series data D1 and the like from the outside, and outputs machine learning inference results and the like.
  • the CPU 5 controls the arithmetic circuit section 4 by executing programs stored in the ROM 7 . That is, the arithmetic circuit section 4 is controlled by software processing. For example, the CPU 5 selects the types and sizes of the first computation input A and the second computation input B, and controls the selection of the computation method by the operator 40 .
  • Arithmetic circuit unit 4, CPU 5, RAM 6, and ROM 7 functionally implement data conversion unit 2 and machine learning inference unit 3 (FIG. 1).
  • the computation speed can be improved and the power consumption can be reduced as compared with the case where data conversion and machine learning inference are performed by computation by the CPU.
  • FIG. 5 is a diagram showing a second configuration example of the machine learning device 1. As shown in FIG. FIG. 5 is a configuration example in which the functional configuration shown in FIG. 1 described above is made more concrete.
  • the machine learning device 1 has an integrated arithmetic circuit unit 4 and a control circuit 9 .
  • the control circuit 9 has a memory 9A.
  • the memory 9A stores, for example, the time-series data D1, the calculation results of the arithmetic circuit section 4, and the like.
  • the control circuit 9 is configured to be able to communicate 10 with the outside of the machine learning device 1 .
  • the control circuit 9 controls the arithmetic circuit section 4 based on the communication 10. For example, the control circuit 9 selects the type and size of the first computation input A and the second computation input B, and controls the selection of the computation method by the operator 40 . Arithmetic circuit unit 4 and control circuit 9 functionally implement data conversion unit 2 and machine learning inference unit 3 (FIG. 1).
  • Processing of Data Conversion Unit Various processing methods can be used as the data conversion processing in the data conversion unit 2 .
  • Hadamard transform for example, can be preferably used as a method of the data transform processing.
  • the Hadamard transform is performed by multiplying the Hadamard matrix and the input vector.
  • the 2 k ⁇ 2 k Hadamard matrix H k is obtained recursively as in the following equation.
  • the first arithmetic input A is the Hadamard matrix
  • the second arithmetic input B is the input vector that is the time-series data D1
  • a calculation output C can be obtained as the frequency feature amount data D2.
  • the elements of the Hadamard matrix are only +1 or -1. Therefore, the operator 40 can realize the multiplication (product) of A and B only by the operation of the adder 40A and the subtractor 40B.
  • the trigonometric functions becomes unnecessary. If the first operation input A is the above matrix and the second operation input B is the input vector, the product of A and B can be used to perform discrete Fourier transform or discrete cosine transform.
  • Inference processing in the machine learning inference unit 3 can be performed using various inference models.
  • a neural network can be used as an inference model.
  • FIG. 6 is a diagram showing a configuration example of a neural network.
  • the neural network shown in FIG. 6 has an input layer that is the first layer, an output layer that is the last layer, and a plurality of intermediate layers (hidden layers) arranged between the input layer and the output layer. .
  • Each layer of the neural network contains nodes. Each node in each intermediate and output layer connects with all of the nodes in the previous layer, forming a fully connected layer between each layer. Frequency feature amount data D2 is used as input layer data.
  • FIG. 7 is a diagram showing the configuration of a fully connected layer. As shown in FIG. 7, the fully connected layer has a matrix multiplication calculator 11 and an activation function 12 .
  • the matrix multiplication unit 11 calculates the product of the weight matrix Wk and the input vector Xk . By inputting the calculation result of the matrix multiplication unit 11 to the activation function 12, the output vector X k+1 is output. That is, the following formula holds.
  • ReLU Rectified Linear Unit
  • Arithmetic by ReLU is realized by selecting the MAX calculator 40D in the operator 40.
  • the MAX computing unit 40D performs computation by max(a, b) which outputs the larger one (maximum value) of a and b.
  • max(a, b) which outputs the larger one (maximum value) of a and b.
  • a sigmoid function may be used as the activation function 12 .
  • the sigmoid function is represented by the following formula and illustrated as in FIG.
  • Arithmetic by the sigmoid function is realized by selecting the multiplier 40C, the adder 40A, the MAX calculator 40D and the MIN calculator 40E in the operator 40.
  • the MIN computing unit 40E performs computation by min(a, b) which outputs the smaller one (minimum value) of a and b.
  • f(x) min(max(0.25x+0.5, 0), 1), calculation by the sigmoid function becomes possible.
  • FIG. 10 is a diagram showing another configuration example of the neural network.
  • the neural network shown in FIG. 10 includes an input layer, a convolutional layer placed after the input layer, a pooling layer placed after the convolutional layer, a fully connected layer placed after the pooling layer, and a an output layer arranged after the coupling layer.
  • the all-bonded layer is arranged in one layer or in multiple layers.
  • a convolutional layer is composed of a product of a weight and input image data of a partial region, and an activation function. However, the process is performed while shifting the partial area. Therefore, the operation of the convolutional layer by operator 40 selects multiplier 40C, adder 40A, subtractor 40B, and MAX operator 40D (if the activation function is a sigmoid function, also add MIN operator 40E). is realized by
  • the image after processing in the convolution layer is processed by the pooling layer.
  • a pooling layer outputs one value from the partial region in the image after the above processing. However, the processing is performed while shifting the partial area. For example, when the pooling layer is maximum pooling, an operation is performed to output the maximum value of the data of each pixel in the partial area.
  • the inference processing in the machine learning inference unit 3 is not limited to neural networks, and other models that can be expressed or approximated by linear transformation, such as multiple regression analysis and PCA (principal component analysis), may be used.
  • FIG. 11 is a diagram showing the configuration of a machine learning device 1 according to a modification.
  • a learning unit 13 is provided in addition to the configuration described above (FIG. 1).
  • the learning unit 13 updates parameters of the model in the machine learning inference unit 3 .
  • Arithmetic circuit unit 4 is commonly used by data conversion unit 2 , machine learning inference unit 3 , and learning unit 13 .
  • the weight matrix W is updated as follows in the gradient descent method generally used for learning the neural network.
  • w ij element of i-th row j-th column of weight matrix W
  • ⁇ learning rate
  • L loss function
  • the weighting matrix W is updated as follows.
  • Y' teacher data
  • X T transposed matrix of X
  • the learning section 13 can perform calculation according to the update formula by selecting the adder 40A, the subtractor 40B, and the multiplier 40C in the operator 40 in the arithmetic circuit section 4. As a result, even when the learning unit 13 is provided, an increase in circuit size can be suppressed by sharing the arithmetic circuit unit 4 .
  • Arithmetic processing in the arithmetic circuit section 4 may be pipelined as follows.
  • the machine learning device 1 (FIG. 4) of the first configuration example described above will be described as an example.
  • Arithmetic processing is divided into, for example, four steps as follows.
  • arithmetic processing is pipelined.
  • arithmetic processing 1 the first to fourth steps are executed in order.
  • the second step in arithmetic processing 1 the first step in arithmetic processing 2 is started and is executed up to the fourth step.
  • the second step in the arithmetic processing 2 the first step in the arithmetic processing 3 is started and executed up to the fourth step.
  • the second step in arithmetic processing 3 is started, the first step in arithmetic processing 4 is started and is executed up to the fourth step.
  • FIG. 13 is a diagram showing a first application example of the machine learning device 1.
  • a sensor 15 is fixed to the motor 14 and vibration data is input from the sensor 15 to the machine learning device 1 .
  • Vibration data is an example of the time-series data D1.
  • the sensor 15 is composed of, for example, an acceleration sensor or a gyro sensor.
  • the state of the motor 14 can be inferred, for example, the state in which the motor 14 is stopped, the state in which the motor 14 is abnormally vibrating, or the like.
  • FIG. 14 is a diagram showing a second application example of the machine learning device 1.
  • a sensor 16 is fixed to the human body P, and vibration data is input from the sensor 16 to the machine learning device 1 .
  • machine learning inference is performed based on the frequency feature amount data D2.
  • the state of the human body P can be inferred, for example, the state in which the human body P is standing or running.
  • the machine learning device (1) includes a data conversion unit (2) configured to convert input time-series data (D1) into frequency feature data (D2), a machine learning inference unit (3) configured to perform machine learning inference based on the frequency feature quantity data; and an arithmetic circuit configured to be commonly used by the data conversion unit and the machine learning inference unit. (4) and (first configuration).
  • the arithmetic circuit section (4) performs arithmetic using an operator (40) that outputs an arithmetic output based on the first arithmetic input (A) and the second arithmetic input (B).
  • the machine learning device (1) is configured to be operable, and includes a first control for selecting at least one of the type and size of at least one of the first computation input and the second computation input;
  • a configuration having control units (5, 9) capable of performing second control for selecting an operation method by an operator may be employed (second configuration).
  • the types may be at least two of matrix, vector, and scalar (third configuration).
  • control unit may be a processor (5) configured to perform the first control and the second control by executing a program. (Fourth configuration).
  • control unit is configured to perform the first control and the second control based on communication with the outside of the machine learning device (1) It may be configured as a circuit (9) (fifth configuration).
  • the arithmetic circuit section (4) uses an adder (40A) and a subtractor (40B) to calculate the product of a Hadamard matrix and an input vector.
  • the data conversion unit (2) may be configured to convert the time-series data (D1) into the frequency feature amount data (D2) by Hadamard transform (sixth configuration).
  • the arithmetic circuit section (4) calculates the product of a conversion matrix having trigonometric function values as table values and an input vector, so that the data
  • the transformation unit (2) may be configured to transform the time-series data (D1) into the frequency feature amount data (D2) by discrete Fourier transform or discrete cosine transform (seventh configuration).
  • the machine learning inference unit (3) performs machine learning inference using a neural network
  • the neural network has a fully connected layer
  • the operation The circuit section (4) may be configured to perform calculations in the fully-connected layer (eighth configuration).
  • the arithmetic circuit section (4) may be configured to calculate the product of the weight matrix and the input vector (ninth configuration).
  • the arithmetic circuit section (4) outputs max(a, b) that outputs the larger one of a and b, and
  • a learning section (13) for performing machine learning of the machine learning inference section (3) is provided, and the arithmetic circuit section (4) is the data conversion section.
  • the machine learning inference section, and the learning section may share a configuration (a twelfth configuration).
  • the arithmetic circuit section (4) performs arithmetic operation for outputting an arithmetic output (C) based on a first arithmetic input (A) and a second arithmetic input (B).
  • Arithmetic processing by the arithmetic circuit section includes: a first step of calculating a memory address where data relating to said first operation input, said second operation input, said operation output and said operator are stored; a second step of reading data relating to the first operation input, the second operation input, and the operator from the memory address; a third step of performing a calculation based on the first calculation input, the second calculation input and the operator; a fourth step of writing the operation output to the memory address; including The first step in the next arithmetic processing may be started before the arithmetic processing is completed (a thirteenth configuration).
  • the machine learning device (1) configured to be able to input the vibration data output from the sensors (15, 16) as the time-series data (D1) good.
  • the present disclosure can be used, for example, for machine learning inference based on various time-series data.
  • machine learning device 1 machine learning device 2 data conversion unit 3 machine learning inference unit 4 arithmetic circuit unit 5 CPU 6 RAM 7 ROMs 8 input/output unit 9 control circuit 9A memory 10 communication 11 matrix integration unit 12 activation function 13 learning unit 14 motor 15, 16 sensor 40 operator 40A adder 40B subtractor 40C multiplier 40D MAX calculator 40E MIN calculator P human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Complex Calculations (AREA)

Abstract

機械学習装置（１）は、入力される時系列データ（Ｄ１）を周波数特徴量データ（Ｄ２）に変換するように構成されたデータ変換部（２）と、前記周波数特徴量データに基づき機械学習推論を行うように構成された機械学習推論部（３）と、前記データ変換部と前記機械学習推論部とで共通に用いられるように構成された演算回路部（４）と、を有する。

Description

機械学習装置
　本開示は、機械学習装置に関する。
　昨今、ＡＩ（artificial　intelligence）技術が注目されている。ＡＩ技術においては、従来、例えばニューラルネットワークなどの各種推論モデルを用いた機械学習推論が知られている（ニューラルネットワークについては、例えば特許文献１）。
特開平８－８７４８４号公報
　ここで、機械学習推論を行う機械学習装置を構成する際には、回路サイズの低減および低コスト化を図ることが望ましい。
　上記状況に鑑み、本開示は、回路サイズの低減を可能とする機械学習装置を提供することを目的とする。
　例えば、本開示に係る機械学習装置は、入力される時系列データを周波数特徴量データに変換するように構成されたデータ変換部と、前記周波数特徴量データに基づき機械学習推論を行うように構成された機械学習推論部と、前記データ変換部と前記機械学習推論部とで共通に用いられるように構成された演算回路部と、を有する構成としている。
　本開示に係る機械学習装置によれば、回路サイズの低減が可能となる。
図１は、本開示の例示的な実施形態に係る機械学習装置の機能的な構成を示すブロック図である。 図２は、演算回路部の構成例を示す図である。 図３は、演算子の構成例を示す図である。 図４は、機械学習装置の第１構成例を示す図である。 図５は、機械学習装置の第２構成例を示す図である。 図６は、ニューラルネットワークの構成例を示す図である。 図７は、全結合層の構成を示す図である。 図８は、活性関数の一例としてのＲｅＬＵを示す図である。 図９は、活性関数の一例としてのシグモイド関数を示す図である。 図１０は、ニューラルネットワークの別の構成例を示す図である。 図１１は、変形例に係る機械学習装置の構成を示す図である。 図１２は、パイプライン化された演算処理の一例を示す図である。 図１３は、機械学習装置の第１適用例を示す図である。 図１４は、機械学習装置の第２適用例を示す図である。
　以下に、本開示の例示的な実施形態について図面を参照して説明する。
＜１．機械学習装置の構成＞
　図１は、本開示の例示的な実施形態に係る機械学習装置の機能的な構成を示すブロック図である。図１に示す機械学習装置１は、データ変換部２と、機械学習推論部３と、演算回路部４と、を有する。
　データ変換部２は、機械学習装置１の外部から入力される時系列データＤ１を周波数特徴量データＤ２に変換する変換処理を行う。周波数特徴量データＤ２は、時系列データＤ１の周波数特徴量を表すデータである。上記変換処理としては、例えばアダマール変換、離散フーリエ変換、離散コサイン変換などが用いられる。
　機械学習推論部３は、周波数特徴量データＤ２を入力として機械学習推論を行い、推論結果を出力する。機械学習推論は、例えばニューラルネットワーク、多重回帰分析などの推論モデルを用いて行われる。時系列データＤ１を機械学習推論に利用する場合、データ変換部２による変換処理で前処理を行うことで、機械学習推論の精度を向上させることができる。
　演算回路部４は、データ変換部２と機械学習推論部３とで共通に用いられる演算回路である。すなわち、データ変換部２は、演算回路部４による演算処理を用いて変換処理を行い、機械学習推論部３は、演算回路部４による演算処理を用いて機械学習推論を行う。このように、演算回路部４を共通化することで、機械学習装置１の回路サイズの低減を図っている。
＜２．演算回路部の構成＞
　図２は、演算回路部４の構成例を示す図である。図２に示すように、演算回路部４は、演算子４０を有する。演算子４０は、入力される第１演算入力Ａおよび第２演算入力Ｂに基づいて演算処理を行い、演算結果として演算出力Ｃを出力する。
　第１演算入力Ａおよび第２演算入力Ｂは、ともに、行列、ベクトル、スカラーのうち、少なくともいずれかである。第１演算入力Ａと第２演算入力Ｂとのうち少なくともいずれかは、実施される演算処理に応じて、行列、ベクトル、スカラーのうち、２つ以上から選択可能としてもよい。また、演算子４０の演算方法は、実施される演算処理に応じて、２つ以上の演算方法（例えば、乗算（積）、最大値出力、最小値出力など）から選択可能としてもよい。
　一例として、データ変換部２による変換処理においては、第１演算入力Ａとして行列、第２演算入力Ｂとしてベクトル、演算子４０の演算方法として乗算が選択され、演算出力Ｃ＝ＡＢが出力される。一方、機械学習推論部３による機械学習推論においては、一例として、第１演算入力Ａとして行列またはベクトル、第２演算入力Ｂとしてベクトル、演算子４０の演算方法として乗算が選択され、演算出力Ｃ＝ＡＢが出力される演算処理と、第１演算入力Ａおよび第２演算入力Ｂともにベクトル、演算子４０の演算方法として最大値出力が選択され、演算出力Ｃ＝ｍａｘ（Ａ，Ｂ）が出力される演算処理と、を実施可能とする。
　また、実施される演算処理に応じて、第１演算入力Ａおよび第２演算入力Ｂのうち、少なくともいずれかは、行列とベクトルのうち少なくともいずれかのサイズを変更可能としてもよい。一例として、データ変換部２による処理と機械学習推論部３による処理とで、行列である第１演算入力Ａのサイズ、ベクトルである第２演算入力Ｂのサイズを変更可能とする。
　図３は、演算子４０の構成例を示す図である。図３に示す演算子４０は、一例として、加算器４０Ａ、減算器４０Ｂ、乗算器４０Ｃ、ＭＡＸ演算器４０Ｄ、およびＭＩＮ演算器４０Ｅを有する。ＭＡＸ演算器４０Ｄは、入力される値のうち、最大値を出力する演算を行う。ＭＩＮ演算器４０Ｅは、入力される値のうち、最小値を出力する演算を行う。
　演算子４０に含まれる演算器を選択することで、演算子４０の演算方法を選択できる。例えば、加算器４０Ａ、減算器４０Ｂ、および乗算器４０Ｃを選択することで、第１演算入力Ａと第２演算入力Ｂの乗算を選択できる。また、ＭＡＸ演算器４０ＤまたはＭＩＮ演算器４０Ｅを選択することで、第１演算入力Ａと第２演算入力Ｂの最大値または最小値の出力を選択できる。
　なお、図３の構成はあくまで一例であり、図３に示す一部の演算器を省略したり、図３に示す演算器とは異なる演算器（例えば絶対値を出力する演算器など）を設けてもよい。
　データ変換部２による処理と機械学習推論部３による処理のそれぞれで実施される演算子４０による演算で用いられる演算器（例えば加算器４０Ａと減算器４０Ｂ）を共通化できるため、演算回路部４の回路サイズを低減することができる。
＜３．機械学習装置の第１構成例＞
　図４は、機械学習装置１の第１構成例を示す図である。図４は、先述した図１に示す機能的な構成をより具体化した構成例である。
　図４に示す第１構成例に係る機械学習装置１は、演算回路部４と、ＣＰＵ（Central  Processing  Unit）５と、ＲＡＭ（Random　Access　Memory）６と、ＲＯＭ（Read　Only　Memory）７と、入出力部（I/O）８と、を集積化して有し、ＭＣＵ（Micro  Control　Unit）として構成される。
　ＣＰＵ５は、ＲＯＭ７に格納されたプログラムに従って動作するプロセッサである。ＲＡＭ６は、データが一時的に格納されるメモリである。ＲＡＭ６には、例えば、ＣＰＵ５による演算結果、時系列データＤ１、演算回路部４による演算結果などが格納される。ＲＯＭ７には、ＣＰＵ５が実行するプログラムなどが格納される。入出力部８は、外部から時系列データＤ１などが入力されたり、機械学習推論結果などを出力する。
　ＣＰＵ５は、ＲＯＭ７に格納されたプログラムを実行することで、演算回路部４を制御する。すなわち、演算回路部４は、ソフトウェア処理により制御される。例えば、ＣＰＵ５は、第１演算入力Ａおよび第２演算入力Ｂの種類およびサイズを選択したり、演算子４０による演算方法を選択する制御を行う。演算回路部４、ＣＰＵ５、ＲＡＭ６、およびＲＯＭ７により、データ変換部２および機械学習推論部３（図１）が機能的に実現される。
　このような第１構成例によれば、データ変換および機械学習推論をＣＰＵによる演算により実施する場合よりも、演算速度が向上し、かつ消費電力を低減することができる。
＜４．機械学習装置の第２構成例＞
　図５は、機械学習装置１の第２構成例を示す図である。図５は、先述した図１に示す機能的な構成をより具体化した構成例である。
　図５に示す第２構成例に係る機械学習装置１は、演算回路部４と、制御回路９と、を集積化して有する。制御回路９は、メモリ９Ａを有する。メモリ９Ａには、例えば、時系列データＤ１、演算回路部４による演算結果などが格納される。制御回路９は、機械学習装置１の外部と通信１０を行うことが可能に構成される。
　制御回路９は、通信１０に基づいて演算回路部４を制御する。例えば、制御回路９は、第１演算入力Ａおよび第２演算入力Ｂの種類およびサイズを選択したり、演算子４０による演算方法を選択する制御を行う。演算回路部４および制御回路９により、データ変換部２および機械学習推論部３（図１）が機能的に実現される。
＜５．データ変換部の処理＞
　データ変換部２におけるデータ変換処理としては、各種の処理方法を用いることができる。
　上記データ変換処理の方法として、例えば、アダマール変換を好適に用いることができる。アダマール変換は、アダマール行列と入力ベクトルとの積により行われる。ここで、２k×２kのアダマール行列Ｈkは、下記式のように再帰的に得られる。
Figure JPOXMLDOC01-appb-M000001
　演算回路部４によりアダマール変換を実施する際は、第１演算入力Ａをアダマール行列とし、第２演算入力Ｂを時系列データＤ１である入力ベクトルとし、Ｃ＝ＡＢの演算を実施することにより、周波数特徴量データＤ２としての演算出力Ｃを得ることができる。アダマール行列の要素は、＋１または－１のみである。従って、演算子４０は、加算器４０Ａと減算器４０Ｂによる演算のみでＡとＢの乗算（積）を実現できる。
　このようにデータ変換部２におけるデータ変換処理としてアダマール変換を用いることで、離散フーリエ変換などで必要となる三角関数などの複雑な演算を行う演算器が不要となる。
　なお、データ変換部２におけるデータ変換処理として離散フーリエ変換、または離散コサイン変換などを用いる場合は、変換に用いる行列における三角関数で表される要素の値をあらかじめテーブルとして設けておけば、三角関数の演算器が不要となる。第１演算入力Ａを上記行列、第２演算入力Ｂを入力ベクトルとすれば、ＡとＢの積により離散フーリエ変換または離散コサイン変換を実施できる。
＜６．機械学習推論部の処理＞
　機械学習推論部３における推論処理は、各種の推論モデルを用いて実施することができる。例えば、推論モデルとして、ニューラルネットワークを用いることができる。
　図６は、ニューラルネットワークの構成例を示す図である。図６に示すニューラルネットワークは、最初の層である入力層と、最後の層である出力層と、入力層と出力層との間に配置される複数の中間層（隠れ層）と、を有する。
　ニューラルネットワークの各層においては、ノードが含まれる。各中間層および出力層における各ノードは、前段の層のノードのすべてと結合し、各層の間に全結合層が構成される。入力層のデータとしては、周波数特徴量データＤ２が用いられる。
　図７は、全結合層の構成を示す図である。図７に示すように、全結合層は、行列積算出部１１と、活性化関数１２と、を有する。
　行列積算出部１１は、重み行列Ｗkと入力ベクトルＸkとの積を算出する。そして、行列積算出部１１の算出結果を活性化関数１２に入力することで、出力ベクトルＸk+1が出力される。すなわち、下記式が成り立つ。
Figure JPOXMLDOC01-appb-M000002
　行列積算出部１１における演算は、演算回路部４の演算子４０において加算器４０Ａ、減算器４０Ｂ、および乗算器４０Ｃを選択することで、第１演算入力Ａを重み行列Ｗk、第２演算入力Ｂを入力ベクトルＸkとして、ベクトルとして演算出力ＣがＣ＝ＡＢで出力される。
　活性化関数１２としては、例えば、ＲｅＬＵ（Rectified  Linear  Unit）が用いられる。ＲｅＬＵは、下記式で表され、図８のように図示される。
Figure JPOXMLDOC01-appb-M000003
 　ただし、ｘはベクトルの要素である。
　ＲｅＬＵによる演算は、演算子４０においてＭＡＸ演算器４０Ｄを選択することで実現される。ＭＡＸ演算器４０Ｄは、ａ，ｂのうち大きいほう（最大値）を出力するｍａｘ（ａ，ｂ）による演算を行う。ｆ（ｘ）＝ｍａｘ（ｘ，０）とすることでＲｅＬＵによる演算が可能となる。
　また、活性化関数１２としては、その他にも例えば、シグモイド関数を用いてもよい。シグモイド関数は、下記式で表され、図９のように図示される。
Figure JPOXMLDOC01-appb-M000004
　シグモイド関数による演算は、演算子４０において乗算器４０Ｃ、加算器４０Ａ、ＭＡＸ演算器４０ＤおよびＭＩＮ演算器４０Ｅを選択することで実現される。ＭＩＮ演算器４０Ｅは、ａ，ｂのうち小さいほう（最小値）を出力するｍｉｎ（ａ，ｂ）による演算を行う。ｆ（ｘ）＝ｍｉｎ（ｍａｘ（０．２５ｘ＋０．５，０），１）とすることでシグモイド関数による演算が可能となる。
　図１０は、ニューラルネットワークの別の構成例を示す図である。図１０に示すニューラルネットワークは、入力層と、入力層の後段に配置される畳み込み層と、畳み込み層の後段に配置されるプーリング層と、プーリング層の後段に配置される全結合層と、全結合層の後段に配置される出力層と、を有する。全結合層は、１層、または複数層が配置される。
　まず入力層における入力画像の全体に対して畳み込み層においてフィルター処理を行う。畳み込み層は、重みと一部領域の入力画像データとの積と、活性化関数と、から構成される。ただし、上記一部領域はずらしながら処理が行われる。従って、演算子４０による畳み込み層の演算は、乗算器４０Ｃ、加算器４０Ａ、減算器４０Ｂ、およびＭＡＸ演算器４０Ｄ（活性化関数がシグモイド関数の場合、ＭＩＮ演算器４０Ｅも加える）を選択することで実現される。
　上記畳み込み層における処理後の画像はプーリング層により処理される。プーリング層は、上記処理後の画像における一部領域から１つの値を出力する。ただし、上記一部領域をずらしながら処理が行われる。例えば、プーリング層が最大プーリングである場合、上記一部領域における各画素のデータのうち最大値を出力する演算が行われる。
　なお、機械学習推論部３における推論処理は、ニューラルネットワークに限らず、他の例えば、多重回帰分析、ＰＣＡ（主成分分析）など、線形変換で表現、あるいは近似できるモデルを用いてもよい。
＜７．機械学習装置の変形例＞
　図１１は、変形例に係る機械学習装置１の構成を示す図である。図１１に示す機械学習装置１では、先述した構成（図１）に加えて、学習部１３が設けられている。学習部１３は、機械学習推論部３におけるモデルのパラメータを更新する。演算回路部４は、データ変換部２、機械学習推論部３、および学習部１３で共通に用いられる。
　例えば、機械学習推論部３におけるモデルがニューラルネットワークの場合、ニューラルネットワークの学習に一般的に用いられる勾配降下法では、重み行列Ｗを以下のように更新する。ここで、
Figure JPOXMLDOC01-appb-M000005
 　ただし、ｗij：重み行列Ｗのｉ行ｊ列の要素、η：学習率、Ｌ：損失関数
　ニューラルネットワークのモデルをＹ＝Ｗ・Ｘ、損失関数をＬ＝（１／２）｜Ｙ－Ｙ’｜2と定義した場合、重み行列Ｗの更新式は下記のようになる。
Figure JPOXMLDOC01-appb-M000006
 　ただし、Ｙ’：教師データ、ＸT：Ｘの転置行列
　従って、学習部１３は、演算回路部４における演算子４０において、加算器４０Ａ、減算器４０Ｂ、および乗算器４０Ｃを選択することで、上記更新式による演算を行うことができる。これにより、学習部１３を設ける場合でも、演算回路部４の共通化により回路サイズの増大を抑制することができる。
＜８．演算処理のパイプライン化＞
　演算回路部４における演算処理は、以下のようにパイプライン化してもよい。ここでは、先述した第１構成例の機械学習装置１（図４）を例として説明する。演算処理を、例えば、下記のように４つの工程に分ける。
　（第１工程）第１演算入力Ａおよび第２演算入力ＢのＲＡＭ６から読み出すメモリアドレス、演算出力ＣをＲＡＭ６に書き込むメモリアドレス、および演算子４０（ＯＰ）の選択情報のＲＡＭ６から読み出すメモリアドレスをＣＰＵ５が計算
　（第２工程）計算されたメモリアドレスからＡ，Ｂおよび演算子４０の選択情報を読み出す
　（第３工程）演算の実行（Ｃ＝Ａ　ＯＰ　Ｂ）
　（第４工程）Ｃを計算されたメモリアドレスに書き込む
　そして、図１２に一例を示すように、演算処理のパイプライン化を行う。図１２では、演算処理１において、第１工程から第４工程までが順に実行される。演算処理１における第２工程が開始されるときに、演算処理２における第１工程が開始され、第４工程まで実行される。演算処理２における第２工程が開始されるときに、演算処理３における第１工程が開始され、第４工程まで実行される。演算処理３における第２工程が開始されるときに、演算処理４における第１工程が開始され、第４工程まで実行される。
　このように、演算処理を並列に実行することで、スループットを向上させることができる。なお、第２工程と第４工程は同時には実行できない場合が多いため、その場合は第２工程と第４工程はずらして実行する。
＜９．機械学習装置の適用例＞
　ここでは、本開示に係る機械学習装置１の好適な適用対象の一例について説明する。図１３は、機械学習装置１の第１適用例を示す図である。図１３に示す構成では、モータ１４にセンサ１５を固定し、センサ１５から振動データを機械学習装置１に入力させる。振動データは、時系列データＤ１の一例である。センサ１５は、例えば加速度センサ、あるいはジャイロセンサなどで構成される。
　このような構成によれば、モータ１４の振動状態を示す振動データが機械学習装置１に入力されて周波数特徴量データＤ２に変換された後、周波数特徴量データＤ２に基づき機械学習推論が実施される。これにより、例えば、モータ１４が停止している状態、異常に振動している状態など、モータ１４の状態を推論することができる。
　図１４は、機械学習装置１の第２適用例を示す図である。図１４に示す構成では、人体Ｐにセンサ１６を固定し、センサ１６から振動データを機械学習装置１に入力させる。このような構成によれば、人体Ｐの振動状態を示す振動データが機械学習装置１に入力されて周波数特徴量データＤ２に変換された後、周波数特徴量データＤ２に基づき機械学習推論が実施される。これにより、例えば、人体Ｐが起立中の状態、走行している状態など、人体Ｐの状態を推論することができる。
＜１０．その他＞
　なお、本開示に係る種々の技術的特徴は、上記実施形態の他、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態に限定されるものではなく、特許請求の範囲と均等の意味および範囲内に属する全ての変更が含まれると理解されるべきである。
＜１１．付記＞
　以上の通り、例えば、本開示に係る機械学習装置（１）は、入力される時系列データ（Ｄ１）を周波数特徴量データ（Ｄ２）に変換するように構成されたデータ変換部（２）と、前記周波数特徴量データに基づき機械学習推論を行うように構成された機械学習推論部（３）と、前記データ変換部と前記機械学習推論部とで共通に用いられるように構成された演算回路部（４）と、を有する構成としている（第１の構成）。
　また、上記第１の構成において、前記演算回路部（４）は、第１演算入力（Ａ）と第２演算入力（Ｂ）に基づき演算出力を出力する演算子（４０）を用いて演算を実施可能に構成され、当該機械学習装置（１）は、前記第１演算入力と前記第２演算入力とのうち少なくともいずれかの種類とサイズのうち少なくともいずれかを選択する第１制御、および前記演算子による演算方法を選択する第２制御を実施可能に構成される制御部（５，９）を有する構成としてもよい（第２の構成）。
　また、上記第２の構成において、前記種類は、行列、ベクトル、およびスカラーのうち少なくとも２つである構成としてもよい（第３の構成）。
　また、上記第２または第３の構成において、前記制御部は、プログラムを実行することで前記第１制御および前記第２制御を実施するように構成されたプロセッサ（５）である構成としてもよい（第４の構成）。
　また、上記第２または第３の構成において、前記制御部は、当該機械学習装置（１）の外部との通信に基づいて前記第１制御および前記第２制御を実施するように構成された制御回路（９）である構成としてもよい（第５の構成）。
　また、上記第１から第５のいずれかの構成において、前記演算回路部（４）が、加算器（４０Ａ）および減算器（４０Ｂ）を用いてアダマール行列と入力ベクトルとの積を演算することにより、前記データ変換部（２）は、アダマール変換によって前記時系列データ（Ｄ１）を前記周波数特徴量データ（Ｄ２）に変換する構成としてもよい（第６の構成）。
　また、上記第１から第５のいずれかの構成において、前記演算回路部（４）が、三角関数の値をテーブル値として有する変換行列と、入力ベクトルとの積を演算することにより、前記データ変換部（２）は、離散フーリエ変換または離散コサイン変換によって前記時系列データ（Ｄ１）を前記周波数特徴量データ（Ｄ２）に変換する構成としてもよい（第７の構成）。
　また、上記第１から第７のいずれかの構成において、前記機械学習推論部（３）は、ニューラルネットワークを用いて機械学習推論を行い、前記ニューラルネットワークは、全結合層を有し、前記演算回路部（４）は、前記全結合層における演算を実施する構成としてもよい（第８の構成）。
　また、上記第８の構成において、前記全結合層において、前記演算回路部（４）は、重み行列と入力ベクトルとの積を演算する構成としてもよい（第９の構成）。
　また、上記第８または第９の構成において、前記全結合層において、前記演算回路部（４）は、ａ，ｂのうち大きいほうを出力するｍａｘ（ａ，ｂ）により、活性化関数ｆ（ｘ）＝ｍａｘ（ｘ，０）の演算を実施する構成としてもよい（第１０の構成）。
　また、上記第８または第９の構成において、前記全結合層において、前記演算回路部（４）は、ａ，ｂのうち大きいほうを出力するｍａｘ（ａ，ｂ）と、ａ，ｂのうち小さいほうを出力するｍｉｎ（ａ，ｂ）と、により、活性化関数ｆ（ｘ）＝ｍｉｎ（ｍａｘ（０．２５ｘ＋０．５，０），１）の演算を実施する構成としてもよい（第１１の構成）。
　また、上記第１から第１１のいずれかの構成において、前記機械学習推論部（３）の機械学習を行う学習部（１３）を有し、前記演算回路部（４）は、前記データ変換部（２）と前記機械学習推論部と前記学習部とで共通に用いられる構成としてもよい（第１２の構成）。
　また、上記第１から第１２のいずれかの構成において、前記演算回路部（４）は、第１演算入力（Ａ）と第２演算入力（Ｂ）に基づき演算出力（Ｃ）を出力する演算子（４０）を用いて演算を実施可能に構成され、
　前記演算回路部による演算処理は、
　前記第１演算入力、前記第２演算入力、前記演算出力、および前記演算子に関するデータが格納されるメモリアドレスを計算する第１工程と、
　前記第１演算入力、前記第２演算入力、および前記演算子に関するデータを前記メモリアドレスから読み出す第２工程と、
　前記第１演算入力と前記第２演算入力と前記演算子に基づき演算を実行する第３工程と、
　前記演算出力を前記メモリアドレスに書き込む第４工程と、
　を含み、
　前記演算処理が完了する前に、次の前記演算処理における前記第１工程が開始される構成としてもよい（第１３の構成）。
　また、上記第１から第１３のいずれかの構成において、センサ（１５，１６）から出力される振動データを前記時系列データ（Ｄ１）として入力可能に構成される機械学習装置（１）としてもよい。
　本開示は、例えば、各種の時系列データに基づく機械学習推論に利用することが可能である。
　　　１　　　機械学習装置
　　　２　　　データ変換部
　　　３　　　機械学習推論部
　　　４　　　演算回路部
　　　５　　　ＣＰＵ
　　　６　　　ＲＡＭ
　　　７　　　ＲＯＭ
　　　８　　　入出力部
　　　９　　　制御回路
　　　９Ａ　　メモリ
　　１０　　　通信
　　１１　　　行列積算出部
　　１２　　　活性化関数
　　１３　　　学習部
　　１４　　　モータ
　　１５，１６　　　センサ
　　４０　　　演算子
　　４０Ａ　　加算器
　　４０Ｂ　　減算器
　　４０Ｃ　　乗算器
　　４０Ｄ　　ＭＡＸ演算器
　　４０Ｅ　　ＭＩＮ演算器
　　　Ｐ　　　人体

Claims (14)

  1. 　入力される時系列データを周波数特徴量データに変換するように構成されたデータ変換部と、
    　前記周波数特徴量データに基づき機械学習推論を行うように構成された機械学習推論部と、
    　前記データ変換部と前記機械学習推論部とで共通に用いられるように構成された演算回路部と、
    　を有する、機械学習装置。
  2. 　前記演算回路部は、第１演算入力と第２演算入力に基づき演算出力を出力する演算子を用いて演算を実施可能に構成され、
    　当該機械学習装置は、前記第１演算入力と前記第２演算入力とのうち少なくともいずれかの種類とサイズのうち少なくともいずれかを選択する第１制御、および前記演算子による演算方法を選択する第２制御を実施可能に構成される制御部を有する、請求項１に記載の機械学習装置。
  3. 　前記種類は、行列、ベクトル、およびスカラーのうち少なくとも２つである、請求項２に記載の機械学習装置。
  4. 　前記制御部は、プログラムを実行することで前記第１制御および前記第２制御を実施するように構成されたプロセッサである、請求項２または請求項３に記載の機械学習装置。
  5. 　前記制御部は、当該機械学習装置の外部との通信に基づいて前記第１制御および前記第２制御を実施するように構成された制御回路である、請求項２または請求項３に記載の機械学習装置。
  6. 　前記演算回路部が、加算器および減算器を用いてアダマール行列と入力ベクトルとの積を演算することにより、前記データ変換部は、アダマール変換によって前記時系列データを前記周波数特徴量データに変換する、請求項１から請求項５のいずれか１項に記載の機械学習装置。
  7. 　前記演算回路部が、三角関数の値をテーブル値として有する変換行列と、入力ベクトルとの積を演算することにより、前記データ変換部は、離散フーリエ変換または離散コサイン変換によって前記時系列データを前記周波数特徴量データに変換する、請求項１から請求項５のいずれか１項に記載の機械学習装置。
  8. 　前記機械学習推論部は、ニューラルネットワークを用いて機械学習推論を行い、
    　前記ニューラルネットワークは、全結合層を有し、
    　前記演算回路部は、前記全結合層における演算を実施する、請求項１から請求項７のいずれか１項に記載の機械学習装置。
  9. 　前記全結合層において、前記演算回路部は、重み行列と入力ベクトルとの積を演算する、請求項８に記載の機械学習装置。
  10. 　前記全結合層において、前記演算回路部は、ａ，ｂのうち大きいほうを出力するｍａｘ（ａ，ｂ）により、活性化関数ｆ（ｘ）＝ｍａｘ（ｘ，０）の演算を実施する、請求項８または請求項９に記載の機械学習装置。
  11. 　前記全結合層において、前記演算回路部は、ａ，ｂのうち大きいほうを出力するｍａｘ（ａ，ｂ）と、ａ，ｂのうち小さいほうを出力するｍｉｎ（ａ，ｂ）と、により、活性化関数ｆ（ｘ）＝ｍｉｎ（ｍａｘ（０．２５ｘ＋０．５，０），１）の演算を実施する、請求項８または請求項９に記載の機械学習装置。
  12. 　前記機械学習推論部の機械学習を行う学習部を有し、
    　前記演算回路部は、前記データ変換部と前記機械学習推論部と前記学習部とで共通に用いられる、請求項１から請求項１１のいずれか１項に記載の機械学習装置。
  13. 　前記演算回路部は、第１演算入力と第２演算入力に基づき演算出力を出力する演算子を用いて演算を実施可能に構成され、
    　前記演算回路部による演算処理は、
    　前記第１演算入力、前記第２演算入力、前記演算出力、および前記演算子に関するデータが格納されるメモリアドレスを計算する第１工程と、
    　前記第１演算入力、前記第２演算入力、および前記演算子に関するデータを前記メモリアドレスから読み出す第２工程と、
    　前記第１演算入力と前記第２演算入力と前記演算子に基づき演算を実行する第３工程と、
    　前記演算出力を前記メモリアドレスに書き込む第４工程と、
    　を含み、
    　前記演算処理が完了する前に、次の前記演算処理における前記第１工程が開始される、請求項１から請求項１２のいずれか１項に記載の機械学習装置。
  14. 　センサから出力される振動データを前記時系列データとして入力可能に構成される、請求項１から請求項１３のいずれか１項に記載の機械学習装置。
PCT/JP2022/032026 2021-09-09 2022-08-25 機械学習装置 WO2023037882A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112022003426.2T DE112022003426T5 (de) 2021-09-09 2022-08-25 Maschinenlernvorrichtung
CN202280057809.0A CN117882091A (zh) 2021-09-09 2022-08-25 机器学习装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-146742 2021-09-09
JP2021146742 2021-09-09

Publications (1)

Publication Number Publication Date
WO2023037882A1 true WO2023037882A1 (ja) 2023-03-16

Family

ID=85506553

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/032026 WO2023037882A1 (ja) 2021-09-09 2022-08-25 機械学習装置

Country Status (3)

Country Link
CN (1) CN117882091A (ja)
DE (1) DE112022003426T5 (ja)
WO (1) WO2023037882A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006227666A (ja) * 2005-02-15 2006-08-31 Victor Co Of Japan Ltd 行列演算装置
JP2016045703A (ja) * 2014-08-22 2016-04-04 富士通株式会社 処理装置、処理装置の処理方法及びプログラム
JP2019219753A (ja) * 2018-06-15 2019-12-26 ルネサスエレクトロニクス株式会社 半導体装置及びその制御方法
US20200167637A1 (en) * 2018-11-26 2020-05-28 Samsung Electronics Co., Ltd. Neural network processor using dyadic weight matrix and operation method thereof
JP2020159945A (ja) * 2019-03-27 2020-10-01 オークマ株式会社 転がり軸受の異常診断方法及び異常診断装置、異常診断プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887484A (ja) 1994-09-16 1996-04-02 Rohm Co Ltd ニューラルネットワークによるカテゴリ識別法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006227666A (ja) * 2005-02-15 2006-08-31 Victor Co Of Japan Ltd 行列演算装置
JP2016045703A (ja) * 2014-08-22 2016-04-04 富士通株式会社 処理装置、処理装置の処理方法及びプログラム
JP2019219753A (ja) * 2018-06-15 2019-12-26 ルネサスエレクトロニクス株式会社 半導体装置及びその制御方法
US20200167637A1 (en) * 2018-11-26 2020-05-28 Samsung Electronics Co., Ltd. Neural network processor using dyadic weight matrix and operation method thereof
JP2020159945A (ja) * 2019-03-27 2020-10-01 オークマ株式会社 転がり軸受の異常診断方法及び異常診断装置、異常診断プログラム

Also Published As

Publication number Publication date
DE112022003426T5 (de) 2024-05-02
CN117882091A (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
KR102402111B1 (ko) 콘볼루션 신경망 정방향 연산 실행용 장치와 방법
KR102175044B1 (ko) 인공 신경망 역방향 트레이닝 실행용 장치와 방법
CN115456161A (zh) 一种数据处理方法和数据处理系统
CN107886167A (zh) 神经网络运算装置及方法
Anselmi et al. Deep convolutional networks are hierarchical kernel machines
KR102521054B1 (ko) 조기 중단에 기반한 심층 신경망의 연산 제어 방법 및 시스템
CN108960414B (zh) 一种基于深度学习加速器实现单广播多运算的方法
JP7414930B2 (ja) 情報処理装置、情報処理方法
CN113240079A (zh) 一种模型训练方法及装置
CN113065633A (zh) 一种模型训练方法及其相关联设备
CN111325222A (zh) 图像归一化处理方法及装置、存储介质
WO2023037882A1 (ja) 機械学習装置
JPH07271748A (ja) データを正規化する手段を含むニューラル・プロセッサ
CN111652349A (zh) 一种神经网络的处理方法及相关设备
JP2022117866A (ja) ニューラルネットワーク生成装置、ニューラルネットワーク演算装置、エッジデバイス、ニューラルネットワーク制御方法およびソフトウェア生成プログラム
CN112257840A (zh) 一种神经网络处理方法以及相关设备
JP2022063864A (ja) 機械学習を自動化するための装置及び機械学習自動化方法
JP2022165395A (ja) ニューラルネットワークモデルの最適化方法及びニューラルネットワークモデルに関するグラフィックユーザインターフェースを提供する方法
CN116563660A (zh) 一种基于预训练大模型的图像处理方法及相关装置
TWI819005B (zh) 用於執行乘法運算的計算單元、方法、電腦程式、機器可讀取儲存元件和產品
CN115879524A (zh) 一种模型训练方法及其相关设备
EP4182852A1 (en) Elastic bottleneck architectures for variable convolution operations
CN115712828A (zh) 一种图像分类方法及其相关设备
KR20220114228A (ko) 프로세서, 프로세서의 동작 방법 및 이를 포함한 전자 장치
JP2825133B2 (ja) 並列データ処理方式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22867204

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023546874

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280057809.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112022003426

Country of ref document: DE