WO2018016608A1 - ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム - Google Patents

ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム Download PDF

Info

Publication number
WO2018016608A1
WO2018016608A1 PCT/JP2017/026363 JP2017026363W WO2018016608A1 WO 2018016608 A1 WO2018016608 A1 WO 2018016608A1 JP 2017026363 W JP2017026363 W JP 2017026363W WO 2018016608 A1 WO2018016608 A1 WO 2018016608A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
matrix
vector
neural network
weight
Prior art date
Application number
PCT/JP2017/026363
Other languages
English (en)
French (fr)
Inventor
満 安倍
Original Assignee
株式会社デンソーアイティーラボラトリ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソーアイティーラボラトリ filed Critical 株式会社デンソーアイティーラボラトリ
Priority to US16/318,779 priority Critical patent/US11657267B2/en
Priority to CN201780056821.9A priority patent/CN109716362B/zh
Priority to JP2018528880A priority patent/JP6921079B2/ja
Publication of WO2018016608A1 publication Critical patent/WO2018016608A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Definitions

  • the present technology relates to a neural network device and program for inputting input information to an input layer of a neural network model and obtaining output information from an output layer, a vehicle control system including the neural network device, and a decomposition for configuring the neural network.
  • the present invention relates to a processing apparatus.
  • FIG. 16 is a diagram illustrating an example of a neural network that divides a four-dimensional input vector into three classes (identifies which of the three classes belongs). As shown in FIG. 16, when a four-dimensional input vector (also referred to as an input map) to be identified is input as an input layer a 0 , the input information passes through intermediate layers a 1 to a 3 and is three-dimensional. It is output as an output layer a 4.
  • a four-dimensional input vector also referred to as an input map
  • a weight matrix (also called a filter) W 1 and a bias vector b 1 are defined between the input layer a 0 and the intermediate layer a 1 , and the intermediate layer a 1 is obtained by the following equation (1).
  • f (•) is an activation function, and for example, the following function (ReLU) is used.
  • the intermediate layers a 2 and a 3 are obtained by the following expressions (2) and (3), and the output layer a 4 is obtained by the following expression (4).
  • the input vector from the previous layer is x (D I dimension), the weight matrix W (D I row D O column), and the bias b (D O dimension) as follows: ),
  • the output vector (before applying the activation function) y (D O dimension) to the next layer is expressed by the following equation (5).
  • FC layer For example, in a fully connected layer (hereinafter also referred to as “FC layer”), when the weight matrix W is a single precision real number (32 bits), a memory of 32 D I D O bits is consumed. Become. Each layer requires D I D O times of product-sum operations of single-precision real numbers, and this calculation particularly requires processing time.
  • the FC layer is usually arranged at the end of the neural network, but the convolutional layer (hereinafter also referred to as “CONV layer”) also appropriately cuts out and rearranges the input map by the sliding window, The CONV layer can be regarded as the FC layer.
  • the present technology has been made in view of the above-described problems, and aims to reduce memory consumption and calculation amount in a neural network device.
  • the neural network device includes a storage unit (24) for storing a neural network model, and an arithmetic unit (22) for inputting input information to an input layer of the neural network model and outputting an output layer,
  • the weight matrix (W) of at least one layer of the neural network model is a product (M w C w ) of a weight basis matrix (M w ) that is an integer matrix and a weight coefficient matrix (C w ) that is a real matrix. It is configured.
  • the neural network device is a neural network device that performs recognition using a neural network model, and has a configuration in which a logical operation is performed as an operation of at least one layer of the neural network model.
  • a neural network device is a neural network device that performs recognition using a neural network model, and stores a binary or ternary matrix used for calculation of at least one layer of the neural network model. have.
  • a vehicle control system includes the neural network device (20), an in-vehicle sensor (30) that acquires the input information, and a vehicle control device (40) that controls the vehicle based on the output. It has a configuration.
  • the decomposition processing apparatus includes an acquisition unit (11) that acquires a neural network model, a weight matrix of at least one layer of the neural network model, a weight basis matrix (M w ) that is an integer matrix, and a real matrix in a weighting coefficient matrix (C w) product of (M w C w) to decompose the weight decomposition section (12), the weight basis matrix (M w) and the weighting coefficient matrix (C w) and outputs an output Part (14).
  • acquisition unit (11) that acquires a neural network model, a weight matrix of at least one layer of the neural network model, a weight basis matrix (M w ) that is an integer matrix, and a real matrix in a weighting coefficient matrix (C w) product of (M w C w) to decompose the weight decomposition section (12), the weight basis matrix (M w) and the weighting coefficient matrix (C w) and outputs an output Part (14).
  • the program according to one aspect is a program that causes a computer to function as a neural network device that inputs input information to an input layer of a neural network model and obtains output information from an output layer, and is stored in the storage unit (24) of the computer.
  • an input vector (x ) To the sum of the product of the integer input basis matrix (M x ) and the real input coefficient vector (c x ) and the input bias (b x ), the input coefficient vector ( c x ) and the input bias vector (c x ) out of the input bias (b x ) and the input coefficient vector obtained by the learning.
  • a value (x j ) of each element of the input vector obtained based on Tol (c x ) and the input bias (b x ), and an input basis matrix value (m x (j) ) corresponding thereto A look-up table (LUT) that defines a relationship, and the program causes the computer to use the output vector of the previous layer as an input vector (x) in at least one fully connected layer of the neural network model.
  • the weight basis matrix (M w ) read from the storage unit (24), the real weight coefficient matrix (C w ), the input coefficient vector (c x ), and the look read from the storage unit (24) the input basis matrix corresponding to the input vector obtained by referring to the up-table (LUT) (x) with (M x) and the input vector (x It said to function as a calculation unit for obtaining the product of the weight matrix (W) and.
  • the program according to one aspect is a program that causes a computer to function as a neural network device that inputs input information to an input layer of a neural network model and obtains output information from an output layer, and is stored in the storage unit (24) of the computer.
  • an input vector (x ) To the sum of the product of the integer input basis matrix (M x ) and the real input coefficient vector (c x ) and the input bias (b x ), the input coefficient vector ( c x ) and the input bias vector (c x ) out of the input bias (b x ) and the input coefficient vector obtained by the learning.
  • the program causes the computer to read the weight basis matrix (24) read from the storage unit (24) with the output vector of the previous layer as an input vector (x) in at least one fully connected layer of the neural network model.
  • the neural network device includes a storage unit (24) for storing a neural network model, and an arithmetic unit (22) for inputting input information to an input layer of the neural network model and outputting an output layer,
  • the operation unit (22) has an input basis matrix (M x ) that is an integer matrix, with the output vector of the previous layer as an input vector (x) in at least one layer of the neural network model.
  • FIG. 1 is a diagram illustrating calculation of a product of an integer-decomposed input vector and a weight matrix according to the embodiment.
  • FIG. 2 is a diagram illustrating a configuration of the decomposition processing apparatus according to the embodiment.
  • FIG. 3 is a diagram illustrating a process of decomposing the weight matrix according to the embodiment into a base matrix and a coefficient matrix.
  • FIG. 4 is a flowchart of an algorithm executed in the division method according to the embodiment.
  • FIG. 5 is a diagram illustrating a modification of the process of decomposing the weight matrix according to the embodiment into a base matrix and a coefficient matrix.
  • FIG. 1 is a diagram illustrating calculation of a product of an integer-decomposed input vector and a weight matrix according to the embodiment.
  • FIG. 2 is a diagram illustrating a configuration of the decomposition processing apparatus according to the embodiment.
  • FIG. 3 is a diagram illustrating a process of decomposing the weight matrix according to the embodiment into a base matrix and a coefficient matrix.
  • FIG. 6 is a diagram illustrating a modified example of the process of decomposing an input vector according to the embodiment into a product of a base matrix and a coefficient vector and a bias.
  • FIG. 7 is a diagram illustrating the update by the full search of the base matrix of the input vector according to the embodiment.
  • FIG. 8 is a diagram illustrating optimization of the basis matrix of the input vector according to the embodiment.
  • FIG. 9 is a diagram illustrating optimization of the basis matrix of the input vector according to the embodiment.
  • FIG. 10 is a diagram illustrating optimization of the basis matrix of the input vector according to the embodiment.
  • FIG. 11 is a diagram illustrating a configuration of the neural network device according to the embodiment.
  • FIG. 12 is a diagram illustrating processing of the calculation unit in the FC layer of the neural network model according to the embodiment.
  • FIG. 13 is a diagram illustrating a relationship between an input map and an output map of the CONV layer according to the embodiment.
  • FIG. 14 is a diagram illustrating a relationship between an input map and an output map of the CONV layer according to the embodiment.
  • FIG. 15 is a diagram illustrating decomposition of the weight matrix of the CONV layer according to the embodiment.
  • FIG. 16 is a diagram illustrating an example of a neural network that identifies four-dimensional input vectors into three classes.
  • FIG. 17 is a diagram for explaining optimization of the basis matrix of the input vector in the modification of the embodiment.
  • FIG. 18 is a diagram for explaining optimization of a base matrix of an input vector in a modification of the embodiment.
  • FIG. 19 is a diagram showing a prototype and a number line on which the midpoints are plotted in a modification of the embodiment.
  • FIG. 20 is a diagram illustrating a prototype and a number line on which the midpoints are plotted in a modification of the embodiment.
  • FIG. 21 is a diagram for explaining the assignment of ⁇ in the modification of the embodiment.
  • FIG. 22 is a diagram illustrating a configuration of a neural network device according to a modification of the embodiment.
  • FIG. 23 is a diagram for explaining a binary tree search in a modification of the embodiment.
  • FIG. 24 is a diagram for explaining a binary tree search in a modification of the embodiment.
  • FIG. 25 is a diagram for explaining a binary tree search in a modification of the embodiment.
  • FIG. 26 is a diagram for explaining a binary tree search in a modification of the embodiment.
  • FIG. 27 is a diagram illustrating a binary tree according to a modification of the embodiment.
  • FIG. 28 is a diagram showing a configuration
  • the neural network device includes a storage unit (24) for storing a neural network model, and an arithmetic unit (22) for inputting input information to an input layer of the neural network model and outputting an output layer,
  • the weight matrix (W) of at least one layer of the neural network model is a product (M w C w ) of a weight basis matrix (M w ) that is an integer matrix and a weight coefficient matrix (C w ) that is a real matrix. It is configured.
  • the weight matrix (W) of all connection layers in the neural network is composed of a product (M w C w ) of an integer weight basis matrix (M w ) and a real weight coefficient matrix (C w ).
  • the memory consumption can be reduced in the calculation of the layer.
  • the product operation of the input basis matrix (M x ) and the weight basis matrix (M w ) is performed by the product operation of the integer matrices. Therefore, it is possible to reduce the amount of memory consumption and the amount of calculation.
  • the weight basis matrix (M w ) may be a binary matrix
  • the input basis matrix (M x ) may be a binary matrix
  • the calculation unit (22) A product operation (M w M x ) of the weight basis matrix (M w ) and the input basis matrix (M x ) may be performed by a logical operation and a bit count.
  • the product operation of the input basis matrix (M x ) and the weight basis matrix (M w ) in the operation for obtaining the product of the input vector (x) and the weight matrix (W) is performed by the product operation of binary matrices. And can be executed with a logical operation and a bit count, so that the operation for obtaining the product of the input vector (x) and the weight matrix (W) can be speeded up.
  • the weight basis matrix (M w ) may be a ternary matrix
  • the input basis matrix (M x ) may be a binary matrix
  • the calculation unit (22) A product operation (M w M x ) of the weight basis matrix (M w ) and the input basis matrix (M x ) may be performed by a logical operation and a bit count.
  • the product operation of the input basis matrix (M x ) and the weight basis matrix (M w ) in the operation for obtaining the product of the input vector (x) and the weight matrix (W) is performed as a binary matrix and a ternary matrix. And can be executed with a logical operation and a bit count, so that the operation for obtaining the product of the input vector (x) and the weight matrix (W) can be speeded up.
  • the calculation unit (22) decomposes the input vector (x) by optimizing the input basis matrix (M x ) with respect to the input vector (x). Good.
  • the calculation unit (22), for each element (x j ) of the input vector (x), includes all combinations of rows of the input basis matrix corresponding to the elements of the input vector ( ⁇ ) and the learned input coefficient vector (c x ) and the learned input bias (b x ) sum ( ⁇ c x + b x ) to select the nearest candidate
  • the basis matrix (M x ) may be optimized.
  • the input basis matrix (M x ) can be optimized by a one-dimensional nearest neighbor search.
  • the storage unit (24) includes a value of each element (x j ) of the input vector and a value (m x (j) ) of an input basis matrix in the nearest candidate corresponding thereto.
  • a lookup table (LUT) that defines the relationship may be stored, and the calculation unit (22) refers to the lookup table (LUT), so that the input basis for the input vector (x) is stored.
  • the matrix (M x ) may be optimized.
  • each element for (x i) of the input vector, the line of the input basis matrix corresponding to each element (x i) of the input vector (beta) A midpoint (mp i ) when all combinations and candidates (p) of approximate values of the elements of the input vector obtained thereby are arranged in order of magnitude may be stored, and the calculation unit (22) for each element of the input vector (x i), the middle point (mp i) rows of the input base matrix corresponding to each element (x i) of the input vector by binary tree search method using (m
  • the input basis matrix (M x ) may be optimized by determining x (j) ).
  • the neural network model may be a convolutional neural network model, and the convolutional neural network model combines the plurality of filters of the convolutional layer into the weight matrix (W), and
  • the convolution layer may be regarded as a fully connected layer, and the weight matrix (W) may be configured by a product of an integer weight basis matrix (M w ) and a real weight coefficient matrix (C w ), (22) may be a convolutional layer that is regarded as a fully connected layer, and may obtain a product of the decomposed input vector (x) and the decomposed weight matrix (W).
  • This configuration makes it possible to reduce the amount of memory consumed and the amount of computation in the computation of the convolutional layer of the convolutional neural network model.
  • the neural network device is a neural network device that performs recognition using a neural network model, and has a configuration in which a logical operation is performed as an operation of at least one layer of the neural network model.
  • This configuration makes it possible to perform neural network model operations at high speed by logical operations.
  • a neural network device is a neural network device that performs recognition using a neural network model, and stores a binary or ternary matrix used for calculation of at least one layer of the neural network model. have.
  • the neural network model can be calculated at high speed using a binary or ternary matrix.
  • a vehicle control system includes the neural network device (20), an in-vehicle sensor (30) that acquires the input information, and a vehicle control device (40) that controls the vehicle based on the output. It has a configuration.
  • This configuration makes it possible to control the vehicle based on recognition by a neural network model.
  • the decomposition processing apparatus includes an acquisition unit (11) that acquires a neural network model, a weight matrix of at least one layer of the neural network model, a weight basis matrix (M w ) that is an integer matrix, and a real matrix in a weighting coefficient matrix (C w) product of (M w C w) to decompose the weight decomposition section (12), the weight basis matrix (M w) and the weighting coefficient matrix (C w) and outputs an output Part (14).
  • acquisition unit (11) that acquires a neural network model, a weight matrix of at least one layer of the neural network model, a weight basis matrix (M w ) that is an integer matrix, and a real matrix in a weighting coefficient matrix (C w) product of (M w C w) to decompose the weight decomposition section (12), the weight basis matrix (M w) and the weighting coefficient matrix (C w) and outputs an output Part (14).
  • the input vector (x) is obtained by multiplying an input basis matrix (M x ) that is an integer matrix and an input coefficient vector (c x ) that is a real vector by an input bias (b x ).
  • An input pre-decomposition unit (13) for learning the input coefficient vector (c x ) and the input bias (b x ) for decomposition into a sum (x M x c x + b x 1);
  • the output unit (14) may output the input coefficient vector (c x ) obtained by the learning.
  • the coefficient vector (c x ) and the input bias (b x ) for decomposing the input vector (x) can be acquired in advance by learning.
  • the input pre-decomposition unit (13) generates a lookup table (LUT) for optimizing the input basis matrix (M x ) for the input vector (x).
  • the output unit (14) may output the lookup table (LUT).
  • a lookup table (LUT) for decomposing the input vector (x) at high speed can be acquired in advance.
  • the program according to one aspect is a program that causes a computer to function as a neural network device that inputs input information to an input layer of a neural network model and obtains output information from an output layer, and is stored in the storage unit (24) of the computer.
  • an input vector (x ) To the sum of the product of the integer input basis matrix (M x ) and the real input coefficient vector (c x ) and the input bias (b x ), the input coefficient vector ( c x ) and the input bias vector (c x ) out of the input bias (b x ) and the input coefficient vector obtained by the learning.
  • a value (x j ) of each element of the input vector obtained based on Tol (c x ) and the input bias (b x ), and an input basis matrix value (m x (j) ) corresponding thereto A look-up table (LUT) that defines a relationship, and the program causes the computer to use the output vector of the previous layer as an input vector (x) in at least one fully connected layer of the neural network model.
  • the weight basis matrix (M w ) read from the storage unit (24), the real weight coefficient matrix (C w ), the input coefficient vector (c x ), and the look read from the storage unit (24) the input basis matrix corresponding to the input vector obtained by referring to the up-table (LUT) (x) with (M x) and the input vector (x It said to function as a calculation unit for obtaining the product of the weight matrix (W) and.
  • the weight matrix (W) of all connection layers in the neural network is composed of a product (M w C w ) of an integer weight basis matrix (M w ) and a real weight coefficient matrix (C w ), and the input
  • the product operation of the input basis matrix (M x ) and the weight basis matrix (M w ) can be a product operation of integer matrices.
  • the program according to one aspect is a program that causes a computer to function as a neural network device that inputs input information to an input layer of a neural network model and obtains output information from an output layer, and is stored in the storage unit (24) of the computer.
  • an input vector (x ) To the sum of the product of the integer input basis matrix (M x ) and the real input coefficient vector (c x ) and the input bias (b x ), the input coefficient vector ( c x ) and the input bias vector (c x ) out of the input bias (b x ) and the input coefficient vector obtained by the learning.
  • the program causes the computer to read the weight basis matrix (24) read from the storage unit (24) with the output vector of the previous layer as an input vector (x) in at least one fully connected layer of the neural network model.
  • the neural network device includes a storage unit (24) for storing a neural network model, and an arithmetic unit (22) for inputting input information to an input layer of the neural network model and outputting an output layer,
  • the operation unit (22) has an input basis matrix (M x ) that is an integer matrix, with the output vector of the previous layer as an input vector (x) in at least one layer of the neural network model.
  • the weight matrix (W) is composed of binary or ternary elements
  • this configuration allows the input basis matrix (M) to be calculated in the calculation of the product of the input vector (x) and the weight matrix (W). Since the product operation of x ) and the weight matrix (W) can be a product operation of an integer matrix and a binary or ternary matrix, the amount of calculation can be reduced.
  • the FC layer of the neural network includes a step of calculating a product W T x of a weight matrix (filter) W and an input vector (input map) x.
  • the weight matrix W is decomposed into an integer basis matrix and a real coefficient matrix (integer decomposition)
  • the input vector x is decomposed into an integer base matrix and a real coefficient vector (integer decomposition), thereby reducing the memory consumption.
  • the processing time can be shortened.
  • FIG. 1 is a diagram for explaining calculation of an integer-resolved product W T x according to the present embodiment.
  • the bias b is omitted.
  • the basis number k w is determined according to the size of the weight matrix W, but is about 1/8 to 1/4 (about several tens to several hundreds) of the weight matrix W, and the basis number k x Can be about 2 to 4, for example.
  • this is expressed by an equation including the bias b, it is expressed as the following equation (6).
  • the base matrix M w T obtained by decomposing the weight matrix W is a binary or ternary matrix
  • the base matrix M x obtained by decomposing the input vector x is a binary matrix.
  • the base matrix M x may be a ternary matrix as will be described later.
  • M w T M x in the first term on the right-hand side of equation (6) is a product of a binary or ternary matrix and a binary or ternary matrix, which is a logical operation (AND, XOR) and a bit. It can be calculated by counting.
  • the sum of the second term and the third term on the right side can be calculated in advance as will be described later. Therefore, most operations can be reduced to logical operations by the decomposition of FIG. 1 and Equation (6).
  • FIG. 2 is a diagram showing a configuration of a decomposition processing apparatus for configuring the deep neural network of the present embodiment.
  • the decomposition processing apparatus 10 includes a data acquisition unit 11, a weight decomposition unit 12, an input pre-decomposition unit 13, and a decomposition result output unit 14.
  • the data acquisition unit 11 acquires configuration information (including the weight (filter) W and bias b of each layer) of the neural network model according to the present embodiment and an input vector for learning.
  • the weight decomposition unit 12 decomposes the weight matrix W into a product of a real coefficient matrix Cw and a binary or ternary basis matrix Mw .
  • Prefilled decomposition unit 13 the product of the coefficient vector c x for decomposing the sum of the product and the bias b x of the basis matrix M x and real coefficient vector c x of the binary or ternary input vector x And a bias b x are obtained by learning, and a lookup table LUT for obtaining a base matrix M x from the input vector x is generated.
  • the decomposition result output unit 14 uses the product of the coefficient matrix C w obtained by the weight decomposition unit 12 and the binary or ternary basis matrix M w and the lookup table LUT obtained by the input pre-decomposition unit 13. Then, the neural network model is reconstructed and output to the neural network device 20 described later. Hereinafter, each function will be described in detail.
  • the weight decomposition unit 12 decomposes the weight matrix W into a product of a real coefficient matrix Cw and an integer basis matrix Mw .
  • Figure 3 is a diagram illustrating the process of decomposing a weight matrix W on the basis matrix of the base number k w M w and the coefficient matrix C w.
  • the weight decomposition unit 12 decomposes the basis matrix M w and real coefficient matrix C w of the weight matrix W binary or ternary.
  • the weight decomposition section 12 of the present embodiment as a method of decomposing a binary or ternary basis matrix M w and real coefficient matrix C w, illustrating the first to fourth methods.
  • First decomposition method As a first decomposition method, a data-independent decomposition method will be described.
  • the weight decomposition unit 12 performs the degradation by solving the cost function g 1 of the formula representing the degradation error.
  • the base matrix M w is a binary matrix, and M ⁇ ⁇ 1, 1 ⁇ D 0 ⁇ kw .
  • the weight decomposing unit 12 solves the cost function g 1 according to the following procedure.
  • (1) Initialize randomly basis matrix M w and the coefficient matrix C w.
  • (2) By fixing the elements of the base matrix M w and optimizing the elements of the coefficient matrix C w by the least square method, the elements of the coefficient matrix C w are updated so that the cost function g 1 is minimized. .
  • (4) Repeat (2) and (3) until convergence. For example, when the cost function g 1 satisfies a predetermined convergence condition (for example, the amount of decrease is a certain value or less), it is determined that the cost function g 1 has converged.
  • a predetermined convergence condition for example, the amount of decrease is a certain value or less
  • steps (1) to (4) are held as candidates.
  • Steps (1) to (5) are repeated, and the candidate base matrix M w and candidate coefficient matrix C w that have the smallest cost function g 1 are adopted as the final results. Note that steps (1) to (5) need not be repeated, but by repeating a plurality of times, the problem of dependence on the initial value can be avoided.
  • the element of the row vector of the jth row of the base matrix Mw depends only on the element of the jth row of the weight matrix W. Therefore, the value of each row vector of the basis matrix M w, since the other row can be independently optimized, the base matrix M w can be carried out exhaustive searches for each row (full search). There are only 2 kw row vectors in the j-th row of the base matrix M w in the case of binary decomposition as in this embodiment ( note that there are only 3 kw ways in the case of ternary decomposition). Therefore, all of these are checked comprehensively, and a row vector that minimizes the cost function g 1 is adopted. This is applied to all the row vectors of the base matrix M to update the elements of the base matrix M.
  • the weight decomposition unit 12 performs the degradation by solving the cost function g 2 of the formula is an exploded error.
  • the base matrix M is a binary matrix
  • 1 is the L1 norm of the element of the coefficient matrix C w
  • ⁇ is its coefficient.
  • Weight decomposition section 12 solves the cost function g 2 of the following procedure.
  • (1) Initialize randomly basis matrix M w and the coefficient matrix C w.
  • (2) The elements of the base matrix Mw are fixed, and the elements of the coefficient matrix Cw are optimized by the proximity gradient method.
  • (4) Repeat (2) and (3) until convergence. For example, when the cost function g 2 satisfies a predetermined convergence condition (e.g., decrease amount is less than a predetermined value), it is judged to have converged. (5)
  • the solutions obtained in steps (1) to (4) are held as candidates.
  • Steps (1) to (5) are repeated, and the candidate base matrix M w and candidate coefficient matrix C w that have the smallest cost function g 2 are adopted as the final results. Note that steps (1) to (5) need not be repeated, but by repeating a plurality of times, the problem of dependence on the initial value can be avoided.
  • a second decomposition scheme can be sparsely coefficient matrix C w.
  • C w By sparsely coefficient matrix C w, in the calculation of the product C w T M w T M x of formula (6), it is possible to omit the parts relating to the zero elements of the coefficient matrix C w, the inner product even faster Calculations can be made.
  • the decomposition error is expressed as the cost function g 1. To minimize this decomposition error.
  • the weight matrix W is approximated to the product of the base matrix Mw and the coefficient matrix Cw is the product W T x of the input vector x and the weight matrix W.
  • the weight decomposition unit 12 performs the degradation by solving the cost function g 3 of the formula. According to the cost function g 3, the weighting matrix W, since that would be resolved according to the distribution of the actual data, is improved approximation accuracy of the degradation.
  • This approximate decomposition can be performed by sequentially obtaining the basis vectors m w (j) constituting the basis matrix M w .
  • the procedure of the third decomposition method is as follows. (1) The base matrix M w and the coefficient matrix C w are obtained by the first or second decomposition method and set as initial values thereof. (2) The elements of the base matrix M w are fixed, and the elements of the coefficient matrix C w are optimized by the least square method. (3) to fix the elements of the coefficient matrix C w, by optimizing the elements of the basis matrix M w, to update the elements of the basis matrix M w. The update process of the base matrix Mw will be described later.
  • step (1) the base matrix Mw and the coefficient matrix Cw are optimized again by the first or second decomposition method, so that the initial values are changed.
  • step (5) may not be repeated, the problem of initial value dependency can be reduced by repeating a plurality of times.
  • step (3) the update process of the base matrix Mw in step (3) will be described.
  • the value of the row vector of the base matrix Mw is no longer independent of other rows and is dependent. Since the elements of the base matrix M w are binary or ternary, that is, discrete values, the optimization of the base matrix M w becomes a combinatorial optimization problem. Therefore, for example, an algorithm such as a greedy algorithm, tabu search, or simulated annealing can be used to optimize the base matrix Mw . Since a good initial value is obtained in step (1), these algorithms can satisfactorily minimize the decomposition error.
  • the base matrix Mw is optimized by the following procedure.
  • (3-1) T elements are selected at random from the elements of the base matrix Mw .
  • (3-2) tried combination of street 2 T (3 T as if 3 value decomposition described later), it is taken from the one cost function g 3 minimized.
  • (3-3) Repeat steps (3-1) and (3-2) until convergence.
  • the fourth decomposition method is a combination of the second decomposition method and the third decomposition method. Specifically, disassembly by solving the cost function g 4 of the formula. According to the cost function g 4, the weighting matrix W, since that would be resolved according to the distribution of actual data, as well as improved accuracy of approximation during decomposition can be sparsely coefficient matrix C w . That is, both of the advantages of the second decomposition method and the third decomposition method can be obtained.
  • the specific decomposition procedure is the same as that in the third decomposition method.
  • the real matrix may be sequentially decomposed by the following algorithm.
  • FIG. 4 is a flowchart of an algorithm executed in the division method according to the present embodiment.
  • a procedure for decomposing the weight matrix W into a base matrix M w having k w bases and a coefficient matrix C w by the above first to fourth decomposition methods is expressed as the following equation: I decided to.
  • the weight decomposition unit 12 acquires a weight matrix W to be decomposed (step S41).
  • the residual matrix R is a difference between the sum of inner products of the base matrix M w (j) and the coefficient matrix C w (j) that have been decomposed so far by the sequential decomposition and the weight matrix W.
  • the weight decomposition unit 12 decomposes the residual matrix R into the base matrix M w and the coefficient matrix C w by the method of the first or second embodiment (step S43).
  • the basis number is k wj .
  • M w (j) C w (j) is obtained
  • the weight decomposition unit 12 sets the difference between the original residual matrix R and M w (j) C w (j) as a new residual matrix R. (Step S44), the index j is incremented (Step S45), and it is determined whether the index j is greater than N, that is, whether the N-stage sequential decomposition has been completed (Step S46).
  • weight decomposition unit 12 returns to step S43 and increments in step S45 with respect to the new residual matrix R obtained in step S44. Decompose again with the new j. The above process is repeated, and when the index j becomes larger than N (YES in step S46), the process ends.
  • Figure 5 is a diagram for explaining a modification of the process of decomposing a weight matrix W on the basis matrix of the basis number k w M w and the coefficient matrix C w.
  • the vectors of the jth column of the weight matrix W are individually decomposed and collected. By decomposing for each vector in this way, the calculation cost for the decomposition can be suppressed.
  • Individual vectors may be decomposed by the first to fourth decomposition methods described above.
  • the column vector of the j-th column of the weight matrix W is expressed as w (j)
  • the column vector of the j-th column of the coefficient matrix C w is expressed as c w (j) .
  • FIG. 6 is a diagram for explaining a modification of the process of decomposing an input vector x in the product and the bias b x of the basis matrix M x and the coefficient vector c x of the base number k x.
  • the input vector x is decomposed as shown in FIG. 6 and the following equation (12).
  • the reason for considering the bias term b x 1 is that the input vector (map) is non-negative and the bias increases due to the influence of ReLU. This bias term is not necessary, but the necessity depends on the output of the previous layer.
  • the input pre-decomposition unit 13 determines c x and b x in advance by learning. Thereby, when the input vector x is obtained in each layer, the input vector can be decomposed by optimizing only M x accordingly, and the processing can be speeded up. In the present embodiment, the optimization of M x according to the input vector x is also accelerated by using a lookup table described later.
  • the input pre-decomposition unit 13 also performs processing for determining the lookup table in advance by learning. Hereinafter, it demonstrates in order.
  • the cost function J x can be solved by the following procedure.
  • (1) The base matrix M x is initialized at random.
  • (2) basis matrix to fix the M x, an element and a bias b x of the coefficient vector c x By optimizing the least squares method, as the cost function J x is minimized, the coefficient vector c x element And the coefficient b x is updated.
  • (3) The elements of the coefficient vector c x and the bias b x are fixed, and the elements of the base matrix M x are updated by a full search so that the cost function J x is minimized.
  • (4) Repeat (2) and (3) until convergence. For example, when the cost function J x satisfies a predetermined convergence condition (for example, the amount of decrease is equal to or less than a certain value), it is determined that the cost function J x has converged.
  • a predetermined convergence condition for example, the amount of decrease is equal to or less than a certain value
  • each row can be independently updated by the full search according to the following equation (14) and the procedure shown in FIG.
  • the input vector x When the input vector x is obtained in each layer, the input vector can be decomposed into a base matrix M x and a coefficient vector c x by solving the cost function J x described above.
  • this decomposition is performed in each layer at the time of execution, it will take a lot of processing time, and it cannot be practically used for detecting a pedestrian with an in-vehicle camera, for example. Therefore, the present inventor has paid attention to the following points.
  • c x and b x determine the range of x.
  • M x can be considered to indicate which value corresponds to the value range defined by c x and b x .
  • the value range of x is similar to all the elements, only c x and b x are determined in advance by the decomposition processing device 10 during learning, and M x during execution by the neural network device 20 described later. Can only be optimized. By doing in this way, decomposition
  • FIG. 10 is a diagram showing a state in which a plurality of bins are set by dividing the number line of FIG. 9 at equal intervals.
  • the input pre-decomposition unit 13 creates a lookup table LUT that defines ⁇ that is an optimum value for each of a plurality of bins set by dividing the number line in FIG. 9 at equal intervals.
  • m x (j) can be obtained very quickly by obtaining a bin to which the input vector x belongs and referring to the lookup table LUT.
  • the decomposition result output unit 14 uses M w and C w obtained by decomposing the weight matrix W by the weight decomposition unit 12 and the coefficient vector c x and the bias b x obtained by the input pre-decomposition unit 13. The sum of the second and third terms on the right side of Equation (6) is calculated. As described above, since c x , b x , M w , and C w are all obtained by the weight decomposing unit 12 or the input pre-decomposing unit 13, the second term on the right side of the equation (6) and It is possible to calculate the sum of the third term.
  • the decomposition result output unit 14 calculates c x , M w , and C w for calculating the first term on the right side of Equation (6), and the second and third terms on the right side of Equation (6).
  • a lookup table LUT (j) (j 1,..., D I ) for obtaining the sum with the term and each row vector m x (j) of M x is output to the neural network device 20.
  • M w is referred to as “weight basis matrix”
  • C w is referred to as “weight coefficient matrix”
  • M x is referred to as “input basis matrix”
  • c x is referred to as “input coefficient vector”
  • b x is referred to as “input bias”.
  • FIG. 11 is a diagram illustrating a configuration of the neural network device 20.
  • the neural network device 20 includes an input information acquisition unit 21, a calculation unit 22, an output information output unit 23, and a storage unit 24.
  • the storage unit 24 stores a neural network model, and for each FC layer, an input coefficient vector c x for calculating the first term on the right side of the expression (6) generated and output by the decomposition processing device 10.
  • Weight basis matrix M w weight coefficient matrix C w , sum of second term and third term on right side of equation (6) (b x C w T M w T 1 + b), and each row vector of input basis matrix M x
  • the input information to be processed is input to the input information acquisition unit 21.
  • the calculation unit 22 reads the neural network model from the storage unit 24, inputs the input information acquired by the input information acquisition unit 21 to the input layer, executes calculation processing, and obtains an output layer.
  • FIG. 12 is a diagram illustrating the processing of the calculation unit 22 in the FC layer of the neural network model.
  • the calculation unit 22 uses the output vector of the previous layer as an input vector x, and uses the input vector x as a product of a binary input base matrix M x and a real input coefficient vector c x and an input bias. It is decomposed into b x, obtaining the product of the input vector x and the weight matrix W.
  • the calculation unit 22 uses the input vector x as an input vector x and performs the calculation of Expression (6), whereby the input vector x and the weight matrix W Find the product.
  • the arithmetic unit 22 first obtains a binary input base matrix M x corresponding to the input vector x with reference to the lookup table LUT read from the storage unit 24. Next, the arithmetic unit 22 uses the obtained binary input base matrix M x , the weight coefficient matrix C w , the weight base matrix M w , and the input coefficient vector c x read from the storage unit 24 to obtain an equation ( 6) Calculate the first term (C w T M w T M x c x ) on the right side of 6).
  • the calculation unit 22 calculates the value of the first term on the right side of the equation (6) obtained by the above calculation (C w T Mw T M x c x ) and the right side of the equation (6) read from the storage unit 24. calculating a second term and the sum of the third term of (b x C w T M w T 1 + b) the sum of the (C w T M w T M x c x + b x C w T M w T 1 + b).
  • the computing unit 22 further calculates the output of the layer (the input of the next layer) by inputting the calculation result to an activation function (for example, ReLU).
  • an activation function for example, ReLU
  • the computing unit 22 finally obtains an output layer by performing computation according to the neural network model while performing the above computation in the FC layer.
  • the value of the output layer is output to the output information output unit 23.
  • the output information output unit 23 outputs the required output information based on the value of the output layer obtained by the calculation unit 22. For example, when the neural network model performs classification, the output information output unit 23 outputs, as output information, information on the class with the highest likelihood in the output layer as output information.
  • the FC layer in the neural network it is effective to save memory and increase the speed by using the look-up table LUT for decomposing the decomposed weight matrix W and the input vector.
  • the CONV layer of the intermediate layer can also have a four-dimensional data structure by arranging various filters (three-dimensional), and the above-described speed-up method can be applied.
  • 13 and 14 are diagrams showing the relationship between the input map and the output map of the CONV layer. 13 and 14, the left side is the input map IM, the right side is the output map OM, and the rectangular parallelepiped applied to the input map is the three-dimensional filters F1 and F2.
  • the filter F1 and the filter F2 are different filters, and thus C out number of different filters are prepared.
  • the calculation amount for one output map is (f h f w C in ) ⁇ (HW), and when all the filters are added up, (f h f w C in ) ⁇ (HW) ⁇ C out is obtained . When this form is not applied, the amount of calculation becomes very large.
  • the weight matrix W is generated by arranging the filters as column vectors in the row direction.
  • the CONV layer can also be regarded as the FC layer, and the above-described memory saving and high-speed computation can be performed.
  • Table 1 is a table comparing the amount of calculation necessary for each FC layer in the neural network device 20 of the present embodiment with that of the conventional technique.
  • B is the bit width of a variable (register) that performs a logical operation.
  • D I and D O are on the order of hundreds to thousands, whereas k x is about 2 to 4 and k w is about D O / 8 to D O / 4 as described above. Therefore, in this embodiment, the amount of calculation is reduced as compared with the prior art.
  • Table 2 is a table comparing memory consumption in each FC layer with the prior art in the neural network device 20 of the present embodiment.
  • single-precision real numbers 32 bits are used as real numbers.
  • the memory consumption is reduced as compared with the prior art.
  • the memory consumption in the FC layer can be reduced and the amount of computation can be reduced, so that the number of layers of the neural network is large (deep neural network),
  • This embodiment is particularly effective when the above-described memory-saving and high-speed computation can be applied to a plurality of layers.
  • the above-described decomposition processing device 10 and the neural network device 20 are each realized by a computer having a storage device, a memory, an arithmetic processing device, and the like executing a program.
  • the decomposition processing device 10 and the neural network device 20 have been described as separate devices, but these devices may be configured by the same computer.
  • a lookup table LUT defining ⁇ for optimizing m x (j) for each of a plurality of bins is created and stored in the neural network device 20.
  • a prescribed matrix M x is obtained by a method of obtaining an optimum ⁇ for each element x j by obtaining a bin to which the element x j belongs and referring to a lookup table LUT. It was.
  • the optimal input basis search method is not limited to the above. Below, the modification of the optimal input base search method is demonstrated.
  • the input predecomposition unit 13 calculates ( ⁇ c x + b x ) for all candidates ⁇ of m x (j) .
  • k x 4
  • c x (3.8, 8.6, 1.2, 0.4) T
  • b x 15.2
  • a value obtained by calculating ( ⁇ c x + b x ) is referred to as a prototype p.
  • the input pre-decomposition unit 13 sorts (rearranges) the prototypes p according to the size of the values.
  • FIG. 18 shows the result of sorting by the value of prototype p for the example of FIG. Thus rearranged was shaped 1,2 subscript from the direction the value of the prototype is small in the order of time, subjected ..., and 16, p 1, p 2, denoted ..., and p 16.
  • ⁇ to be assigned to the value x j of each element of the input vector can be defined with the midpoint mp i as a boundary.
  • a binary search method can be used.
  • FIG. 22 is a diagram illustrating a configuration of the neural network device 20 according to the present modification.
  • a binary tree (FIG. 27) described later is configured for each element x j of the input vector x instead of the lookup table LUT.
  • FIG. 27 is a diagram illustrating the binary tree search method described above.
  • the arithmetic unit 22 can finally obtain a solution by comparing only the number of bits (k ⁇ times).
  • the input basis matrix M x is a ternary matrix
  • the weight matrix is a real number matrix.
  • the weight matrix is decomposed. Is unnecessary. In this case, only the input vector may be decomposed into a sum of a product of a binary or ternary basis matrix and a real coefficient vector and a bias.
  • a neural network whose weight matrix is originally binary or ternary is, for example, M. Courbariaux, Y. Bengio, and JP David. BinaryConnect: Training deep neural networks with binary weights during propagations. In NIPS, 3105-3113, 2015. and F. Li Liand B B Liu. Ternary weight network, Technical Report ArXiv: 1605.04711, 2016.
  • FIG. 28 is a block diagram showing a configuration of a vehicle control system including the neural network device 20.
  • the vehicle control system 100 includes a neural network device 20, an in-vehicle sensor 30, and a vehicle control device 40.
  • the in-vehicle sensor 30 acquires input information input to the input device of the neural network device by performing sensing.
  • the in-vehicle sensor 30 may be, for example, a monocular camera, a stereo camera, a microphone, or a millimeter wave radar. These detected values may be input as they are to the neural network device 20 as input information, or input information may be generated by performing information processing on these detected values and input to the neural network device 20.
  • the neural network device 20 may detect a specific type of object (for example, a person, a vehicle, etc.) and surround it with a rectangular frame, or determine which class belongs to each pixel (semantic segmentation). Or other recognition processing may be performed.
  • a specific type of object for example, a person, a vehicle, etc.
  • surround it with a rectangular frame, or determine which class belongs to each pixel (semantic segmentation). Or other recognition processing may be performed.
  • the vehicle control device 40 controls the vehicle based on the output (recognition result) of the neural network device.
  • the vehicle control may be automatic driving of the vehicle, driving assistance of the vehicle (for example, forced braking at the time of collision danger, lane keeping, etc.), or provision of information to the driver of the vehicle (for example, Presentation of recognition results, notification of risk judgment results based on recognition results, and the like).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)
  • Feedback Control In General (AREA)

Abstract

ニューラルネットワーク装置（２０）は、ニューラルネットワークモデルを記憶する記憶部（２４）と、入力情報を前記ニューラルネットワークの入力層に入力して出力層を出力する演算部（２２）とを備える。ニューラルネットワークモデルのＦＣ層の重み行列（Ｗ）は、整数の重み基底行列（Ｍｗ）と実数の重み係数行列（Ｃｗ）との積で構成されている。演算部（２２）は、ＦＣ層において、前層の出力ベクトルを入力ベクトル（ｘ）として、この入力ベクトルｘを二値の入力基底行列（Ｍｘ）と実数の入力係数ベクトル（ｃｘ）との積と入力バイアス（ｂｘ）に分解して、入力ベクトル（ｘ）と重み行列Ｗとの積を求める。

Description

ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム 関連する出願
　本出願では、２０１６年７月２１日に日本国に出願された特許出願番号２０１６－１４３７０５の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。
　本技術は、入力情報をニューラルネットワークモデルの入力層に入力して出力層から出力情報を得るニューラルネットワーク装置及びプログラム、ニューラルネットワーク装置を備えた車両制御システム、及びこのニューラルネットワークを構成するための分解処理装置に関する。
　ニューラルネットワークを利用して入力情報を処理することで、入力情報をクラス分けしたり、入力情報から所定の情報を検出したりすることができる。図１６は、４次元の入力ベクトルを３クラスに分ける（３つのクラスのいずれに属するかを識別する）ニューラルネットワークの例を示す図である。図１６に示すように、識別すべき４次元の入力ベクトル（入力マップともいう。）が入力層ａ０として入力されると、この入力情報は、中間層ａ１～ａ３を経て、３次元の出力層ａ４として出力される。
　入力層ａ０と中間層ａ１との間には、重み行列（フィルタともいう。）Ｗ１とバイアスベクトルｂ１が定義されており、中間層ａ１は、下式（１）によって求められる。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ｆ（・）は、活性化関数であり、例えば以下の関数（ＲｅＬＵ）が用いられる。
Figure JPOXMLDOC01-appb-M000002
 　以下同様にして、中間層ａ２、ａ３が、下式（２）、（３）によって求められ、出力層ａ４は、下式（４）によって求められる。
Figure JPOXMLDOC01-appb-M000003
　このように、ニューラルネットワークの各層では、下記のように、前層からの入力ベクトルをｘ（ＤＩ次元）とし、重み行列Ｗ（ＤＩ行ＤＯ列）とし、及びバイアスｂ（ＤＯ次元）とすると、次層への出力ベクトル（活性化関数を適用する前）ｙ（ＤＯ次元）が下式（５）で表現される。
Figure JPOXMLDOC01-appb-M000004
　上記のようなニューラルネットワークでは、層数を多くする（深層にする）と、情報処理の精度が向上することが知られている。しかしながら、層数を多くすると、処理コストも大きくなる。具体的には、式（５）の演算において必要なメモリ容量が大きくなり、処理時間も長くなる。
　例えば、全結合層（Fully Connected Layer、以下「ＦＣ層」ともいう。）においては、重み行列Ｗが単精度実数（３２ビット）の場合には、３２ＤＩＤＯビットのメモリを消費することになる。また、各層ではＤＩＤＯ回の単精度実数の積和演算が必要であり、特にこの計算に処理時間を要することになる。なお、ＦＣ層は、通常はニューラルネットワークの最後に配置されるが、畳み込み層（Convolutional Layer、以下「ＣＯＮＶ層」ともいう。）においても入力マップをスライディングウィンドウにより適切に切り出し、並べ替えることで、ＣＯＮＶ層をＦＣ層とみなすことができる。
　本技術は、上記の問題点に鑑みてなされたものであり、ニューラルネットワーク装置においてメモリ消費量及び演算量を小さくすることを目的とする。
　一態様のニューラルネットワーク装置は、ニューラルネットワークモデルを記憶する記憶部（２４）と、入力情報を前記ニューラルネットワークモデルの入力層に入力して出力層を出力する演算部（２２）とを備え、前記ニューラルネットワークモデルの少なくとも１つの層の重み行列（Ｗ）が整数の行列である重み基底行列（Ｍｗ）と実数の行列である重み係数行列（Ｃｗ）との積（ＭｗＣｗ）で構成されている。
　一態様のニューラルネットワーク装置は、ニューラルネットワークモデルを用いて認識を行うニューラルネットワーク装置であって、前記ニューラルネットワークモデルの少なくとも１つの層の演算として論理演算を行う構成を有している。
　一態様のニューラルネットワーク装置は、ニューラルネットワークモデルを用いて認識を行うニューラルネットワーク装置であって、前記ニューラルネットワークモデルの少なくとも１つの層の演算に用いる二値又は三値の行列を記憶している構成を有している。
　一態様の車両制御システムは、上記のニューラルネットワーク装置（２０）と、前記入力情報を取得する車載センサ（３０）と、前記出力に基づいて車両を制御する車両制御装置（４０）とを備えた構成を有している。
　一態様の分解処理装置は、ニューラルネットワークモデルを取得する取得部（１１）と、前記ニューラルネットワークモデルの少なくとも１つの層の重み行列を整数の行列である重み基底行列（Ｍｗ）と実数の行列である重み係数行列（Ｃｗ）との積（ＭｗＣｗ）に分解する重み分解部（１２）と、前記重み基底行列（Ｍｗ）と前記重み係数行列（Ｃｗ）を出力する出力部（１４）とを備えた構成を有している。
　一態様のプログラムは、コンピュータを、入力情報をニューラルネットワークモデルの入力層に入力して出力層から出力情報を得るニューラルネットワーク装置として機能させるプログラムであって、前記コンピュータの記憶部（２４）には、前記ニューラルネットワークモデルの少なくとも１つの全結合層の重み行列（Ｗ）を分解して得られた整数の重み基底行列（Ｍｗ）及び実数の重み係数行列（Ｃｗ）と、入力ベクトル（ｘ）を整数の入力基底行列（Ｍｘ）と実数の入力係数ベクトル（ｃｘ）との積と入力バイアス（ｂｘ）との和に分解するための、学習によって得られた前記入力係数ベクトル（ｃｘ）及び前記入力バイアス（ｂｘ）のうちの前記入力係数ベクトル（ｃｘ）と、前記学習によって得られた前記入力係数ベクトル（ｃｘ）及び前記入力バイアス（ｂｘ）に基づいて得られた、前記入力ベクトルの各要素の値（ｘｊ）と、それに対する入力基底行列の値（ｍｘ （ｊ））との関係を規定したルックアップテーブル（ＬＵＴ）とが記憶され、前記プログラムは、前記コンピュータを、前記ニューラルネットワークモデルの少なくとも１つの全結合層において、前層の出力ベクトルを入力ベクトル（ｘ）として、前記記憶部（２４）から読み出した前記重み基底行列（Ｍｗ）、前記実数の重み係数行列（Ｃｗ）、及び前記入力係数ベクトル（ｃｘ）と、前記記憶部（２４）から読み出した前記ルックアップテーブル（ＬＵＴ）を参照して得られた前記入力ベクトル（ｘ）に対応する前記入力基底行列（Ｍｘ）とを用いて、前記入力ベクトル（ｘ）と前記重み行列（Ｗ）との積を求める演算部として機能させる。
　一態様のプログラムは、コンピュータを、入力情報をニューラルネットワークモデルの入力層に入力して出力層から出力情報を得るニューラルネットワーク装置として機能させるプログラムであって、前記コンピュータの記憶部（２４）には、前記ニューラルネットワークモデルの少なくとも１つの全結合層の重み行列（Ｗ）を分解して得られた整数の重み基底行列（Ｍｗ）及び実数の重み係数行列（Ｃｗ）と、入力ベクトル（ｘ）を整数の入力基底行列（Ｍｘ）と実数の入力係数ベクトル（ｃｘ）との積と入力バイアス（ｂｘ）との和に分解するための、学習によって得られた前記入力係数ベクトル（ｃｘ）及び前記入力バイアス（ｂｘ）のうちの前記入力係数ベクトル（ｃｘ）と、前記学習によって得られた前記入力係数ベクトル（ｃｘ）及び前記入力バイアス（ｂｘ）に基づいて得られた、前記入力ベクトルの各要素（ｘｊ）についての、前記入力ベクトルの各要素（ｘｊ）に対応する前記入力基底行列の行のすべての組み合わせ（β）と、それによって得られる前記入力ベクトルの各要素（ｘｊ）の近似値の候補（ｐ）を大きさ順に並べたときの中点（ｍｐｉ）とが記憶され、前記プログラムは、前記コンピュータを、前記ニューラルネットワークモデルの少なくとも１つの全結合層において、前層の出力ベクトルを入力ベクトル（ｘ）として、前記記憶部（２４）から読み出した前記重み基底行列（Ｍｗ）、前記実数の重み係数行列（Ｃｗ）、及び前記入力係数ベクトル（ｃｘ）と、前記入力基底行列の行のすべての組み合わせ（β）と前記中点（ｍｐｉ）とを用いて、前記入力ベクトルと前記重み行列との積を求める演算部（２２）として機能させる。
　一態様のニューラルネットワーク装置は、ニューラルネットワークモデルを記憶する記憶部（２４）と、入力情報を前記ニューラルネットワークモデルの入力層に入力して出力層を出力する演算部（２２）とを備え、前記演算部（２２）は、前記ニューラルネットワークモデルの少なくとも１つの層において、前層の出力ベクトルを入力ベクトル（ｘ）として、前記入力ベクトル（ｘ）を整数の行列である入力基底行列（Ｍｘ）と実数のベクトルである入力係数ベクトル（ｃｘ）との積（Ｍｘｃｘ）と入力バイアス（ｂｘ）との和に分解して（ｘ＝Ｍｘｃｘ＋ｂｘ１）、分解された前記入力ベクトル（Ｍｘｃｘ＋ｂｘ１）と重み行列（Ｗ）との積を求める構成を有している（ＷＴｘ＝Ｗ（Ｍｘｃｘ＋ｂｘ１））。
　以下に説明するように、本技術には他の態様が存在する。したがって、この技術の開示は、本技術の一部の提供を意図しており、ここで記述され請求されている発明の範囲を制限することは意図していない。
図１は、実施の形態の整数分解された入力ベクトルと重み行列との積の計算を説明する図である。 図２は、実施の形態の分解処理装置の構成を示す図である。 図３は、実施の形態の重み行列を基底行列と係数行列に分解する処理を説明する図である。 図４は、実施の形態の分割手法において実施されるアルゴリズムのフロー図である。 図５は、実施の形態の重み行列を基底行列と係数行列に分解する処理の変形例を説明する図である。 図６は、実施の形態の入力ベクトルを基底行列と係数ベクトルとの積とバイアスとに分解する処理の変形例を説明する図である。 図７は、実施の形態の入力ベクトルの基底行列の全探索による更新を説明する図である。 図８は、実施の形態の入力ベクトルの基底行列の最適化を説明する図である。 図９は、実施の形態の入力ベクトルの基底行列の最適化を説明する図である。 図１０は、実施の形態の入力ベクトルの基底行列の最適化を説明する図である。 図１１は、実施の形態のニューラルネットワーク装置の構成を示す図である。 図１２は、実施の形態のニューラルネットワークモデルのＦＣ層における演算部の処理を説明する図である。 図１３は、実施の形態のＣＯＮＶ層の入力マップと出力マップとの関係を示す図である。 図１４は、実施の形態のＣＯＮＶ層の入力マップと出力マップとの関係を示す図である。 図１５は、実施の形態のＣＯＮＶ層の重み行列の分解を示す図である。 図１６は、４次元の入力ベクトルを３クラスに識別するニューラルネットワークの例を示す図である。 図１７は、実施の形態の変形例における入力ベクトルの基底行列の最適化を説明する図である。 図１８は、実施の形態の変形例における入力ベクトルの基底行列の最適化を説明する図である。 図１９は、実施の形態の変形例におけるプロトタイプ及び中点をプロットした数直線を示す図である。 図２０は、実施の形態の変形例におけるプロトタイプ及び中点をプロットした数直線を示す図である。 図２１は、実施の形態の変形例におけるβのアサインを説明する図である。 図２２は、実施の形態の変形例におけるニューラルネットワーク装置の構成を示す図である。 図２３は、実施の形態の変形例における二分木探索を説明する図である。 図２４は、実施の形態の変形例における二分木探索を説明する図である。 図２５は、実施の形態の変形例における二分木探索を説明する図である。 図２６は、実施の形態の変形例における二分木探索を説明する図である。 図２７は、実施の形態の変形例における二分木を説明する図である。 図２８は、実施の形態における車両制御システムの構成を示す図である。
　以下、図面を参照して実施の形態を説明する。なお、以下に説明する実施の形態は、本技術を実施する場合の一例を示すものであって、本技術を以下に説明する具体的構成に限定するものではない。本技術の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
　一態様のニューラルネットワーク装置は、ニューラルネットワークモデルを記憶する記憶部（２４）と、入力情報を前記ニューラルネットワークモデルの入力層に入力して出力層を出力する演算部（２２）とを備え、前記ニューラルネットワークモデルの少なくとも１つの層の重み行列（Ｗ）が整数の行列である重み基底行列（Ｍｗ）と実数の行列である重み係数行列（Ｃｗ）との積（ＭｗＣｗ）で構成されている。
　この構成により、ニューラルネットワークにおける全結合層の重み行列（Ｗ）が整数の重み基底行列（Ｍｗ）と実数の重み係数行列（Ｃｗ）との積（ＭｗＣｗ）で構成されるので、当該層の演算において、メモリの消費量を小さくくできる。
　上記のニューラルネットワーク装置において、前記演算部（２２）は、前記少なくとも１つの層において、前層の出力ベクトルを入力ベクトル（ｘ）として、前記入力ベクトル（ｘ）を整数の行列である入力基底行列（Ｍｘ）と実数のベクトルである入力係数ベクトル（ｃｘ）との積（ＭｗＣｗ）と入力バイアス（ｂｘ）との和に分解して（ｘ＝Ｍｘｃｘ＋ｂｘ１）、前記入力ベクトル（ｘ）と前記重み行列（Ｗ）との積を求めてよい（ＷＴｘ＝（ＭｗＣｗ）Ｔ（Ｍｘｃｘ＋ｂｘ１））。
　この構成により、入力ベクトル（ｘ）と前記重み行列（Ｗ）との積を求める演算において、入力基底行列（Ｍｘ）と重み基底行列（Ｍｗ）との積演算を整数行列どうしの積演算とできるので、メモリの消費量を小さくし、演算量を小さくできる。
　上記のニューラルネットワーク装置において、前記重み基底行列（Ｍｗ）は二値行列であってよく、前記入力基底行列（Ｍｘ）は二値行列であってよく、前記演算部（２２）は、前記重み基底行列（Ｍｗ）と前記入力基底行列（Ｍｘ）との積演算（ＭｗＭｘ）を論理演算とビットカウントで行ってよい。
　この構成により、入力ベクトル（ｘ）と前記重み行列（Ｗ）との積を求める演算における入力基底行列（Ｍｘ）と重み基底行列（Ｍｗ）との積演算を二値行列どうしの積演算とすることができ、論理演算とビットカウントで実行できるので、入力ベクトル（ｘ）と前記重み行列（Ｗ）との積を求める演算を高速化できる。
　上記のニューラルネットワーク装置において、前記重み基底行列（Ｍｗ）は三値行列であってよく、前記入力基底行列（Ｍｘ）は二値行列であってよく、前記演算部（２２）は、前記重み基底行列（Ｍｗ）と前記入力基底行列（Ｍｘ）との積演算（ＭｗＭｘ）を論理演算とビットカウントで行ってよい。
　この構成により、入力ベクトル（ｘ）と前記重み行列（Ｗ）との積を求める演算における入力基底行列（Ｍｘ）と重み基底行列（Ｍｗ）との積演算を二値行列と三値行列との積演算とすることができ、論理演算とビットカウントで実行できるので、入力ベクトル（ｘ）と前記重み行列（Ｗ）との積を求める演算を高速化できる。
　上記のニューラルネットワーク装置において、前記演算部（２２）は、前記入力ベクトル（ｘ）に対して、前記入力基底行列（Ｍｘ）を最適化することで、前記入力ベクトル（ｘ）を分解してよい。
　この構成により、全結合層に対する入力ベクトル（ｘ）が得られるたびに入力係数ベクトル（ｃｘ）と入力バイアス（ｂｘ）を求める必要はなく、全結合層の演算量を小さくできる。
　上記のニューラルネットワーク装置において、前記演算部（２２）は、前記入力ベクトル（ｘ）の各要素（ｘｊ）について、前記入力ベクトルの各要素に対応する前記入力基底行列の行のすべての組み合わせ（β）と前記学習された前記入力係数ベクトル（ｃｘ）との積と学習された前記入力バイアス（ｂｘ）との和（βｃｘ＋ｂｘ）の中から最も近い候補を選ぶことで前記入力基底行列（Ｍｘ）を最適化してよい。
　この構成により、一次元の最近傍探索によって入力基底行列（Ｍｘ）を最適化できる。
　上記のニューラルネットワーク装置において、前記記憶部（２４）は、前記入力ベクトルの各要素（ｘｊ）の値と、それに対する前記最も近い候補における入力基底行列の値（ｍｘ （ｊ））との関係を規定したルックアップテーブル（ＬＵＴ）を記憶していてよく、前記演算部（２２）は、前記ルックアップテーブル（ＬＵＴ）を参照することで、前記入力ベクトル（ｘ）に対して前記入力基底行列（Ｍｘ）を最適化してよい。
　この構成により、入力ベクトル（ｘ）に対する入力基底行列（Ｍｘ）の最適化を高速化できる。
　上記のニューラルネットワーク装置において、前記記憶部（２４）は、前記入力ベクトルの各要素（ｘｉ）について、前記入力ベクトルの各要素（ｘｉ）に対応する前記入力基底行列の行（β）のすべての組み合わせと、それによって得られる前記入力ベクトルの各要素の近似値の候補（ｐ）を大きさ順に並べたときの中点（ｍｐｉ）を記憶していてよく、前記演算部（２２）は、前記入力ベクトルの各要素（ｘｉ）について、前記中点（ｍｐｉ）を用いた二分木探索法によって前記入力ベクトルの各要素（ｘｉ）に対応する前記入力基底行列の行（ｍｘ （ｊ））を決定することで前記入力基底行列（Ｍｘ）を最適化してよい。
　この構成により、入力ベクトル（ｘ）に対する入力基底行列（Ｍｘ）の最適化を高速化できるとともに、演算部（２２）の演算に必要なメモリの容量を小さくできる。
　上記のニューラルネットワーク装置において、前記ニューラルネットワークモデルは、畳込みニューラルネットワークモデルであってよく、畳込みニューラルネットワークモデルは、畳込み層の複数のフィルタをまとめることで前記重み行列（Ｗ）とし、前記畳込み層を全結合層とみなして、当該重み行列（Ｗ）を整数の重み基底行列（Ｍｗ）と実数の重み係数行列（Ｃｗ）との積で構成していてよく、前記演算部（２２）は、全結合層とみなされた前記畳込み層で、分解された前記入力ベクトル（ｘ）と分解された前記重み行列（Ｗ）との積を求めてよい。
　この構成により、畳込みニューラルネットワークモデルの畳込み層の演算において、メモリ消費量を小さくし、演算量を小さくできる。
　一態様のニューラルネットワーク装置は、ニューラルネットワークモデルを用いて認識を行うニューラルネットワーク装置であって、前記ニューラルネットワークモデルの少なくとも１つの層の演算として論理演算を行う構成を有している。
　この構成により、論理演算によって高速にニューラルネットワークモデルの演算を行うことができる。
　一態様のニューラルネットワーク装置は、ニューラルネットワークモデルを用いて認識を行うニューラルネットワーク装置であって、前記ニューラルネットワークモデルの少なくとも１つの層の演算に用いる二値又は三値の行列を記憶している構成を有している。
　この構成により、二値又は三値の行列によって高速にニューラルネットワークモデルの演算を行うことができる。
　一態様の車両制御システムは、上記のニューラルネットワーク装置（２０）と、前記入力情報を取得する車載センサ（３０）と、前記出力に基づいて車両を制御する車両制御装置（４０）とを備えた構成を有している。
　この構成により、ニューラルネットワークモデルによる認識に基づいて車両を制御できる。
　一態様の分解処理装置は、ニューラルネットワークモデルを取得する取得部（１１）と、前記ニューラルネットワークモデルの少なくとも１つの層の重み行列を整数の行列である重み基底行列（Ｍｗ）と実数の行列である重み係数行列（Ｃｗ）との積（ＭｗＣｗ）に分解する重み分解部（１２）と、前記重み基底行列（Ｍｗ）と前記重み係数行列（Ｃｗ）を出力する出力部（１４）とを備えた構成を有している。
　この構成により、上記のニューラルネットワーク装置を構成するための重み基底行列（Ｍｗ）と重み係数行列（Ｃｗ）を得ることができる。
　上記の分解処理装置は、入力ベクトル（ｘ）を整数の行列である入力基底行列（Ｍｘ）と実数のベクトルである入力係数ベクトル（ｃｘ）との積と入力バイアス（ｂｘ）との和に分解する（ｘ＝Ｍｘｃｘ＋ｂｘ１）ための前記入力係数ベクトル（ｃｘ）と前記入力バイアス（ｂｘ）を学習する入力事前分解部（１３）をさらに備えていてよく、前記出力部（１４）は、前記学習により得られた前記入力係数ベクトル（ｃｘ）を出力してよい。
　この構成により、入力ベクトル（ｘ）を分解するための係数ベクトル（ｃｘ）と入力バイアス（ｂｘ）を学習により事前に取得しておくことができる。
　上記の分解処理装置において、前記入力事前分解部（１３）は、前記入力ベクトル（ｘ）に対して前記入力基底行列（Ｍｘ）を最適化するためのルックアップテーブル（ＬＵＴ）を生成してよく、前記出力部（１４）は、前記ルックアップテーブル（ＬＵＴ）を出力してよい。
　この構成により、入力ベクトル（ｘ）を高速に分解するためのルックアップテーブル（ＬＵＴ）を事前に取得しておくことができる。
　一態様のプログラムは、コンピュータを、入力情報をニューラルネットワークモデルの入力層に入力して出力層から出力情報を得るニューラルネットワーク装置として機能させるプログラムであって、前記コンピュータの記憶部（２４）には、前記ニューラルネットワークモデルの少なくとも１つの全結合層の重み行列（Ｗ）を分解して得られた整数の重み基底行列（Ｍｗ）及び実数の重み係数行列（Ｃｗ）と、入力ベクトル（ｘ）を整数の入力基底行列（Ｍｘ）と実数の入力係数ベクトル（ｃｘ）との積と入力バイアス（ｂｘ）との和に分解するための、学習によって得られた前記入力係数ベクトル（ｃｘ）及び前記入力バイアス（ｂｘ）のうちの前記入力係数ベクトル（ｃｘ）と、前記学習によって得られた前記入力係数ベクトル（ｃｘ）及び前記入力バイアス（ｂｘ）に基づいて得られた、前記入力ベクトルの各要素の値（ｘｊ）と、それに対する入力基底行列の値（ｍｘ （ｊ））との関係を規定したルックアップテーブル（ＬＵＴ）とが記憶され、前記プログラムは、前記コンピュータを、前記ニューラルネットワークモデルの少なくとも１つの全結合層において、前層の出力ベクトルを入力ベクトル（ｘ）として、前記記憶部（２４）から読み出した前記重み基底行列（Ｍｗ）、前記実数の重み係数行列（Ｃｗ）、及び前記入力係数ベクトル（ｃｘ）と、前記記憶部（２４）から読み出した前記ルックアップテーブル（ＬＵＴ）を参照して得られた前記入力ベクトル（ｘ）に対応する前記入力基底行列（Ｍｘ）とを用いて、前記入力ベクトル（ｘ）と前記重み行列（Ｗ）との積を求める演算部として機能させる。
　この構成により、ニューラルネットワークにおける全結合層の重み行列（Ｗ）が整数の重み基底行列（Ｍｗ）と実数の重み係数行列（Ｃｗ）との積（ＭｗＣｗ）で構成され、入力ベクトル（ｘ）と前記重み行列（Ｗ）との積を求める演算において、入力基底行列（Ｍｘ）と重み基底行列（Ｍｗ）との積演算を整数行列どうしの積演算とできるので、メモリの消費量を小さくし、演算量を小さくでき、ルックアップテーブルを参照して入力ベクトル（ｘ）に対する入力基底行列（Ｍｘ）の最適化するので、入力ベクトル（ｘ）と前記重み行列（Ｗ）との積を求める演算を高速化できる。
　一態様のプログラムは、コンピュータを、入力情報をニューラルネットワークモデルの入力層に入力して出力層から出力情報を得るニューラルネットワーク装置として機能させるプログラムであって、前記コンピュータの記憶部（２４）には、前記ニューラルネットワークモデルの少なくとも１つの全結合層の重み行列（Ｗ）を分解して得られた整数の重み基底行列（Ｍｗ）及び実数の重み係数行列（Ｃｗ）と、入力ベクトル（ｘ）を整数の入力基底行列（Ｍｘ）と実数の入力係数ベクトル（ｃｘ）との積と入力バイアス（ｂｘ）との和に分解するための、学習によって得られた前記入力係数ベクトル（ｃｘ）及び前記入力バイアス（ｂｘ）のうちの前記入力係数ベクトル（ｃｘ）と、前記学習によって得られた前記入力係数ベクトル（ｃｘ）及び前記入力バイアス（ｂｘ）に基づいて得られた、前記入力ベクトルの各要素（ｘｊ）についての、前記入力ベクトルの各要素（ｘｊ）に対応する前記入力基底行列の行のすべての組み合わせ（β）と、それによって得られる前記入力ベクトルの各要素（ｘｊ）の近似値の候補（ｐ）を大きさ順に並べたときの中点（ｍｐｉ）とが記憶され、前記プログラムは、前記コンピュータを、前記ニューラルネットワークモデルの少なくとも１つの全結合層において、前層の出力ベクトルを入力ベクトル（ｘ）として、前記記憶部（２４）から読み出した前記重み基底行列（Ｍｗ）、前記実数の重み係数行列（Ｃｗ）、及び前記入力係数ベクトル（ｃｘ）と、前記入力基底行列の行のすべての組み合わせ（β）と前記中点（ｍｐｉ）とを用いて、前記入力ベクトルと前記重み行列との積を求める演算部（２２）として機能させる。
　この構成により、入力ベクトル（ｘ）に対する入力基底行列（Ｍｘ）の最適化を高速化できるとともに、演算部（２２）の演算に必要なメモリの容量を小さくできる。
　一態様のニューラルネットワーク装置は、ニューラルネットワークモデルを記憶する記憶部（２４）と、入力情報を前記ニューラルネットワークモデルの入力層に入力して出力層を出力する演算部（２２）とを備え、前記演算部（２２）は、前記ニューラルネットワークモデルの少なくとも１つの層において、前層の出力ベクトルを入力ベクトル（ｘ）として、前記入力ベクトル（ｘ）を整数の行列である入力基底行列（Ｍｘ）と実数のベクトルである入力係数ベクトル（ｃｘ）との積（Ｍｘｃｘ）と入力バイアス（ｂｘ）との和に分解して（ｘ＝Ｍｘｃｘ＋ｂｘ１）、分解された前記入力ベクトル（Ｍｘｃｘ＋ｂｘ１）と前記重み行列（Ｗ）との積を求める構成を有している（ＷＴｘ＝Ｗ（Ｍｘｃｘ＋ｂｘ１））。
　重み行列（Ｗ）が二値又は三値の要素で構成されている場合には、この構成により、入力ベクトル（ｘ）と重み行列（Ｗ）との積を求める演算において、入力基底行列（Ｍｘ）と重み行列（Ｗ）との積演算を整数行列と二値又は三値の行列との積演算とできるので、演算量を小さくできる。
　以下、図面を参照して実施の形態を説明する。本実施の形態では、省メモリ・高速化されたニューラルネットワークモデルを構成するための分解処理装置１０と、ニューラルネットワークモデルを利用して入力情報から出力情報を得るニューラルネットワーク装置２０を説明するが、まず、本実施の形態における基本的な考え方について説明する。上記のように、ニューラルネットワークのＦＣ層では、重み行列（フィルタ）Ｗと入力ベクトル（入力マップ）ｘとの積ＷＴｘを計算する工程が含まれる。この重み行列Ｗを整数の基底行列と実数の係数行列とに分解（整数分解）し、入力ベクトルｘを整数の基底行列と実数の係数ベクトルに分解（整数分解）することで、メモリ消費量を削減できるとともに、演算量を少なくして処理時間を短縮できる。
　図１は、本実施の形態の整数分解された積ＷＴｘの計算を説明する図である。なお、図１ではバイアスｂは省略している。また、基底数ｋｗは、重み行列Ｗの大きさに応じて決定されるが、およそ重み行列Ｗの１／８～１／４程度（数十～数百程度）であり、基底数ｋｘは、例えば２～４程度とすることができる。これをバイアスｂを含めて式で表現すると、下式（６）のように表現される。
Figure JPOXMLDOC01-appb-M000005
　重み行列Ｗを分解して得られた基底行列Ｍｗ Ｔは二値又は三値の行列であり、入力ベクトルｘを分解して得られた基底行列Ｍｘは二値の行列である。なお、基底行列Ｍｘは、後述の例のように三値の行列であってもよい。式（６）の右辺第１項のＭｗ ＴＭｘは、二値又は三値の行列と二値又は三値の行列との積であり、これは、論理演算（ＡＮＤ、ＸＯＲ）とビットカウントで計算可能である。また、右辺第２項と第３項との和は、後述するように事前に計算可能である。よって、図１及び式（６）の分解によって、大半の演算を論理演算に帰着可能である。
　図２は、本実施の形態の深層ニューラルネットワークを構成するための分解処理装置の構成を示す図である。図２に示すように、分解処理装置１０は、データ取得部１１と、重み分解部１２と、入力事前分解部１３と、分解結果出力部１４とを備えている。データ取得部１１は、本実施の形態のニューラルネットワークモデルの構成情報（各層の重み（フィルタ）Ｗ、バイアスｂを含む）、及び学習用の入力ベクトルを取得する。
　重み分解部１２は、重み行列Ｗを実数の係数行列Ｃｗと二値又は三値の基底行列Ｍｗとの積に分解する。入力事前分解部１３は、入力ベクトルｘを二値又は三値の基底行列Ｍｘと実数の係数ベクトルｃｘとの積とバイアスｂｘとの和に分解するための係数ベクトルｃｘとの積とバイアスｂｘを学習によって求め、入力ベクトルｘから基底行列Ｍｘを求めるためのルックアップテーブルＬＵＴを生成する。分解結果出力部１４は、重み分解部１２で得られた係数行列Ｃｗと二値又は三値の基底行列Ｍｗとの積及び入力事前分解部１３で得られたルックアップテーブルＬＵＴを用いて、ニューラルネットワークモデルを再構成して、後述するニューラルネットワーク装置２０に出力する。以下、各機能について詳細に説明する。
（重み行列の分解）
　重み分解部１２は、重み行列Ｗを実数の係数行列Ｃｗと整数の基底行列Ｍｗとの積に分解する。図３は、重み行列Ｗを基底数ｋｗの基底行列Ｍｗと係数行列Ｃｗに分解する処理を説明する図である。本実施の形態では、重み分解部１２は、重み行列Ｗを二値又は三値の基底行列Ｍｗと実数の係数行列Ｃｗに分解する。以下、本実施の形態の重み分解部１２において、二値又は三値の基底行列Ｍｗと実数の係数行列Ｃｗに分解する手法として、第１ないし第４の手法を説明する。
（第１の分解手法）
　第１の分解手法として、データ非依存型の分解手法を説明する。第１の分解手法では、重み分解部１２は、分解誤差を表す下式のコスト関数ｇ１を解くことで分解を行う。
Figure JPOXMLDOC01-appb-M000006
 　ここで、基底行列Ｍｗは二値行列であり、Ｍ∈｛－１，１｝Ｄ0×ｋｗである。
　具体的には、重み分解部１２は、以下の手順で上記のコスト関数ｇ１を解く。
（１）基底行列Ｍｗ及び係数行列Ｃｗをランダムに初期化する。
（２）基底行列Ｍｗの要素を固定して、係数行列Ｃｗの要素を最小二乗法により最適化することで、コスト関数ｇ１が最小になるように係数行列Ｃｗの要素を更新する。
（３）係数行列Ｃｗの要素を固定して、コスト関数ｇ１が最小になるように全探索で基底行列Ｍｗの要素を更新する。
（４）収束するまで（２）及び（３）を繰り返す。例えば、コスト関数ｇ１が所定の収束条件（例えば、減少量が一定値以下となる）を満たしたときに、収束したと判定する。
（５）ステップ（１）～ステップ（４）により得た解を候補として保持する。
（６）ステップ（１）～ステップ（５）を繰り返し、最もコスト関数ｇ１を小さくできた候補基底行列Ｍｗ及び候補係数行列Ｃｗを最終結果として採用する。なお、このステップ（１）～ステップ（５）の繰り返しはなくてもよいが、複数回繰り返すことで、初期値依存の問題を回避できる。
　次に、ステップ（３）における基底行列Ｍｗの更新処理を説明する。基底行列Ｍｗのｊ行目の行ベクトルの要素は、重み行列Ｗのｊ行目の要素のみに依存する。よって、基底行列Ｍｗの各行ベクトルの値は、他の行とは独立して最適化することができるので、基底行列Ｍｗは、行ごとに網羅探索（全探索）を行うことができる。基底行列Ｍｗのｊ行目の行ベクトルは、本実施の形態のように二値分解の場合は２ｋｗ通りしか存在しない（なお、三値分解の場合にも３ｋｗ通りしか存在しない）。よって、これらをすべて網羅的にチェックし、コスト関数ｇ１を最小化する行ベクトルを採用する。これを基底行列Ｍのすべての行ベクトルに対して適用して、基底行列Ｍの要素を更新する。
（第２の分解手法）
　第２の分解手法として、係数行列Ｃｗを疎にするデータ非依存型の分解手法を説明する。第２の分解手法では、重み分解部１２は、分解誤差である下式のコスト関数ｇ２を解くことで分解を行う。
Figure JPOXMLDOC01-appb-M000007
 　ここで、基底行列Ｍは二値行列であり、Ｍ∈｛－１，１｝Ｄ0×ｋである。また、｜Ｃｗ｜１は、係数行列Ｃｗの要素のＬ１ノルムであり、λはその係数である。
　重み分解部１２は、以下の手順で上記のコスト関数ｇ２を解く。
（１）基底行列Ｍｗ及び係数行列Ｃｗをランダムに初期化する。
（２）基底行列Ｍｗの要素を固定して、係数行列Ｃｗの要素を近接勾配法で最適化する。
（３）係数行列Ｃｗの要素を固定して、コスト関数ｇ２が最小になるように全探索で基底行列Ｍの要素を更新する。
（４）収束するまで（２）及び（３）を繰り返す。例えば、コスト関数ｇ２が所定の収束条件（例えば、減少量が一定値以下となる）を満たしたときに、収束したと判定する。
（５）ステップ（１）～ステップ（４）により得た解を候補として保持する。
（６）ステップ（１）～ステップ（５）を繰り返し、最もコスト関数ｇ２を小さくできた候補基底行列Ｍｗ及び候補係数行列Ｃｗを最終結果として採用する。なお、このステップ（１）～ステップ（５）の繰り返しはなくてもよいが、複数回繰り返すことで、初期値依存の問題を回避できる。
　第２の分解手法によれば、係数行列Ｃｗを疎にすることができる。係数行列Ｃｗを疎にすることで、式（６）の積Ｃｗ ＴＭｗ ＴＭｘの計算において、係数行列Ｃｗのゼロ要素にかかわる部分を省略することができ、さらに高速に内積計算を行うことができる。
（第３の分解手法）
　次に、第３の分解手法を説明する。第１の分解手法では、コスト関数ｇ１として、分解誤差
Figure JPOXMLDOC01-appb-M000008
 を定義し、この分解誤差を最小化することを考えた。しかしながら、重み行列Ｗを基底行列Ｍｗと係数行列Ｃｗとの積に近似した後に実際に近似をしたいのは、入力ベクトルｘと重み行列Ｗの積ＷＴｘである。
　そこで、第３の分解手法では、サンプル入力ベクトルｘをあらかじめＳ個集め、これをまとめたものをＸ∈ＲＤ0×Ｓとする。そして、分解誤差を
Figure JPOXMLDOC01-appb-M000009
 と定義して、これを最小化する。即ち、第３の分解手法では、重み分解部１２は、下式のコスト関数ｇ３を解くことで分解を行う。
Figure JPOXMLDOC01-appb-M000010
 　このコスト関数ｇ３によれば、重み行列Ｗは、実際のデータの分布に従って分解されることになるため、分解の際の近似精度が向上する。
　この近似分解は、基底行列Ｍｗを構成する基底ベクトルｍｗ （ｊ）を逐次的に求めることで行うことができる。第３の分解手法の手順は以下のとおりである。
（１）第１又は第２の分解手法によって、基底行列Ｍｗ及び係数行列Ｃｗを求めて、これをそれらの初期値とする。
（２）基底行列Ｍｗの要素を固定して、係数行列Ｃｗの要素を最小二乗法で最適化する。
（３）係数行列Ｃｗの要素を固定して、基底行列Ｍｗの要素を最適化することで、基底行列Ｍｗの要素を更新する。この基底行列Ｍｗの更新処理については後述する。
（４）収束するまで（２）及び（３）を繰り返し、コスト関数ｇ３を最小化した基底行列Ｍｗ及び係数行列Ｃｗを候補として保持する。
（５）ステップ（１）～（６）を繰り返し、コスト関数ｇ３を最小化した基底行列Ｍｗ及び係数行列Ｃｗを最終結果として採用する。なお、ステップ（１）では再度第１又は第２の分解手法による基底行列Ｍｗ及び係数行列Ｃｗの最適化が行われるので、初期値が変更される。また、ステップ（５）の繰り返しはなくてもよいが、複数回繰り返すことで、初期値依存の問題を軽減できる。
　次に、ステップ（３）における基底行列Ｍｗの更新処理を説明する。データ依存分解の場合、基底行列Ｍｗの行ベクトルの値は、もはや他の行と独立せず、依存してしまう。基底行列Ｍｗの要素は、二値又は三値、即ち離散値であるため、基底行列Ｍｗの最適化は、組合最適化問題となる。よって、基底行列Ｍｗの最適化には、例えば、グリーディアルゴリズム（Ｇｒｅｅｄｙ　ａｌｇｏｒｉｔｈｍ）、タブ－サーチ（Ｔａｂｕ　ｓｅａｒｃｈ）、シミュレイテッドアニーリング（Ｓｉｍｕｌａｔｅｄ　ａｎｎｅａｌｉｎｇ）等のアルゴリズムを用いることができる。ステップ（１）でよい初期値が得られているので、これらのアルゴリズムでも良好に分解誤差を最小化できる。
　例えばグリーディアルゴリズムを用いる場合は、以下の手順で基底行列Ｍｗを最適化する。
（３－１）基底行列Ｍｗの要素のうち、ランダムにＴ個を選択する。
（３－２）２Ｔ通りの組み合わせ（後述の三値分解の場合は３Ｔ通り）を試し、最もコスト関数ｇ３を最小化したものを採用する。
（３－３）ステップ（３－１）及びステップ（３－２）を収束するまで繰り返す。
（第４の分解手法）
　第４の分解手法は、第２の分解手法と第３の分解手法とを組み合わせたものである。具体的には、下式のコスト関数ｇ４を解くことで分解を行う。
Figure JPOXMLDOC01-appb-M000011
 　このコスト関数ｇ４によれば、重み行列Ｗは、実際のデータの分布に従って分解されることになるため、分解の際の近似精度が向上するとともに、係数行列Ｃｗを疎にすることができる。即ち、第２の分解手法のメリットと第３の分解手法のメリットをいずれも得ることができる。具体的な分解の手順は、第３の分解手法と同様である。
　第２の実施の形態の分解では、重み行列Ｗをまとめて一括して分解していたので、基底数ｋが大きくなると分解が困難になる。そこで、本実施の形態では、以下のアルゴリズムで実数行列を逐次的に分解してもよい。
　図４は、本実施の形態の分割手法において実施されるアルゴリズムのフロー図である。なお、以下の説明において、上記の第１～第４の分解手法で重み行列Ｗをｋｗ個の基底を持つ基底行列Ｍｗと係数行列Ｃｗとに分解する手順を下式のように表記することとする。
Figure JPOXMLDOC01-appb-M000012
　まず、重み分解部１２は、分解すべき重み行列Ｗを取得する（ステップＳ４１）。次に、重み分解部１２は、インデクスｊ（ｊ＝１～Ｎ）を１とし、残差行列Ｒに重み行列Ｗを代入する（ステップＳ４２）。残差行列Ｒは、逐次的な分解によってそれまでに分解された基底行列Ｍｗ （ｊ）と係数行列Ｃｗ （ｊ）との内積の和と重み行列Ｗとの差である。
　次に、重み分解部１２は、残差行列Ｒを第１又は第２の実施の形態の手法によって、基底行列Ｍｗと係数行列Ｃｗに分解する（ステップＳ４３）。このとき、基底数はｋｗｊとする。なお、基底数ｋｗ （ｊ）＝ｋｗ （１）、ｋｗ （２）、・・・、ｋｗ （Ｎ）は、あらかじめ重み分解部１２に記憶されている。Ｍｗ （ｊ）Ｃｗ （ｊ）が得られると、重み分解部１２は、もとの残差行列ＲとＭｗ （ｊ）Ｃｗ （ｊ）との差分を新たな残差行列Ｒとし（ステップＳ４４）、インデクスｊをインクリメントし（ステップＳ４５）、インデクスｊがＮより大きいか、即ち、Ｎ段階の逐次的な分解が終了したかを判断する（ステップＳ４６）。
　インデクスｊがＮ以下である場合には（ステップＳ４６にてＮＯ）、重み分解部１２は、ステップＳ４３に戻って、ステップＳ４４で得られた新たな残差行列Ｒに対して、ステップＳ４５でインクリメントされた新たなｊで再度分解を行う。以上の処理を繰り返して、インデクスｊがＮより大きくなったら（ステップＳ４６でＹＥＳ）、処理を終了する。なお、上記のように、Ｎ段の基底数ｋｗ （ｊ）＝ｋｗ （１）、ｋｗ （２）、・・・、ｋｗ （Ｎ）は、あらかじめ用意されており、それらは同じ数であっても互いに異なる数であってもよい。また、基底数ｋｗは例えば８程度であればよい。
　本実施の形態によれば、分解の基底数ｋｗを増やせば増やすほど、もとの精度に近づけることができる。
　図５は、重み行列Ｗを基底数ｋｗの基底行列Ｍｗと係数行列Ｃｗに分解する処理の変形例を説明する図である。この変形例では、図５に示すように、重み行列Ｗのｊ列目のベクトルを個別に分解して、それらをまとめる。このようにベクトルごとに分解することで、分解にかかる計算コストを抑えることができる。個々のベクトルは、上記の第１～第４の分解手法によって分解すればよい。
　ここで、重み行列Ｗのｊ列目の列ベクトルをｗ（ｊ）と表記し、係数行列Ｃｗのｊ列目の列ベクトルをｃｗ （ｊ）と表記する。本実施の形態では、複数の実数ベクトルｗ（ｊ）を並べてなる重み行列Ｗを、複数の基底行列Ｍｗ （ｉ）と、複数の係数ベクトルｃｗ （ｊ）を図５に示すように斜めに並べてなる行列との積の和に分解したものとみなせる。なお、図５において行列のハッチング部分には０が入る。
（入力ベクトルの分解）
　次に、入力ベクトルｘの分解について説明する。図６は、入力ベクトルｘを基底数ｋｘの基底行列Ｍｘと係数ベクトルｃｘとの積とバイアスｂｘとに分解する処理の変形例を説明する図である。入力ベクトルｘは、図６及び下式（１２）に示すように分解される。
Figure JPOXMLDOC01-appb-M000013
 　なお、バイアス項ｂｘ１を考慮しているのは、ＲｅＬＵの影響によって、入力ベクトル（マップ）は、非負で、かつバイアスが大きくなるからである。このバイアス項はなくてもよいが、要否は前層の出力に依存することになる。
　入力ベクトルｘは、入力情報又は各層において得られるベクトルであるので、本来は、事前に分解をしておくことはできず、後述するニューラルネットワーク装置２０における実行時に分解をしなければならないものである。しかしながら、以下に説明するように、ｃｘ及びｂｘは学習によって事前に決定しておくことができるので、入力事前分解部１３は、ｃｘ及びｂｘを学習によって事前に決定する。これにより、各層において入力ベクトルｘが得られたときに、それに応じてＭｘのみを最適化することで入力ベクトルを分解することができ、処理を高速化できる。本実施の形態では、この入力ベクトルｘに応じたＭｘの最適化も、後述するルックアップテーブルを用いることで高速化する。入力事前分解部１３は、このルックアップテーブルを学習によって事前に決定する処理も行う。以下、順に説明する。
　まず、入力ベクトルｘが得られたときにこれを分解する手法を説明する。この分解では、分解誤差を表す下式のコスト関数Ｊｘを解くことで分解を行う。
Figure JPOXMLDOC01-appb-M000014
　具体的には、以下の手順で上記のコスト関数Ｊｘを解くことができる。
（１）基底行列Ｍｘをランダムに初期化する。
（２）基底行列Ｍｘを固定して、係数ベクトルｃｘの要素及びバイアスｂｘを最小二乗法により最適化することで、コスト関数Ｊｘが最小になるように、係数ベクトルｃｘの要素及び係数ｂｘを更新する。
（３）係数ベクトルｃｘの要素及びバイアスｂｘを固定して、コスト関数Ｊｘが最小になるように全探索で基底行列Ｍｘの要素を更新する。
（４）収束するまで（２）及び（３）を繰り返す。例えば、コスト関数Ｊｘが所定の収束条件（例えば、減少量が一定値以下となる）を満たしたときに、収束したと判定する。
　以下では、基底行列Ｍｘが三値行列である場合を例に説明する。ステップ（３）の全探索において、Ｍｘのｊ行目をｍｘ （ｊ）と記載すると、各行は独立に下式（１４）及び図７の要領で全探索により更新できる。
Figure JPOXMLDOC01-appb-M000015
　各層において、入力ベクトルｘが得られたら上記のコスト関数Ｊｘを解くことでこの入力ベクトルを基底行列Ｍｘと係数ベクトルｃｘに分解できる。しかしながら、実行時にこの分解を各層において行っていたのでは、多大な処理時間を有することになり、例えば車載カメラでの歩行者検知等には実用できない。そこで、本発明者は、以下の点に注目した。
　まず、式（１４）において、ｃｘ及びｂｘはｘの値域を決めているとみることができる。また、Ｍｘは、ｃｘ及びｂｘで定められる値域の中で、どの値に相当するかを指示しているとみることができる。ここで、ｘの値域はどの要素も似たようなものであるため、学習時には分解処理装置１０で予めｃｘ及びｂｘのみを決めておき、後述するニューラルネットワーク装置２０での実行時にはＭｘだけを最適化することができる。このようにすることで、実行時の分解を高速化できる。もちろん、ｃｘ、ｂｘ、Ｍｘの３つをいずれも実行時に最適化する方がよいが、実際には上記のようにＭｘだけを最適化しても、十分に実用的である。
　Ｍｘだけを最適化すればよいのであれば、結局のところは、実行時には式（１４）のみを計算すればよいことになる。ここで、式（１４）は、３ｋｘ通り（Ｍｘが二値行列の場合は２ｋｘ通り）の（βｃｘ＋ｂｘ）の中から最も近い候補を選ぶ一次元の最近傍探索とみることができる。例えば、ｋｘ＝２，ｃｘ＝（１．３，０．４）Ｔ、ｂｘ＝２．４の場合は、３ｋｘ通りの（βｃｘ＋ｂｘ）は、図８に示すようになる。図９は、図８の各（βｃｘ＋ｂｘ）を数直線上に並べた図である。いま、図９に示すように、入力ベクトルｘのある列ｘｊが２．１であるとすると、図９から明らかなように最も近い候補は、ｍｘ （ｊ）＝（０，－１）であり、これが最適値となる。
　図１０は、図９の数直線を等間隔に分割して複数のビンを設定した状態を示す図である。入力事前分解部１３は、図９の数直線を等間隔に分割して設定された複数のビンごとに最適値となるβを規定したルックアップテーブルＬＵＴを作成する。ニューラルネットワーク装置２０では、入力ベクトルｘが得られたときに、それが属するビンを求めてルックアップテーブルＬＵＴを参照することで、非常に高速にｍｘ （ｊ）を求めることができる。
　分解結果出力部１４は、重み分解部１２で重み行列Ｗを分解して得られたＭｗ及びＣｗ、及び入力事前分解部１３で得られた係数ベクトルｃｘ及びバイアスｂｘを用いて、式（６）の右辺の第２項及び第３項の和を計算する。上述のように、ｃｘ、ｂｘ、Ｍｗ、及びＣｗは、いずれも重み分解部１２又は入力事前分解部１３にて得られているので、式（６）の右辺の第２項及び第３項の和を計算することが可能である。
　分解結果出力部１４は、各ＦＣ層について、式（６）の右辺の第１項を計算するためのｃｘ、Ｍｗ、及びＣｗ、式（６）の右辺の第２項と第３項との和、及びＭｘの各行ベクトルｍｘ （ｊ）を求めるためのルックアップテーブルＬＵＴ（ｊ）（ｊ＝１，・・・，ＤＩ）をニューラルネットワーク装置２０に出力する。
　なお、以下では、Ｍｗを「重み基底行列」といい、Ｃｗを「重み係数行列」といい、Ｍｘを「入力基底行列」といい、ｃｘを「入力係数ベクトル」といい、ｂｘを「入力バイアス」という。
　図１１は、ニューラルネットワーク装置２０の構成を示す図である。ニューラルネットワーク装置２０は、入力情報取得部２１と、演算部２２と、出力情報出力部２３と、記憶部２４とを備えている。記憶部２４は、ニューラルネットワークモデルが記憶されており、各ＦＣ層について、分解処理装置１０で生成され出力された式（６）の右辺の第１項を計算するための入力係数ベクトルｃｘ、重み基底行列Ｍｗ、及び重み係数行列Ｃｗ、式（６）の右辺の第２項と第３項の和（ｂｘＣｗ ＴＭｗ Ｔ１＋ｂ）、並びに入力基底行列Ｍｘの各行ベクトルｍｘ （ｊ）を求めるためのルックアップテーブルＬＵＴ（ｊ）（ｊ＝１，・・・，ＤＩ）を分解処理装置１０から取得して記憶している。
　入力情報取得部２１には、処理対象となる入力情報が入力される。演算部２２は、記憶部２４からニューラルネットワークモデルを読み出して、入力情報取得部２１にて取得された入力情報を入力層に入力して演算処理を実行し、出力層を得る。
　図１２は、ニューラルネットワークモデルのＦＣ層における演算部２２の処理を説明する図である。演算部２２は、少なくとも１つのＦＣ層において、前層の出力ベクトルを入力ベクトルｘとして、この入力ベクトルｘを二値の入力基底行列Ｍｘと実数の入力係数ベクトルｃｘとの積と入力バイアスｂｘに分解して、入力ベクトルｘと重み行列Ｗとの積を求める。具体的には、ＦＣ層において、演算部２２は、前層の出力が得られると、これを入力ベクトルｘとして、式（６）の演算を行うことで、入力ベクトルｘと重み行列Ｗとの積を求める。
　図１２に示すように、演算部２２は、まず、記憶部２４から読み出したルックアップテーブルＬＵＴを参照して入力ベクトルｘに対応する二値の入力基底行列Ｍｘを求める。次に、演算部２２は、得られた二値の入力基底行列Ｍｘと、記憶部２４から読み出した重み係数行列Ｃｗ、重み基底行列Ｍｗ、及び入力係数ベクトルｃｘを用いて式（６）の右辺の第１項（Ｃｗ ＴＭｗ ＴＭｘｃｘ）を計算する。
　演算部２２は、上記の計算（Ｃｗ ＴＭｗ ＴＭｘｃｘ）によって得られた式（６）の右辺の第１項の値と、記憶部２４から読み出した式（６）の右辺の第２項と第３項の和（ｂｘＣｗ ＴＭｗ Ｔ１＋ｂ）との和（Ｃｗ ＴＭｗ ＴＭｘｃｘ＋ｂｘＣｗ ＴＭｗ Ｔ１＋ｂ）を計算する。演算部２２は、さらに、その計算結果を活性化関数（例えば、ＲｅＬＵ）に入力することで、当該層の出力（次の層の入力）を算出する。
　演算部２２は、上記のような演算をＦＣ層で実行しつつニューラルネットワークモデルに従って演算を行うことで、最後に出力層を得る。出力層の値は出力情報出力部２３に出力される。出力情報出力部２３は、演算部２２で得られた出力層の値に基づいて、求められている出力情報を出力する。例えば、ニューラルネットワークモデルがクラス分けを行うものである場合には、出力情報出力部２３は、出力情報として出力層における最も尤度の大きいクラスの情報を出力情報として出力する。
　これまで述べたように、ニューラルネットワークにおけるＦＣ層において、上記の分解された重み行列Ｗ及び入力ベクトルの分解のためのルックアップテーブルＬＵＴによる省メモリ化及び高速化が有効である。ただし、中間層のＣＯＮＶ層についても、各種のフィルタ（３次元）を並べることで４次元のデータ構造とすることができ、上記の高速化の手法を適用できる。
　図１３及び図１４は、ＣＯＮＶ層の入力マップと出力マップとの関係を示す図である。図１３及び図１４において、左側が入力マップＩＭであり、右側が出力マップＯＭであり、入力マップに適用されている直方体が３次元のフィルタＦ１、Ｆ２である。フィルタＦ１とフィルタＦ２とは、異なるフィルタであって、このように互いに異なるフィルタがＣｏｕｔ個用意されている。出力マップ１枚分の演算量は、（ｆｈｆｗＣｉｎ）×（ＨＷ）となり、すべてのフィルタについて合算すると、（ｆｈｆｗＣｉｎ）×（ＨＷ）×Ｃｏｕｔとなり、本実施の形態を適用しない場合には演算量が非常に多くなる。
　このような場合でも、図１５に示すように、各フィルタを列ベクトルとしてそれらを行方向に並べて重み行列Ｗを生成する。これにより、ＣＯＮＶ層もＦＣ層とみなすことができ、上記の省メモリ・高速な演算が可能となる。
　表１は、本実施の形態のニューラルネットワーク装置２０において各ＦＣ層で必要な演算量を従来技術と比較した表である。
Figure JPOXMLDOC01-appb-T000016
 　表１においてＢは、論理演算を実施する変数（レジスタ）のビット幅である。ＤＩ，ＤＯが数百～数千のオーダであるのに対して、上述のように、ｋｘは２～４程度であり、ｋｗはＤＯ／８～ＤＯ／４程度であるので、本実施の形態では従来技術と比較して演算量は減少している。
　表２は、本実施の形態のニューラルネットワーク装置２０において各ＦＣ層におけるメモリの消費量を従来技術と比較した表である。
Figure JPOXMLDOC01-appb-T000017
 　表２では、実数として単精度実数（３２ビット）を用いている。表２から明らかなように、本実施の形態では、従来技術と比較してメモリの消費量が減少している。
　本実施の形態の分割処理装置１０及びニューラルネットワーク装置２０によれば、ＦＣ層におけるメモリの消費量を小さくでき、かつ演算量を小さくできるので、ニューラルネットワークの層数が多く（深層ニューラルネットワーク）、上記の省メモリ・高速な演算を複数の層で適用できる場合に、本実施の形態が特に有効である。
　なお、上記の分解処理装置１０及びニューラルネットワーク装置２０は、それぞれ、記憶装置、メモリ、演算処理装置等を備えたコンピュータがプログラムを実行することで実現される。上記の実施の形態では、分解処理装置１０とニューラルネットワーク装置２０とを別々の装置として説明したが、これらの装置が同一のコンピュータによって構成されていてもよい。
　また、上述のように、予めｃｘ及びｂｘのみを決めておき、ニューラルネットワーク装置２０での実行時にはＭｘだけを最適化することで、実行時の入力ベクトルの分解を高速化できる。上記の実施の形態では、最適入力基底探索手法として、複数のビンごとにｍｘ （ｊ）を最適化するβを規定したルックアップテーブルＬＵＴを作成してニューラルネットワーク装置２０に記憶しておき、ニューラルネットワーク装置２０で入力ベクトルｘが得られたときに、各要素ｘｊについて、それが属するビンを求めてルックアップテーブルＬＵＴを参照して最適なβを求めるという手法で規定行列Ｍｘを求めた。
　最適入力基底探索手法は、上記に限られない。以下では、最適入力基底探索手法の変形例を説明する。以下の説明では、基底行列Ｍｘが二値行列である場合を例に説明する。まず、入力事前分解部１３は、ｍｘ （ｊ）のすべての候補βについて（βｃｘ＋ｂｘ）を計算する。例えば、ｋｘ＝４、ｃｘ＝（３．８，８．６，１．２，０．４）Ｔ、ｂｘ＝１５．２の場合は、２ｋｘ通り（本例では、ｋｘ＝４なので、２ｋｘ＝２４＝１６通り）のβについて得られる（βｃｘ＋ｂｘ）は図１７に示すようになる。以下、各βについて、（βｃｘ＋ｂｘ）の計算によって得られた値をプロトタイプｐという。
　次に、入力事前分解部１３は、プロトタイプｐをその値の大きさでソート（並び替え）する。図１８は、図１７の例について、プロトタイプｐの値でソートした結果を示している。このように並び替えたときのプロトタイプの値が小さい方から順に添え字１，２，・・・，１６を付して、ｐ１，ｐ２，・・・，ｐ１６と表記する。また、各プロトタイプｐｉ（ｉ＝１～１６）に対応するβをβｉ（ｉ＝１～１６）と表記する。
　入力事前分解部１３は、次に、ソートされたプロトタイプｐｉについて、隣り合うプロトタイプ間の中点ｍｐｉ（ｉ＝１～１５）を求める。図１９は、図１８の各（βｃｘ＋ｂｘ）を数直線上に並べるとともに、それらの中点ｍｐｉ（ｉ＝１～１５）を示した図である。なお、ｍｐｉ＝（ｐｉ＋ｐｉ＋１）／２である。
　入力ベクトルの各要素の値ｘｊに対してアサインすべきβは、図２０に示すように、中点ｍｐｉを境界にして定義できる。例えば、図２１に示すように、ｘｊ＝５．８に対しては、β４（－１，－１，１，１）を割り当てることができる。この割り当てをニューラルネットワーク装置２０の演算部２２で行う場合には、二分探索法を用いることができる。
　図２２は、本変形例のニューラルネットワーク装置２０の構成を示す図である。本変形例では、上記の実施の形態のニューラルネットワーク装置２０と比較すると、ルックアップテーブルＬＵＴの代わりに、入力ベクトルｘの各要素ｘｊについて、後述する二分木（図２７）を構成するための情報βｉ（ｉ＝１，・・・，２ｋｘ）及びｍｐｉ（ｉ＝１，・・・，２ｋｘ－１）を記憶している。
　演算部２２は、まず、図２３に示すように、隣接するプロトタイプの中点ｍｐｉのうち、中央の中点（本例の場合にはｍｐ８）とｘｊとを比較する。本例（ｘｊ＝５．８）の場合には、ｘｊ＜ｍｐ８であるため、解はβ１，・・・，β８のいずれかであることが分かる。演算部２２は、次に、図２４に示すように、残った候補β１，・・・，β８を２つに分ける中点ｍｐｉ（本例の場合にはｍｐ４）とｘｊとを比較する。本例（ｘｊ＝５．８）の場合には、ｘｊ＜ｍｐ４であるため、解はβ１，・・・，β４のいずれかであることが分かる。
　演算部２２は、次に、図２５に示すように、残った候補β１，・・・，β４を２つに分ける中点ｍｐｉ（本例の場合にはｍｐ２）とｘｊとを比較する。本例（ｘｊ＝５．８）の場合には、ｘｊ＞ｍｐ２であるため、解はβ３又はβ４であることが分かる。演算部２２は、最後に、図２６に示すように、残った候補β３，β４を２つに分ける中点ｍｐｉ（本例の場合にはｍｐ３）とｘｊとを比較する。本例（ｘｊ＝５．８）の場合には、ｘｊ＞ｍｐ３であるため、解はβ4であることが分かる。
　以上のようにして、演算部２２は、４回の比較演算によって解を求めることができる。図２７は、上記の二分木探索法を示す図である。一般的には、演算部２２は、ビット数分（ｋｘ回）だけの比較をすれば最終的に解を得ることができる。演算部２２は、すべてのβｉ（ｉ＝１，・・・，２ｋｘ）と中点ｍｐｉ（ｉ＝１，・・・，２ｋｘ－１）をメモリ上に保持しておけばよい。入力基底行列Ｍｘが三値行列であるときは、すべてのβｉ（ｉ＝１，・・・，３ｋｘ）と中点ｍｐｉ（ｉ＝１，・・・，３ｋｘ－１）をメモリ上に保持しておけばよい。
　このように、本変形例によれば、ｋｘ回の比較演算をするだけで、高速に最適なβを求めることができるとともに、メモリの消費量も小さくできる。
　なお、上記の実施の形態及びその変形例では、重み行列が実数行列である場合を説明したが、重み行列がもともと二値又は三値の要素で構成されている場合には、重み行列の分解は不要である。この場合には、入力ベクトルのみを二値又は三値の基底行列と実数の係数ベクトルとの積とバイアスとの和に分解すればよい。このように、重み行列がもともと二値又は三値であるニューラルネットワークは、例えば、M. Courbariaux, Y. Bengio, and J.P. David. BinaryConnect: Training deep neural networks with binary weights during propagations. In NIPS, pp. 3105-3113, 2015.やF. Li and B. Liu. Ternary weight networks. Technical Report arXiv:1605.04711, 2016.に紹介されている。
　入力ベクトルを基底行列と実数ベクトルに分解することで、演算量を少なくして演算を高速化できる。
　上記の実施の形態及びその変形例のニューラルネットワーク装置２０は、画像認識、音声認識、自然言語処理等のあらゆる分野で応用が可能であり、例えば、車載センサの検出値を入力情報として、車両の周辺の物体を認識する装置として応用可能である。図２８は、ニューラルネットワーク装置２０を含む車両制御システムの構成を示すブロック図である。車両制御システム１００は、ニューラルネットワーク装置２０と、車載センサ３０と、車両制御装置４０とを備えている。
　車載センサ３０は、センシングを行うことでニューラルネットワーク装置の入力装置に入力される入力情報を取得する。車載センサ３０は、例えば、単眼カメラ、ステレオカメラ、マイク、ミリ波レーダであってよい。これらの検出値はそのまま入力情報としてニューラルネットワーク装置２０に入力してもよいし、これらの検出値に対して情報処理を行って入力情報を生成してニューラルネットワーク装置２０に入力してもよい。
　ニューラルネットワーク装置２０は、特定種類の物体（例えば、人物、車両等）を検出して矩形枠で囲うものであってよいし、画素ごとにどのクラスに属しているかを判断するもの（セマンティックセグメンテーション）であってもよいし、他の認識処理を行うものであってもよい。
　また、車両制御装置４０は、ニューラルネットワーク装置の出力（認識結果）に基づいて、車両の制御を行う。車両制御は、車両の自動運転であってもよいし、車両の運転アシスト（例えば、衝突危険時の強制制動、レーンキーピング等）であってもよいし、車両のドライバへの情報提供（例えば、認識結果の提示、認識結果に基づく危険判断の結果の報知等）であってもよい。

 

Claims (19)

  1. 　ニューラルネットワークモデルを記憶する記憶部と、
    　入力情報を前記ニューラルネットワークモデルの入力層に入力して出力層を出力する演算部と、
    　を備え、
    　前記ニューラルネットワークモデルの少なくとも１つの層の重み行列が整数の行列である重み基底行列と実数の行列である重み係数行列との積で構成されているニューラルネットワーク装置。
  2. 　前記演算部は、前記少なくとも１つの層において、前層の出力ベクトルを入力ベクトルとして、前記入力ベクトルを整数の行列である入力基底行列と実数のベクトルである入力係数ベクトルとの積と入力バイアスとの和に分解して、前記入力ベクトルと前記重み行列との積を求める請求項１に記載のニューラルネットワーク装置。
  3. 　前記重み基底行列は二値行列であり、前記入力基底行列は二値行列であり、
    　前記演算部は、前記重み基底行列と前記入力基底行列との積演算を論理演算とビットカウントで行う請求項２に記載のニューラルネットワーク装置。
  4. 　前記重み基底行列は三値行列であり、前記入力基底行列は二値行列であり、
    　前記演算部は、前記重み基底行列と前記入力基底行列との積演算を論理演算とビットカウントで行う請求項２に記載のニューラルネットワーク装置。
  5. 　前記演算部は、前記入力ベクトルに対して、前記入力基底行列を最適化することで、前記入力ベクトルを分解する請求項３又は４に記載のニューラルネットワーク装置。
  6. 　前記演算部は、前記入力ベクトルの各要素について、前記入力ベクトルの各要素に対応する前記入力基底行列の行のすべての組み合わせと学習された前記入力係数ベクトルとの積と学習された前記入力バイアスとの和の中から最も近い候補を選ぶことで前記入力基底行列を最適化する請求項５に記載のニューラルネットワーク装置。
  7. 　前記記憶部は、前記入力ベクトルの各要素の値と、それに対する前記最も近い候補における入力基底行列の値との関係を規定したルックアップテーブルを記憶しており、
    　前記演算部は、前記ルックアップテーブルを参照することで、前記入力ベクトルに対して前記入力基底行列を最適化する請求項６に記載のニューラルネットワーク装置。
  8. 　前記記憶部は、前記入力ベクトルの各要素について、前記入力ベクトルの各要素に対応する前記入力基底行列の行のすべての組み合わせと、それによって得られる前記入力ベクトルの各要素の近似値の候補を大きさ順に並べたときの中点を記憶しており、
    　前記演算部は、前記入力ベクトルの各要素について、前記中点を用いた二分木探索法によって前記入力ベクトルの各要素に対応する前記入力基底行列の行を決定することで前記入力基底行列を最適化する請求項６に記載のニューラルネットワーク装置。
  9. 　車載カメラで得た画像を前記入力情報として歩行者検知を行う請求項１ないし８のいずれかに記載のニューラルネットワーク装置。
  10. 　前記ニューラルネットワークモデルは、畳込みニューラルネットワークモデルであり、
    　前記畳込みニューラルネットワークモデルは、畳込み層の複数のフィルタをまとめることで前記重み行列とし、前記畳込み層を全結合層とみなして、当該重み行列を整数の重み基底行列と実数の重み係数行列との積で構成しており、
    　前記演算部は、全結合層とみなされた前記畳込み層で、分解された前記入力ベクトルと分解された前記重み行列との積を求める請求項２ないし８のいずれかに記載のニューラルネットワーク装置。
  11. 　ニューラルネットワークモデルを用いて認識を行うニューラルネットワーク装置であって、
    　前記ニューラルネットワークモデルの少なくとも１つの層の演算として論理演算を行う、ニューラルネットワーク装置。
  12. 　ニューラルネットワークモデルを用いて認識を行うニューラルネットワーク装置であって、
    　前記ニューラルネットワークモデルの少なくとも１つの層の演算に用いる二値又は三値の行列を記憶している、ニューラルネットワーク装置。
  13. 　請求項１ないし１２のいずれかに記載のニューラルネットワーク装置と、
    　前記入力情報を取得する車載センサと、
    　前記出力に基づいて車両を制御する車両制御装置と、
    　を備えた、車両制御システム。
  14. 　ニューラルネットワークモデルを取得する取得部と、
    　前記ニューラルネットワークモデルの少なくとも１つの層の重み行列を整数の行列である重み基底行列と実数の行列である重み係数行列との積に分解する重み分解部と、
    　前記重み基底行列と前記重み係数行列を出力する出力部と、
    　を備えた分解処理装置。
  15. 　入力ベクトルを整数の行列である入力基底行列と実数のベクトルである入力係数ベクトルとの積と入力バイアスとの和に分解するための前記入力係数ベクトルと前記入力バイアスを学習する入力事前分解部をさらに備え、
    　前記出力部は、前記学習により得られた前記入力係数ベクトルを出力する請求項１４に記載の分解処理装置。
  16. 　前記入力事前分解部は、前記入力係数ベクトル及び前記入力バイアスに基づいて、前記入力ベクトルに対して前記入力基底行列を最適化するためのルックアップテーブルを生成し、
    　前記出力部は、前記ルックアップテーブルを出力する請求項１５に記載の分解処理装置。
  17. 　コンピュータを、入力情報をニューラルネットワークモデルの入力層に入力して出力層から出力情報を得るニューラルネットワーク装置として機能させるプログラムであって、
    　前記コンピュータの記憶部には、
    　　前記ニューラルネットワークモデルの少なくとも１つの全結合層の重み行列を分解して得られた整数の重み基底行列及び実数の重み係数行列と、
    　　入力ベクトルを整数の入力基底行列と実数の入力係数ベクトルとの積と入力バイアスとの和に分解するための、学習によって得られた前記入力係数ベクトル及び前記入力バイアスのうちの前記入力係数ベクトルと、
    　　前記学習によって得られた前記入力係数ベクトル及び前記入力バイアスに基づいて得られた、前記入力ベクトルの各要素の値と、それに対する入力基底行列の値との関係を規定したルックアップテーブルと、
    　が記憶され、
    　前記プログラムは、前記コンピュータを、前記ニューラルネットワークモデルの少なくとも１つの全結合層において、前層の出力ベクトルを入力ベクトルとして、前記記憶部から読み出した前記重み基底行列、前記実数の重み係数行列、及び前記入力係数ベクトルと、前記記憶部から読み出した前記ルックアップテーブルを参照して得られた前記入力ベクトルに対応する前記入力基底行列とを用いて、前記入力ベクトルと前記重み行列との積を求める演算部として機能させるプログラム。
  18. 　コンピュータを、入力情報をニューラルネットワークモデルの入力層に入力して出力層から出力情報を得るニューラルネットワーク装置として機能させるプログラムであって、
    　前記コンピュータの記憶部には、
    　　前記ニューラルネットワークモデルの少なくとも１つの全結合層の重み行列を分解して得られた整数の重み基底行列及び実数の重み係数行列と、
    　　入力ベクトルを整数の入力基底行列と実数の入力係数ベクトルとの積と入力バイアスとの和に分解するための、学習によって得られた前記入力係数ベクトル及び前記入力バイアスのうちの前記入力係数ベクトルと、
    　　前記学習によって得られた前記入力係数ベクトル及び前記入力バイアスに基づいて得られた、前記入力ベクトルの各要素についての、前記入力ベクトルの各要素に対応する前記入力基底行列の行のすべての組み合わせと、それによって得られる前記入力ベクトルの各要素の近似値の候補を大きさ順に並べたときの中点と、
    　が記憶され、
    　前記プログラムは、前記コンピュータを、前記ニューラルネットワークモデルの少なくとも１つの全結合層において、前層の出力ベクトルを入力ベクトルとして、前記記憶部から読み出した前記重み基底行列、前記実数の重み係数行列、及び前記入力係数ベクトルと、前記入力基底行列の行のすべての組み合わせと前記中点とを用いて、前記入力ベクトルと前記重み行列との積を求める演算部として機能させるプログラム。
  19. 　ニューラルネットワークモデルを記憶する記憶部と、
    　入力情報を前記ニューラルネットワークモデルの入力層に入力して出力層を出力する演算部と、
    　を備え、
    　前記演算部は、前記ニューラルネットワークモデルの少なくとも１つの層において、前層の出力ベクトルを入力ベクトルとして、前記入力ベクトルを整数の行列である入力基底行列と実数のベクトルである入力係数ベクトルとの積と入力バイアスとの和に分解して、分解された前記入力ベクトルと重み行列との積を求めるニューラルネットワーク装置。

     
PCT/JP2017/026363 2016-07-21 2017-07-20 ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム WO2018016608A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/318,779 US11657267B2 (en) 2016-07-21 2017-07-20 Neural network apparatus, vehicle control system, decomposition device, and program
CN201780056821.9A CN109716362B (zh) 2016-07-21 2017-07-20 神经网络装置、车辆控制系统、分解处理装置以及程序
JP2018528880A JP6921079B2 (ja) 2016-07-21 2017-07-20 ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016143705 2016-07-21
JP2016-143705 2016-07-21

Publications (1)

Publication Number Publication Date
WO2018016608A1 true WO2018016608A1 (ja) 2018-01-25

Family

ID=60992638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/026363 WO2018016608A1 (ja) 2016-07-21 2017-07-20 ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム

Country Status (4)

Country Link
US (1) US11657267B2 (ja)
JP (1) JP6921079B2 (ja)
CN (1) CN109716362B (ja)
WO (1) WO2018016608A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160319A (ja) * 2018-03-09 2019-09-19 キヤノン株式会社 多階層ニューラルネットワークモデルを最適化して適用する方法及び装置、及び記憶媒体
WO2020116194A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN111382847A (zh) * 2018-12-27 2020-07-07 上海寒武纪信息科技有限公司 数据处理装置及相关产品
WO2021009965A1 (ja) * 2019-07-12 2021-01-21 株式会社メガチップス ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム
JP2021012553A (ja) * 2019-07-08 2021-02-04 株式会社東芝 推論装置、学習装置、推論方法及び学習方法
JP2021149353A (ja) * 2020-03-18 2021-09-27 株式会社デンソー 情報処理装置、データ分解方法、及びデータ分解プログラム
WO2022244216A1 (ja) * 2021-05-20 2022-11-24 日本電信電話株式会社 学習装置、推論装置、学習方法、推論方法、及びプログラム
US11755880B2 (en) 2018-03-09 2023-09-12 Canon Kabushiki Kaisha Method and apparatus for optimizing and applying multilayer neural network model, and storage medium

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234137A1 (en) * 2017-08-18 2020-07-23 Intel Corporation Efficient neural networks with elaborate matrix structures in machine learning environments
CN110162403B (zh) * 2019-05-28 2021-07-13 首都师范大学 一种基于人工神经网络的硬件资源分配方法及系统
CN110349107B (zh) * 2019-07-10 2023-05-26 北京字节跳动网络技术有限公司 图像增强的方法、装置、电子设备、及存储介质
KR102512932B1 (ko) * 2020-01-31 2023-03-22 한국과학기술원 암 환자의 발현량 데이터로부터 암세포 내재적 특성을 추출하는 방법 및 이를 위한 장치
JP7143546B2 (ja) * 2020-02-17 2022-09-28 三菱電機株式会社 モデル生成装置、車載装置、および、モデル生成方法
KR20210111014A (ko) * 2020-03-02 2021-09-10 삼성전자주식회사 전자 장치 및 그 제어 방법
TWI723823B (zh) * 2020-03-30 2021-04-01 聚晶半導體股份有限公司 基於神經網路的物件偵測裝置和物件偵測方法
CN113554145B (zh) * 2020-04-26 2024-03-29 伊姆西Ip控股有限责任公司 确定神经网络的输出的方法、电子设备和计算机程序产品
CN111681263B (zh) * 2020-05-25 2022-05-03 厦门大学 基于三值量化的多尺度对抗性目标跟踪算法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101025A (ja) * 1991-10-03 1993-04-23 Hamamatsu Photonics Kk ニユーラルネツトワーク装置及びその実行方法
JP2016042359A (ja) * 2014-08-18 2016-03-31 株式会社デンソーアイティーラボラトリ 認識装置、実数行列分解方法、認識方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69032259T2 (de) * 1989-09-20 1998-08-13 Fujitsu Ltd Paralleldatenverarbeitungsanlage
US8457409B2 (en) * 2008-05-22 2013-06-04 James Ting-Ho Lo Cortex-like learning machine for temporal and hierarchical pattern recognition
JP6055391B2 (ja) * 2012-11-05 2016-12-27 株式会社デンソーアイティーラボラトリ 関連性判定装置、関連性判定プログラム、及び関連性判定方法
US9728184B2 (en) * 2013-06-18 2017-08-08 Microsoft Technology Licensing, Llc Restructuring deep neural network acoustic models
CN105224984B (zh) * 2014-05-31 2018-03-13 华为技术有限公司 一种基于深度神经网络的数据类别识别方法及装置
WO2016039651A1 (en) * 2014-09-09 2016-03-17 Intel Corporation Improved fixed point integer implementations for neural networks
US10534994B1 (en) * 2015-11-11 2020-01-14 Cadence Design Systems, Inc. System and method for hyper-parameter analysis for multi-layer computational structures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101025A (ja) * 1991-10-03 1993-04-23 Hamamatsu Photonics Kk ニユーラルネツトワーク装置及びその実行方法
JP2016042359A (ja) * 2014-08-18 2016-03-31 株式会社デンソーアイティーラボラトリ 認識装置、実数行列分解方法、認識方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MOHAMMAD RASTEGARI ET AL., XNOR-NET: IMAGENET CLASSIFICATION USING BINARY CONVOLUTIONAL NEURAL NETWORKS, vol. 3, 9 May 2016 (2016-05-09), Retrieved from the Internet <URL:https://arxiv.org/pdf/1603.05279v3.pdf> [retrieved on 20171011] *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11755880B2 (en) 2018-03-09 2023-09-12 Canon Kabushiki Kaisha Method and apparatus for optimizing and applying multilayer neural network model, and storage medium
JP2019160319A (ja) * 2018-03-09 2019-09-19 キヤノン株式会社 多階層ニューラルネットワークモデルを最適化して適用する方法及び装置、及び記憶媒体
WO2020116194A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP7497298B2 (ja) 2018-12-07 2024-06-10 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN111382847A (zh) * 2018-12-27 2020-07-07 上海寒武纪信息科技有限公司 数据处理装置及相关产品
CN111382847B (zh) * 2018-12-27 2022-11-22 上海寒武纪信息科技有限公司 数据处理装置及相关产品
JP2021012553A (ja) * 2019-07-08 2021-02-04 株式会社東芝 推論装置、学習装置、推論方法及び学習方法
JP7114528B2 (ja) 2019-07-08 2022-08-08 株式会社東芝 推論装置、学習装置、推論方法及び学習方法
WO2021009965A1 (ja) * 2019-07-12 2021-01-21 株式会社メガチップス ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム
JP2021015510A (ja) * 2019-07-12 2021-02-12 株式会社メガチップス ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム
JP7265946B2 (ja) 2019-07-12 2023-04-27 株式会社メガチップス ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム
JP2021149353A (ja) * 2020-03-18 2021-09-27 株式会社デンソー 情報処理装置、データ分解方法、及びデータ分解プログラム
JP7384081B2 (ja) 2020-03-18 2023-11-21 株式会社デンソー 情報処理装置、データ分解方法、及びデータ分解プログラム
WO2022244216A1 (ja) * 2021-05-20 2022-11-24 日本電信電話株式会社 学習装置、推論装置、学習方法、推論方法、及びプログラム

Also Published As

Publication number Publication date
US11657267B2 (en) 2023-05-23
JP6921079B2 (ja) 2021-08-18
CN109716362B (zh) 2024-01-09
CN109716362A (zh) 2019-05-03
JPWO2018016608A1 (ja) 2019-05-09
US20190286982A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
WO2018016608A1 (ja) ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム
CN107688855B (zh) 针对于复杂神经网络的分层量化方法与装置
EP3295385B1 (en) Fixed point neural network based on floating point neural network quantization
US20190087713A1 (en) Compression of sparse deep convolutional network weights
KR20190050698A (ko) 신경망의 최적화 방법
WO2019209658A1 (en) Learning a truncation rank of singular value decomposed matrices representing weight tensors in neural networks
US11601134B2 (en) Optimized quantization for reduced resolution neural networks
KR20220058897A (ko) 컴퓨트-인-메모리 어레이의 컬럼 임계치들을 조정함으로써 xnor 등가 연산들을 수행
Dong et al. Stochastic quantization for learning accurate low-bit deep neural networks
CN114463540A (zh) 使用神经网络对图像进行分割
Chang et al. Differentiable architecture search with ensemble gumbel-softmax
KR20210039921A (ko) 신경망 모델을 최적화하도록 구성된 심층 신경망 시스템의 동작 방법
EP3882823A1 (en) Method and apparatus with softmax approximation
Wongthanavasu et al. A cellular automata-based learning method for classification
Guo et al. An interpretable neural network model through piecewise linear approximation
Ying et al. Self-optimizing feature generation via categorical hashing representation and hierarchical reinforcement crossing
Hämäläinen et al. Scalable robust clustering method for large and sparse data
Janković Babić A comparison of methods for image classification of cultural heritage using transfer learning for feature extraction
Dyro et al. Second-Order Sensitivity Analysis for Bilevel Optimization
Swaney et al. Efficient skin segmentation via neural networks: HP-ELM and BD-SOM
Pontes-Filho et al. EvoDynamic: a framework for the evolution of generally represented dynamical systems and its application to criticality
Sutter et al. Quantum Legendre-Fenchel transform
Son et al. Graph neural networks with efficient tensor operations in CUDA/GPU and Graphflow deep learning framework in C++ for quantum chemistry
TWI844228B (zh) 訓練神經網路執行機器學習任務
US20240119050A1 (en) Method and system for extending query processing with differentiable operators

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17831124

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018528880

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17831124

Country of ref document: EP

Kind code of ref document: A1