WO2022264186A1 - ニューラルネットワーク構築装置、ニューラルネットワーク構築方法、画像処理装置、及び画像処理方法 - Google Patents

ニューラルネットワーク構築装置、ニューラルネットワーク構築方法、画像処理装置、及び画像処理方法 Download PDF

Info

Publication number
WO2022264186A1
WO2022264186A1 PCT/JP2021/022425 JP2021022425W WO2022264186A1 WO 2022264186 A1 WO2022264186 A1 WO 2022264186A1 JP 2021022425 W JP2021022425 W JP 2021022425W WO 2022264186 A1 WO2022264186 A1 WO 2022264186A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
network model
operations
unit
required time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/022425
Other languages
English (en)
French (fr)
Inventor
元気 田中
匠 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to PCT/JP2021/022425 priority Critical patent/WO2022264186A1/ja
Priority to JP2021560364A priority patent/JP7090817B1/ja
Priority to DE112021007485.7T priority patent/DE112021007485T5/de
Priority to CN202180099129.0A priority patent/CN117501279A/zh
Publication of WO2022264186A1 publication Critical patent/WO2022264186A1/ja
Priority to US18/381,703 priority patent/US20240046101A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • the learning model generation device described in Patent Document 1 which is an example of a neural network construction device, is such that even if the computational resources of a computer for executing a learning model are relatively small, the accuracy of recognition, etc. by the learning model is high. In order to suppress the deterioration, the layers constituting the learning model are replaced with a structure that reduces the amount of calculation.
  • Embodiment 1 The neural network construction device NNK of Embodiment 1 will be described.
  • FIG. 3 shows the configuration of the storage unit KI of the first embodiment.
  • the storage unit KI stores in advance a table TB as shown in FIG.
  • the storage unit KI also stores construction data CD in the process of constructing the neural network model NNM (illustrated in FIG. 2) by the neural network construction device NNK (illustrated in FIG. 1).
  • FIG. 4 shows the configuration of the table TB of the first embodiment.
  • the construction data CD consists of operation combinations EK and weight values wt, as shown in FIG.
  • An operation combination EK indicates a combination of operations assigned to the intermediate layers L1 to L7 of the neural network model NNM.
  • the weight value wt is the weight value between layers, as described above with reference to FIG.
  • the interface unit IF receives condition information JJ (also shown in FIG. 4), required duration YSJ, required inference accuracy from a user (not shown) who wants to build a neural network model NNM (shown in FIG. 2). It receives input of YSS and training data KD.
  • the required duration YSJ and the required inference accuracy YSS are the required duration and inference accuracy that should be satisfied during inference, that is, when the neural network model NNM actually performs the task.
  • the user inputs, for example, that the neural network model NNM should execute the task "classification" (shown in FIG. 4) within the required time YSJ and with the required inference accuracy YSS or higher.
  • the training data KD is data used when the neural network construction device NNK constructs, more specifically, trains the neural network model NNM.
  • the training data KD is, for example, labeled data for performing supervised learning, as is conventionally known.
  • the acquisition unit SY acquires the above-described condition information JJ, required duration YSJ, required inference accuracy YSS, and training data KD via the interface unit IF.
  • the specifying unit TO specifies the search space TK by referring to the table TB (illustrated in FIG. 4) based on the condition information JJ acquired by the acquiring unit SY.
  • the specification unit TO adds Skip Connection operation (skip connection operation) and No Connection operation (not shown) as allocatable operations in the search space TK regardless of the contents of the condition information JJ. do.
  • the acquisition unit SY has a class name of "class classification”, an input size of "1", an output size of "1", and a hardware specification of "HW1" as indicated by the dashed line (left side) in FIG.
  • condition information JJ1 the condition information JJ
  • the specifying unit TO refers to the table TB based on the condition information JJ1 to create a search space TK (hereinafter referred to as "search space TK1 ).
  • the search space TK1 indicates the following under the condition information JJ1 described above.
  • Four operations OP1, OP2, OP3, OP5 can be assigned to the hidden layers L1 to L7 (illustrated in FIG. 2) of the neural network model NNM.
  • the operation OP1 the number of data input to the operation OP1 is one, and the number of data output from the operation OP1 is one.
  • the connection condition is that operation OP1 is assigned to a position before operation OP2.
  • the operations OP1 and the like in the table TB are, for example, conventional well-known Convolution operations and Maxpooling operations.
  • the operations OP1 and the like are, for example, a Skip Connection operation (skip connection operation) and a No Connection operation (no connection operation) in addition to the above operations.
  • the Skip Connection operation outputs the input data as it is without performing any processing, and the No Connection operation outputs no data even if some data is input.
  • the required time T1, etc. for the operation OP1, etc. is fixed regardless of the internal structure of the operation OP1, etc., and the input/output relationship between the operation OP1, etc. and the outside.
  • the total required time GSJ (described in detail later) when the neural network model NNM executes the task "task classification" on the hardware HW1 is assigned to the intermediate layers L1 to L7. It is the sum of the required times T1, T2, T3 and T5 of the operations OP1, OP2, OP3 and OP5.
  • the generator SE satisfies the required duration YSJ1 required for the neural network model NNM under the condition information JJ1 within the range of the search space TK1 (shown in FIG. 4) specified by the condition information JJ1.
  • operations OP1 and the like are assigned to the intermediate layers L1 to L7 (illustrated in FIG. 2) of the neural network model NNM.
  • the generation unit SE thereby generates an arithmetic combination EK (illustrated in FIG. 3).
  • the generation unit SE generates the arithmetic combination EK using, for example, random search, Bayesian optimization, or genetic algorithm.
  • the generation by the generation unit SE is not particularly limited, for example, in the number of times of generation and the time of generation.
  • the training unit KU trains the neural network model NNM generated by the generation unit SE. More specifically, the training unit KU, for example, under the condition information JJ1 (shown in FIG. 4), to the intermediate layers L1 to L7 (shown in FIG. 2) in the search space TK1 (shown in FIG. 4) A neural network model NNM is trained in which operations OP1, etc. are assigned and the total required time GSJ, which is the sum of the required times of the assigned operations OP1, etc., satisfies the required required time YSJ1. The training unit KU trains the neural network model NNM using the training data KD1 for the condition information JJ1 so as to satisfy the required inference accuracy YSS1 required for the neural network model NNM under the condition information JJ1.
  • the training unit KU performs the training using, for example, stochastic gradient descent. Training by the training unit KU is not particularly limited, for example, in the number of training times and training time.
  • the identification part TO corresponds to the "identification part”
  • the generation part SE corresponds to the “generation part”
  • the first determination part HA1 corresponds to the "first determination part”
  • the second determination part HA2 corresponds to the "second determination section”
  • the training section KU corresponds to the "training section”.
  • the condition information JJ corresponds to the "construction condition”.
  • FIG. 5 shows the configuration of the neural network construction device NNK of the first embodiment.
  • the neural network construction device NNK of Embodiment 1 includes a processor PC, a memory MM, and a storage medium KB as shown in FIG. 5 in order to perform the functions described above. It includes a section NY and an output section SY.
  • SKIP operation means Skip Connection operation.
  • SKIP operation has the function of outputting input data as it is without performing any processing, as described above.
  • the “SKIP operation” has a required time of 0.
  • the neural network construction device NNK of Embodiment 1 also performs training using the training data KD1. This can increase the possibility of constructing a neural network model NNM that satisfies the required inference accuracy YSS1.
  • the neural network construction device NNK of Embodiment 1 is mounted on a vehicle such as a private car, for example, to perform image processing for automatic driving.
  • Image data is stored in advance in the neural network construction device NNK at the vehicle manufacturing stage by the manufacturer.
  • image data continues to be accumulated in the neural network construction device NNK while the vehicle is running by the driver.
  • the neural network construction device NNK performs class classification for both images, for example, whether the detected object is a person, an animal, a tree, or the like.
  • a neural network model NNM can be constructed that satisfactorily performs YSS1.
  • ⁇ Modification 2> Unlike the neural network construction device NNK of the first embodiment that generates only the neural network model NNM of the n-th operation combination EK, for example, the p-th (p is an integer larger than n) operation combination EK, q th (q is an integer larger than p) operation combination EK, etc. are generated, and the plurality of operation combinations EK, that is, the nth operation combination EK, the pth operation combination EK, and the like are generated. , the q-th operation combination EK, .
  • the neural network construction device NNK of the second embodiment includes a storage unit KI to a second determination unit HA2, similarly to the neural network construction device NNK of the first embodiment (shown in FIG. 1).
  • the neural network construction device NNK of the first embodiment it further includes an execution unit JI.
  • the configuration of the neural network construction device NNK of the second embodiment is the same as the configuration of the neural network construction device NNK of the first embodiment (illustrated in FIG. 5).
  • Embodiment 3 An image processing apparatus according to Embodiment 3 will be described.
  • the image processing apparatus GSS of Embodiment 3 includes, as shown in FIG. 12, a storage unit KO, an input unit NB, an inference unit SU, and an output unit SB.
  • the storage unit KO corresponds to the “storage unit”, the input unit NB to the “input unit”, the output unit SB to the “output unit”, and the image data GD to the “image data”.
  • the "inference result SK" corresponds to the "inference result”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

ニューラルネットワーク構築装置（ＮＮＫ）は、ニューラルネットワークモデル（ＮＮＭ）を構築するための構築条件に基づき、前記ＮＮＭを構成する複数の層に割り当て可能な複数の演算を特定する特定部（ＴＯ）と、前記複数の層の各々に、前記複数の演算のうちの一つの演算を割り当てることにより、演算の一の組み合わせを生成する生成部（ＳＥ）と、前記割り当てられた演算の合計所要時間が要求所要時間を満足するか否かを判定する第１の判定部（ＨＡ１）と、前記生成された演算の一の組み合わせを有するＮＮＭを訓練する訓練部（ＫＵ）と、前記訓練後のＮＮＭが推論する精度が要求推論精度を満足するか否かを判定する第２の判定部（ＨＡ２）と、を含み、前記要求所要時間を満足しないとき、または、前記要求推論精度を満足しないとき、前記生成部（ＳＥ）は、前記演算の一の組み合わせと相違する、演算の他の組み合わせを生成する。

Description

ニューラルネットワーク構築装置、ニューラルネットワーク構築方法、画像処理装置、及び画像処理方法
　本開示は、ニューラルネットワーク構築装置、ニューラルネットワーク構築方法、画像処理装置、及び画像処理方法に関する。
　ニューラルネットワーク構築装置の一例である、特許文献１に記載の学習モデル生成装置は、学習モデルを実行するための計算機の計算リソースが、たとえ比較的小さくても、前記学習モデルによる認識等の精度が低下することを抑止すべく、前記学習モデルを構成する層を演算量が削減される構造に置換する。
特開２０２０－１０７０４２号公報
　上記した学習モデル生成装置は、上記した学習モデルの演算量を削減することから、前記学習モデルに本来的に要求される認識等の精度を満足するものの、前記学習モデルに本来的に要求される速度、即ち所要時間を満足することができないことがあるとの課題があった。
　本開示の目的は、学習モデルを実行するためのリソースが比較的小さくても、本来的に要求される、推論についての所要時間及び精度の両者を満足するニューラルネットワークモデルを構築することができるニューラルネットワーク構築装置を提供することにある。
　上記した課題を解決すべく、ニューラルネットワークモデルを構築するための構築条件に基づき、前記ニューラルネットワークモデルを構成する複数の層に割り当て可能な複数の演算を特定する特定部と、前記複数の層の各々に、前記複数の演算のうちの一つの演算を割り当てることにより、演算の一の組み合わせを生成する生成部と、前記割り当てられた演算に基づき推論する、各演算の所要時間の合計である合計所要時間が、予め定められた要求所要時間を満足するか否かを判定する第１の判定部と、前記生成された演算の一の組み合わせを有するニューラルネットワークモデルを訓練する訓練部と、前記訓練後のニューラルネットワークモデルが推論する精度が、予め定められた要求推論精度を満足するか否かを判定する第２の判定部と、を含み、前記第１の判定部が、前記合計所要時間が前記要求所要時間を満足しないと判定するとき、または、前記第２の判定部が、前記推論する精度が前記要求推論精度を満足しないと判定するとき、前記生成部は、前記演算の一の組み合わせと相違する、演算の他の組み合わせを生成する。
　本開示に係るニューラルネットワークモデル構築装置によれば、学習モデルを実行するためのリソースが比較的小さくても、本来的に要求される、推論についての所要時間及び精度の両者を満足するニューラルネットワークモデルを構築することができる。
実施形態１のニューラルネットワーク構築装置ＮＮＫの機能ブロック図である。 実施形態１のニューラルネットワークモデルＮＮＭの基本的構成を示す。 実施形態１の記憶部ＫＩの構成を示す。 実施形態１のテーブルＴＢの構成を示す。 実施形態１のニューラルネットワーク構築装置ＮＮＫの構成を示す。 実施形態１のニューラルネットワーク構築装置ＮＮＫの動作を示すフローチャートである。 実施形態１の生成部ＳＥの動作を示す。 実施形態１の第１の判定部ＨＡ１の動作を示す。 実施形態１の訓練部ＫＵの動作を示す。 実施形態２のニューラルネットワーク構築装置ＮＮＫの機能ブロック図である。 実施形態２のニューラルネットワーク構築装置ＮＮＫの動作を示すフローチャートである。 実施形態３の画像処理装置ＧＳＳの機能を示す。
　本開示に係るニューラルネットワーク構築装置、及び画像処理装置の実施形態について説明する。
　実施形態１及び実施形態２のニューラルネットワーク構築装置ＮＮＫ（図１、図１０に図示。）は、学習フェーズでの装置であり、他方で、実施形態３の画像処理装置ＧＳＳ（図１２に図示。）は、推論フェーズでの装置である。
実施形態１．
〈実施形態１〉
　実施形態１のニューラルネットワーク構築装置ＮＮＫについて説明する。
〈〈ニューラルネットワーク構築装置ＮＮＫの機能〉〉
　図１は、実施形態１のニューラルネットワーク構築装置ＮＮＫの機能ブロック図である。
　実施形態１のニューラルネットワーク構築装置ＮＮＫは、タスク（例えば、クラス分類、物体検出、位置特定、セグメンテーション）を実施するニューラルネットワークモデルＮＮＭを構築すべく、図１に示されるように、記憶部ＫＩと、インターフェース部ＩＦと、取得部ＳＹと、特定部ＴＯと、生成部ＳＥと、訓練部ＫＵと、第１の判定部ＨＡ１と、第２の判定部ＨＡ２と、を含む。
　図２は、実施形態１のニューラルネットワークモデルＮＮＭの基本的構成を示す。
〈ニューラルネットワークモデルＮＮＭの構成〉
　ニューラルネットワークモデルＮＮＭは、図２に示されるように、従来知られたと同様に、例えば、入力層Ｌｉｎ、出力層Ｌｏｕｔ、７つの中間層Ｌ１～Ｌ７、及び隣接する層間の重みｗから構成される。
　入力層Ｌｉｎ及び出力層Ｌｏｕｔは、演算（図示せず。）が、予め割り当てられており、かつ固定されており、また、前記演算に関連する入出力関係（例えば、前記演算のために入力されるデータの本数、前記演算の結果として出力されるデータの本数）は、ニューラルネットワークモデル構築装置ＮＮＫ（図１に図示。）によるニューラルネットワークモデルＮＮＭの構築の過程で、決定される。
　７つの中間層Ｌ１～Ｌ７は、演算及び入出力関係が、予め割り当てられておらず、ニューラルネットワークモデル構築装置ＮＮＫによるニューラルネットワークモデルＮＮＭの構築の過程で、決定される。
　重みｗは、その値が、ニューラルネットワーク構築装置ＮＮＫによるニューラルネットワークモデルＮＮＭの構築の過程で、決定される。
　以下では、重みｗの値を「重み値ｗｔ」という。重み値ｗｔは、本来、固有の値であるものの、説明及び理解を容易にすべく、複数の重み値を総称する。
〈記憶部ＫＩの構成〉
　図３は、実施形態１の記憶部ＫＩの構成を示す。
　記憶部ＫＩは、図３に示されるように、テーブルＴＢを予め記憶している。記憶部ＫＩには、また、ニューラルネットワーク構築装置ＮＮＫ（図１に図示。）がニューラルネットワークモデルＮＮＭ（図２に図示。）を構築する過程で、構築データＣＤが保存される。
〈テーブルＴＢの構成〉
　図４は、実施形態１のテーブルＴＢの構成を示す。
　テーブルＴＢは、図４に示されるように、条件情報ＪＪと探索空間ＴＫとの関係を示す。
　条件情報ＪＪは、ニューラルネットワークモデルＮＮＭ（図２に図示。）を構築するための条件であり、図４に示されるように、例えば、タスク名、入出力サイズ、及びハードウェア仕様を示す。
　タスク名は、上記したように、ニューラルネットワークモデルＮＮＭ（図２に図示。）が実行すべきタスクの候補であり、例えば、クラス分類、物体検出、位置特定、セグメンテーションの名称である。
　入出力サイズは、ニューラルネットワークモデルＮＮＭが上記タスクの一つを実行するときに、入力層Ｌｉｎへ入力されるデータの本数、出力層Ｌｏｕｔから出力されるデータの本数である。
　ハードウェア仕様は、ニューラルネットワークモデルＮＮＭを動作させるハードウェアの仕様であり、具体的には、コンピュータの型式、処理のタイプ（CPU/GPU/FPGA/DPU）等である。
　テーブルＴＢは、ニューラルネットワーク構築装置ＮＮＫ内の記憶部ＫＩ（図３に図示。）に予め記憶されることに代えて、例えば、ニューラルネットワーク構築装置ＮＮＫの外部にある記憶装置（図示せず。）に記憶されており、取得部ＳＹ（図１に図示。）により、インターフェース部ＩＦ（図１に図示。）を介して取得されてもよい。
　探索空間ＴＫは、条件情報ＪＪにより特定される内容である。探索空間ＴＫは、具体的には、図４に示されるように、ニューラルネットワークモデルＮＮＭ（図２に図示。）の中間層Ｌ１～Ｌ７に割当可能な演算、当該演算の入出力構成、当該演算の接続条件、及び、当該演算の所要時間（当該演算を、条件情報ＪＪにより特定されるハードウェアで実行するときの所要時間）を示す。
〈構築データＣＤの構成〉
　構築データＣＤは、図３に示されるように、演算組み合わせＥＫ及び重み値ｗｔからなる。
　演算組み合わせＥＫは、ニューラルネットワークモデルＮＮＭの中間層Ｌ１～Ｌ７に割り当てられた演算の組み合わせを示す。重み値ｗｔは、図２を参照して上述したように、層間の重みの値である。
〈〈ニューラルネットワーク構築装置ＮＮＫの機能（続き）〉〉
　図１に戻り、説明を続ける。
　インターフェース部ＩＦは、ニューラルネットワークモデルＮＮＭ（図２に図示。）を構築しようとするユーザ（図示せず。）から、条件情報ＪＪ（図４にも図示。）、要求所要時間ＹＳＪ、要求推論精度ＹＳＳ、及び訓練用データＫＤの入力を受ける。
　要求所要時間ＹＳＪ、及び要求推論精度ＹＳＳは、推論のときに、即ち、ニューラルネットワークモデルＮＮＭが実際にタスクを行うときに満足すべき所要時間、及び推論精度である。
　ユーザは、要求所要時間ＹＳＪとして、例えば、ニューラルネットワークモデルＮＮＭがタスク「クラス分類」（図４に図示。）を、要求所要時間ＹＳＪ以内かつ要求推論精度ＹＳＳ以上で実行すべき旨を入力する。
　訓練用データＫＤは、ニューラルネットワーク構築装置ＮＮＫが、ニューラルネットワークモデルＮＮＭを構築するときに、より詳細には、訓練するときに用いられるデータである。訓練用データＫＤは、従来知られたと同様に、例えば、教師あり学習を行うためのラベル付きデータである。
　取得部ＳＹは、インターフェース部ＩＦを介して、上記した、条件情報ＪＪ、要求所要時間ＹＳＪ、要求推論精度ＹＳＳ、及び訓練用データＫＤを取得する。
　特定部ＴＯは、取得部ＳＹにより取得された条件情報ＪＪに基づき、テーブルＴＢ（図４に図示。）を参照することにより、探索空間ＴＫを特定する。特定部ＴＯは、他方で、条件情報ＪＪの内容の如何に拘わらず、Skip Connection演算（スキップコネクション演算）、No Connection演算（図示せず。）を、探索空間ＴＫ内の割り当て可能な演算として追加する。
　例えば、取得部ＳＹが、図４中の一点鎖線（左側）で示されると同様な、クラス名「クラス分類」、入力サイズ「１」、出力サイズ「１」、及びハードウェア仕様「ＨＷ１」という条件情報ＪＪ（以下、「条件情報ＪＪ１」という。）をユーザから取得したことを想定する。当該想定の下で、特定部ＴＯは、条件情報ＪＪ１に基づき、テーブルＴＢを参照することにより、図４中の一点鎖線（右側）で示されるように、探索空間ＴＫ（以下、「探索空間ＴＫ１」という。）を特定する。
　探索空間ＴＫ１は、上記した条件情報ＪＪ１の下で、以下を示す。
　（１）ニューラルネットワークモデルＮＮＭの中間層Ｌ１～Ｌ７（図２に図示。）に、４つの演算ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ５を割当可能であること。
　（２）例えば、演算ＯＰ１は、演算ＯＰ１に入力されるデータの本数が１つであり、演算ＯＰ１から出力されるデータの本数が１つであること。
　（３）例えば、演算ＯＰ１は、演算ＯＰ２の前の位置に割り当てられることが接続条件であること。
　（４）例えば、演算ＯＰ１をハードウェアＨＷ１で実行すると、所要時間Ｔ１を要すること。
　テーブルＴＢ中の演算ＯＰ１等は、例えば、従来良く知られた、Convolution演算及びMaxpooling演算である。演算ＯＰ１等は、上記の演算に加えて、例えば、Skip Connection演算（スキップコネクション演算）、No Connection演算である（ノーコネクション演算）。Skip Connection演算は、何ら処理を行うことなく、入力されたデータをそのまま出力し、また、No Connection演算は、何らかのデータの入力を受けても、データを何ら出力しない。
　以下では、説明及び理解を容易にすべく、演算ＯＰ１等の所要時間Ｔ１等は、演算ＯＰ１等の内部構造、及び演算ＯＰ１等と外部との入出力関係等に拘わらず、固定であることを想定する。これにより、条件情報ＪＪ１の下で、タスク「タスク分類」をニューラルネットワークモデルＮＮＭがハードウェアＨＷ１上で実行するときの合計所要時間ＧＳＪ（後に詳述する。）は、中間層Ｌ１～Ｌ７に割り当てられた演算ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ５の所要時間Ｔ１、Ｔ２、Ｔ３、Ｔ５の合計となる。
　生成部ＳＥは、例えば、条件情報ＪＪ１により特定される探索空間ＴＫ１（図４に図示。）の範囲内で、条件情報ＪＪ１の下でニューラルネットワークモデルＮＮＭに要求される要求所要時間ＹＳＪ１を満足するように、ニューラルネットワークモデルＮＮＭの中間層Ｌ１～Ｌ７（図２に図示。）に演算ＯＰ１等を割り当てる。生成部ＳＥは、これにより、演算組み合わせＥＫ（図３に図示。）を生成する。生成部ＳＥは、前記演算組み合わせＥＫの生成を、例えば、ランダムサーチ、ベイズ最適化、遺伝的アルゴリズムを用いて行う。生成部ＳＥによる生成は、例えば、生成を行う回数、及び生成を行う時間を特に制限されない。
　訓練部ＫＵは、生成部ＳＥにより生成されたニューラルネットワークモデルＮＮＭを訓練する。訓練部ＫＵは、より詳しくは、例えば、条件情報ＪＪ１（図４に図示。）の下で、中間層Ｌ１～Ｌ７（図２に図示。）に探索空間ＴＫ１（図４に図示。）内の演算ＯＰ１等が割り当てられ、かつ、割り当てられた演算ＯＰ１等の所要時間の合計である合計所要時間ＧＳＪが要求所要時間ＹＳＪ１を満足するニューラルネットワークモデルＮＮＭを訓練する。訓練部ＫＵは、前記ニューラルネットワークモデルＮＮＭの訓練を、条件情報ＪＪ１のための訓練用データＫＤ１を用いて、条件情報ＪＪ１の下でニューラルネットワークモデルＮＮＭに要求される要求推論精度ＹＳＳ１を満足するように行う。これにより、訓練部ＫＵは、重み値ｗｔ（図３に図示。）を生成する。訓練部ＫＵは、前記訓練を、例えば、確率的勾配降下法を用いて行う。訓練部ＫＵによる訓練は、例えば、訓練を行う回数、及び訓練を行う時間を特に制限されない。
　第１の判定部ＨＡ１は、生成部ＳＥにより演算組み合わせＥＫが生成されたニューラルネットワークモデルＮＮＭ（図７に図示。）の所要時間が、要求所要時間ＹＳＪを満足するか否かを判定する。
　第２の判定部ＨＡ２は、訓練部ＫＵにより訓練されたニューラルネットワークモデルＮＮＭ（図９に図示。）の推論精度が、要求推論精度ＹＳＳを満足するか否かを判定する。
　ニューラルネットワーク構築装置ＮＮＫは、例えば、集中型システム、及び分散型システムのいずれの形態でもよい。
　特定部ＴＯは、「特定部」に対応し、生成部ＳＥは、「生成部」に対応し、第１の判定部ＨＡ１は、「第１の判定部」に対応し、第２の判定部ＨＡ２は、「第２の判定部」に対応し、訓練部ＫＵは、「訓練部」に対応する。また、条件情報ＪＪは、「構築条件」に対応する。
〈〈実施形態１の構成〉〉
　図５は、実施形態１のニューラルネットワーク構築装置ＮＮＫの構成を示す。
　実施形態１のニューラルネットワーク構築装置ＮＮＫは、上述した機能を果たすべく、図５に示されるように、プロセッサＰＣと、メモリＭＭと、記憶媒体ＫＢと、を含み、更に、必要に応じて、入力部ＮＹと、出力部ＳＹと、を含む。
　プロセッサＰＣは、ソフトウェアに従ってハードウェアを動作させる、よく知られたコンピュータの中核である。メモリＭＭは、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）から構成される。記憶媒体ＫＢは、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、ＲＯＭ（Read Only Memory）から構成される。記憶媒体ＫＢは、プログラムＰＲを記憶する。プログラムＰＲは、プロセッサＰＣが実行すべき処理の内容を規定する命令群である。
　入力部ＮＹは、例えば、キーボード、マウス、タッチパネルから構成される。出力部ＳＹは、例えば、液晶モニター、プリンタ、タッチパネルから構成される。
　ニューラルネットワーク構築装置ＮＮＫにおける機能と構成との関係については、ハードウェア上で、プロセッサＰＣが、記憶媒体ＫＢに記憶されたプログラムＰＲを、メモリＭＭ上で実行すると共に、必要に応じて、入力部ＮＹ及び出力部ＳＹの動作を制御することにより、インターフェース部ＩＦ～第２の判定部ＨＡ２（図１に図示。）の各部の機能を実現する。
〈〈ニューラルネットワーク構築装置ＮＮＫの動作〉〉
　図６は、実施形態１のニューラルネットワーク構築装置ＮＮＫの動作を示すフローチャートである。以下、実施形態１のニューラルネットワーク構築装置ＮＮＫの動作について、図６のフローチャートを参照して説明する。
　以下では、説明及び理解を容易にすべく、ユーザが、条件情報ＪＪ、要求所要時間ＹＳＪ、要求推論精度ＹＳＳ、及び訓練用データＫＤとして、上記した、条件情報ＪＪ１、要求所要時間ＹＳＪ１、要求推論精度ＹＳＳ１、及び訓練用データＫＤ１を入力することを想定する。
　ステップＳＴ１１：取得部ＳＹ（図１に図示。）は、インターフェース部ＩＦ（図１に図示。）を介して、条件情報ＪＪ１、要求所要時間ＹＳＪ１、要求推論精度ＹＳＳ１、及び訓練用データＫＤ１を取得する。
　ステップＳＴ１２：ステップＳＴ１１で、条件情報ＪＪ１、要求所要時間ＹＳＪ１、要求推論精度ＹＳＳ１、及び訓練用データＫＤ１が取得されると、特定部ＴＯ（図１に図示。）は、取得された条件情報ＪＪ１に基づき、テーブルＴＢ（図４に図示。）を参照することにより、探索空間ＴＫ１を特定する。
　図７は、実施形態１の生成部ＳＥの動作を示す。
　ステップＳＴ１３：ステップＳＴ１２で、探索空間ＴＫ１が特定されると、生成部ＳＥ（図１に図示。）は、図７の上段に示されるように、ニューラルネットワーク構築装置ＮＮＫの中間層Ｌ１～Ｌ７に、探索空間ＴＫ１内の割り当て可能な演算を割り当て、具体的には、中間層Ｌ１に演算ＯＰ１を割り当て、中間層Ｌ２に演算ＯＰ１を割り当て、中間層Ｌ３に演算ＯＰ２を割り当て、中間層Ｌ４に演算ＯＰ３を割り当て、中間層Ｌ５に演算ＯＰ２を割り当て、中間層Ｌ６に演算ＯＰ５を割り当て、中間層Ｌ７に演算ＯＰ５を割り当てる。換言すれば、生成部ＳＥは、中間層Ｌ１～Ｌ７について、演算ＯＰ１、ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ２、ＯＰ５、ＯＰ５という、１回めの演算組み合わせＥＫを生成する。
　図８は、実施形態１の第１の判定部ＨＡ１の動作を示す。
　ステップＳＴ１４：ステップＳＴ１３で、中間層Ｌ１～Ｌ７に演算ＯＰ１等が割り当てられることにより、１回めの演算組み合わせＥＫが生成されると、第１の判定部ＨＡ１は、図８に示されるように、ニューラルネットワーク構築装置ＮＮＫの合計所要時間ＧＳＪを算出する。第１の判定部ＨＡ１は、図８に示されるように、中間層Ｌ１に割り当てられた演算ＯＰ１の所要時間Ｔ１、中間層Ｌ２に割り当てられた演算ＯＰ１の所要時間Ｔ１、中間層Ｌ３に割り当てられた演算ＯＰ２の所要時間Ｔ２、中間層Ｌ４に割り当てられた演算ＯＰ３の所要時間Ｔ３、中間層Ｌ５に割り当てられた演算ＯＰ２の所要時間Ｔ２、中間層Ｌ６に割り当てられた演算ＯＰ５の所要時間Ｔ５、及び中間層Ｌ７に割り当てられた演算ＯＰ５の所要時間Ｔ５、を合計することにより、合計所要時間ＧＳＪ（Ｔ１＋Ｔ１＋Ｔ２＋Ｔ３＋Ｔ２＋Ｔ５＋Ｔ５）を算出する。
　第１の判定部ＨＡ１は、上記の算出に加えて、合計所要時間ＧＳＪ（Ｔ１＋Ｔ１＋Ｔ２＋Ｔ３＋Ｔ２＋Ｔ５＋Ｔ５）が、取得部ＳＹにより取得された要求所要時間ＹＳＪ１以下であるとの要件を満足するか否かを判定する。満足すると判定されるとき、処理は、ステップＳＴ１５に進み、他方で、満足しないと判定されるとき、処理は、ステップＳＴ１３に戻る。
　ここで、以下を想定する。
　（１）生成部ＳＥ及び第１の判定部ＨＡ１が、ステップＳＴ１３及びステップＳＴ１４を繰り返したこと。
　（２）上記（１）の繰り返しの後、生成部ＳＥが、ｍ回め（ｍは、任意の正の整数）の演算組み合わせＥＫとして、例えば、図７の中段に示されるように、中間層Ｌ１に演算ＯＰ１を割り当て、中間層Ｌ２に演算ＯＰ１を割り当て、中間層Ｌ３に演算ＯＰ３を割り当て、中間層Ｌ４に演算ＮＯを割り当て、中間層Ｌ５に演算ＯＰ３を割り当て、中間層Ｌ６に演算ＯＰ５を割り当て、中間層Ｌ７に演算ＯＰ５を割り当てたこと。
　（３）上記（２）のｍ回めの演算組み合わせＥＫの生成後に、第１の判定部ＨＡ１が、ｍ回めの演算組み合わせＥＫの合計所要時間ＧＳＪ（Ｔ１＋Ｔ１＋Ｔ３＋０＋Ｔ３＋Ｔ５＋Ｔ５）が、要求所要時間ＹＳＪ１を満足していると判定したこと。
　「ＮＯ演算」は、No Connection演算を意味する。「ＮＯ演算」は、上述したように、何らかのデータの入力を受けても、データを何ら出力しない機能を有する。「ＮＯ演算」は、その所要時間が、０である。
　ステップＳＴ１５：直前のステップＳＴ１４で、合計所要時間ＧＳＪ（Ｔ１＋Ｔ１＋Ｔ３＋０＋Ｔ３＋Ｔ５＋Ｔ５）が、要求所要時間ＹＳＪ１を満足していると判定されると、訓練部ＫＵ（図１に図示。）は、ｍ回めの演算組み合わせＥＫのニューラルネットワークモデルＮＮＭ（図７の中段に図示。）を訓練する。訓練部ＫＵは、より詳しくは、取得部ＳＹにより取得された訓練用データＫＤ１を用いて、従来知られたと同様に、出力層Ｌｏｕｔから出力されるデータ（図示せず。）と訓練用データＫＤ１中のラベル（図示せず。）との間の誤差（図示せず。）がより小さくなるように、ニューラルネットワークモデルＮＮＭ中の重みｗ（図２に図示。）、正確には、重み値ｗｔ（図３に図示。）を調整する。
　訓練部ＫＵは、上記した訓練を、予め定められた時間だけ、若しくは予め定められた回数だけ続けた後に終了し、または、訓練による学習効果の進捗に応じて続けた後に終了する。
　ステップＳＴ１６：ステップＳＴ１５で、ニューラルネットワークモデルＮＮＭの訓練が終了すると、第２の判定部ＨＡ２（図１に図示。）は、訓練を受けたニューラルネットワークモデルＮＮＭの推論精度ＳＳ（図示せず。）が、取得部ＳＹによる取得された要求推論精度ＹＳＳ１以上であるとの要件を満足するか否かを判定する。満足すると判定されるとき、処理は、ステップＳＴ１７に進み、他方で、満足しないと判定されるとき、処理は、ステップＳＴ１３に戻る。
　図９は、実施形態１の訓練部ＫＵの動作を示す。
　ここで、以下を想定する。
　（１）生成部ＳＥ、第１の判定部ＨＡ１、訓練部ＫＵ、及び、第２の判定部ＨＡ２が、ステップＳＴ１３～ステップＳＴ１６を繰り返したこと。
　（２）上記（１）の繰り返しの後、生成部ＳＥが、ｎ回め（ｎは、ｍより大きい整数）の演算の組み合わせＥＫとして、例えば、図７の下段に示されるように、中間層Ｌ１に演算ＯＰ１を割り当て、中間層Ｌ２に演算ＯＰ１を割り当て、中間層Ｌ３に演算ＯＰ２を割り当て、中間層Ｌ４に演算ＯＰ２を割り当て、中間層Ｌ５に演算ＳＫＩＰを割り当て、中間層Ｌ６に演算ＯＰ５を割り当て、中間層Ｌ７に演算ＯＰ１を割り当てたこと。
　（３）上記（２）のｎ回めの演算組み合わせＥＫの生成後に、第１の判定部ＨＡ１が、ｎ回めの演算組み合わせＥＫの合計所要時間ＧＳＪ（Ｔ１＋Ｔ１＋Ｔ２＋Ｔ２＋０＋Ｔ５＋Ｔ１）が、要求所要時間ＹＳＪ１を満足していると判定したこと。
　「ＳＫＩＰ演算」は、Skip Connection演算を意味する。「ＳＫＩＰ演算」は、上述したように、何ら処理を行うことなく、入力されたデータをそのまま出力する機能を有する。「ＳＫＩＰ演算」は、その所要時間が、０である。
　（４）上記（３）の判定後に、訓練部ＫＵが、ｎ回めの演算組み合わせＥＫのニューラルネットワークモデルＮＮＭの重み値ｗｔを調整し、例えば、重み値ｗｔをｗｔａに設定し、ｗｔｂに変更し、ｗｔｃに更に変更したこと。
　（５）上記（４）の訓練後に、第２の判定部ＨＡ２が、ｎ回めの演算組み合わせＥＫの推論精度ＳＳが、要求推論精度ＹＳＳ１を満足していると判定したこと。
　ステップＳＴ１７：直前のステップＳＴ１６で、ｎ回めの演算組み合わせＥＫのニューラルネットワークモデルＮＮＭの推論精度ＳＳが、要求推論精度ＹＳＳ１を満足していると判定されると、第２の判定部ＨＡ２は、構築データＣＤ、即ち、ｎ回めの演算組み合わせＥＫ（図７の下段、図９に図示。）、及び、重み値ｗｔである重み値ｗｔｃ（図９の下段に図示。）を記憶部ＫＩ（図３に図示。）に保存し、または、出力する。
〈〈ニューラルネットワーク構築装置ＮＮＫの効果〉〉
　上述したように、実施形態１のニューラルネットワーク構築装置ＮＮＫでは、構築しようとするニューラルネットワークモデルＮＮＭの中間層Ｌ１～Ｌ７に、ユーザにより入力される条件情報ＪＪ１によって特定される探索空間ＴＫ１中の割り当て可能な演算ＯＰ１等を割り当てる。これにより、要求所要時間ＹＳＪ１を満足するニューラルネットワークモデルＮＮＭを構築する可能性を高めることができる。
　実施形態１のニューラルネットワーク構築装置ＮＮＫでは、また、訓練用データＫＤ１を用いた訓練を行う。これにより、要求推論精度ＹＳＳ１を満足するニューラルネットワークモデルＮＮＭを構築する可能性を高めることができる。
　実施形態１のニューラルネットワーク構築装置ＮＮＫでは、さらに、ニューラルネットワークモデルＮＮＭの中間層Ｌ１～Ｌ７の少なくとも１つ以上に、No Connection演算、及びSkip Connection演算を割り当てることにより、実質的に機能しない層を増加させることによって、換言すれば、実質的に機能する層の数を減少させることによって、ニューラルネットワークモデルＮＮＭの全体としての演算量を低減させることができる。
　実施形態１のニューラルネットワーク構築装置ＮＮＫは、例えば、自動運転のための画像処理を行うべく、自家用車等の車両に搭載される。ニューラルネットワーク構築装置ＮＮＫには、メーカによる車両の製造段階で、画像データが、予め記憶されている。ニューラルネットワーク構築装置ＮＮＫには、加えて、運転手による車両の走行段階で、画像データが、蓄積され続ける。ニューラルネットワーク構築装置ＮＮＫは、前記した両画像についてのクラス分類を、例えば、検出された物体が、人、動物、樹木等のいずれであるかの分類を、上記した要求所要時間ＹＳＪ１及び要求推論精度ＹＳＳ１を満足するように実行するニューラルネットワークモデルＮＮＭを構築することができる。
〈変形例１〉
　中間層Ｌ１～Ｌ７での所要時間を合計する実施形態１のニューラルネットワーク構築装置ＮＮＫとは相違し、中間層Ｌ１～Ｌ７での所要時間、並びに、演算ＯＰが割り当てられない、入力層Ｌｉｎ及び出力層Ｌｏｕｔでの所要時間を合計した上で、合計所要時間ＧＳＪが、要求所要時間ＹＳＪ１を満足するか否かを判定してもよい。
〈変形例２〉
　ｎ番めの演算組み合わせＥＫのニューラルネットワークモデルＮＮＭのみを生成する実施形態１のニューラルネットワーク構築装置ＮＮＫとは相違し、例えば、ｐ番め（ｐは、ｎより大きい整数）の演算組み合わせＥＫ、ｑ番め（ｑは、ｐより大きい整数）の演算組み合わせＥＫ、、、、等の複数の演算組み合わせＥＫを生成し、当該複数の演算組み合わせＥＫ、即ち、ｎ番めの演算組み合わせＥＫ、ｐ番めの演算組み合わせＥＫ、ｑ番めの演算組み合わせＥＫ、、、、のうち、要求所要時間ＹＳＪ１及び要求推論精度ＹＳＳ１の観点から最も優れた演算組み合わせＥＫを選択してもよい。
実施形態２．
〈実施形態２〉
　実施形態２のニューラルネットワーク構築装置ＮＮＫについて説明する。
〈〈ニューラルネットワーク構築装置ＮＮＫの機能〉〉
　実施形態１のニューラルネットワーク構築装置ＮＮＫが、記憶部ＫＩ（図１、図３に図示。）内に記憶されたテーブルＴＢ（図４に図示。）中の演算所要時間（予め準備され、想定された演算所要時間）の合計所要時間ＧＳＪ（図８に図示。）を用いることとは相違し、実施形態２のニューラルネットワーク構築装置ＮＮＫでは、ニューラルネットワークモデルＮＮＭが実際に演算したときの所要時間である実所要時間ＪＳＪを測定する。
　図１０は、実施形態２のニューラルネットワーク構築装置ＮＮＫの機能ブロック図である。
　実施形態２のニューラルネットワーク構築装置ＮＮＫは、図１０に示されるように、実施形態１のニューラルネットワーク構築装置ＮＮＫ（図１に図示。）と同様に、記憶部ＫＩ～第２の判定部ＨＡ２を含み、他方で、実施形態１のニューラルネットワーク構築装置ＮＮＫと相違して、実行部ＪＩを更に含む。
　実施形態２のインターフェース部ＩＦ～第２の判定部ＨＡ２の機能は、実施形態１のインターフェース部ＩＦ～第２の判定部ＨＡ２と同様である。
　実行部ＪＩは、例えば、条件情報ＪＪ１（図４に図示。）により特定されるハードウェア「ＨＷ１」上に設けられている。実行部ＪＩは、条件情報ＪＪ１により特定される探索空間ＴＫ１内の割り当て可能な演算ＯＰ１等が中間層Ｌ１～Ｌ７に割り当てられたニューラルネットワークモデルＮＮＭ（図２に図示。）を、ハードウェア「ＨＷ１」上で、換言すれば、実行部ＪＩ上で実際に動作させることにより、ニューラルネットワークモデルＮＮＭの実所要時間ＪＳＪを測定する。
〈〈ニューラルネットワーク構築装置ＮＮＫの構成〉〉
　実施形態２のニューラルネットワーク構築装置ＮＮＫの構成は、実施形態１のニューラルネットワーク構築装置ＮＮＫの構成（図５に図示。）と同様である。
〈〈ニューラルネットワーク構築装置ＮＮＫの動作〉〉
　図１１は、実施形態２のニューラルネットワーク構築装置ＮＮＫの動作を示すフローチャートである。以下、実施形態２のニューラルネットワーク構築装置ＮＮＫの動作について、図１１のフローチャートを参照して説明する。
　説明及び理解を容易にすべく、以下を想定する。
　（１）実施形態１と同様に、ユーザが、条件情報ＪＪ１、要求所要時間ＹＳＪ１、及び要求推論精度ＹＳＳ１、訓練用データＫＤを入力すること。
（２）実施形態１と同様に、１番めの演算組み合わせＥＫ、ｍ番めの演算組み合わせＥＫ等を経て、ｎ番めの演算組み合わせＥＫが生成されたこと。
　ステップＳＴ２１～ＳＴ２３：取得部ＳＹ、特定部ＴＯ、及び生成部ＳＥは、実施形態１のステップＳＴ１１～ＳＴ１３と同様の処理を行う。
　ステップＳＴ２４：ステップＳＴ２３で、条件情報ＪＪ１により特定される探索空間ＴＫ１内の割り当て可能な演算ＯＰ１等が中間層Ｌ１～Ｌ７に割り当てられると、即ち、ｎ番めの演算組み合わせＥＫ（図７の下段に図示。）を有するニューラルネットワークモデルＮＮＭが生成されると、実行部ＪＩは、ニューラルネットワークモデルＮＮＭを、ハードウェアＨＷ１上で実際に動作させることにより、実所要時間ＪＳＪを測定する。
　ステップＳＴ２５：ステップＳＴ２４で、実所要時間ＪＳＪが測定されると、第１の判定部ＨＡ１は、ｎ番めの演算組み合わせＥＫの実所要時間ＪＳＪが、要求所要時間ＹＳＪ１を満足するか否かを判定する。
　ステップＳＴ２６～ＳＴ２８：訓練部ＫＵ、及び第２の判定部ＨＡ２は、実施形態１のステップＳＴ１５～ＳＴ１７と同様の処理を行う。
〈〈ニューラルネットワーク構築装置ＮＮＫの効果〉〉
　上述したように、実施形態２のニューラルネットワーク構築装置ＮＮＫでは、ニューラルネットワークモデルＮＮＭの実所要時間ＪＳＪ、例えば、ｎ番めの組み合わせのニューラルネットワークモデルＮＮＭがハードウェアＨＷ１で実際に動作するときの実所要時間ＪＳＪを測定し、用いる。これにより、記憶部ＫＩに予め記憶されており、かつ見積もられている演算所要時間（図４に図示。）を用いて構築される実施形態１のニューラルネットワークモデルＮＮＭに比して、要求所要時間ＹＳＪ１を満足する可能性がより高められたニューラルネットワークモデルＮＮＭを構築することができる。
実施形態３．
〈実施形態３〉
　実施形態３の画像処理装置について説明する。
〈〈画像処理装置ＧＳＳの機能、構成、及び動作〉〉
　図１２は、実施形態３の画像処理装置ＧＳＳの機能を示す。
　実施形態３の画像処理装置ＧＳＳは、図１２に示されるように、記憶部ＫＯと、入力部ＮＢと、推論部ＳＵと、出力部ＳＢと、を含む。
　記憶部ＫＯは、実施形態１及び実施形態２のいずれかのニューラルネットワーク構築装置ＮＮＫにより、条件情報ＪＪ１等の条件の下で構築されたニューラルネットワークモデルＮＮＭ、正確には、ｎ番めの演算組み合わせＥＫ及び重み値ｗｔが記憶されている。
　入力部ＮＢは、例えば、撮像カメラである。入力部ＮＢは、例えば、画像データＧＤを取得する。
　推論部ＳＵは、例えば、条件情報ＪＪ１により特定されるハードウェアＨＷ１上に設けられている。推論部ＳＵは、従来知られたと同様に、推論を行い、具体的には、画像データＧＤを用いてニューラルネットワークモデルＮＮＭを実行する。
　出力部ＳＢは、例えば、液晶モニター、スピーカ等である。出力部ＳＢは、推論部ＳＵが推論を行った結果である推論結果ＳＫを出力する。
　記憶部ＫＯは、「記憶部」に対応し、入力部ＮＢは、「入力部」に対応し、出力部ＳＢは、「出力部」に対応し、画像データＧＤは、「画像データ」に対応し、「推論結果ＳＫ」は、「推論した結果」に対応する。
〈〈画像処理装置ＧＳＳの効果〉〉
　上述したように、実施形態３の画像処理装置ＧＳＳは、実施形態１または実施形態２のニューラルネットワーク構築装置ＮＮＫにより構築された、要求所要時間ＹＳＪ１及び要求推論精度ＹＳＳ１を満足するｎ番めの演算組み合わせＥＫを有するニューラルネットワークモデルＮＮＭを、条件情報ＪＪ１により特定されるハードウェアＨＷ１上で実行する。これにより、要求所要時間ＹＳＪ１及び要求推論精度ＹＳＳ１を満足する推論を行うことができる。
　本開示の要旨を逸脱しない範囲で、上述した実施形態同士を組み合わせてもよく、また、各実施形態中の構成要素を適宜、削除し、変更し、または、他の構成要素を追加してもよい。
　本開示に係るニューラルネットワーク構築装置は、推論についての所要時間及び精度を満足することができるニューラルネットワークモデルを構築することができるニューラルネットワーク構築装置に適用可能である。
ＣＤ　構築データ、ＥＫ　演算組み合わせ、ＧＤ　画像データ、ＧＳＪ　合計所要時間、ＧＳＳ　画像処理装置、ＨＡ１　第１の判定部、ＨＡ２　第２の判定部、ＨＷ　ハードウェア、ＩＦ　インターフェース部、ＪＩ　実行部、ＪＪ　条件情報、ＪＳＪ　実所要時間、ＫＢ　記憶媒体、ＫＤ　訓練用データ、ＫＩ　記憶部、ＫＯ　記憶部、ＫＵ　訓練部、Ｌ　中間層、Ｌｉｎ　入力層、Ｌｏｕｔ　出力層、ＭＭ　メモリ、ＮＢ　入力部、ＮＮＫ　ニューラルネットワーク構築装置、ＮＮＭ　ニューラルネットワークモデル、ＮＹ　入力部、ＯＰ　演算、ＰＲ　プログラム、ＳＢ　出力部、ＳＥ　生成部、ＳＫ　推論結果、ＳＳ　推論精度、ＳＵ　推論部、ＳＹ　取得部、ＳＹ　出力部、ＴＢ　テーブル、ＴＫ　探索空間、ＴＯ　特定部、ｗ　重み、ｗｔ　重み値、ＹＳＪ　要求所要時間、ＹＳＳ　要求推論精度。

Claims (7)

  1. 　ニューラルネットワークモデルを構築するための構築条件に基づき、前記ニューラルネットワークモデルを構成する複数の層に割り当て可能な複数の演算を特定する特定部と、
    　前記複数の層の各々に、前記複数の演算のうちの一つの演算を割り当てることにより、演算の一の組み合わせを生成する生成部と、
    　前記割り当てられた演算に基づき推論する、各演算の所要時間の合計である合計所要時間が、予め定められた要求所要時間を満足するか否かを判定する第１の判定部と、
    　前記生成された演算の一の組み合わせを有するニューラルネットワークモデルを訓練する訓練部と、
    　前記訓練後のニューラルネットワークモデルが推論する精度が、予め定められた要求推論精度を満足するか否かを判定する第２の判定部と、を含み、
    　前記第１の判定部が、前記合計所要時間が前記要求所要時間を満足しないと判定するとき、または、前記第２の判定部が、前記推論する精度が前記要求推論精度を満足しないと判定するとき、前記生成部は、前記演算の一の組み合わせと相違する、演算の他の組み合わせを生成する、
    　ニューラルネットワーク構築装置。
  2. 　前記特定部は、前記複数の演算に、入力されたデータをそのまま出力するスキップコネクション演算、及び何ら出力しないノーコネクション演算を含ませる、
    　請求項１に記載のニューラルネットワーク構築装置。
  3. 　前記第１の判定部は、前記合計所要時間に、前記複数の層のうち、前記生成部が前記複数の演算を割り当てなかった層での所要時間を含ませる、
    　請求項１に記載のニューラルネットワーク構築装置。
  4. 　前記生成された演算の一の組み合わせを有するニューラルネットワークモデルを前記構築条件の下で実行する実行部を更に含み、
    　前記第１の判定部は、前記生成された演算の一の組み合わせを有するニューラルネットワークモデルを実行する実所要時間が、前記予め定められた要求所要時間を満足するか否かを判定する、
    　請求項１に記載のニューラルネットワーク構築装置。
  5. 　請求項１に記載のニューラルネットワーク構築装置により構築されたニューラルネットワークモデルを記憶する記憶部と、
    　前記ニューラルネットワークモデルに推論させるための画像データの入力を受ける入力部と、
    　前記ニューラルネットワークモデルが推論した結果を出力する出力部と、
    　を含む、画像処理装置。
  6. 　特定部が、ニューラルネットワークモデルを構築するための構築条件に基づき、前記ニューラルネットワークモデルを構成する複数の層に割り当て可能な複数の演算を特定し、
    　生成部が、前記複数の層の各々に、前記複数の演算のうちの一つの演算を割り当てることにより、演算の一の組み合わせを生成し、
    　第１の判定部が、前記割り当てられた演算に基づき推論する、各演算の所要時間の合計である合計所要時間が、予め定められた要求所要時間を満足するか否かを判定し、
    　訓練部が、前記生成された演算の一の組み合わせを有するニューラルネットワークモデルを訓練し、
    　第２の判定部が、前記訓練後のニューラルネットワークモデルが推論する精度が、予め定められた要求推論精度を満足するか否かを判定し、
    　前記第１の判定部が、前記合計所要時間が前記要求所要時間を満足しないと判定するとき、または、前記第２の判定部が、前記推論する精度が前記要求推論精度を満足しないと判定するとき、前記生成部は、前記演算の一の組み合わせと相違する、演算の他の組み合わせを生成する、
    　ニューラルネットワーク構築方法。
  7. 　記憶部が、請求項６に記載のニューラルネットワーク構築装置により構築されたニューラルネットワークモデルを記憶し、
    　入力部が、前記ニューラルネットワークモデルに推論させるための画像データの入力を受け、
    　出力部が、前記ニューラルネットワークモデルが推論した結果を出力する、
    　画像処理方法。
PCT/JP2021/022425 2021-06-14 2021-06-14 ニューラルネットワーク構築装置、ニューラルネットワーク構築方法、画像処理装置、及び画像処理方法 Ceased WO2022264186A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2021/022425 WO2022264186A1 (ja) 2021-06-14 2021-06-14 ニューラルネットワーク構築装置、ニューラルネットワーク構築方法、画像処理装置、及び画像処理方法
JP2021560364A JP7090817B1 (ja) 2021-06-14 2021-06-14 ニューラルネットワーク構築装置、ニューラルネットワーク構築方法、画像処理装置、及び画像処理方法
DE112021007485.7T DE112021007485T5 (de) 2021-06-14 2021-06-14 Neuronales-netz-erstellungseinrichtung, neuronales-netz-erstellungsverfahren, bildverarbeitungseinrichtung und bildverarbeitungsverfahren
CN202180099129.0A CN117501279A (zh) 2021-06-14 2021-06-14 神经网络构建装置、神经网络构建方法、图像处理装置和图像处理方法
US18/381,703 US20240046101A1 (en) 2021-06-14 2023-10-19 Neural network construction device, neural network construction method, image processing device, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/022425 WO2022264186A1 (ja) 2021-06-14 2021-06-14 ニューラルネットワーク構築装置、ニューラルネットワーク構築方法、画像処理装置、及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/381,703 Continuation US20240046101A1 (en) 2021-06-14 2023-10-19 Neural network construction device, neural network construction method, image processing device, and image processing method

Publications (1)

Publication Number Publication Date
WO2022264186A1 true WO2022264186A1 (ja) 2022-12-22

Family

ID=82155950

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022425 Ceased WO2022264186A1 (ja) 2021-06-14 2021-06-14 ニューラルネットワーク構築装置、ニューラルネットワーク構築方法、画像処理装置、及び画像処理方法

Country Status (5)

Country Link
US (1) US20240046101A1 (ja)
JP (1) JP7090817B1 (ja)
CN (1) CN117501279A (ja)
DE (1) DE112021007485T5 (ja)
WO (1) WO2022264186A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598117A (zh) * 2020-12-29 2021-04-02 广州极飞科技有限公司 神经网络模型设计方法、部署方法、电子设备及存储介质
JP2021064342A (ja) * 2019-10-15 2021-04-22 北京小米智能科技有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． ニューラルネットワーク構造モデルを検索する方法、装置及び記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101782976B (zh) * 2010-01-15 2013-04-10 南京邮电大学 一种云计算环境下机器学习自动选择方法
JP2012018450A (ja) * 2010-07-06 2012-01-26 Keio Gijuku ニューラルネットワークシステム、ニューラルネットワークシステムの構築方法およびニューラルネットワークシステムの制御プログラム
WO2019216404A1 (ja) * 2018-05-10 2019-11-14 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム
US11531861B2 (en) * 2018-11-06 2022-12-20 Google Llc Neural architecture search with factorized hierarchical search space
JP7042210B2 (ja) 2018-12-27 2022-03-25 Kddi株式会社 学習モデル生成装置、学習モデル生成方法、及びプログラム
US20210012194A1 (en) * 2019-07-11 2021-01-14 Samsung Electronics Co., Ltd. Method and system for implementing a variable accuracy neural network
EP4030347A4 (en) * 2019-09-24 2022-11-16 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR BUILDING A NEURAL NETWORK AND IMAGE PROCESSING METHOD AND DEVICE
JP6885553B1 (ja) * 2020-07-14 2021-06-16 エッジコーティックス ピーティーイー． リミテッド ハードウェアとニューラルアーキテクチャとの共同探索

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021064342A (ja) * 2019-10-15 2021-04-22 北京小米智能科技有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． ニューラルネットワーク構造モデルを検索する方法、装置及び記録媒体
CN112598117A (zh) * 2020-12-29 2021-04-02 广州极飞科技有限公司 神经网络模型设计方法、部署方法、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANG WEIWEN; YANG LEI; SHA EDWIN HSING-MEAN; ZHUGE QINGFENG; GU SHOUZHEN; DASGUPTA SAKYASINGHA; SHI YIYU; HU JINGTONG: "Hardware/Software Co-Exploration of Neural Architectures", IEEE TRANSACTIONS ON COMPUTER-AIDED DESIGN OF INTEGRATED CIRCUITS AND SYSTEMS, IEEE, USA, vol. 39, no. 12, 8 April 2020 (2020-04-08), USA, pages 4805 - 4815, XP011821176, ISSN: 0278-0070, DOI: 10.1109/TCAD.2020.2986127 *
SHAOJIN DING; TIANLONG CHEN; XINYU GONG; WEIWEI ZHA; ZHANGYANG WANG: "AutoSpeech: Neural Architecture Search for Speaker Recognition", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 31 August 2020 (2020-08-31), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081751330 *
WU, BICHEN ET AL.: "FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search", ARXIV: 1812.03443V3, 2019, XP033686671, Retrieved from the Internet <URL:https://arxiv.org/pdf/1812.03443v3> [retrieved on 20210805] *

Also Published As

Publication number Publication date
US20240046101A1 (en) 2024-02-08
DE112021007485T5 (de) 2024-02-01
JPWO2022264186A1 (ja) 2022-12-22
JP7090817B1 (ja) 2022-06-24
CN117501279A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
JP6983154B2 (ja) 計算グラフの処理
US20200249998A1 (en) Scheduling computation graph heterogeneous computer system
US20210109796A1 (en) Methods and systems for time-bounding execution of computing workflows
CN112764893B (zh) 数据处理方法和数据处理系统
KR102215978B1 (ko) 블록체인망 상 비동기 분산 병렬형 앙상블 모델 학습 및 추론 시스템 및 그 방법
KR102899904B1 (ko) 딥러닝 워크로드를 위한 하이브리드 스케줄링 방법과 이를 수행하는 컴퓨팅 장치
WO2020028183A1 (en) A storage-based graph for enabling computation graph optimization
CN119248525B (zh) 推理系统的内存管理方法和装置
US12443447B2 (en) Memory sharing for machine learning processing
Rahmani et al. Machine learning-driven energy-efficient load balancing for real-time heterogeneous systems
WO2022264186A1 (ja) ニューラルネットワーク構築装置、ニューラルネットワーク構築方法、画像処理装置、及び画像処理方法
CN119248522B (zh) 推理系统的内存管理方法和装置
CN115827225A (zh) 异构运算的分配方法、模型训练方法、装置、芯片、设备及介质
CN115423071A (zh) 一种用于神经网络量化的运行时动态推理方法
WO2014091319A1 (en) Computing prioritised general arbitration rules for conflicting rules
CN112667397A (zh) 机器学习系统及其资源配置方法
Hollmann et al. A Practical Survey on Static Task Scheduling Optimization Approaches for Heterogeneous Architectures
Wurzer et al. MODYPLAN: early-stage hospital simulation based on treatment chains
JP7779870B2 (ja) 情報処理方法、プログラム、及び情報処理装置
JP2016118867A (ja) 処理装置、処理方法、及び、プログラム
JP2020154925A (ja) 情報処理装置、情報処理方法、及びプログラム
CN119645672B (zh) 一种gpu内存优化管理方法与系统
Feoktistov et al. Algorithms for planning on computational model with redundancy and uncertainty
van Hee et al. Scheduling-free resource management
Roque et al. Improving constraint solving on parallel hybrid systems

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021560364

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21945866

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112021007485

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 202180099129.0

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 21945866

Country of ref document: EP

Kind code of ref document: A1