JP7142805B2 - 構成変換装置、構成変換方法、および構成変換プログラム - Google Patents

Description

本開示は、構成変換装置、構成変換方法、および構成変換プログラムに関する。

ニューラルネットワークの実現には、大規模な演算を要する。組込み機器上でリアルタイムに処理させたい場合、ニューラルネットワークをそのまま実装すると、高価なデバイスを用いなければ実現できないことがある。また、廉価なデバイスでリアルタイムに処理させるためには、ニューラルネットワークの演算量を小さくすることによる軽量化が必要になる。
しかし、軽量化による処理性能の向上に伴い、認識精度の劣化が問題となる。一般に認識精度は、演算量が大きいほど高い傾向にある。つまり、性能と演算量とはトレードオフの関係にある。

特許文献１では、重み行列の次元量を削減することにより、推論処理における積和演算量を削減する技術が開示されている。特許文献１では、演算量の削減による認識精度の低下を極力抑えるため、ニューラルネットワークの前段ほど削減量を少なく、後段ほど削減量を多くしている。

特開２０１８－１０９９４７号公報

特許文献１の技術では、積和演算量の削減が必須であるため、認識精度が悪化する虞があるという課題がある。

本開示は、性能を維持したまま認識精度を向上させることを目的とする。

本開示に係る構成変換装置は、
複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得する解析部と、
前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する変換部と
を備えた。

本開示に係る構成変換装置によれば、回路の処理性能が劣化せず、かつ、ニューラルネットワークの演算量が増加するように、レイヤパラメータを変換するので、性能を維持したまま認識精度を向上させることできる。

実施の形態１に係る構成変換装置の構成例。 実施の形態１に係る構成変換装置の入出力の例。 実施の形態１に係る構成変換装置の動作概要例。 実施の形態１に係るＮＮモデルのＮＮ構造の例。 実施の形態１に係るＮＮモデルにおけるニューロンモデルのハードウェア構成例。 実施の形態１に係るＮＮモデルのレイヤパラメータの例。 実施の形態１に係る構成変換装置の構成変換処理の動作例を示すフロー図。 実施の形態１に係るレイテンシの算出方法を示す図。 実施の形態１に係るＮＮ構造において処理性能が劣化せずに演算量が増加する例。 実施の形態１の変形例に係る構成変換装置の構成変換処理の動作例を示すフロー図。 実施の形態１の変形例に係る構成変換装置の構成例。 実施の形態１に係る構成変換装置の効果を示す図。 実施の形態２に係る構成変換装置の構成例。 実施の形態３に係る構成変換装置の構成例。 実施の形態３に係る構成変換装置の構成変換処理の動作例を示すフロー図。 実施の形態３に係るＮＮ構造において処理性能が劣化せずに演算量が増加する例。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を用いて、本実施の形態に係る構成変換装置１００の構成例について説明する。

構成変換装置１００は、コンピュータである。構成変換装置１００は、プロセッサ９１０を備えるとともに、メモリ９２１、補助記憶装置９２２、入力インタフェース９３０、出力インタフェース９４０、および通信装置９５０といった他のハードウェアを備える。プロセッサ９１０は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

構成変換装置１００は、機能要素として、解析部１１０と変換部１２０と出力部１３０と記憶部１４０を備える。記憶部１４０には、変換後ＮＮモデル２２が記憶される。ＮＮは、ニューラルネットワークの略語である。

解析部１１０と変換部１２０と出力部１３０の機能は、ソフトウェアにより実現される。記憶部１４０は、メモリ９２１あるいは補助記憶装置９２２に備えられる。

プロセッサ９１０は、構成変換プログラムを実行する装置である。構成変換プログラムは、解析部１１０と変換部１２０と出力部１３０の機能を実現するプログラムである。
プロセッサ９１０は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ９１０の具体例は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ９２１は、データを一時的に記憶する記憶装置である。メモリ９２１の具体例は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、あるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
補助記憶装置９２２は、データを保管する記憶装置である。補助記憶装置９２２の具体例は、ＨＤＤである。また、補助記憶装置９２２は、ＳＤ（登録商標）メモリカード、ＣＦ、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬の記憶媒体であってもよい。なお、ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略語である。ＳＤ（登録商標）は、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略語である。ＣＦは、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）の略語である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略語である。

入力インタフェース９３０は、マウス、キーボード、あるいはタッチパネルといった入力装置と接続されるポートである。入力インタフェース９３０は、具体的には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。なお、入力インタフェース９３０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）と接続されるポートであってもよい。解析部１１０は、入力インタフェース９３０を介して、ニューラルネットワークモデル（以下、ＮＮモデル２１とする）を取得する。

出力インタフェース９４０は、ディスプレイといった出力機器のケーブルが接続されるポートである。出力インタフェース９４０は、具体的には、ＵＳＢ端子またはＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子である。ディスプレイは、具体的には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。出力部１３０は、出力インタフェース９４０を介して、変換後ニューラルネットワークモデル（以下、変換後ＮＮモデル２２とする）を出力機器に出力してもよい。

通信装置９５０は、レシーバとトランスミッタを有する。通信装置９５０は、無線で、ＬＡＮ、インターネット、あるいは電話回線といった通信網に接続している。通信装置９５０は、具体的には、通信チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。構成変換装置１００は、通信装置９５０を介して、ＮＮモデル２１を取得してもよい。あるいは、構成変換装置１００は、通信装置９５０を介して、変換後ＮＮモデル２２を他の装置に送信してもよい。

構成変換プログラムは、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。メモリ９２１には、構成変換プログラムだけでなく、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。プロセッサ９１０は、ＯＳを実行しながら、構成変換プログラムを実行する。構成変換プログラムおよびＯＳは、補助記憶装置９２２に記憶されていてもよい。補助記憶装置９２２に記憶されている構成変換プログラムおよびＯＳは、メモリ９２１にロードされ、プロセッサ９１０によって実行される。なお、構成変換プログラムの一部または全部がＯＳに組み込まれていてもよい。

構成変換装置１００は、プロセッサ９１０を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、構成変換プログラムの実行を分担する。それぞれのプロセッサは、プロセッサ９１０と同じように、構成変換プログラムを実行する装置である。

構成変換プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ９２１、補助記憶装置９２２、または、プロセッサ９１０内のレジスタあるいはキャッシュメモリに記憶される。

解析部１１０と変換部１２０と出力部１３０の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えてもよい。また解析処理と変換処理と出力処理の「処理」を「プログラム」、「プログラムプロダクト」または「プログラムを記録したコンピュータ読み取り可能な記録媒体」に読み替えてもよい。
構成変換プログラムは、上記の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えた各処理、各手順あるいは各工程を、コンピュータに実行させる。また、構成変換方法は、構成変換装置１００が構成変換プログラムを実行することにより行われる方法である。
構成変換プログラムは、コンピュータ読み取り可能な記録媒体あるいは記憶媒体に格納されて提供されてもよい。また、構成変換プログラムは、プログラムプロダクトとして提供されてもよい。

＜構成変換装置１００の入出力＞
図２は、本実施の形態に係る構成変換装置１００の入出力の例を示す図である。
構成変換装置１００は、ＮＮモデル２１を入力とし、変換後ＮＮモデル２２を出力とする。
ＮＮモデル２１および変換後ＮＮモデル２２の各々は、複数の層を備えたニューラルネットワークのモデルである。複数の層を備えたニューラルネットワークはＤＮＮ（ディープニューラルネットワーク）とも呼ばれる。ＮＮモデル２１および変換後ＮＮモデル２２の各々は、ＮＮ構造を有する。ＮＮ構造は、ＤＮＮ構造ともいう。

また、複数の層を備えたニューラルネットワークは、複数の層の各層の属性を表すレイヤパラメータ２１０を有する。レイヤパラメータ２１０は、具体的には、複数の層の各層の入出力エッジ数、および、複数の層の各層の活性化関数といった情報である。
ＮＮモデル２１および変換後ＮＮモデル２２の各々は、具体的には、Ｃａｆｆｅツールにおけるｐｒｏｔｏｔｘｔである。
なお、本実施の形態では、ＮＮモデル２１においてレイヤパラメータ２１０が変換されたニューラルネットワークを、変換後ＮＮモデル２２と呼ぶ。

＊＊＊動作の概要の説明＊＊＊
図３は、本実施の形態に係る構成変換装置１００の動作の概要を示す図である。

ステップＳ１０１において、解析部１１０は、ＮＮモデル２１を取得する。解析部１１０は、ＮＮモデル２１における、複数の層により構成されたニューラルネットワークの構成を解析し、複数の層の各層の属性を表すレイヤパラメータ２１０を取得する。

次に、変換部１２０は、ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、ニューラルネットワークの演算量が増加するように、レイヤパラメータ２１０を変換する。具体的には、以下の通りである。

ステップＳ１０２において、変換部１２０は、現在のレイヤパラメータ２１０である第１パラメータ２１１を用いて、処理性能を第１処理性能として算出する。
ステップＳ１０３において、変換部１２０は、第１パラメータ２１１より演算量が大きい第２パラメータ２１２をレイヤパラメータ２１０として用いて、処理性能を第２処理性能として算出する。
ステップＳ１０４において、変換部１２０は、第２処理性能が第１処理性能より劣化しているか否かを判定する。

第２処理性能が第１処理性能より劣化していなければ、第２パラメータ２１２を現在のレイヤパラメータ２１０である第１パラメータ２１１として、ステップＳ１０３に戻り、処理を繰り返す。

第２処理性能が第１処理性能より劣化していれば、ステップＳ１０５に進む。
ステップＳ１０５において、出力部１３０は、第２パラメータ２１２をレイヤパラメータ２１０とするニューラルネットワークを変換後ＮＮモデル２２として出力する。

＊＊＊動作例の説明＊＊＊
図４は、本実施の形態に係るＮＮモデル２１のＮＮ構造の例を示す図である。
図５は、本実施の形態に係るＮＮモデル２１におけるニューロンモデルのハードウェア構成例を示す図である。
図６は、本実施の形態に係るＮＮモデル２１のレイヤパラメータ２１０の例を示す図である。

図４に示すように、ＮＮモデル２１のＮＮ構造は、全結合のＤＮＮ構造である。本実施の形態では、全結合のＤＮＮ構造で説明を行うが、全結合していない順伝播型のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）構造でも本実施の形態を適用可能である。
各層では、畳み込み処理後に活性化関数が入る。また、層間にはＰｏｏｌｉｎｇあるいはバッチ正規化といった処理が入る場合があるが、説明を簡単にするために省略している。

図５では、ＮＮモデル２１におけるニューロンモデルを実行するハードウェア構成例として、ＦＰＧＡで回路化された畳み込み回路アーキテクチャを示している。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略語である。
ＭＡＣは、畳み込み演算コアである。ＡＣＴは活性化関数を実行する活性化演算コアである。活性化演算コアは、Ｓｔｅｐ，ＲｅＬｕ，Ｌｅａｋｙ ＲｅＬｕといった活性化関数機能を持つレイヤ（活性化関数レイヤ）に対応する。
ＮＮ構造の各層の演算量は、ニューロンにおける入力並列数および出力並列数により決定される。ＮＮ構造の各層の演算量をＮＮ構造の各層の規模ともいう。

図６に示すように、本実施の形態では、レイヤパラメータ２１０は、複数の層の各層の入出力エッジ数である。ＮＮ構造では、各層の入力エッジ数および出力エッジ数がパラメータとして得られる。
レイヤパラメータ２１０の変更には制約がある。最初の層の入力エッジ数と、最後の層の出力エッジ数はニューラルネットワークの仕様であるため変更しない。また、前後の層において、前の層の出力エッジ数と後の層の入力エッジ数は同じになる。

図７は、本実施の形態に係る構成変換装置１００の構成変換処理の動作例を示すフロー図である。

ステップＳ２０１において、解析部１１０は、ＮＮモデル２１を取得する。解析部１１０は、ＮＮモデル２１における、複数の層により構成されたニューラルネットワークの構成を解析し、複数の層の各層の属性を表すレイヤパラメータ２１０を取得する。具体的には、解析部１１０は、学習フレームワークで定義されたＮＮフォーマットのＮＮモデル２１を構文分析（パース）し、ＮＮモデル２１のＮＮ構造におけるレイヤパラメータ２１０を取得する。
図５に示すように、本実施の形態では、レイヤパラメータ２１０は複数の層の各層の入出力エッジ数である。
ステップＳ２０１の処理は、ステップＳ１０１に対応する。

変換部１２０は、ＮＮモデル２１のＮＮ構造における複数の層の各層の入出力エッジ数をレイヤパラメータ２１０として、入出力エッジ数を増加させることにより演算量を増加させる。なお、各層の演算量を増加させることを、各層の規模を増加させるともいう。

ステップＳ１０２において、変換部１２０は、レイヤパラメータ２１０を第１パラメータ２１１として用いて、ＮＮモデル２１のＮＮ構造の処理性能を第１処理性能として算出する。
なお、ＮＮ構造の処理性能は、複数の層の各層のレイテンシの総和として取得される。

図８は、本実施の形態に係るレイテンシの算出方法を示す図である。
ＮＮ構造のレイテンシは、各層のレイテンシの総和として算出される。ＮＮモデル２１のＮＮ構造の１周期のレイテンシをＬａｔ（ｏｒｇ）とする。このとき、Ｌａｔ（ｏｒｇ）＝ＳＵＭ（ｌａｔｅｎｃｙ（Ｌ１），ｌａｔｅｎｃｙ（Ｌ２），・・・，ｌａｔｅｎｃｙ（ＬＮ））となる。
ここで、Ｌ＃は、＃番目の層のレイテンシである。また、ＮＮモデル２１のＮＮ構造の複数の層は、１番目からＮ番目までの層を有するものとする。Ｎは自然数である。

また、ＮＮ構造の各層のレイテンシは、各層の入出力並列数によって決定される。ただし、エッジ数が入出力並列数で割り切れない場合は繰り上げとなる。具体的には、各層レイテンシ算出式は、ｌａｔｅｎｃｙ（Ｌ＃）＝ＲＯＵＮＤＵＰ（入力エッジ数／入力並列数）×ＲＯＵＮＤＵＰ（出力エッジ数／出力並列数）となる。

ステップＳ２０２の処理は、ステップＳ１０２に対応する。Ｌａｔ（ｏｒｇ）は、ステップＳ１０２における第１処理性能に相当する。

ステップＳ２０３において、変換部１２０は、ｎおよびｔｒｉａｌを初期化する。具体的には、ｎ＝０，ｔｒｉａｌ＝０とする。ここで、ｎはＮＮ構造において演算量を増加する対象の層の番号である。また、ｔｒｉａｌは、レイヤパラメータの変換を実行した回数である。ｎおよびｔｒｉａｌは、０以上の整数である。

ステップＳ２０４において、変換部１２０は、ｎをインクリメントする。

ステップＳ２０５において、変換部１２０は、ｎ番目の層の演算量を増加させるために、ｎ番目の層の出力エッジ数を１増加させる。具体的には、ｏｅｎ（ｎ）＝ｏｅｎ（ｎ）＋１とする。
ここで、ｏｅｎ（ｎ）は、ｎ番目の層の出力エッジ数である。
また、変換部１２０は、ｔｒｉａｌをインクリメントする。これにより、ステップＳ２０５におけるｎ番目の層のレイヤパラメータ２１０の変更が、ｔｒｉａｌ回目の変更であることを意味する。

ステップＳ２０６において、変換部１２０は、ｔｒｉａｌ回目の変更後のＮＮ構造のレイテンシ、すなわちＬａｔ（ｔｒｉａｌ）を算出する。算出方法は、図８で説明した方法と同様である。Ｌａｔ（ｔｒｉａｌ）は、ステップＳ１０３における第２処理性能に相当する。

ステップＳ２０７において、変換部１２０は、ｎ番目の層の出力エッジ数を１増加させたＮＮ構造のレイテンシであるＬａｔ（ｔｒｉａｌ）が、変更前のＮＮ構造のレイテンシであるＬａｔ（ｏｒｇ）より劣化しているか否かを判定する。具体的には、以下の処理を行う。

Ｌａｔ（ｔｒｉａｌ）がＬａｔ（ｏｒｇ）より劣化していなければ、変換部１２０は、ステップＳ２０５に戻り、ｎ番目の層の出力エッジ数をさらに１増加して、以降の処理を繰り返す。
Ｌａｔ（ｔｒｉａｌ）がＬａｔ（ｏｒｇ）より劣化していれば、変換部１２０は、ステップＳ２０８に進む。このとき、変換部１２０は、ｎ番目の層の出力エッジ数を１減少させて元に戻してから、ステップＳ２０８に進む。
上記の処理を具体的にプログラム言語で記述すると、例えば、以下のようになる。
Ｉｆ（Ｌａｔ（ｏｒｇ）＜Ｌａｔ（ｔｒｉａｌ）） ｏｅｎ（ｎ）＝ｏｅｎ（ｎ）－１ ａｎｄ ｇｏｔｏ Ｓ２０８ ｅｌｓｅ ｇｏｔｏ Ｓ２０５

ステップＳ２０８において、変換部１２０は、ｎがＮより小さいかを判定する。
ｎがＮより小さい場合は、まだ処理していない層が存在することを意味する。よって、ステップＳ２０４に戻り、変換部１２０は、ｎをインクリメントして次の層について以降の処理を繰り返す。
ｎがＮより小さくない場合は、全ての層について処理が完了したことを意味する。よって、処理をステップＳ２０９に進める。

ステップＳ２０９において、出力部１３０は、現在のレイヤパラメータを有するＮＮ構造のニューラルネットワークを、変換後ＮＮモデル２２として出力する。
ステップＳ２０９の処理は、ステップＳ１０５の処理に対応する。

また、ステップＳ２０３からステップＳ２０８の処理は、ステップＳ１０３およびステップＳ１０４の処理に対応する。

図９は、本実施の形態に係るＮＮ構造において処理性能が劣化せずに演算量が増加する例を示す図である。
構成変換装置１００に入力されるＮＮモデル２１のＮＮ構造では、入力並列数および出力並列数をそれぞれ「７」であるものとする。
また、上段のレイヤパラメータ２１０は、構成変換装置１００に入力されるＮＮモデル２１のＮＮ構造のものとする。また、下段のレイヤパラメータ２１０は、構成変換装置１００から出力される変換後ＮＮモデル２２のＮＮ構造のものとする。

上段のＮＮモデル２１のＮＮ構造において、各層レイテンシの総和Ｔｏｔａｌ Ｌａｔｅｎｃｙを算出する。上述したように、割り切れない場合は繰り上げとなる。
・１層目：ｌａｔｅｎｃｙ（Ｌ１）＝ＲＯＵＮＤＵＰ（１６／７）×ＲＯＵＮＤＵＰ（１９８／７）≒８７
・２層目：ｌａｔｅｎｃｙ（Ｌ２）＝ＲＯＵＮＤＵＰ（１９８／７）×ＲＯＵＮＤＵＰ（１９８／７）≒８４１
・３層目：ｌａｔｅｎｃｙ（Ｌ３）＝ＲＯＵＮＤＵＰ（１９８／７）×ＲＯＵＮＤＵＰ（１９８／７）≒８４１
・４層目：ｌａｔｅｎｃｙ（Ｌ４）＝ＲＯＵＮＤＵＰ（１９８／７）×ＲＯＵＮＤＵＰ（１６／７）≒８７
よって、Ｔｏｔａｌ Ｌａｔｅｎｃｙ＝ｌａｔｅｎｃｙ（Ｌ１）＋ｌａｔｅｎｃｙ（Ｌ２）＋ｌａｔｅｎｃｙ（Ｌ３）＋ｌａｔｅｎｃｙ（Ｌ４）＝１８５６となる。

下段の変換後ＮＮモデル２２のＮＮ構造では、１番目から３番目の層の出力エッジ数「２０３」は、出力並列数「７」に対して割り切れる数である。
下段の変換後ＮＮモデル２２のＮＮ構造において、各層レイテンシの総和Ｔｏｔａｌ Ｌａｔｅｎｃｙを算出する。
・１層目：ｌａｔｅｎｃｙ（Ｌ１）＝ＲＯＵＮＤＵＰ（１６／７）×ＲＯＵＮＤＵＰ（２０３／７）≒８７
・２層目：ｌａｔｅｎｃｙ（Ｌ２）＝ＲＯＵＮＤＵＰ（２０３／７）×ＲＯＵＮＤＵＰ（２０３／７）≒８４１
・３層目：ｌａｔｅｎｃｙ（Ｌ３）＝ＲＯＵＮＤＵＰ（２０３／７）×ＲＯＵＮＤＵＰ（２０３／７）≒８４１
・４層目：ｌａｔｅｎｃｙ（Ｌ４）＝ＲＯＵＮＤＵＰ（２０３／７）×ＲＯＵＮＤＵＰ（１６／７）≒８７
よって、Ｔｏｔａｌ Ｌａｔｅｎｃｙ＝ｌａｔｅｎｃｙ（Ｌ１）＋ｌａｔｅｎｃｙ（Ｌ２）＋ｌａｔｅｎｃｙ（Ｌ３）＋ｌａｔｅｎｃｙ（Ｌ４）＝１８５６となる。

このように、ＮＮモデル２１のＮＮ構造の処理性能と、変換後ＮＮモデル２２のＮＮ構造の処理性能は同性能である。しかしながら、変換後ＮＮモデル２２のＮＮ構造では、ＮＮモデル２１のＮＮ構造と比較して、約４Ｋの積和処理を追加できる。

具体的には、ＮＮモデル２１と変換後ＮＮモデル２２の各々のＮＮ構造の積和回数は、以下のように計算される。
・ＮＮモデル２１の積和回数＝１６×１９８（１層目）＋１９８×１９８（２層目）＋１９８×１９８（３層目）＋１９８×１６（４層目）＝８４７４４
・変換後ＮＮモデル２２の積和回数＝１６×２０３（１層目）＋２０３×２０３（２層目）＋２０３×２０３（３層目）＋２０３×１６（４層目）＝８８９１４
よって、変換後ＮＮモデル２２のＮＮ構造では、ＮＮモデル２１のＮＮ構造と同一の処理性能で、８８９１４－８４７４４＝４１７０回（約４Ｋ）の積和処理を追加できる。

以上のように、変換部１２０は、ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、ニューラルネットワークの演算量が増加するように、レイヤパラメータを変換している。

＊＊＊他の構成＊＊＊
＜変形例１＞
図１０は、本実施の形態の変形例に係る構成変換装置１００の構成変換処理の動作例を示すフロー図である。
本実施の形態では、変換部１２０は、出力エッジ数を１ずつ増加させて演算量を増加させている（ステップＳ２０５）。しかし、図９に示すように、出力エッジ数を、次に出力並列数で割り切れる数まで増加させた場合でも、処理性能は劣化しない可能性が高い。
よって、変換部１２０は、複数の層の各層の入力エッジ数を回路の入力並列数で割り切れる数に増加させるとともに、複数の層の各層の出力エッジ数を回路の出力並列数で割り切れる数に増加させてもよい。具体的には、変換部１２０は、出力エッジ数を、次に出力並列数で割り切れる数まで増加させることにより、ｎ番目の層の演算量を増加させる。

図１０では、ステップＳ２０１からステップＳ２０４、ステップＳ２０６、および、ステップＳ２０８からステップＳ２０９の処理は、図７と同様である。
図１０のステップＳ２０５ａにおいて、変換部１２０は、出力エッジ数ｏｅｎ（ｎ）を、次に出力並列数で割り切れる数まで増加させる。
この処理を具体的にプログラム言語で記述すると、例えば、以下のようになる。
Ｗｈｉｌｅ（ｏｅｎ（ｎ）％並列数＝＝０） ｏｅｎ（ｎ）＝ｏｅｎ（ｎ）＋１

また、ステップＳ２０７ａにおいて、変換部１２０は、ｎ番目の層の出力エッジ数を出力並列数で割り切れる数まで増加させたＮＮ構造のＬａｔ（ｔｒｉａｌ）が、変更前のＮＮ構造のＬａｔ（ｏｒｇ）より劣化しているか否かを判定する。具体的には、以下の処理を行う。
Ｌａｔ（ｔｒｉａｌ）がＬａｔ（ｏｒｇ）より劣化していなければ、変換部１２０は、ステップＳ２０５に戻り、ｎ番目の層の出力エッジ数をさらに増加させて、以降の処理を繰り返す。
Ｌａｔ（ｔｒｉａｌ）がＬａｔ（ｏｒｇ）より劣化していれば、変換部１２０は、ステップＳ２０８に進む。このとき、変換部１２０は、ｎ番目の層の出力エッジ数を元に戻してから、ステップＳ２０８に進む。
上記の処理を具体的にプログラム言語で記述すると、例えば、以下のようになる。
Ｉｆ（Ｌａｔ（ｏｒｇ）＜Ｌａｔ（ｔｒｉａｌ）） ｏｅｎ（ｎ）＝元の数 ａｎｄ ｇｏｔｏ Ｓ２０８ ｅｌｓｅ ｇｏｔｏ Ｓ２０５ａ

＜変形例２＞
変形例１では、変換部１２０は、出力エッジ数ｏｅｎ（ｎ）を、次に出力並列数で割り切れる数まで増加させていた。しかし、変換部１２０は、出力エッジ数ｏｅｎ（ｎ）を出力並列数で割った剰余が小さくなるように、出力エッジ数を増加させてもよい。

＜変形例３＞
本実施の形態では、解析部１１０と変換部１２０と出力部１３０の機能がソフトウェアで実現される。変形例として、解析部１１０と変換部１２０と出力部１３０の機能がハードウェアで実現されてもよい。

図１１は、本実施の形態の変形例に係る構成変換装置１００の構成を示す図である。
構成変換装置１００は、電子回路９０９、メモリ９２１、補助記憶装置９２２、入力インタフェース９３０、および出力インタフェース９４０を備える。

電子回路９０９は、解析部１１０と変換部１２０と出力部１３０の機能を実現する専用の電子回路である。
電子回路９０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、または、ＦＰＧＡである。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略語である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。
解析部１１０と変換部１２０と出力部１３０の機能は、１つの電子回路で実現されてもよいし、複数の電子回路に分散して実現されてもよい。
別の変形例として、解析部１１０と変換部１２０と出力部１３０の一部の機能が電子回路で実現され、残りの機能がソフトウェアで実現されてもよい。
また、別の変形例として、解析部１１０と変換部１２０と出力部１３０の一部あるいはすべての機能が、ファームウェアで実現されていてもよい。

プロセッサと電子回路の各々は、プロセッシングサーキットリとも呼ばれる。つまり、構成変換装置１００において、解析部１１０と変換部１２０と出力部１３０の機能は、プロセッシングサーキットリにより実現される。

＊＊＊本実施の形態の効果の説明＊＊＊
図１２は、本実施の形態に係る構成変換装置１００の効果を示す図である。
図１２に示すように、オリジナルのＮＮ構造８０のレイテンシを低減するため、比較例のＮＮ構造８１では認識精度も低くなってしまう。本実施の形態に係る変更後ＮＮ構造８２では、レイテンシを劣化させることなく認識精度を向上させることができる。

本実施の形態に係る構成変換装置１００は、ニューラルネットワークのモデルを入力として、ハードウェア向けにニューラルネットワークを変更する装置である。本実施の形態に係る構成変換装置１００では、ニューラルネットワークを構成する各層のパラメータである入出力エッジ数をハードウェアで実行した場合に、性能が劣化せず、かつ、入出力エッジ数を増加させるように、入出力エッジ数を変更する。よって、本実施の形態に係る構成変換装置１００によれば、性能を維持したまま認識精度を向上させることができる。

言い換えると、本実施の形態に係る構成変換装置１００は、推論を実行するハードウェアの演算器並列数といったハードウェア構成と実装対象のＮＮから、ＮＮの規模（演算量）を大きくしても性能に影響しないＮＮのパラメータを導出する。そして、構成変換装置１００は、導出したパラメータに基づいて、ＮＮの規模を大きなものに変更する。
本実施の形態では組込み機器のＦＰＧＡ、ＡＳＩＣ、あるいはＧＰＵといったハードウェアへのＡＩ推論機能において、実装対象となるＤＮＮを、ハードウェアにおける処理時間増無しおよび回路規模増無しで認識精度を向上させるＤＮＮに変更することができる。よって、未使用の回路がある場合、未使用回路を有効に活用できるようにＮＮを変更することができ、性能を劣化させずに認識率を向上させることができる。

実施の形態２．
本実施の形態では、主に、実施の形態１と異なる点および実施の形態１に追加する点について説明する。
本実施の形態において、実施の形態１と同様の機能を有する構成については同一の符号を付し、その説明を省略する。

図１３を用いて、本実施の形態に係る構成変換装置１００ｂの構成例について説明する。
本実施の形態に係る構成変換装置１００ｂは、複数のレイヤパラメータ２１０の各々と、複数のレイヤパラメータ２１０の各々を用いた際の回路の処理性能とを対応付けた処理性能情報２３を備える。その他の構成については実施の形態１と同様である。

実施の形態１では、図３のステップＳ１０２およびステップＳ１０３において、変換部１２０は、図６に示す特定の回路構成から処理性能を算出する。
しかし、ハードウェアの回路構成が特定できない場合もある。このような場合、変換部１２０は、レイヤパラメータと回路の処理性能の実測値とが予め設定された処理性能情報２３を用いて、レイヤパラメータに対応する処理性能を取得する。

変換部１２０は、現在のレイヤパラメータ２１０である第１パラメータ２１１を用いた際の回路の処理性能を第１処理性能として処理性能情報２３から取得する（ステップＳ１０２に対応）。また、変換部１２０は、第１パラメータ２１１より演算量が増加する第２パラメータ２１２をレイヤパラメータ２１０として用いた際の回路の処理性能を第２処理性能として処理性能情報２３から取得する（ステップＳ１０３に対応）。第２処理性能が第１処理性能より劣化していなければ、変換部１２０は、第２パラメータ２１２を現在のレイヤパラメータである第１パラメータ２１１として、処理を繰り返す。

本実施の形態に係る構成変換装置１００ｂでは、ＮＮ構造のパラメータを特定のハードウェアで実行した場合の性能を、予めデータベース化してある。よって、本実施の形態に係る構成変換装置１００ｂでは、変換部１２０は、ハードウェアの回路構成を特定できない場合でも、レイヤパラメータに対応する処理性能を取得することができる。

実施の形態３．
本実施の形態では、主に、実施の形態１，２と異なる点および実施の形態１，２に追加する点について説明する。
本実施の形態において、実施の形態１，２と同様の機能を有する構成については同一の符号を付し、その説明を省略する。

図１４を用いて、本実施の形態に係る構成変換装置１００ｃの構成例について説明する。
本実施の形態に係る構成変換装置１００ｃは、活性化関数の性能が設定された活性化性能テーブル２４を備える。その他の構成については実施の形態１と同様である。

実施の形態１では、ＮＮ構造の複数の層の各層の入出力エッジ数をレイヤパラメータ２１０として、入出力エッジ数を増加させることでＮＮ構造の演算量を増加させている。
本実施の形態では、変換部１２０は、複数の層の各層の活性化関数をレイヤパラメータ２１０として、活性化関数を現在の関数より演算数が大きい関数に変換することにより、ＮＮ構造の演算量を増加させる。

図１５は、本実施の形態に係る構成変換装置１００ｃの構成変換処理の動作例を示すフロー図である。
図１５では、ステップＳ２０１からステップＳ２０４、ステップＳ２０６、および、ステップＳ２０８からステップＳ２０９の処理は、図７と同様である。
図１５のステップＳ２０５ｃにおいて、変換部１２０は、活性化性能テーブル２４に基づいて、ｎ番目の層における活性化関数を変換する。

図１６は、本実施の形態に係るＮＮ構造において処理性能が劣化せずに演算量が増加する例を示す図である。
図１６に示すように、活性化性能テーブル２４には、活性化関数の種類と、活性化関数のハードウェア性能と、演算規模とが設定されている。
変換部１２０は、ｎ番目の層における活性化関数を、ハードウェア性能が同じであれば、演算規模の大きい活性化関数に差し替える。
図１６の具体例では、活性化関数ＲｅＬｕのハードウェア性能は１であり、演算規模は１である。活性化関数Ｌｅａｋｙ ＲｅＬｕのハードウェア性能は１であり、演算規模は３である。そこで、変換部１２０は、ＮＮ構造におけるｎ番目の層の活性化関数ＲｅＬｕを、ハードウェア性能が同じであり、演算規模の大きいＬｅａｋｙ ＲｅＬｕに差し替える。

また、ステップＳ２０７ｃにおいて、変換部１２０は、活性化関数を差し換えた後のＮＮ構造のＬａｔ（ｔｒｉａｌ）が、差し替え前のＮＮ構造のＬａｔ（ｏｒｇ）より劣化しているか否かを判定する。具体的には、以下の処理を行う。
Ｌａｔ（ｔｒｉａｌ）がＬａｔ（ｏｒｇ）より劣化していなければ、変換部１２０は、ステップＳ２０５ｃに戻り、ｎ番目の層の活性化関数の演算規模をさらに増加させて、以降の処理を繰り返す。
Ｌａｔ（ｔｒｉａｌ）がＬａｔ（ｏｒｇ）より劣化していれば、変換部１２０は、ステップＳ２０８に進む。このとき、変換部１２０は、ｎ番目の層の活性化関数を差し替え前に戻してから、ステップＳ２０８に進む。

本実施の形態に係る構成変換装置１００ｃは、推論を実行するハードウェアの演算器並列数といったハードウェア構成と実装対象のＮＮから、ＮＮの規模（演算量）を大きくしても性能に影響しないＮＮのレイヤ種類（活性化関数）を導出する。そして、構成変換装置１００は、導出したレイヤ種類に基づいて、ＮＮの規模を大きなものに変更する。
本実施の形態に係る構成変換装置１００ｃよれば、回路の処理性能が劣化せず、かつ、ニューラルネットワークの演算量が増加するように、活性化関数を変換するので、性能を維持したまま認識精度を向上させることできる。

以上の実施の形態１から３では、構成変換装置の各部を独立した機能ブロックとして説明した。しかし、構成変換装置の構成は、上述した実施の形態のような構成でなくてもよい。構成変換装置の機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、どのような構成でもよい。また、構成変換装置は、１つの装置でなく、複数の装置から構成されたシステムでもよい。
また、実施の形態１から３のうち、複数の部分を組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、１つの部分を実施しても構わない。その他、これらの実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
すなわち、実施の形態１から３では、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
なお、上記の実施の形態は、本質的に好ましい例示であって、本開示、その適用物あるいは用途の範囲を制限することを意図するものではなく、必要に応じて種々の変更が可能である。

２１ ＮＮモデル、２２ 変換後ＮＮモデル、２３ 処理性能情報、２４ 活性化性能テーブル、８０，８１，８２ ＮＮ構造、１００，１００ｂ，１００ｃ 構成変換装置、１１０ 解析部、１２０ 変換部、１３０ 出力部、１４０ 記憶部、２１０ レイヤパラメータ、２１１ 第１パラメータ、２１２ 第２パラメータ、９０９ 電子回路、９１０ プロセッサ、９２１ メモリ、９２２ 補助記憶装置、９３０ 入力インタフェース、９４０ 出力インタフェース、９５０ 通信装置。

Claims (16)

1. 複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得する解析部と、
   前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する変換部であって、前記複数の層の各層の入出力エッジ数を前記レイヤパラメータとして、前記入出力エッジ数を増加させることにより前記演算量を増加させる変換部と
   を備え、
   前記変換部は、
   前記複数の層の各層の入力エッジ数を回路の入力並列数で割り切れる数に増加させ、前記複数の層の各層の出力エッジ数を回路の出力並列数で割り切れる数に増加させる構成変換装置。
2. 前記変換部は、
   前記複数の層の各層の活性化関数を前記レイヤパラメータとして、前記活性化関数を現在の関数より演算規模が大きい関数に変換することにより前記演算量を増加させる請求項１に記載の構成変換装置。
3. 前記変換部は、
   現在の前記レイヤパラメータである第１パラメータを用いて前記処理性能を第１処理性能として算出し、前記第１パラメータより前記演算量が増加する第２パラメータを前記レイヤパラメータとして用いて前記処理性能を第２処理性能として算出し、前記第２処理性能が前記第１処理性能より劣化していなければ、前記第２パラメータを現在の前記レイヤパラメータとする請求項１または請求項２に記載の構成変換装置。
4. 前記構成変換装置は、
   複数のレイヤパラメータの各々と、前記複数のレイヤパラメータの各々を用いた際の前記回路の処理性能とを対応付けた処理性能情報を備え、
   前記変換部は、
   現在の前記レイヤパラメータである第１パラメータを用いた際の前記回路の前記処理性能を第１処理性能として前記処理性能情報から取得し、前記第１パラメータより前記演算量が増加する第２パラメータを前記レイヤパラメータとして用いた際の前記回路の前記処理性能を第２処理性能として前記処理性能情報から取得し、前記第２処理性能が前記第１処理性能より劣化していなければ、前記第２パラメータを現在の前記レイヤパラメータとする請求項１または請求項２に記載の構成変換装置。
5. 前記回路は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である請求項１から請求項４のいずれか１項に記載の構成変換装置。
6. コンピュータである構成変換装置に用いられる構成変換方法において、
   コンピュータが、複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得し、
   コンピュータが、前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する構成変換方法であって、
   コンピュータは、前記複数の層の各層の入力エッジ数を回路の入力並列数で割り切れる数に増加させ、前記複数の層の各層の出力エッジ数を回路の出力並列数で割り切れる数に増加させることにより、前記複数の層の各層の入出力エッジ数を前記レイヤパラメータとして、前記入出力エッジ数を増加させる構成変換方法。
7. コンピュータである構成変換装置に用いられる構成変換プログラムにおいて、
   複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得する解析処理と、
   前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する変換処理と
   をコンピュータに実行させる構成変換プログラムであって、
   前記変換処理では、
   前記複数の層の各層の入力エッジ数を回路の入力並列数で割り切れる数に増加させ、前記複数の層の各層の出力エッジ数を回路の出力並列数で割り切れる数に増加させることにより、前記複数の層の各層の入出力エッジ数を前記レイヤパラメータとして、前記入出力エッジ数を増加させる構成変換プログラム。
8. 複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得する解析部と、
   前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する変換部とを備え、
   前記変換部は、
   前記複数の層の各層の活性化関数を前記レイヤパラメータとして、前記活性化関数を現在の関数より演算規模が大きい関数に変換することにより前記演算量を増加させる構成変換装置。
9. コンピュータである構成変換装置に用いられる構成変換方法において、
   コンピュータが、複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得し、
   コンピュータが、前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する構成変換方法であって、
   コンピュータは、前記複数の層の各層の活性化関数を前記レイヤパラメータとして、前記活性化関数を現在の関数より演算規模が大きい関数に変換することにより前記演算量を増加させる構成変換方法。
10. コンピュータである構成変換装置に用いられる構成変換プログラムにおいて、
    複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得する解析処理と、
    前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する変換処理と
    をコンピュータに実行させる構成変換プログラムであって、
    前記変換処理では、
    前記複数の層の各層の活性化関数を前記レイヤパラメータとして、前記活性化関数を現在の関数より演算規模が大きい関数に変換することにより前記演算量を増加させる構成変換プログラム。
11. 複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得する解析部と、
    前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する変換部と
    を備え、
    前記変換部は、
    現在の前記レイヤパラメータである第１パラメータを用いて前記処理性能を第１処理性能として算出し、前記第１パラメータより前記演算量が増加する第２パラメータを前記レイヤパラメータとして用いて前記処理性能を第２処理性能として算出し、前記第２処理性能が前記第１処理性能より劣化していなければ、前記第２パラメータを現在の前記レイヤパラメータとする構成変換装置。
12. コンピュータである構成変換装置に用いられる構成変換方法において、
    コンピュータが、複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得し、
    コンピュータが、前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する構成変換方法であって、
    コンピュータは、
    現在の前記レイヤパラメータである第１パラメータを用いて前記処理性能を第１処理性能として算出し、前記第１パラメータより前記演算量が増加する第２パラメータを前記レイヤパラメータとして用いて前記処理性能を第２処理性能として算出し、前記第２処理性能が前記第１処理性能より劣化していなければ、前記第２パラメータを現在の前記レイヤパラメータとする構成変換方法。
13. コンピュータである構成変換装置に用いられる構成変換プログラムにおいて、
    複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得する解析処理と、
    前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する変換処理と
    をコンピュータに実行させる構成変換プログラムであって、
    前記変換処理では、
    現在の前記レイヤパラメータである第１パラメータを用いて前記処理性能を第１処理性能として算出し、前記第１パラメータより前記演算量が増加する第２パラメータを前記レイヤパラメータとして用いて前記処理性能を第２処理性能として算出し、前記第２処理性能が前記第１処理性能より劣化していなければ、前記第２パラメータを現在の前記レイヤパラメータとする構成変換プログラム。
14. 複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得する解析部と、
    前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する変換部と、
    複数のレイヤパラメータの各々と、前記複数のレイヤパラメータの各々を用いた際の前記回路の処理性能とを対応付けた処理性能情報と
    を備え、
    前記変換部は、
    現在の前記レイヤパラメータである第１パラメータを用いた際の前記回路の前記処理性能を第１処理性能として前記処理性能情報から取得し、前記第１パラメータより前記演算量が増加する第２パラメータを前記レイヤパラメータとして用いた際の前記回路の前記処理性能を第２処理性能として前記処理性能情報から取得し、前記第２処理性能が前記第１処理性能より劣化していなければ、前記第２パラメータを現在の前記レイヤパラメータとする構成変換装置。
15. コンピュータである構成変換装置に用いられる構成変換方法において、
    コンピュータが、複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得し、
    コンピュータが、前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換し、
    コンピュータが、複数のレイヤパラメータの各々と、前記複数のレイヤパラメータの各々を用いた際の前記回路の処理性能とを対応付けた処理性能情報を備え、現在の前記レイヤパラメータである第１パラメータを用いた際の前記回路の前記処理性能を第１処理性能として前記処理性能情報から取得し、前記第１パラメータより前記演算量が増加する第２パラメータを前記レイヤパラメータとして用いた際の前記回路の前記処理性能を第２処理性能として前記処理性能情報から取得し、前記第２処理性能が前記第１処理性能より劣化していなければ、前記第２パラメータを現在の前記レイヤパラメータとする構成変換方法。
16. コンピュータである構成変換装置に用いられる構成変換プログラムにおいて、
    複数の層により構成されたニューラルネットワークの構成を解析し、前記複数の層の各層の属性を表すレイヤパラメータを取得する解析処理と、
    前記ニューラルネットワークの動作を実行する回路の処理性能が劣化せず、かつ、前記ニューラルネットワークの演算量が増加するように、前記レイヤパラメータを変換する変換処理と
    をコンピュータに実行させる構成変換プログラムであって、
    前記構成変換装置は、複数のレイヤパラメータの各々と、前記複数のレイヤパラメータの各々を用いた際の前記回路の処理性能とを対応付けた処理性能情報を備え、
    前記変換処理では、
    現在の前記レイヤパラメータである第１パラメータを用いた際の前記回路の前記処理性能を第１処理性能として前記処理性能情報から取得し、前記第１パラメータより前記演算量が増加する第２パラメータを前記レイヤパラメータとして用いた際の前記回路の前記処理性能を第２処理性能として前記処理性能情報から取得し、前記第２処理性能が前記第１処理性能より劣化していなければ、前記第２パラメータを現在の前記レイヤパラメータとする構成変換プログラム。

Images