JP7298713B2 - パラメータ最適化装置、パラメータ最適化方法、およびパラメータ最適化プログラム - Google Patents

Description

本発明は、畳み込みニューラルネットワークの演算時に用いるパラメータを最適化するパラメータ最適化装置、パラメータ最適化方法、およびパラメータ最適化プログラムに関する。

多層ニューラルネットワークによる画像認識等に関する技術開発が活発に行われている。このような技術は、深層学習（ディープラーニング）とも称される。とりわけ、画像認識等の技術分野において、畳み込みニューラルネットワーク（Convolutional Neural Network）が多く用いられる。畳み込みニューラルネットワークには、後述するように、畳み込み層、プーリング層、および全結合層等が含まれる。例えば、畳み込み層では、カーネルを画像全体に畳み込む処理が行われる。

画像全体にカーネルを畳み込む処理（画像にフィルタを適用する処理）により、画像に畳み込まれた特徴の集合が得られる。当該特徴の集合は、特徴マップとも称される。特徴マップは、畳み込まれた値に活性化関数を適用することで得られる。例えば、画像認識の分野では、ＲｅＬＵ（Rectified Linear Unit ）が活性化関数として用いられる。

上述したように、畳み込み層では、画像（入力画像）にカーネル（重み、フィルタ）を畳み込む処理が行われる。その際、画像の各画素とカーネルの各重みとを乗算する処理が数多く行われる。

畳み込み層を表現するためのパラメータとしては、カーネルサイズ、入力幅、入力高さ、入力チャネル数、出力幅、出力高さ、出力チャネル数、パディング、ストライド（Stride）、およびディレーション（Dilation）等がある。

カーネルサイズは、畳み込み処理におけるフィルタが担うピクセル数を定義するパラメータである。例えば、カーネルサイズが３の場合、縦が３ピクセル×横が３ピクセルの３×３ピクセルのカーネルが畳み込みに用いられる。

入力幅Ｗ、入力高さＨ、入力チャネル数Ｃｉ、出力幅Ｗ’、出力高さＨ’、および出力チャネル数Ｃｏは、それぞれ画像のデータサイズを定義する値である。入力幅Ｗと入力高さＨとの組を入力サイズとし、出力幅Ｗ’と出力高さＨ’との組を出力サイズとする。

また、入力サイズで規定される入力データの平面を画面、または入力画面とする。入力データは、入力チャネル数分の画面で構成される。出力データサイズのうち、出力チャネル数Ｃｏは明示的にパラメータとして与えられることが多い。また、出力幅Ｗ’および出力高さＨ’は、入力幅Ｗおよび入力高さＨと、パディングおよびストライドとの組み合わせにより定義されることがある。

パディングは、カーネルサイズで定義される畳み込み処理範囲が入力幅Ｗおよび入力高さＨを超える箇所でも畳み込み処理を実施するために定義されるパラメータである。例えば、画面端のピクセル位置を中心とした畳み込み処理において、必ず画面外のピクセルが参照される。そこで、例えば、パディングのサイズを１として、画面外のピクセルの値を特定の値（ゼロ等）に設定する。そのようにすることで、画面端のピクセル位置を中心とした畳み込み処理が可能になる（図１６左図における太い実線枠の外側参照）。

例えば、パディングのサイズが０の場合、カーネルの要素に対応するピクセルが存在しないので、その場合には、画面端のピクセル位置を中心とした畳み込み処理ができない。そのため、出力幅Ｗ’または出力高さＨ’が、入力幅Ｗまたは入力高さＨから減少する。すなわち、出力サイズが入力サイズよりも小さくなる。出力幅Ｗ’および出力高さＨ’を入力幅Ｗおよび入力高さＨと同じに保つために、パディングのサイズを適切に設定する必要がある。

ストライドは、畳み込み処理においてカーネルが移動する間隔を定義するパラメータである。

図１６は、ストライドを説明するための説明図である。図１６（ａ）には、入力サイズが４×４の入力画像が、カーネルサイズが３のカーネルを用いて畳み込まれた結果が示されている。図１６（ｂ）には、入力サイズが５×５の入力画像が、カーネルサイズが３のカーネルを用いて畳み込まれた結果が示されている。なお、パディングサイズは１に設定され、入力画像の周囲にはゼロパディングの処理がされている。

ストライドの値が１の場合（図１６（ａ））、畳み込み演算が行われるときに、点線で囲ったピクセルの次に、１ピクセル隣の破線で囲ったピクセルが参照される。すなわち、画面の全ピクセルが中心位置として用いられる。パディングのサイズが適切に設定されていれば、出力サイズは入力サイズと一致する。ストライドの値が２の場合（図１６（ｂ））、点線で囲ったピクセルの次に、２ピクセル隣の破線で囲われたピクセルが参照される。出力幅Ｗ’は入力幅Ｗの１／２となり、出力高さＨ’は入力高さＨの１／２となる。すなわち、出力サイズは、入力サイズの１／４となる。

ディレーションは、畳み込み処理において参照されるピクセルの間隔を定義するパラメータである。

図１７は、ディレーションを説明するための説明図である。図１７（ａ）には、Ｄ＝１の場合に参照されるピクセル（斜線部）が示されている。図１７（ｂ）には、Ｄ＝２の場合に参照されるピクセルが示されている。図１７（ｃ）には、Ｄ＝３の場合に参照されるピクセルが示されている。なお、Ｄはディレーションの値を示す。また、いずれの場合にも、カーネルサイズは、３である。

ディレーションの値が１の場合（図１７（ａ））、中心位置のピクセルと、中心位置のピクセルから１ピクセル隣のピクセル、すなわち周囲８ピクセルが参照される。

ディレーションの値が２の場合（図１７（ｂ））、中心位置のピクセルから２ピクセル隣のピクセルが参照される。すなわち、参照されるピクセル間に隔たりが生じる。

ディレーションを用いることによって、畳み込み処理における演算量を増やすことなく、畳み込み処理範囲を拡大することができる。例えば、カーネルサイズが３、ディレーションの値が２の場合、畳み込み処理で参照される領域のおおまかな範囲は、カーネルサイズが５、ディレーションの値が１の場合の畳み込み処理と同等となる。また、ディレーションの値が３の場合（図１７（ｃ））、カーネルサイズが７、ディレーションの値が１の場合と同等となる。

特許文献１には、ニューラルネットワークのパラメータを変更する情報処理装置が記載されている。しかし、その情報処理装置は、パラメータとしてディレーションを扱っていない。

特許第６５５５４１１号公報

上述したように、深層学習、とりわけ、畳み込み層の演算では膨大な数の乗算処理が必要である。膨大な乗算処理は、大規模なハードウエアや、強力な演算処理能力を有するプロセッサを要求する。また、低速のデバイスであっても演算による負荷を低減することで高速に動作させる方法が求められている。

本発明は、畳み込みニューラルネットワークの演算時に畳み込み層における乗算回数を低減することができる畳み込みニューラルネットワークの演算時に用いるパラメータを最適化するパラメータ最適化装置、パラメータ最適化方法、およびパラメータ最適化プログラムを提供することを目的とする。

本発明によるパラメータ最適化装置は、入力されたＣＮＮ構造情報を最適化して、出力するパラメータ最適化装置であって、ＣＮＮ構造情報のうち、各畳込み層のストライドおよびディレーションのパラメータ情報を抽出するストライドおよびディレーション使用層検出手段と、畳込み層のストライドおよびディレーションのパラメータ情報を変更するストライドおよびディレーション使用位置修正手段とを含む。

本発明によるパラメータ最適化方法は、入力されたＣＮＮ構造情報を最適化して、出力するパラメータ最適化方法であって、ＣＮＮ構造情報のうち、各畳込み層のストライドおよびディレーションのパラメータ情報を抽出し、畳込み層のストライドおよびディレーションのパラメータ情報を変更する。

本発明によるパラメータ最適化プログラムは、入力されたＣＮＮ構造情報を最適化して、出力するパラメータ最適化プログラムであって、コンピュータに、ＣＮＮ構造情報のうち、各畳込み層のストライドおよびディレーションのパラメータ情報を抽出する処理と、畳込み層のストライドおよびディレーションのパラメータ情報を変更する処理とを実行させる。

本発明によれば、畳み込みニューラルネットワークの演算時に畳み込み層における乗算回数を低減することができる。

第１の実施形態のパラメータ最適化装置の一例を示すブロック図である。 ＣＰＵを有するコンピュータの一例を示すブロック図である。 第１の実施形態のパラメータ値の最適化方法の一例を示す説明図である。 入力画像の一例を示す説明図である。 第１の実施形態のパラメータ値の最適化方法の一例を示す説明図である。 第１の実施形態のパラメータ最適化装置の動作の一例を示すフローチャートである。 第１の実施形態のパラメータ値の最適化方法の他の例を示す説明図である。 第１の実施形態のパラメータ値の最適化方法の他の例を示す説明図である。 第１の実施形態のパラメータ値の最適化方法の他の例を示す説明図である。 第１の実施形態のパラメータ最適化装置の動作の他の例を示すフローチャートである。 第２の実施形態のパラメータ最適化装置の一例を示すブロック図である。 第２の実施形態のパラメータ最適化装置が実行するショートカット処理の修正の動作を示すフローチャートである。 一般的なショートカット処理を説明する説明図である。 ショートカット対応処理を含むショートカット処理を説明する説明図である。 パラメータ最適化装置の主要部を示すブロック図である。 ストライドを説明するための説明図である。 ディレーションを説明するための説明図である。

初めに、実施形態の概要を説明する。なお、各図におけるブロック間の接続線は、双方向および単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。

実施形態１．
以下、本発明の第１の実施形態を、図面を参照して説明する。図１は、第１の実施形態のパラメータ最適化装置２００の一例を示すブロック図である。第１の実施形態に係るパラメータ最適化装置２００は、図１に記載の２つの処理ブロックを含む。すなわち、パラメータ最適化装置２００は、ストライドおよびディレーション使用層検出部２１１およびストライドおよびディレーション使用位置修正部２１２を含む。

ストライドおよびディレーション使用層検出部２１１は、入力されたＣＮＮモデル構造情報１００から、ストライドおよびディレーションのパラメータ情報を抽出する。例えば、ストライドおよびディレーション使用層検出部２１１は、ＣＮＮ構造情報１００内に存在するパラメータの定義ファイルから各パラメータの値を取得する。

ストライドおよびディレーション使用位置修正部２１２は、ストライドおよびディレーション使用層検出部２１１により抽出されたストライドおよびディレーションのパラメータ情報をもとに、ストライドの値およびディレーションの値を後述する論理に従い修正し最適化する。ストライドおよびディレーション使用位置修正部２１２は、最適化したＣＮＮ構造情報３００をパラメータ最適化装置２００に接続されているＣＮＮの実行環境に出力する。

図１に示されたパラメータ最適化装置２００における各構成要素は、１つのハードウエア、または１つのソフトウエアで構成可能である。また、各構成要素は、複数のハードウエア、または、複数のソフトウエアでも構成可能である。また、各構成要素の一部をハードウエアで構成し、他部をソフトウエアで構成することもできる。

パラメータ最適化装置２００における各構成要素が、ＣＰＵ（Central Processing Unit ）等のプロセッサやメモリ等を有するコンピュータで実現される場合には、例えば、図２に示すＣＰＵを有するコンピュータで実現可能である。コンピュータは、ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理（パラメータ最適化処理）を実行することによって、図１に示されたパラメータ最適化装置２００における各機能を実現する。すなわち、コンピュータは、図１に示されたパラメータ最適化装置２００におけるストライドおよびディレーション使用層検出部２１１およびストライドおよびディレーション使用位置修正部２１２の機能を実現する。

記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）のいずれかである。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ－Ｒ（Compact Disc-Recordable ）、ＣＤ－Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。

メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。

以下、図面を参照して、第１の実施形態における最適化の方法を説明する。

ストライドおよびディレーション使用層検出部２１１は、入力されたＣＮＮ構造情報１００から、その層構造および各層が有するパラメータを解析する。

また、複数のConvolution 層が使用されている場合に、もし２つのConvolution 層の間で使用されるConvolution 層でない層の処理が、複数のピクセル（ニューロン）を使用せず、またピクセルの位置関係を変更しない場合には、ストライドおよびディレーション使用層検出部２１１は、その層の存在を無視する。すなわち、ストライドおよびディレーション使用層検出部２１１は、当該２つのConvolution 層は隣接すると判断する。例えば、ＲｅＬＵ等の活性化関数や、推論時のBatchNormalization、DropOut は、ピクセル単位、すなわちニューロン単位での乗加算処理である。よって、複数ピクセルは使用されず、かつ、ピクセル間の位置関係は変更されない。したがって、本最適化において、Convolution 層でない層を、無視することができる。一方、例えば、リニア層（＝FullyConnected層）は、ピクセル間の位置関係を無視して全ピクセルの値を用いて乗加算を行うため、リニア層を無視することができない。また、プーリング層が存在している場合には、プーリング層を無視することはできない。

本実施形態の最適化は、上記の方法により取得された複数の隣接するConvolution 層に対して適用される。

ストライドおよびディレーション使用層検出部２１１は、隣接するConvolution 層のパラメータ情報を、図３に示されたように層番号（Layer ）、ディレーション（Dilation）、ストライド（Stride）の３次元情報にまとめる。図４は、入力サイズが１１×１１の入力画像（太線の四角部）を示す説明図である。点線の枠で囲まれた領域は、初めに１つのカーネルで畳み込まれる範囲を示す。破線の枠で囲まれた領域は、次にカーネルで畳み込まれる範囲を示す。一点鎖線の枠で囲まれた領域は、その次にカーネルで畳み込まれる範囲を示す。点網が施された矩形は、説明のための注目ピクセルを示す。斜線が施された矩形（斜線部）は、畳み込み処理で参照されるピクセルを示す。なお、パディングのサイズは１である。また、Layer 層は、層自体を意味することがある。

図３上における上段に示された例では、Layer3において、ディレーションの値およびストライドの値が２である。このような場合、図４に示されるように、畳み込み処理で参照されるピクセルは、斜線部のピクセルのみである。白い箇所（斜線も網点も施されていないピクセル）は、存在するものの一度も使用されない。

つまり、Layer3の入力のうち、全体の３／４を占める白い箇所は、畳み込み処理で参照されず、不要である。すなわち、Layer2の出力のうち３／４は不要である。その不要箇所のための畳み込み処理は無駄である。

このようなネットワークにおいて、ストライドおよびディレーション使用位置修正部２１２は、Layer2のストライドの値を１から２に変更する。図４における下段に示されるような、Layer3における必要部分のみが計算されるように変更可能である。また、Layer3の畳み込み処理において参照されるピクセルは隣接するようになるため、ディレーションの値は１でよい。なお、図３において、ストライドおよびディレーション使用位置修正部２１２が修正した箇所の数字には下線を付与している。

要約すると、ストライドおよびディレーション使用位置修正部２１２は、Layer2のストライドの値を１から２に変更し、Layer3のディレーションの値を２から１に変更し、ストライドの値を２から１に変更する。そうすることで、Layer3の出力が維持されつつ、ディレーションの値が２である層を不要にし、ストライドを前層に移動することができる。結果として、Layer2のストライドの値が２になったことで、Layer2およびLayer3における計算量がそれぞれ１／４に削減される。

図５に示すように、この最適化処理では、可能な限り変更が前層に伝搬するように操作される。図５（ａ）では、まず、Layer3およびLayer6において、上述されたようにストライドを前層に移動することができる。Layer6からLayer5へのストライドの移動の結果、Layer5においてもディレーションの値およびストライドの値がともに２である状況が発生する。再度最適化の適用が可能になる（図５（ｂ）参照）。その後、Layer4でも同様の最適化が適用可能になる（図５（ｃ））。最終的に、ストライドの値の２はLayer3まで移動する（図５（ｄ）参照）。

すなわち、本実施形態の最適化は、深い層から浅い層に向けて伝搬的に適用可能である。また、図６のフローチャートに示すように、全ての層を俯瞰し、ストライドの値およびディレーションの値がともに２である層が無くなるまで繰り返し適用することができる。

図６に示す例では、ＣＮＮ構造１００が、パラメータ最適化装置２００に入力される（ステップＳ４０１）。ストライドおよびディレーション使用層検出部２１１は、入力されたＣＮＮモデルの構造情報１００から、ストライドのパラメータおよびディレーションのパラメータが用いられている層を抽出する（ステップＳ４０２）。

そして、ストライドおよびディレーション使用位置修正部２１２は、ストライドおよびディレーション使用層検出部２１１が抽出したストライドのパラメータおよびディレーションのパラメータの情報に基づいて、ストライドの値およびディレーションの値を上述した論理に従って変更する（ステップＳ４０３）。

２つのパラメータの最大公約数ｇ（ gcd（Stride，Dilation））が１より大である層が残っている場合、再度、ステップＳ４０２の処理およびステップＳ４０３の処理を実行する。

全ての層において、２つのパラメータの最大公約数ｇ（ gcd（Stride，Dilation））が１になったら、ステップＳ４０５において、パラメータ最適化装置２００は、修正したＣＮＮ構造情報３００を出力する。

さらに一般化すると、ストライドとディレーションとの関係は、ともに２である場合のみならず、２つのパラメータの最大公約数ｇ（ gcd（Stride，Dilation））が１より大である場合に、以下のようにストライドの値およびディレーションの値を変更することができる。
ｇ＝ gcd（Stride，Dilation）
Ｓ’（Ｌ）＝Ｓ（Ｌ）／ｇ
Ｓ’（Ｌ－１）＝Ｓ（Ｌ－１）×ｇ
Ｄ’（Ｌ）＝Ｄ（Ｌ）／ｇ ・・・（１）

ここで、Ｓ（Ｌ）、Ｄ（Ｌ）は、それぞれ、層Ｌのストライドの値，ディレーションの値を示す。Ｓ（Ｌ－１）は、層（Ｌ－１）のストライドの値を示す。Ｓ’、Ｄ’は、それぞれ、変更後のストライドの値，ディレーションの値を示す。

例えば、図７に示す例では、ＣＮＮにおいて、Layer3においてストライドの値が２，ディレーションの値が４である。ストライドおよびディレーション使用位置修正部２１２は、ｇ＝ gcd（２，４）＝２を用いて、Layer2のストライドの値を１から２に変更し、Layer3のストライドの値を２から１に変更し、ディレーションの値を４から２に変更する。

図８に示す例では、ストライドの値が４、ディレーションの値が２である。すなわち、図７に示された例とは、ストライドの値およびディレーションの値が逆転している。ストライドおよびディレーション使用位置修正部２１２は、ｇ＝ gcd（４，２）＝２を用いて、Layer2のストライドの値を１から２に変更し、Layer3のストライドの値を４から２に変更し、ディレーションの値を２から１に変更する。

図９に示す例では、ストライドの値，ディレーションの値がともに４である。ストライドおよびディレーション使用位置修正部２１２は、ｇ＝ gcd（４，４）＝４を用いて、Layer2のストライドの値を１から４に変更し、Layer3のストライドの値を４から１に変更し、ディレーションの値を４から１に変更する。

上記のような考え方に基づいて、図１０のフローチャートが示すように、本実施形態の最適化を実施することができる。すなわち、一番深い層から浅い層に向けて順番に各層一度ずつ最適化処理を適用することによって、全ての層について最適化を適用することができる。

図１０に示す例では、ＣＮＮ構造１００が、パラメータ最適化装置２００に入力される（ステップＳ５０１）。パラメータ最適化装置２００は、処理対象層の層番号ｎを初期化する（ステップＳ５０２）。具体的には、全ての層の総数がＮである場合、層番号ｎを（Ｎ－１）にする。

ステップＳ５０３の処理およびステップＳ５０４の処理については、前述したステップＳ４０２の処理およびステップＳ４０３の処理と同様である。ただし、ステップＳ５０２の処理とステップＳ５０３の処理とは、１つの層を対象として実行される。

全ての層についての処理が完了するまで、深い層から浅い層に向けて順番にステップＳ５０３およびステップＳ５０４の処理を繰り返す（ステップＳ５０５，Ｓ５０７）。

そして、全ての層について処理が完了したら、パラメータ最適化装置２００は、修正したＣＮＮ構造情報３００を出力する（ステップＳ５０６）。

なお、ストライドの値およびディレーションの値の想定される最大値（適用が意図される最大値）が所定値（例えば、６）以下であれば、上記の（１）式は、ある層においてストライドの値とディレーションの値との双方が２の倍数である場合に、ストライドの値とディレーションの値との双方を、２で除することを意味する。また、（１）式は、当該層に対して１つ浅い層のストライドの値を２倍することを意味する。

以上に説明したように、本実施形態のパラメータ最適化装置２００は、畳み込みニューラルネットワークのある層において、畳み込みパラメータであるストライドとディレーションとの値が同時に１より大であるような場合に、ストライド処理を適用する層を、当該層の１段前の層に移動することができる。したがって、本実施形態のパラメータ最適化装置２００は、当該層および当該層の１段前の層における処理量を削減することができる。

また、同時にディレーションを小さくすることにより、本実施形態のパラメータ最適化装置２００は、１より大であるディレーションの処理を不得意とするようなデバイスや実行装置において性能が向上するという効果を得ることができる。
実施形態２．

ＣＮＮモデルにおいて、ＲｅｓＮｅｔ等が用いるショートカット構造が存在する場合に、上記の実施形態の最適化によるストライドの移動を適用したときに、その移動に対応してショートカット構造の処理を修正する必要がある場合がある。

以下、本発明の第２の実施形態を、図面を参照して説明する。図１１は、第２の実施形態のパラメータ最適化装置２０１の一例を示すブロック図である。第２の実施形態のパラメータ最適化装置２０１は、図１１に示されているように、４つの処理ブロックを含む。すなわち、パラメータ最適化装置２０１は、ストライドおよびディレーション使用層検出部２１１、ストライドおよびディレーション使用位置修正部２１２、ショートカット対応要否判定部２１３、およびショートカット対応処理導入部２１４を含む。なお、ショートカット対応要否判定部２１３およびショートカット対応処理導入部２１４以外の構成は、第１の実施形態のパラメータ最適化装置２００の構成と同じである。

ショートカット対応要否判定部２１３は、ショートカット処理の有無を判定する。ショートカット対応要否判定部２１３は、ストライドおよびディレーション使用位置修正部２１２による変更が、新規なショートカット構造の導入を要するか否かを判定する。

ショートカット対応処理導入部２１４は、ストライドの値およびディレーションの値の変更の結果として必要となる新規なショートカット構造をＣＮＮモデルに追加する。

パラメータ最適化装置２０１は、第１の実施形態のパラメータ最適化装置２００の処理と同様の処理を行った後、図１２のフローチャートに示す処理を実行する。

図１２は、第２の実施形態のパラメータ最適化装置２０１が実行するショートカット処理を修正する処理を示すフローチャートである。

パラメータ変更後のＣＮＮ構造（第１実施形態における出力ＣＮＮ構造に相当）がパラメータ最適化装置２０１に入力される（ステップＳ６０１）と、ショートカット対応要否判定部２１３は、ストライドおよびディレーション使用位置修正部２１２によるパラメータの変更が、新規なショートカット構造の導入を要するか否かを判定する。一例として、ショートカット対応要否判定部２１３は、３層を１組として、当該組の入力と当該組の前の組の出力との次元数が一致しているか否かを判定する（ステップＳ６０２）。次元数は、幅Ｗ、高さＨ、チャネル数Ｃ等である。

ステップＳ６０２において、次元数が異なる場合、ショートカット対応処理導入部２１４は、ストライドの値およびディレーションの値の変更の結果として必要となる新規なショートカット構造に対応する処理をＣＮＮモデルに追加する（ステップＳ６０３）。そして、パラメータ最適化装置２０１は、ショートカット対応処理を含んだショートカット処理を実施する（ステップＳ６０４）。具体的な、導入方法は後述する。一方、次元数が一致する場合は、パラメータ最適化装置２０１は、通常のショートカット処理を実施する。

ショートカット処理が実施された後に、パラメータ最適化装置２０１は、ＣＮＮ構造情報３００を出力する（ステップＳ６０５）。

図１３は、一般的なショートカット処理を説明する説明図である。図１４は、ショートカット対応処理を含むショートカット処理を説明する説明図である。

図１３に示されたネットワーク構造では、３層を１組とする。具体的には、Layer1，2，3を１組目、Layer4，5，6を２組目、Layer7，8，9を３組目とする。そして、前の組の出力結果を、当該組の出力に足し合わせる。これをショートカットという。

一般に、ショートカットでは、入力と出力の次元数（Ｗ，Ｈ，Ｃ）が同じ場合には、単に足し合わせる処理が実行される。次元数が異なる場合には、次元数の違いをなくすために新たな畳み込み処理が導入されることが多い。例えば、Ｗ，Ｈの違いをなくすためにストライドが用いられ、Ｃの違いをなくすために１×１畳み込みが用いられる。

図１３に示された例では、１組目であるLayer1，2，3では、出力チャネル数は６４であり、入力チャネル数は不明である。Layer1への入力が３チャネルの画像である場合、入力チャネル数が３で、出力チャネル数が６４の１×１畳み込み処理がショートカットに導入される。

同様に、Layer7，8，9の３組目では、Layer7においてストライドが用いられているために組への入力サイズと出力サイズが異なる（サイズ比４：１）。また、入力チャネル数は６４であり出力チャネル数は１２８で、それらは異なる。よって、ストライドの値が２、入力チャネル数が６４、出力チャネル数が１２８である１×１畳み込み処理がショートカットに導入される。

一方、Layer4，5，6の２組目では、入力チャネル数と出力チャネル数とが６４で一致している。また、Layer4，5，6のストライドの値が全て１であるためＷ，Ｈも変化しない。よって、１×１畳み込み処理等がショートカットに導入される必要はない（Ｎｏｎｅ）。

しかし、Layer7に注目すると、ストライドの値とディレーションの値とがともに２であり、最適化が可能である（図１４（ａ）参照）。つまり、ストライドおよびディレーション使用位置修正部２１２は、Layer6のストライドの値を２に変更し、Layer7のストライドの値を１に変更し、ディレーションの値を２に変更し、それぞれ変更することができる（図１４（ｂ））。

各パラメータが変更された後に、Layer4，5，6の２組目に注目すると、入出力のＷ，Ｈの次元数が異なるようになってしまう。よって、図１２のフローチャートにおけるステップＳ６０３の処理のような次元数を合わせるための処理の導入が必要となる。

なお、Layer4，5，6の場合、Ｗ，Ｈは異なっているがＣは同一である。よって、導入されるべき処理は、ストライドの値が２に相当するピクセルの間引き処理である。

パラメータの変更に応じたショートカットの修正が実施できればどのように実装されてもよい。例えば、使用する深層学習用フレームワークが限られた処理しかサポートしない場合、一例として、ピクセルの間引きのみを実施するための層が定義（提供）されていない場合には、１×１畳み込み処理で代用することが考えられる。１×１畳み込みの重みの値は、（入力チャネル数×出力チャネル数）の次元数を持つ正方行列であるが、この場合には、入力値を変換しないようにするために、正方行列の値は、対角成分のみが１．０で他がすべて０でよい。すなわち、正方行列は、単位行列であることが好ましい。本実施形態の最適化において、入出力チャネル数を増減させることはない。

このように、ショートカット対応処理導入部２１４は、ショートカット対応処理導入前のショートカット処理（修正前のショートカット処理）が入力値（Ｗ，Ｈの値）を変換しない場合には、ストライドおよびディレーション使用位置修正部２１２による変更後のストライドの値と同値のストライドを持つ間引き処理、または、変更後のストライドの値と同値のストライドを持ち、重みが単位行列で表されるような１×１畳み込み処理を導入する。また、ショートカット対応処理導入部２１４は、対応処理導入前のショートカット処理が１×１畳み込み処理を含む場合には、当該１×１畳み込み処理のストライドを、ストライドおよびディレーション使用位置修正部２１２による変更後のストライドの値を乗じた値に更新する。

以上に説明したように、本実施形態のパラメータ最適化装置２０１は、入力ＣＮＮモデルにおいて、ＲｅｓＮｅｔ等が用いるショートカット構造が存在する場合に、ショートカット構造に対応した処理を導入し実施する。その結果、ショートカット構造を有している場合でも、ＣＮＮの処理量を削減することができる。

図１５は、パラメータ最適化装置の主要部を示すブロック図である。パラメータ最適化装置８００は、入力されたＣＮＮ構造情報を最適化して、出力するパラメータ最適化装置であって、ＣＮＮ構造情報のうち、各畳込み層のストライドおよびディレーションのパラメータ情報を抽出するストライドおよびディレーション使用層検出手段８１１（実施形態では、ストライドおよびディレーション使用層検出部２１１で実現される。）と、畳込み層のストライドおよびディレーションのパラメータ情報を変更するストライドおよびディレーション使用位置修正手段８１２（実施形態では、ストライドおよびディレーション使用位置修正部２１２で実現される。）とを含む。

上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。

（付記１）
入力されたＣＮＮ構造情報を最適化して、出力するパラメータ最適化装置であって、
前記ＣＮＮ構造情報のうち、各畳込み層のストライドおよびディレーションのパラメータ情報を抽出するストライドおよびディレーション使用層検出手段と、
畳込み層のストライドおよびディレーションのパラメータ情報を変更するストライドおよびディレーション使用位置修正手段と
を備えるパラメータ最適化装置。

（付記２）
ストライドおよびディレーション使用層検出手段およびストライドおよびディレーション使用位置修正手段は、
前記ＣＮＮ構造における全ての畳込み層において変更可能なストライドおよびディレーションパラメータの組が存在しなくなるまで、繰り返し、パラメータ情報を抽出する処理、およびパラメータ情報を変更する処理を実行する
付記１記載のパラメータ最適化装置。

（付記３）
ストライドおよびディレーション使用層検出手段およびストライドおよびディレーション使用位置修正手段は、
前記ＣＮＮ構造における畳込み層における各層を対象としてパラメータ情報を抽出する処理、およびパラメータ情報を変更する処理を実行し、当該対象を深い層から浅い層に順に変える
付記１記載のパラメータ最適化装置。

（付記４）
ストライドおよびディレーション使用位置修正手段は、ある畳込み層のストライドの値とディレーションの値との最大公約数が１より大である場合に、当該層のストライド、ディレーション双方の値を前記最大公約数により割った値に変更し、当該層の１層浅い畳込み層のストライドの値を、前記最大公約数を乗じた値に変更する
付記１から付記３のうちのいずれか１項に記載のパラメータ最適化装置。

（付記５）
ストライドおよびディレーション使用位置修正手段は、ある畳込み層のストライドの値とディレーションの値との双方の値が２の倍数である場合に、当該層のストライドの値と、ディレーションの値の双方を２で割った値に変更し、当該層の１層浅い畳込み層のストライドの値を、２倍した値に変更する
付記１から付記３のうちのいずれか１項に記載のパラメータ最適化装置。

（付記６）
ショートカット処理を含むＣＮＮ構造において、ストライドおよびディレーションの変更の結果に応じたショートカット処理の修正要否を判定するショートカット対応要否判定手段と、
前記ショートカット対応要否判定手段が修正要と判定した場合に、前記ショートカット処理を修正するショートカット対応処理導入手段と、
を備える付記１から付記５のうちのいずれか１項に記載のパラメータ最適化装置。

（付記７）
ショートカット対応要否判定手段は、
ストライドおよびディレーション使用位置修正手段によるストライドの変更がショートカット処理における加算処理をはさんだ２つの畳込み層において発生しているときにショートカット処理の修正要と判定する
付記６記載のパラメータ最適化装置。

（付記８）
ショートカット対応処理導入手段が、
修正前のショートカット処理が入力値を変換しない場合には、ストライドおよびディレーション使用位置修正手段による変更後のストライドの値と同値のストライドを持つ間引き処理、または、変更後ストライドの値と同値のストライドを持ち、重みが単位行列であるような１×１畳込み処理を導入し、
修正前のショートカット処理が１×１畳込み処理を含む場合には、当該１×１畳込み処理のストライドを、ストライドおよびディレーション使用位置修正手段による変更後のストライドの値を乗じた値に更新する
付記６または付記７記載のパラメータ最適化装置。

（付記９）
入力されたＣＮＮ構造情報を最適化して、出力するパラメータ最適化方法であって、
前記ＣＮＮ構造情報のうち、各畳込み層のストライドおよびディレーションのパラメータ情報を抽出し、
畳込み層のストライドおよびディレーションのパラメータ情報を変更する
ことを特徴とするパラメータ最適化方法。

（付記１０）
ショートカット処理を含むＣＮＮ構造において、ストライドおよびディレーションの変更の結果に応じたショートカット処理の修正要否を判定し、
修正要と判定した場合に、前記ショートカット処理を修正する
付記９記載のパラメータ最適化方法。

（付記１１）
入力されたＣＮＮ構造情報を最適化して、出力するパラメータ最適化プログラムが格納されたコンピュータ読み取り可能な記録媒体であって、
前記パラメータ最適化プログラムは、
前記ＣＮＮ構造情報のうち、各畳込み層のストライドおよびディレーションのパラメータ情報を抽出する処理と、
畳込み層のストライドおよびディレーションのパラメータ情報を変更する処理と
をプロセッサに実行させることを特徴とする。

（付記１２）
前記パラメータ最適化プログラムは、
ショートカット処理を含むＣＮＮ構造において、ストライドおよびディレーションの変更の結果に応じたショートカット処理の修正要否を判定する処理と、
修正要と判定した場合に、前記ショートカット処理を修正する処理と
をプロセッサに実行させる付記１１記載の記録媒体。

（付記１３）
入力されたＣＮＮ構造情報を最適化して、出力するためのプログラムであって、
コンピュータに、
前記ＣＮＮ構造情報のうち、各畳込み層のストライドおよびディレーションのパラメータ情報を抽出する処理と、
畳込み層のストライドおよびディレーションのパラメータ情報を変更する処理と
を実行させるためのパラメータ最適化プログラム。

（付記１４）
コンピュータに、
ショートカット処理を含むＣＮＮ構造において、ストライドおよびディレーションの変更の結果に応じたショートカット処理の修正要否を判定する処理と、
修正要と判定した場合に、前記ショートカット処理を修正する処理と
を実行させる付記１３のパラメータ最適化プログラム。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１００ 入力ＣＮＮ構造
２００ パラメータ最適化装置
２１１ ストライドおよびディレーション使用層検出部
２１２ ストライドおよびディレーション使用位置修正部
２１３ ショートカット対応要否判定部
２１４ ショートカット対応処理導入部
３００ 出力ＣＮＮ構造
８００ パラメータ最適化装置
８１１ ストライドおよびディレーション使用層検出手段
８１２ ストライドおよびディレーション使用位置修正手段
１０００ ＣＰＵ
１００１ 記憶装置
１００２ メモリ

Claims (10)

1. 入力されたＣＮＮ構造情報を最適化して、出力するパラメータ最適化装置であって、
   前記ＣＮＮ構造情報のうち、各畳込み層のストライドおよびディレーションのパラメータ情報を抽出するストライドおよびディレーション使用層検出手段と、
   畳込み層のストライドおよびディレーションのパラメータ情報を変更するストライドおよびディレーション使用位置修正手段と
   を備えるパラメータ最適化装置。
2. ストライドおよびディレーション使用層検出手段およびストライドおよびディレーション使用位置修正手段は、
   前記ＣＮＮ構造における全ての畳込み層において変更可能なストライドおよびディレーションパラメータの組が存在しなくなるまで、繰り返し、パラメータ情報を抽出する処理、およびパラメータ情報を変更する処理を実行する
   請求項１記載のパラメータ最適化装置。
3. ストライドおよびディレーション使用層検出手段およびストライドおよびディレーション使用位置修正手段は、
   前記ＣＮＮ構造における畳込み層における各層を対象としてパラメータ情報を抽出する処理、およびパラメータ情報を変更する処理を実行し、当該対象を深い層から浅い層に順に変える
   請求項１記載のパラメータ最適化装置。
4. ストライドおよびディレーション使用位置修正手段は、ある畳込み層のストライドの値とディレーションの値との最大公約数が１より大である場合に、当該層のストライド、ディレーション双方の値を前記最大公約数により割った値に変更し、当該層の１層浅い畳込み層のストライドの値を、前記最大公約数を乗じた値に変更する
   請求項１から請求項３のうちのいずれか１項に記載のパラメータ最適化装置。
5. ストライドおよびディレーション使用位置修正手段は、ある畳込み層のストライドの値とディレーションの値との双方の値が２の倍数である場合に、当該層のストライドの値と、ディレーションの値の双方を２で割った値に変更し、当該層の１層浅い畳込み層のストライドの値を、２倍した値に変更する
   請求項１から請求項３のうちのいずれか１項に記載のパラメータ最適化装置。
6. ショートカット処理を含むＣＮＮ構造において、ストライドおよびディレーションの変更の結果に応じたショートカット処理の修正要否を判定するショートカット対応要否判定手段と、
   前記ショートカット対応要否判定手段が修正要と判定した場合に、前記ショートカット処理を修正するショートカット対応処理導入手段と、
   を備える請求項１から請求項５のうちのいずれか１項に記載のパラメータ最適化装置。
7. ショートカット対応要否判定手段は、
   ストライドおよびディレーション使用位置修正手段によるストライドの変更がショートカット処理における加算処理をはさんだ２つの畳込み層において発生しているときにショートカット処理の修正要と判定する
   請求項６記載のパラメータ最適化装置。
8. ショートカット対応処理導入手段が、
   修正前のショートカット処理が入力値を変換しない場合には、ストライドおよびディレーション使用位置修正手段による変更後のストライドの値と同値のストライドを持つ間引き処理、または、変更後ストライドの値と同値のストライドを持ち、重みが単位行列であるような１×１畳込み処理を導入し、
   修正前のショートカット処理が１×１畳込み処理を含む場合には、当該１×１畳込み処理のストライドを、ストライドおよびディレーション使用位置修正手段による変更後のストライドの値を乗じた値に更新する
   請求項６または請求項７記載のパラメータ最適化装置。
9. 入力されたＣＮＮ構造情報を最適化して、出力するパラメータ最適化方法であって、
   前記ＣＮＮ構造情報のうち、各畳込み層のストライドおよびディレーションのパラメータ情報を抽出し、
   畳込み層のストライドおよびディレーションのパラメータ情報を変更する
   ことを特徴とするパラメータ最適化方法。
10. 入力されたＣＮＮ構造情報を最適化して、出力するパラメータ最適化プログラムであって、
    コンピュータに、
    前記ＣＮＮ構造情報のうち、各畳込み層のストライドおよびディレーションのパラメータ情報を抽出する処理と、
    畳込み層のストライドおよびディレーションのパラメータ情報を変更する処理と
    を実行させるためのパラメータ最適化プログラム。

Images