JP7180751B2

JP7180751B2 - ニューラルネットワーク回路

Info

Publication number: JP7180751B2
Application number: JP2021508436A
Authority: JP
Inventors: 誠也柴田; 由加林
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-03-25
Filing date: 2019-03-25
Publication date: 2022-11-30
Anticipated expiration: 2039-03-25
Also published as: WO2020194465A1; JPWO2020194465A1; US20220172032A1

Description

本発明は、畳み込みニューラルネットワークに関連するニューラルネットワーク回路に関する。

画像認識を初めとする種々の分野において、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が使用されている。ＣＮＮを用いる場合、演算量が膨大になる。その結果、処理速度が低下する。

一般に、畳み込み層において、空間方向の畳み込み演算とチャネル方向の畳み込み演算とが同時に実行されるので、演算量が膨大になる。そこで、空間方向への畳み込み演算とチャネル方向への畳み込み演算と分けて、それらを個別に実行する方式が考案されている（例えば、非特許文献１参照）。

非特許文献１に記載された畳み込み演算方式（以下、depthwise separable 畳み込みという。）では、畳み込みは、１×１畳み込みのpointwise 畳み込みとdepthwise 畳み込みとに分離される。pointwise 畳み込みは、空間方向への畳み込みを行わず、チャネル方向への畳み込みを行う。depthwise 畳み込みは、チャネル方向への畳み込みを行わず、空間方向への畳み込みを行う。depthwise 畳み込みフィルタのサイズは、例えば３×３である。

図８は、畳み込み演算で使用される畳み込みフィルタを説明するための説明図である。図８において、（ａ）は、通常の（一般的な）畳み込みフィルタに関する。（ｂ）は、depthwise separable 畳み込みで使用されるdepthwise 畳み込みフィルタに関する。（ｃ）は、depthwise separable 畳み込みで使用されるpointwise 畳み込みフィルタに関する。

一般的な畳み込みフィルタを用いる場合、入力特徴マップの縦サイズをＨ、入力特徴マップの横サイズをＷ、入力チャネル数をＭ、フィルタサイズをＫ×Ｋ、出力チャネル数をＮとすると、乗算量（演算量）は、Ｈ・Ｗ・Ｍ・Ｋ・Ｋ・Ｎである。

図８（ａ）には、フィルタサイズのサイズがＤ_Ｋ×Ｄ_Ｋの場合が示されている。その場合、演算量は、
Ｈ・Ｗ・Ｍ・Ｄ_Ｋ・Ｄ_Ｋ・Ｎ・・・（１）
である。

depthwise separable 畳み込みにおけるdepthwise 畳み込みでは、チャネル方向への畳み込みが行われないので（図８（ｂ）における左端の立体参照）、演算量は、
Ｈ・Ｗ・Ｄ_Ｋ・Ｄ_Ｋ・Ｍ・・・（２）
である。

depthwise separable 畳み込みにおけるpointwise 畳み込みでは、空間方向への畳み込みが行われないので、図８（ｃ）に示すように、Ｄ_Ｋ＝１である。よって、演算量は、
Ｈ・Ｗ・Ｍ・Ｍ・・・（３）
である。

（２）式による演算量と（３）式による演算量との和（depthwise separable 畳み込みの演算量）を、（１）式による演算量（一般的な畳み込み演算の演算量）と比較すると、depthwise separable 畳み込みの演算量は、一般的な畳み込み演算の演算量の［（１／Ｎ）＋（１／Ｄ_Ｋ ^２）］である。depthwise 畳み込みフィルタのサイズが３×３である場合、一般に、Ｎの値は３よりもはるかに大きいので、depthwise separable 畳み込みの演算量は、一般的な畳み込み演算の演算量に比べて、１／９程度に削減される。

A. G. Howard et al., "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications" 、Google Inc. 、２０１７年４月

以下、depthwise separable 畳み込みにおけるdepthwise 畳み込みにおいて、３×３のフィルタが用いられるとする。その場合、非特許文献１のTable. 1に示されているように、１×１行列演算（１×１畳み込み演算）と３×３行列演算（３×３畳み込み演算）とが交互に多数回繰り返し実行される。

depthwise separable 畳み込みを行う演算回路を実現する場合、一例として、図９に示すような構成が考えられる。図９に示す演算回路は、pointwise 畳み込みを実行する１×１畳み込み演算回路１０、depthwise 畳み込みを実行する３×３畳み込み演算回路３０、ＤＲＡＭ（Dynamic Random Access Memory）５０、および重みメモリ６０を含む。

３×３畳み込み演算回路３０は、ＤＲＡＭ５０から特徴マップのデータを読み出し、重みメモリ６０から読み出した重み係数を用いて、depthwise 畳み込みを実行する。３×３畳み込み演算回路３０は、演算結果を、ＤＲＡＭ５０に書き込む。１×１畳み込み演算回路１０は、ＤＲＡＭ５０からデータを読み出し、重みメモリ６０から読み出した重み係数を用いて、pointwise 畳み込みを実行する。１×１畳み込み演算回路１０は、演算結果を、ＤＲＡＭ５０に書き込む。１×１畳み込み演算回路１０および３×３畳み込み演算回路３０が出力する演算結果の量および入力するデータの量は膨大である。よって、データを格納するメモリとして、一般に、大容量でも比較的安価なＤＲＡＭ５０が用いられる。

なお、１×１畳み込み演算回路１０が演算処理を開始する前に、重みメモリ６０に、１×１畳み込み演算用の重み係数がロードされる。また、３×３畳み込み演算回路３０が演算処理を開始する前に、重みメモリ６０に、３×３畳み込み演算用の重み係数がロードされる。

上述したように、ＤＲＡＭは、比較的安価であり、また、大容量の素子である。しかし、ＤＲＡＭは、低速なメモリ素子である。すなわち、ＤＲＡＭのメモリ帯域は狭い。したがって、演算回路とメモリの間のデータ転送がボトルネックになる。その結果、演算速度が制限される。特に、1回の畳み込み演算に必要なデータをＤＲＡＭから読み出す時間が、１回の畳み込み演算時間を上回る場合をメモリボトルネックという。

処理速度を向上させるために、畳み込み層における行列演算を行う演算器として、シストリックアレイ（Systoric Array）を用いた演算器を使用することが考えられる。あるいは、積和演算を行う演算器として、ＳＩＭＤ（Single Instruction Multiple Data）型の演算器を使用することが考えられる。

例えば、図１０に例示するように、pointwise 畳み込みとdepthwise 畳み込みとを時間的に交互に実行可能な１×１・３×３兼用回路７０を構築することが考えられる。そして、１×１・３×３兼用回路７０が、シストリックアレイまたはＳＩＭＤ型の演算器で実現されることによって、高速な演算回路が構築される。

しかし、図１０に示された構成でも、１×１・３×３兼用回路７０とＤＲＡＭ５０との間でデータが授受されるので、演算回路とメモリの間のデータ転送に関するボトルネックは解消されない。なお、シストリックアレイを用いた演算器またはＳＩＭＤ型の演算器を、図９に示された１×１畳み込み演算回路１０や３×３畳み込み演算回路３０に適用することも可能である。その場合でも、演算回路とメモリの間のデータ転送に関するボトルネックは解消されない。むしろ、演算器の処理効率が上昇し演算時間が削減されるため、演算時間よりもデータ転送時間が大きくなる傾向が増大し、データ転送に関するボトルネックが発生しやすくなる。

本発明は、狭帯域のメモリとの間のデータ転送に起因する演算速度の制限を緩和できるニューラルネットワーク回路を提供することを目的とする。

本発明によるニューラルネットワーク回路は、畳み込み演算を空間方向への畳み込み演算とチャネル方向への畳み込み演算とに分けて、それらを個別に実行するニューラルネットワーク回路であって、チャネル方向への畳み込みを行う１×１畳み込み演算回路と、１×１畳み込み演算回路の演算結果が格納されるＳＲＡＭと、ＳＲＡＭに格納された演算結果に対して空間方向への畳み込みを行うＮ×Ｎ畳み込み演算回路とを含む。

本発明によれば、狭帯域のメモリとの間のデータ転送に起因する演算速度の制限が緩和される。

第１の実施形態のニューラルネットワーク回路の構成例を示すブロック図である。第２の実施形態のニューラルネットワーク回路の構成例を示すブロック図である。第３の実施形態のニューラルネットワーク回路の構成例を示すブロック図である。第４の実施形態のニューラルネットワーク回路の構成例を示すブロック図である。ニューラルネットワーク回路の主要部を示すブロック図である。他の態様のニューラルネットワーク回路の主要部を示すブロック図である。別の態様のニューラルネットワーク回路の主要部を示すブロック図である。畳み込み演算で使用される畳み込みフィルタを説明するための説明図である。 depthwise separable 畳み込みを行う演算回路の一例を示すブロック図である。 depthwise separable 畳み込みを行う演算回路の他の例を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、第１の実施形態のニューラルネットワーク回路の構成例を示すブロック図である。

図１に示すニューラルネットワーク回路は、１×１畳み込み演算回路１０、重みメモリ１１、３×３畳み込み演算回路３０、重みメモリ３１、ＤＲＡＭ４０、およびＳＲＡＭ（Static Random Access Memory ）２０を備えている。

重みメモリ１１は、１×１畳み込み演算用の重み係数を記憶する。重みメモリ３１は、３×３畳み込み演算用の重み係数を記憶する。

図１に示すニューラルネットワーク回路は、空間方向への畳み込み演算とチャネル方向への畳み込み演算と分けて、それらを個別に実行する。具体的には、１×１畳み込み演算回路１０は、ＤＲＡＭ４０から演算対象のデータを読み出し、重みメモリ１１から読み出した重み係数を用いて、depthwise separable 畳み込みにおけるpointwise 畳み込み（１×１フィルタを用いるチャネル方向への畳み込み）を実行する。３×３畳み込み演算回路３０は、ＳＲＡＭ２０から演算対象のデータを読み出し、重みメモリ３１から読み出した重み係数を用いて、depthwise separable 畳み込みにおけるdepthwise 畳み込み（３×３フィルタを用いる空間方向への畳み込み）を実行する。

なお、本実施形態では、depthwise 畳み込みで用いられるフィルタのサイズは３×３であるが、すなわち、depthwise 畳み込みにおいて３×３畳み込み演算が実行されるが、フィルタのサイズが３であることは必須のことではない、フィルタのサイズはＮ×Ｎ（Ｎ：２以上の自然数）であればよい。

ＤＲＡＭ４０には、３×３畳み込み演算回路３０の演算結果が格納される。１×１畳み込み演算回路１０は、ＤＲＡＭ４０から演算対象のデータを読み出す。ＳＲＡＭ２０には、１×１畳み込み演算回路１０の演算結果が格納される。３×３畳み込み演算回路３０は、ＳＲＡＭ２０から演算対象のデータを読み出す。

図１に示されたような回路構成は、以下のような理由で採用される。

図１に示されたニューラルネットワーク回路は、図８（ｂ），（ｃ）に示されたdepthwise separable 畳み込みを参照すると、depthwise 畳み込みにおいて、３×３のフィルタが用いられる場合の例に相当する。すなわち、Ｄ_Ｋ＝３である。

３×３畳み込み演算回路３０の演算量は、Ｈ・Ｗ・Ｍ・３^２（（４）式とする。）である。１×１畳み込み演算回路１０の演算量は、Ｈ・Ｗ・Ｍ・Ｎ（（５）式とする。）である。上述したように、一般に、出力チャネル数Ｎの値はＤ_Ｋよりもはるかに大きい。すなわち、Ｎ＞＞Ｄ_Ｋ（この例では、３）である。一例として、Ｎとして、６４～１０２４のいずれかの値が用いられる。なお、入力チャネル数Ｍについても同様の値が用いられる。

（４）式と（５）式とを比較すると、１×１畳み込み演算回路１０の演算量の方が、３×３畳み込み演算回路３０の演算量よりも数倍以上大きいことがわかる。一方で１×１畳み込み演算回路１０および３×３畳み込み演算回路３０への入力のサイズの違いは M1/M3 であり、一般的に、M1=M3 または M1*2=M3 とすることが多いため、多くて２倍程度の違いである。つまり、演算量が数倍以上小さい３×３畳み込み演算回路３０の方が１×１畳み込み演算回路１０よりもメモリボトルネックになりやすい。

したがって、上述したように、３×３畳み込み演算回路３０が１×１畳み込み演算回路１０の演算結果をメモリ素子から読み出す時間が長いと、ニューラルネットワーク回路の全体的な演算速度が低下してしまう。

そこで、図１に示されたように、１×１畳み込み演算回路１０の演算結果がＳＲＡＭ２０に格納されるように、１×１畳み込み演算回路１０と３×３畳み込み演算回路３０との間に、ＳＲＡＭ２０が設置される。

ＳＲＡＭ素子（chip）からのデータ読み出し速度は、ＤＲＡＭ素子からのデータ読み出し速度よりも速い。したがって、図１に示されたようにＳＲＡＭ２０が配置されることによって、ニューラルネットワーク回路の全体的な演算速度が向上する。

なお、ＳＲＡＭ素子の集積度はＤＲＡＭ素子の集積度よりも低い等の原因で、ＳＲＡＭ素子の容量単価は、ＤＲＡＭ素子の容量単価に比べて高価である。

しかし、図１に示された構成では、１×１畳み込み演算回路１０の全ての演算結果がＳＲＡＭ２０に格納されなくてもよい。１×１畳み込み演算回路１０による３行分の畳み込み演算の演算結果がＳＲＡＭ２０に格納されれば、３×３畳み込み演算回路３０が畳み込み演算を開始できるからである。すなわち、本実施形態において、大容量のＳＲＡＭ２０を設けることは要求されない。よって、ＳＲＡＭ２０が用いられても、ニューラルネットワーク回路のコスト上昇を抑制することができる。

また、３×３畳み込み演算回路３０による３×３畳み込みの演算量は、１×１畳み込み演算回路１０による１×１畳み込みの演算量よりも少ない。したがって、図１に示されたように、３×３畳み込みの演算結果がＤＲＡＭ４０を介して１×１畳み込み演算回路１０に供給されるように構成されていても、そのような構成が、ニューラルネットワーク回路の全体的な演算速度に与える影響は相対的に小さい。

上述したように、１×１畳み込み演算回路１０の演算量は、３×３畳み込み演算回路３０の演算量よりも多い。例えば、Ｎ＝１０２４とすると、１×１畳み込み演算回路１０の演算量は、３×３畳み込み演算回路３０の演算量に対して、（１０２４／９）＝約１１４（倍）である。

１×１畳み込み演算回路１０における演算器の個数と、３×３畳み込み演算回路３０における演算器の個数との比率を、演算量に応じて設定されることが好ましい。なお、演算器は、それぞれ、畳み込み演算を実行する。Ｎ＝１０２４の例では、１×１畳み込み演算回路１０における演算器の個数を、３×３畳み込み演算回路３０における演算器の個数に対して、例えば、１００～１３０倍程度にすることが考えられる。なお、演算量に応じて演算器数を設定する手法は、例えば、演算器数の総数に制約がある場合に有効に活用される。演算器数の総数に制約がある場合は、一例として、後述するように、ニューラルネットワーク回路が、ＦＰＧＡ（Field Programmable Gate Array ）を用いて構築される場合である。

また、入力チャネル数Ｍと出力チャネル数Ｎとのそれぞれは、２のｎ乗（ｎ：自然数）に設定されることが多い。すると、１×１畳み込み演算回路１０と３×３畳み込み演算回路３０とのそれぞれにおいて、演算器の個数が２のｎ乗であると、種々の畳み込みニューラルネットワークとの親和性が高くなる。

実施形態２．
図２は、第２の実施形態のニューラルネットワーク回路の構成例を示すブロック図である。

第２の実施形態では、ニューラルネットワーク回路における１×１畳み込み演算回路１０と３×３畳み込み演算回路３０とが、ＦＰＧＡ１０１上に構築されている。１×１畳み込み演算回路１０および３×３畳み込み演算回路３０の機能は、第１の実施形態におけるそれらの機能と同じである。

実施形態３．
図３は、第３の実施形態のニューラルネットワーク回路の構成例を示すブロック図である。

第３の実施形態では、ニューラルネットワーク回路における１×１畳み込み演算回路１０と３×３畳み込み演算回路３０とに加えて、ＳＲＡＭ２０もＦＰＧＡ１０２上に構築されている。１×１畳み込み演算回路１０、ＳＲＡＭ２０および３×３畳み込み演算回路３０の機能は、第１の実施形態におけるそれらの機能と同じである。

実施形態４．
図４は、第４の実施形態のニューラルネットワーク回路の構成例を示すブロック図である。

図４には、重み係数格納部８０が明示されている。重み係数格納部８０には、例えば、１つの畳み込み層で使用されうる全ての重み係数があらかじめ設定されている。そして、１×１畳み込み演算と３×３畳み込み演算とが交互に多数回繰り返し実行される場合、ある回の１×１畳み込み演算が開始される前に、１×１畳み込み演算用の重み係数が、重み係数格納部８０から重みメモリ１１に転送される。また、ある回の３×３畳み込み演算が開始される前に、３×３畳み込み演算用の重み係数が、重み係数格納部８０から重みメモリ３１に転送される。

図４に示された１×１畳み込み演算回路１０、重みメモリ１１、ＳＲＡＭ２０、３×３畳み込み演算回路３０、重みメモリ３１、およびＤＲＡＭ４０の作用は、第１～第３の実施形態の場合と同様である。

重みメモリ１１は、１×１畳み込み演算回路１０に対応して設けられている。重みメモリ３１は、３×３畳み込み演算回路３０に対応して設けられている。また、上述したように、１×１畳み込み演算回路１０による３行分の畳み込み演算の演算結果がＳＲＡＭ２０に格納されれば、３×３畳み込み演算回路３０が畳み込み演算を開始できる。その後、１×１畳み込み演算回路１０と３×３畳み込み演算回路３０とは、並行動作する。１×１畳み込み演算回路１０と３×３畳み込み演算回路３０とが並行動作するので、そのことからも、ニューラルネットワーク回路の全体的な演算速度が向上する。しかも、重みメモリ１１と重みメモリ３１とが別個に設けられているので、例えば、１×１畳み込み演算回路１０が最初の３行分の畳み込み演算を実行しているときに、重み係数格納部８０から３×３畳み込み演算回路３０に３×３畳み込み演算用の重み係数が転送されるように構成されることによって、ニューラルネットワーク回路の全体的な演算速度がより向上する。

以上に説明したように、上記の各実施形態では、畳み込み演算を、空間方向への畳み込み演算とチャネル方向への畳み込み演算と分けて、それらを個別に実行するニューラルネットワーク回路において、１×１畳み込み演算回路１０の演算結果がＳＲＡＭ２０に格納され、３×３畳み込み演算回路３０が、ＳＲＡＭ２０から、１×１畳み込み演算回路１０の演算結果を入手するように構成されているので、ニューラルネットワーク回路の価格の上昇が抑えられつつ、ニューラルネットワーク回路の全体的な演算速度が向上する。

なお、上記の各実施形態では、depthwise separable 畳み込みとして、非特許文献１に記載されたようなMobileNetsを例にしたが、各実施形態のニューラルネットワーク回路は、MobileNets以外のdepthwise separable 畳み込みに適用可能である。例えば、３×３畳み込み演算回路３０に相当する部分の処理がdepthwise 畳み込みではなく、depthwise畳み込みの一般系であるGroupedConvolutionであってもよい。GroupedConvolutionとは、Convolutionへの入力チャネルをＧ個のグループに分割してグループ単位で畳み込みを実施するものである。言い換えると、入力チャネル数をM 、出力チャネル数をN としたとき、入力チャネル数がM/G 、出力チャネル数がN/G である３×３畳み込みをＧ個並行に実施する。depthwise 畳み込みは、このGroupedConvolutionにおいて、M=N=G とした場合に相当する。

図５は、ニューラルネットワーク回路の主要部を示すブロック図である。図５に示すニューラルネットワーク回路２０１は、チャネル方向への畳み込みを行う１×１畳み込み演算回路１０と、１×１畳み込み演算回路１０の演算結果が格納されるＳＲＡＭ２０と、ＳＲＡＭ２０に格納された演算結果に対して空間方向への畳み込みを行うＮ×Ｎ畳み込み演算回路３０１（実施形態では、例えば、図１等に示された３×３畳み込み演算回路３０で実現される。）とを備える。

図６は、他の態様のニューラルネットワーク回路の主要部を示すブロック図である。図６に示すニューラルネットワーク回路２０２は、さらに、Ｎ×Ｎ畳み込み演算回路３０１の演算結果が格納されるＤＲＡＭ４０を備え、１×１畳み込み演算回路１０は、ＤＲＡＭ４０に格納された演算結果に対してチャネル方向への畳み込みを行う。

図７は、別の態様のニューラルネットワーク回路の主要部を示すブロック図である。図７に示すニューラルネットワーク回路２０３は、さらに、１×１畳み込み演算回路１０が使用する重み係数を記憶する第１の重みメモリ１１１（実施形態では、例えば、図１等に示されたと、重みメモリ１１で実現される。）と、Ｎ×Ｎ畳み込み演算回路３０１が使用する重み係数を記憶する第２の重みメモリ３１１（実施形態では、例えば、図１等に示されたと、重みメモリ３１で実現される。）とを備え、１×１畳み込み演算回路１０とＮ×Ｎ畳み込み演算回路３０１とは、並行して畳み込み演算を実行する。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０１×１畳み込み演算回路
１１重みメモリ
２０ＳＲＡＭ
３０３×３畳み込み演算回路
３１重みメモリ
４０ＤＲＡＭ
８０重み係数格納部
１０１，１０２ＦＰＧＡ
１１１第１の重みメモリ
３０１Ｎ×Ｎ畳み込み演算回路
３１１第２の重みメモリ
２０１，２０２，２０３ニューラルネットワーク回路

Claims

畳み込み演算を空間方向への畳み込み演算とチャネル方向への畳み込み演算とに分けて、それらを個別に実行するニューラルネットワーク回路であって、
チャネル方向への畳み込みを行う１×１畳み込み演算回路と、
前記１×１畳み込み演算回路の演算結果が格納されるＳＲＡＭと、
前記ＳＲＡＭに格納された演算結果に対して空間方向への畳み込みを行うＮ×Ｎ畳み込み演算回路とを備える
ことを特徴とするニューラルネットワーク回路。
前記Ｎ×Ｎ畳み込み演算回路の演算結果が格納されるＤＲＡＭを備え、
前記１×１畳み込み演算回路は、前記ＤＲＡＭに格納された演算結果に対してチャネル方向への畳み込みを行う
請求項１記載のニューラルネットワーク回路。
Ｎは３である請求項１または請求項２記載のニューラルネットワーク回路。
前記１×１畳み込み演算回路における演算器の数と前記Ｎ×Ｎ畳み込み演算回路における演算器の数とは、演算コストに応じて設定されている
請求項１から請求項３のうちのいずれか１項に記載のニューラルネットワーク回路。
前記１×１畳み込み演算回路における演算器の数は、前記Ｎ×Ｎ畳み込み演算回路における演算器の数よりも多い
請求項４記載のニューラルネットワーク回路。
前記１×１畳み込み演算回路における演算器の数と前記Ｎ×Ｎ畳み込み演算回路における演算器の数は、それぞれ、２のｎ乗である
請求項１から請求項５のうちのいずれか１項に記載のニューラルネットワーク回路。
前記１×１畳み込み演算回路が使用する重み係数を記憶する第１の重みメモリと、
前記Ｎ×Ｎ畳み込み演算回路が使用する重み係数を記憶する第２の重みメモリとを備え、
前記１×１畳み込み演算回路と前記Ｎ×Ｎ畳み込み演算回路とは、並行して畳み込み演算を実行する
請求項１から請求項６のうちのいずれか１項に記載のニューラルネットワーク回路。
少なくとも、前記１×１畳み込み演算回路と前記Ｎ×Ｎ畳み込み演算回路とがＦＰＧＡに形成されている
請求項１から請求項７のうちのいずれか１項に記載のニューラルネットワーク回路。
前記ＳＲＡＭも、前記ＦＰＧＡ形成されている
請求項８記載のニューラルネットワーク回路。