JP7029321B2 - 情報処理方法、情報処理装置およびプログラム - Google Patents

情報処理方法、情報処理装置およびプログラム Download PDF

Info

Publication number
JP7029321B2
JP7029321B2 JP2018046055A JP2018046055A JP7029321B2 JP 7029321 B2 JP7029321 B2 JP 7029321B2 JP 2018046055 A JP2018046055 A JP 2018046055A JP 2018046055 A JP2018046055 A JP 2018046055A JP 7029321 B2 JP7029321 B2 JP 7029321B2
Authority
JP
Japan
Prior art keywords
tensor
memory
stored
input
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018046055A
Other languages
English (en)
Other versions
JP2018181313A (ja
Inventor
エー グドフスキー デニス
ルカ・リザジオ
宗太郎 築澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JP2018181313A publication Critical patent/JP2018181313A/ja
Application granted granted Critical
Publication of JP7029321B2 publication Critical patent/JP7029321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)

Description

本開示は、情報処理方法、情報処理装置およびプログラムに関する。
近年、画像分類、物体検出、および、画像を画素レベルで把握するセマンティックセグメンテーションなど、コンピュータビジョンを含む多くの研究分野において、深層学習アルゴリズムの成果がもたらされている。
深層学習に用いられるディープニューラルネットワーク（DNN：Deep Neural Network）の中でも、畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）は、最も広く使用されている。CNNの演算は、大量の電力を消費するグラフィック処理ユニット（GPU：Graphics Processing Unit）にのみ実行可能とされてきた。
しかし、GPUにより実行されるCNNは、動作が容易であるものの計算効率の悪い浮動小数点形式を用いていることが知られている。
そこで、計算コストが安くかつ電力効率に優れたCNNアーキテクチャと低消費電力で駆動する組み込みシステムへの実装とを実現させるべく、数多くの研究と実装の取り組みが行われている（例えば非特許文献１）。
非特許文献１には、CNNのデータ表現として、浮動小数点形式よりも計算効率が良い量子化された固定小数点を用いる方法が開示されている。非特許文献１には、浮動小数点形式を低精度量子化表現の一つである固定小数点量子化形式に変換して畳み込み演算を行うことが開示されている。
Philipp Gysel, Mohammad Motamedi, and Soheil Ghiasi. Hardware-oriented approximation of convolutional neural networks. arXiv preprint arXiv:1604.03168, 2016.
しかしながら、非特許文献１で開示された技術では、畳み込み演算の計算効率を向上することができるものの、FPGA（Field Programmable Gate Array）またはASIC（Application Specific Integrated Circuit）など低消費の組み込みシステムに実装できる程ではない。つまり、畳み込み演算の計算効率をさらに向上させ低消費電力化することが求められる。
本開示は、上述の事情を鑑みてなされたもので、畳み込み演算の計算効率をより向上させて低消費電力化させることができる情報処理方法、情報処理装置およびプログラムを提供することを目的とする。
上記課題を解決するために、本開示の一形態に係る情報処理方法は、本開示の一形態に係る情報処理方法は、データを示す入力テンソルを、メモリを有しコンピュータにより処理される処理部に入力する入力ステップと、前記入力テンソルの各要素について２の累乗表現の形式に変換される事前計算が行われて前記メモリに格納された後において、所定のアルゴリズムにより予め２の累乗表現の形式に変換され、かつ前記メモリに格納されている畳み込み演算に用いる可能性のある重みを示す重みテンソルと、前記メモリに格納された前記事前計算が行われた前記入力テンソルの各要素とを用いて、前記処理部に、加算演算およびシフト演算のみで畳み込み演算処理を行わせる処理ステップと、前記処理ステップにより前記畳み込み演算処理が行われた前記入力テンソルの各要素を、出力テンソルとして出力する出力ステップとを含む。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の情報処理方法等によれば、畳み込み演算の計算効率をより向上させて低消費電力化させることができる。
図１は、実施の形態における情報処理装置の構成の一例を示すブロック図である。 図２は、図１に示す処理部の詳細構成の一例を示すブロック図である。 図３は、図１に示す処理部が行う畳み込み演算処理を概念的に示す図である。 図４は、図３に示すShiftALU部の詳細構成を概念的に示す図である。 図５は、畳み込み演算に用いる可能性のある重みテンソルを２の累乗表現の形式に変換する所定のアルゴリズムを示す図である。 図６は、図２に示す畳み込み演算部の詳細構成を概念的に示す図である。 図７は、実施の形態における制御部の処理の流れが記述された擬似コードの一例を示す図である。 図８は、実施の形態における情報処理装置の演算処理を示すフローチャートである。 図９は、図８に示すステップＳ３の畳み込み演算処理の詳細を示すフローチャートである。 図１０は、実施例１におけるImageNet datasetを用いて正解率を評価した評価結果を示す図である。 図１１は、実施例１の３つのCNNモデルにおける従来の畳み込み層に畳み込み演算に必要な乗算演算の数とShiftCNNに変換後に畳み込み演算に必要なシフト演算のサイクル数の比較を示す図である。 図１２は、実施例２におけるFPGAを利用した場合の推定電力の比較を示す図である。
本開示の一形態に係る情報処理方法は、データを示す入力テンソルを、メモリを有しコンピュータにより処理される処理部に入力する入力ステップと、前記入力テンソルの各要素について２の累乗表現の形式に変換される事前計算が行われて前記メモリに格納された後において、所定のアルゴリズムにより予め２の累乗表現の形式に変換され、かつ前記メモリに格納されている畳み込み演算に用いる可能性のある重みを示す重みテンソルと、前記メモリに格納された前記事前計算が行われた前記入力テンソルの各要素とを用いて、前記処理部に、加算演算およびシフト演算のみで畳み込み演算処理を行わせる処理ステップと、前記処理ステップにより前記畳み込み演算処理が行われた前記入力テンソルの各要素を、出力テンソルとして出力する出力ステップとを含む。
これにより、畳み込み演算を、乗算演算を必要とせず加算演算およびシフト演算のみで行うことができるので、畳み込み演算の計算効率をより向上させて低消費電力化させることができる。
ここで、例えば、前記処理ステップでは、前記処理部に、前記事前計算を行わせ、前記メモリに前記事前計算を行った前記入力テンソルの各要素を格納させる。
また、例えば、前記処理ステップでは、前記処理部に、畳み込みニューラルネットワークを構成する畳み込み層の演算を行わせてもよい。
これにより、CNNの畳み込み層で行われる畳み込み演算の計算効率をより向上させて、CNNが実装される装置の低消費電力化を図ることができる。
また、例えば、前記重みテンソルは、２の補数のビット値がＢ（１以上の整数）とすると２Ｂ－１個の組み合わせからなり、かつ、前記メモリにコードブックとして格納されており、前記処理ステップでは、前記コードブックから、１ビットの表現の自由度を示す次元数とするＮ（１以上の整数）および前記Ｂとにより特定される重みテンソルの要素を取得して用いてもよい。
これにより、畳み込み演算を行う際に必要な重みを予め辞書的にコードブックとして保持できるので、畳み込み演算の計算効率をより向上させることができる。
また、例えば、前記Ｎは、２以上の整数であるとしてもよい。
これにより、１％未満の正解率低下すなわち精度低下の範囲において、畳み込み演算を、加算演算およびシフト演算のみで行うことができる。
また、本開示の一形態に係る情報処理装置は、データを示す入力テンソルを入力する入力部と、メモリを有しコンピュータにより処理される処理部であって、前記入力テンソルの各要素について２の累乗表現の形式に変換される事前計算が行われて前記メモリに格納された後において、所定のアルゴリズムにより予め２の累乗表現の形式に変換され、かつ前記メモリに格納されている畳み込み演算に用いる可能性のある重みを示す重みテンソルと、前記メモリに格納された前記事前計算が行われた前記入力テンソルの各要素とを用いて、加算演算およびシフト演算のみで畳み込み演算処理を行う処理部と、前記処理部により前記畳み込み演算処理が行われた前記入力テンソルの各要素を、出力テンソルとして出力する出力部とを含む。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
（実施の形態）
以下では、図面を参照しながら、実施の形態における情報処理装置１０の情報処理方法等の説明を行う。
［情報処理装置１０の構成］
図１は、実施の形態における情報処理装置１０の構成の一例を示すブロック図である。
情報処理装置１０は、畳み込みニューラルネットワークを用いたコンピュータ等で実現されてもよい。情報処理装置１０は、図１に示すように入力部１１と処理部１２と出力部１３とで構成されている。情報処理装置１０は、画像、動画像など処理対象のデータが入力されると、畳み込み演算処理を行い、その結果である畳み込み演算処理結果を出力する。なお、処理対象のデータは、画像または動画像である場合に限らない。
［入力部１１］
入力部１１は、処理対象のデータを示す入力テンソルを処理部１２に入力する。ここで、処理対象のデータは、画像または動画像であるが、これに限らない。処理部１２が、１層の畳み込み層の演算を行う場合には、データは、当該畳み込み層の前にある畳み込み層などによる畳み込み演算処理結果であってもよい。
［処理部１２］
処理部１２は、メモリ１２４を有しコンピュータにより処理される。処理部１２は、入力テンソルの各要素について２の累乗表現の形式に変換される事前計算が行われてメモリ１２４に格納された後において、所定のアルゴリズムにより予め２の累乗表現の形式に変換され、かつメモリ１２４に格納されている畳み込み演算に用いる可能性のある重みを示す重みテンソルと、メモリ１２４に格納された事前計算が行われた入力テンソルの各要素とを用いて、加算演算およびシフト演算のみで畳み込み演算処理を行う。ここで、処理部１２は、事前計算を行い、メモリ１２４に事前計算を行った入力テンソルの各要素を格納してもよい。また、重みテンソルは、２の補数のビット値がＢ（１以上の整数）とすると２Ｂ－１個の組み合わせからなり、かつ、メモリ１２４にコードブックとして格納されていてもよい。処理部１２は、コードブック１２３から、１ビットの表現の自由度を示す次元数とするＮ（１以上の整数）および当該Ｂとにより特定される重みテンソルの要素を取得して用いる。なお、Ｎは、２以上の整数であるとよい。
具体的には、処理部１２は、CNNのデータ表現を後述するハードウェア効率の高い2の累乗表現形式に変換して、乗算なしで畳み込み演算を実行する。換言すると、処理部１２は、乗算なしで畳み込み演算が実行できるShiftCNNとも称するCNNアーキテクチャであるともいえる。なお、処理部１２は、CNNを構成する畳み込み層の演算を行う場合に限らず、単に畳み込み演算を行うとしてもよい。
以下では、図を用いて、処理部１２の詳細構成について説明するが、説明を簡単にするため、処理部１２は、CNNを構成する複数の畳み込み層のうちの１層の畳み込み層の演算を行うとして説明する。
図２は、図１に示す処理部１２の詳細構成の一例を示すブロック図である。図３は、図１に示す処理部１２が行う畳み込み演算処理を概念的に示す図である。
本実施の形態では、処理部１２は、図２に示すように、事前計算部１２１と、畳み込み演算部１２２と、コードブック１２３と、メモリ１２４と、制御部１２５とを備える。なお、処理部１２は、事前計算部１２１を備えなくてもよい。
まず、一般的なCNNの畳み込み層の演算すなわち畳み込み演算について説明する。
＜畳み込み演算＞
一般的なCNNの各畳み込み層への入力は、入力テンソルXで表すことができる。入力テンソルXは、入力チャンネル数をC、高さをH、幅をWとすると、（式１）に示される集合Ｒの要素である。
Figure 0007029321000001
そして、入力テンソルXは、重みテンソルWで畳み込まれる。重みテンソルWは、（式２）に示される集合Ｒの要素である。
Figure 0007029321000002
（式２）において、出力チャンネル数を
Figure 0007029321000003
 、フィルタカーネルの高さをHf、フィルタカーネルの幅をWfとしている。
なお、バイアスベクトルで示されるバイアス項bが畳み込み演算の結果に加算される。バイアス項bは、（式３）に示される集合Ｒの要素である。
Figure 0007029321000004
Figure 0007029321000005
 個のチャンネル数の出力テンソルYは、（式４）に示す計算式を用いて、算出することができる。出力テンソルYは、（式５）に示される集合Ｒの要素である。なお、（式４）において、*は畳み込み演算を行うことを表す。
Figure 0007029321000006
Figure 0007029321000007
次に、処理部１２を構成する各構成要素について図２、図３等を用いて説明する。
＜メモリ１２４＞
メモリ１２４は、ハードディスクまたは半導体メモリ等で構成され、情報を記憶する。
本実施の形態では、メモリ１２４は、事前計算部１２１が事前計算した結果、および、畳み込み演算部１２２が行った畳み込み演算処理の結果を記憶する。
なお、メモリ１２４は、畳み込み演算部１２２が畳み込み演算処理を行う際に用いるバイアス項の値を記憶していてもよい。また、メモリ１２４は、後述するコードブック１２３を記憶しているとしてもよい。
＜事前計算部１２１＞
事前計算部１２１は、入力テンソルXの各要素について２の累乗表現の形式に変換する事前計算を行う。事前計算部１２１は、当該事前計算を行い、当該事前計算を行った入力テンソルXの各要素をメモリ１２４に格納する。
本実施の形態では、事前計算部１２１は、図３に示すように、ShiftALU部１２１１を備える。事前計算部１２１は、畳み込み演算部１２２で畳み込み演算を行う前に、事前計算として、ShiftALU部１２１１を用いて、例えば１１ａで示される入力テンソルXの各要素について２の累乗表現の形式であるテンソルPに変換する。ここで、テンソルPは、例えば図３において１２４ａで示されており、入力テンソルXの各要素について有り得るすべての組み合わせとなっている。テンソルPは、２の補数のビット値をＢ（１以上の整数）、１ビットの表現の自由度を示す次元数をＮ（１以上の整数）としたとき、（M+2（N-1））の組み合わせからなる。テンソルPは、入力テンソルXをシフト演算できるような表現形式に変換したテンソルに該当する。
≪ShiftALU部１２１１≫
図４は、図３に示すShiftALU部１２１１の詳細構成を概念的に示す図である。
ShiftALU部１２１１は、Shift Arithmetic Unitとも称する特殊なシフト演算器であり、複数のシフタと、符号反転を行う複数のフリップとで構成されている。複数のシフタと複数のフリップとは、ロジック回路で実現されてもよいし、プログラムロジックで実現されてもよい。図４に示すように、複数のシフタそれぞれは、入力値である入力テンソルXを右に１つずつシフトする演算を行いメモリ１２４に格納する。また、複数のフリップのそれぞれは、シフタにより右にシフトするよう演算された値を符号反転させてメモリ１２４に格納する。ShiftALU部１２１１は、合計（1/P）回の１ビットシフトを実行する。このようにして、テンソルPを事前計算してメモリ１２４に格納することができる。
なお、事前計算部１２１は、上述したように、処理部１２に備えられなくてもよい。この場合、処理部１２の外部に事前計算部１２１が設けられ、事前計算部１２１が行った事前計算の結果であるテンソルPがメモリ１２４に格納されていればよい。また、ShiftALU部１２１１がプログラムロジックである場合には、ShiftALU部１２１１は、後述する図５に示す所定のアルゴリズムを用いて、入力テンソルXからテンソルPに変換する事前計算を行ってもよい。
＜コードブック１２３＞
図５は、畳み込み演算に用いる可能性のある重みテンソルを２の累乗表現の形式に変換する所定のアルゴリズムを示す図である。図５において、所定のアルゴリズムは、アルゴリズム１と表記されている。
コードブック１２３は、メモリ１２４に格納されているとしてもよいし、メモリ１２４とは異なるメモリに格納されているとしてもよい。本実施の形態では、メモリ１２４とは異なるメモリに格納されているとして説明する。
コードブック１２３は、所定のアルゴリズムにより予め２の累乗表現の形式に変換され、かつ畳み込み演算に用いる可能性のある重みを示す重みテンソルWの組み合わせが格納されている。換言すると、重みテンソルWは、２の補数のビット値がＢ（１以上の整数）とすると２Ｂ－１個の組み合わせからなり、かつ、メモリにコードブック１２３として格納されている。重みテンソルWの要素は、コードブック１２３から、１ビットの表現の自由度を示す次元数Ｎ（１以上の整数）および当該Ｂとにより特定される。なお、Ｎは、２以上の整数であってもよい。換言すると、コードブック１２３は、ＢとＮとで特定できるアドレスまたは指標が紐づけられた重みテンソルの辞書のようなものである。
本実施の形態では、重みテンソルWは、低精度の重みテンソル
Figure 0007029321000008
 で近似されてコードブック１２３に格納されている。重みテンソルWは、低精度の重みテンソル
Figure 0007029321000009
 で近似することで、２の累乗表現の形式にされた２Ｂ－１個の組み合わせからなる重みとすることができるので、テーブル化すなわちコードブック１２３に予め格納できる。
低精度の重みテンソル
Figure 0007029321000010
 の各要素
Figure 0007029321000011
 は、（式６）で表され、コードブック１２３に格納される。
Figure 0007029321000012
（式６）において、
Figure 0007029321000013
 である。つまり、Cnはコードブック１２３におけるアドレスまたは指標を示している。
なお、本実施の形態では、所定のアルゴリズムすなわち、図５に示すアルゴリズム１を用いて、低精度の重みテンソル
Figure 0007029321000014
 の各要素
Figure 0007029321000015
 が、MAX(abs(W))で正規化した上で変換されて、コードブック１２３に格納されている。
図５では、２行目において、重みテンソルの最大値に対する要素
Figure 0007029321000016
 の値を入力値rとすることで、０～１の値で３行目以降のアルゴリズム１を実行する。
３行目では２行目の入力値ｒの符号をqsgnとして算出し、４行目では２行目の入力値rが２の何乗の桁数を、qlogとして算出している。また、７行目～９行目では、量子化の境界を示すlog21.5を用いて、qlogの値の桁数を例えば四捨五入するように１つあげるかそのままかを算出している。１０行目～１６行目ではN回再帰的に桁数を量子化つまり２の累乗表現の形式に変換している。
＜畳み込み演算部１２２＞
畳み込み演算部１２２は、事前計算が行われた後において、所定のアルゴリズムにより予め２の累乗表現の形式に変換され、かつ畳み込み演算に用いる可能性のある重みを示す重みテンソルと、メモリ１２４に格納された事前計算が行われた入力テンソルの各要素とを用いて、加算演算およびシフト演算のみで畳み込み演算処理を行う。
例えば図３に概念的に示されるように、畳み込み演算部１２２は、事前計算後テンソル１２４ａと、重みテンソル１２３ａと、バイアス項１２４ｂとを用いて、加算演算およびシフト演算のみで畳み込み演算処理を行う。事前計算後テンソル１２４ａは、事前計算部１２１のShiftALU部１２１１により事前計算が行われた入力テンソルの各要素である。重みテンソル１２３ａはコードブック１２３に格納されている重みテンソルであって、図５に示すアルゴリズム１により予め２の累乗表現の形式に変換され、かつ畳み込み演算に用いる可能性のある重みを示す低精度の重みテンソルから取得されたものである。
図６は、図２に示す畳み込み演算部１２２の詳細構成を概念的に示す図である。
本実施の形態では、畳み込み演算部１２２は、図６に示すように、マルチプレクサ１２２１、１２２２と、加算器１２２３とを備える。
マルチプレクサ１２２１は、重みテンソル１２３ａのアドレスまたは指標に従ってメモリ１２４から、事前計算後テンソル１２４ａをフェッチ（取得）して、重みテンソル１２３ａと事前計算後テンソル１２４ａとの畳み込み演算をシフト演算にて行い、加算器１２２３に出力する。より具体的には、マルチプレクサ１２２１は、重みテンソル１２３ａの要素の値としてゼロ（値０）または２の累乗の桁を示す値を選択し、事前計算後テンソル１２４ａの要素の値である２の累乗の桁を示す値と、重みテンソル１２３ａの要素の値としての２の累乗の桁を示す値とをシフト演算した結果を加算器１２２３に出力する。
加算器１２２３は、マルチプレクサ１２２１が出力した値とバイアス項１２４ｂとを加算することで、仮の出力テンソル１３ｂを算出する。なお、加算器１２２３は、仮の出力テンソル１３ｂを前回算出していた場合には、マルチプレクサ１２２１が出力した値に対して、バイアス項１２４ｂと前回算出していた仮の出力テンソル１３ｂとを加算した値を加算することで、仮の出力テンソル１３ｂを更新する。そして、加算器１２２３は、Ｎ－１回更新された仮の出力テンソル１３ｂを出力テンソル１３ａとして出力部１３に出力する。このようにして、仮の出力テンソル１３ｂはＮ－１回更新されて、出力テンソル１３ａとして出力部１３に出力される。
マルチプレクサ１２２２は、バイアス項１２４ｂと、加算器１２２３により前回算出または更新された仮の出力テンソル１３ｂとを加算した値を、加算器１２２３に出力する。なお、マルチプレクサ１２２２は、加算器１２２３により前回算出または前回更新された仮の出力テンソル１３ｂがない場合には、バイアス項１２４ｂのみを加算器１２２３に出力する。
＜制御部１２５＞
制御部１２５は、事前計算部１２１および畳み込み演算部１２２を制御する。
ところで、制御部１２５が、事前計算部１２１にShiftALU部１２１１を用いて事前計算後テンソル１２４ａを計算させることは簡単である。一方、制御部１２５が、畳み込み演算部１２２に、シフト演算および加算演算のみで畳み込み演算を行わせるには、潜在的なすべてのフィルタカーネルをサポートする必要があり、複雑なスケジューリングおよび制御ロジックを必要とする。
図７は、実施の形態における制御部１２５の処理の流れが記述された擬似コードの一例を示す図である。図７において、擬似コードは、アルゴリズム２と表記されている。
図７では、２行目において、入力テンソルＸとして入力ベクトルxを読み込むことが記述されている。３行目には、事前計算部１２１に事前計算を行わせてメモリ１２４に格納させることが記述されている。
４行目では、出力チャンネル数だけ繰り返して、５～９行目の計算を行わせることが記述されている。５行目では、６～９行目の計算後にバイアス項を加算演算することが記述されている。
６～８行目では、畳み込み演算部１２２に、事前計算されたPの要素のＮの回数分、潜在的なすべてのフィルタカーネルの高さと幅に対して、畳み込み演算を行わせることが記述されている。９行目では、畳み込み演算部１２２に、畳み込み演算を行った結果の値を出力テンソルとすることが記述されている。
本実施の形態では、制御部１２５は、例えば図７に示す擬似コードに従って、事前計算部１２１および畳み込み演算部１２２を制御して、事前計算と畳み込み演算とを行う。
［出力部１３］
出力部１３は、処理部１２により畳み込み演算処理が行われた入力テンソルの各要素を、出力テンソルとして出力する。
本実施の形態では、出力部１３は、CNNを構成する１層の畳み込み層が行う畳み込み演算処理結果として畳み込み演算部１２２により出力された出力テンソル１３ａを出力する。
［情報処理装置１０の動作］
次に、上記のように構成された情報処理装置１０の動作について説明する。
図８は、実施の形態における情報処理装置１０の演算処理を示すフローチャートである。
まず、情報処理装置１０は、処理対象のデータを示す入力テンソルを、処理部１２に入力する入力処理を行う（Ｓ１）。より具体的には、情報処理装置１０のコンピュータは、図１に示す入力部１１に、処理対象のデータを示す入力テンソルを処理部１２に入力させる。
次に、情報処理装置１０は、入力テンソルを２の累乗表現の形式に変換する事前計算を行う（Ｓ２）。より具体的には、情報処理装置１０のコンピュータは、処理部１２の事前計算部１２１に、入力テンソルの各要素について２の累乗表現の形式に変換する事前計算を行わせ、メモリ１２４に格納させる。
次に、情報処理装置１０は、ステップＳ２において事前計算された入力テンソルを用いて、加算およびシフト演算のみで畳み込み演算処理を行う（Ｓ３）。より具体的には、情報処理装置１０のコンピュータは、処理部１２の畳み込み演算部１２２に、事前計算後において、所定のアルゴリズムにより予め２の累乗表現の形式に変換され、かつコードブック１２３に格納されている畳み込み演算に用いる可能性のある重みを示す重みテンソルと、メモリ１２４に格納された事前計算が行われた入力テンソルの各要素とを用いて、加算演算およびシフト演算のみで畳み込み演算処理を行わせる。
次に、情報処理装置１０は、ステップＳ３において畳み込み演算処理された入力テンソルを、出力テンソルとして出力する（Ｓ４）。より具体的には、情報処理装置１０のコンピュータは、出力部１３に、ステップＳ３において処理部１２により畳み込み演算処理が行われた入力テンソルの各要素を、出力テンソルとして出力させる。
図９は、図８に示すステップＳ３の畳み込み演算処理の詳細を示すフローチャートである。
ステップＳ３において、まず、情報処理装置１０のコンピュータは、畳み込み演算部１２２に、ステップＳ２において事前計算された入力テンソルを取得させる（Ｓ３１）。
次に、情報処理装置１０のコンピュータは、畳み込み演算部１２２に、コードブック１２３から重みテンソルを取得させる（Ｓ３２）。コードブック１２３に格納されている重みテンソルは、アルゴリズム１により予め２の累乗表現の形式に変換され、かつ畳み込み演算に用いる可能性のある重みである。本実施の形態では、コードブック１２３に格納されている重みテンソルは、低精度の重みテンソルとして２の累乗表現の形式に変換されている。畳み込み演算部１２２は、アドレスまたは指標により、コードブック１２３を参照し、事前計算された入力テンソルの各要素に対する畳み込み演算に必要な重みテンソルを取得することができる。
次に、情報処理装置１０のコンピュータは、畳み込み演算部１２２に、ステップＳ３２で取得した重みテンソルと、ステップＳ３１で取得した事前計算された入力テンソルとを用いて、加算演算およびシフト演算のみで畳み込み演算を行わせる（Ｓ３３）。
次に、情報処理装置１０のコンピュータは、畳み込み演算部１２２に、ステップＳ３３で行った畳み込み演算の結果に、バイアス項と１回前に更新または１回前に算出させた仮の出力テンソルを加算させ、仮の出力テンソルを更新させる（Ｓ３４）。
次に、情報処理装置１０のコンピュータは、畳み込み演算部１２２に、ステップＳ３１で取得した事前計算された入力テンソルの要素の数だけ畳み込み演算を行ったか否かを判定する（Ｓ３５）。事前計算された入力テンソルの要素の数だけ畳み込み演算が行われた場合（Ｓ３５でＹｅｓ）、情報処理装置１０のコンピュータは、出力部１３に、仮の出力テンソルを、畳み込み演算処理された出力テンソルとして出力させる（Ｓ３６）。
一方、事前計算された入力テンソルの要素の数だけ畳み込み演算が行われていない場合（Ｓ３５でＮｏ）、情報処理装置１０のコンピュータは、畳み込み演算部１２２に、ステップＳ３１の処理から再度行わせる。
［効果等］
以上のように、本実施の形態における情報処理装置１０によれば、畳み込み演算を、乗算演算を必要とせず加算演算およびシフト演算のみで行うことができるので、畳み込み演算の計算効率をより向上させて低消費電力化させることができる。より具体的には、本実施の形態の情報処理装置１０によれば、CNNのデータ表現として、ハードウェア効率の高い２の累乗表現形式を採用することで、畳み込み演算を乗算なしでシフト演算および加算演算のみで行うことができる。これにより、CNNにおいて最も計算量の多い部分である畳み込み層の計算コストを大幅に削減することができる。よって、CNNの畳み込み層で行われる畳み込み演算の計算効率をより向上させて、CNNが実装される装置の低消費電力化を図ることもできる。
また、本実施の形態の情報処理装置１０では、畳み込み演算に用いる可能性のある重みを２の累乗表現の形式に予め変換して、アドレスまたは指標が紐づけられた重みとして格納されているコードブック１２３を用いて、畳み込み演算を行う。コードブック１２３には、２の補数のビット値Ｂ（１以上の整数）とすると、重みは２Ｂ－１個の組み合わせからなる２の累乗表現の形式に変換された重みが格納されるので、比較的小さい。このように畳み込み演算を行う際に必要な重みを予め辞書的にコードブックとして保持できるので、畳み込み演算の畳み込み項を事前計算することを可能にする。例えば、一般的なCNNモデルの畳み込み層の畳み込み演算で必要とする演算回数を１／１００つまり少なくとも２桁現象させることができるなど、畳み込み演算の計算コストを削減することができるので、畳み込み演算の計算効率をより向上させることができる。
より詳細には、本実施の形態の情報処理装置１０では、以下の３つの特徴がある。第１に、畳み込み演算に用いる可能性のある重みテンソルWを低精度の重みテンソル
Figure 0007029321000017
 で近似することで、Ｍ＝２Ｂ－１個の組み合わせからなる２の累乗表現の形式に変換された重みテンソルをコードブック１２３に予め用意できる。第２に、入力テンソルXの各要素のすべての組み合わせについて、２の累乗表現の形式であるテンソルPを事前計算する。テンソルPの事前計算は、特殊なシフト演算器であるShiftALU部１２１１またはアルゴリズム１を用いて行われる。第３に、アドレスまたは指標に従って選択した重みテンソル
Figure 0007029321000018
 と事前計算されたテンソルPの各要素とをシフト演算および加算演算のみを用いて畳み込み演算したものを蓄積することで、畳み込み演算処理を行う。
このようにして、本実施の形態における情報処理装置１０は、CNNにおいて最も計算量の多い部分である畳み込み層の計算コストを大幅に削減することができる。
なお、本実施の形態の情報処理装置１０は、ShiftALU部１２１１またはアルゴリズム１を用いて、一般的なCNNモデルを、畳み込み演算を乗算なしで行うことができる、２の累乗表現に変換したShiftCNNモデルに変換しているとも表現できる。そして、ShiftCNNモデルでは、CNNの再学習が不要で、精度低下もない状態で、一般的なCNNモデルの畳み込み層で行われる畳み込み演算を、シフト演算および加算演算のみを用いて行うことができる。
ここで、ストライド１を有するフィルタカーネルについて、簡単に、出力チャンネルと入力チャンネルとの高さおよび幅を同一、すなわち
Figure 0007029321000019
 と仮定する。この場合、一般的なCNNの畳み込み層では、
Figure 0007029321000020
 の乗算が実行されて畳み込み演算が行われることになる。一方、本実施の形態の情報処理装置１０では、畳み込み層の畳み込み演算として、（PCHW）の演算のみを実行する。
また、
Figure 0007029321000021
 であるので、演算回数による計算コストの削減量は、これらの比、すなわち
Figure 0007029321000022
 で定量化できる。つまり、CNNを構成する各畳み込み層における演算数は、すべての乗算演算を２の累乗表現によるシフト演算に置き換えて行うことにより、
Figure 0007029321000023
 だけ減少できる。
ShiftALU部１２１１は、[P/2]回の１ビットずつの右シフト処理と符号反転処理とにより（P-1）回の演算を行う。つまり、ShiftALU部１２１１は、事前計算されたテンソルPを生成するのに必要なサイクル数をPの因数だけさらに減らせる。
（実施例１）
情報処理装置１０の処理部１２であるShiftCNNの有効性について、大量の画像とその内容を表すタグで構成されているImageNet datasetを用いて広範な評価を行ったので、その評価結果を実施例１として説明する。
＜評価対象＞
本実施例では、ShiftCNNモデルに変換される従来のCNNとして、画像分類に用いられる一般的なCNNモデルであるGoogleNetとResNetとSqueezeNetとを選択した。
GoogleNetとResNet-50とは、事前にトレーニングされたモデルのサブセットとして、オープンソースのディープラーニングライブラリであるCaffeからダウンロードした。SqueezeNet v1.1およびResNet-18は、インターネットで公に利用可能なソースをダウンロードした。これら全てのCNNモデルは、その著者によってImageNet datasetを用いて予め学習されたものである。
＜評価条件＞
これら全てのCNNモデルを図５に示したアルゴリズム１を用いて、浮動小数点精度を下げた２の累乗表現の形式にエミュレートすることによりShiftCNNモデルに変換した。そして、ImageNetの検証用データセットから切り取って縦横比を維持しつつ中央にさせた５万の画像を用いて、CaffeツールによりTop-1 AccuracyとTop-5 Accuracyを評価した。
ここで、Top-1 Accuracyとは、入力された画像がどういう画像かを識別するタスクにおいて、識別結果のうちの第１候補すなわちトップ候補が正解と完全一致した正解率を意味する。Top-5 Accuracyとは、入力された画像がどういう画像かを識別するタスクにおいて、識別結果のうちの第５位までの画像の中に正解と完全一致したものが含まれている正解率を意味する。
＜評価結果＞
図１０は、実施例１におけるImageNet datasetを用いて正解率を評価した評価結果を示す図である。図１０には、SqueezeNet、GoogleNet、ResNet-18およびResNet-50をShiftCNNモデルに変換後に、ImageNet datasetを用いてTop-1 AccuracyとTop-5 Accuracyとを評価した結果が示されている。
また、図１０において、SqueezeNet base、GoogleNet base、ResNet-18 baseおよびResNet-50 baseは、ShiftCNNモデルに変換していない元のCNNモデルである。ResNetモデルに「*」のマークが付いているものは、ResNetモデルのうちの畳み込み層のみが２の累乗表現に変換されたShiftCNNモデルを示している。また、Bは、ビット幅を示し、上述した２の補数のビット値に該当する。また、Ｎは、１ビットの表現の自由度を示す次元数に該当し、図１０中では、shiftsと表現されている。
図１０から、ShiftCNNモデルに変換されたCNNモデルは、B=4かつN>2の場合、正解率の低下すなわち精度低下が０．２９％未満であるのがわかる。また、ShiftCNNモデルに変換されたCNNモデルは、B=4かつN=2の場合、１％以内で正解率の低下すなわち精度低下を示している。これらから、正解率と計算の複雑さとは、トレードオフの関係があるように考えられる。
なお、ShiftCNNモデルに変換されたCNNモデルは、B>4では、有意な精度向上は認められなかった。また、図１０から、ShiftCNNモデルに変換されたCNNモデルは、N=1の場合、有意に機能せず、再学習が必要であることを示唆し、従来の畳み込み層と同じ数の加算演算が必要となる。
以上から、ShiftCNNモデルに変換されたCNNモデルは、B=4かつN>2であれば、再学習を行わなくても、元のCNNモデルと同等の正解率を得られることがわかった。
つまり、CNNモデルは、図５に示すアルゴリズム１により、データ表現が２の累乗表現の形式であるShiftCNNモデルに変換することで、１％未満の正解率低下すなわち精度低下の範囲において、畳み込み演算を行えることがわかった。
したがって、本開示の情報処理装置１０は、１％未満の正解率低下すなわち精度低下の範囲において、畳み込み演算を、加算演算およびシフト演算のみで行うことができるのがわかった。
図１１は、実施例１の３つのCNNモデルにおける従来の畳み込み層に畳み込み演算に必要な乗算演算の数とShiftCNNに変換後に畳み込み演算に必要なシフト演算のサイクル数の比較を示す図である。なお、図１１に示すスピードアップは、シフト演算の数を従来の畳み込み層の畳み込み演算に必要な乗算演算の数で割ることで評価している。
図１１からわかるように、SqueezeNetはフィルタカーネルHfWf>3を使用しないため、260倍のスピードアップしか達成していないのがわかる。一方、GoogleNetとResNet-18とはサイズ5とサイズ7のフィルタカーネルを使用しているため、約３桁のスピードアップを達成しているのがわかる。
したがって、図１１から、従来のCNNモデルをShiftCNNモデルに変換することで、演算数を２桁以上減らせることができることがわかる。
（実施例２）
実施例２では、図４に示すShiftALU部１２１１と、比較例として８ビットで乗算演算する算術乗算器とをRTL（Resister Transfer Level）を使用して設計し、Xilinx Zynq XA7Z010デバイス用にコンパイルした。Xilinx Zynq XA7Z010デバイスは、200MHzクロックレートで動作する自動車グレードのFPGAである。入力テンソルのビット幅は８ビットとし、ShiftALU部１２１１および算術乗算器は１６ビットで結果を出力するとした。また、ShiftALU部１２１１で用いるビット幅を示すBは4ビットであり、畳み込み層の深さはC= 512とした。
図１２は、実施例２におけるFPGAを利用した場合の推定電力の比較を示す図である。
図１２には、ShiftALU部１２１１に加えて、比較のため、DSPブロックを使用せずLUTのみを使用して実装した算術乗算器（Mult.UT）と、LUTを使用せずDSPブロックを使用して実装した算術乗算器（Mult.DSP）とが示されている。また、図１２には、利用しているルックアップテーブル（LUT）の数、フリップフロップ（FF）の数、デジタル信号処理ブロック（DSP）の数、３６KBブロックRAM（BRAM）の数および動的電力と、消費電力とが示されている。
図１２から、ShiftALU部１２１１の動的電力の８５％が、BRAMメモリによって消散されたことがわかる。
また、図１２には、同じ計算速度を有するために必要な等価電力を示す「Equiv. Power」が示されている。「Equiv. Power」は、RTLコードを記述し、電力シミュレーションを実行することで計算した。
図１２によれば、畳み込み層の畳み込み演算を行う際のShiftALU部１２１１の消費電力は、算術乗算器（Mult.LUT）と比較して、１０分の１に減少していることがわかる。この結果は、乗算演算の複雑さがO（B2）であるのに対して、加算演算の複雑さがO（B）であるので、計算コストが大幅に少なくなることからもわかる。
したがって、実施例２によれば、FPGAチップ上に実装されたShiftCNNモデルの畳み込み層の消費電力は１／１０程度減少させることができるのがわかった。これにより、従来のCNNモデルをShiftCNNモデルに変換することで、FPGAまたはASICチップ上で実現可能であることがわかる。
以上のように、本開示に係る情報処理装置および情報処理方法によれば、畳み込み演算の計算効率をより向上させて低消費電力化させることができる。したがって、本開示に係る情報処理装置および情報処理方法を、FPGAまたはASICに実装するなど低消費の組み込みシステムに適用できるだけでなく、新しいタイプのDNNのアプリケーションに適用できる。
（他の実施態様の可能性）
以上、実施の形態において本開示の情報処理装置および情報処理方法について説明したが、各処理が実施される主体や装置に関しては特に限定しない。ローカルに配置された特定の装置内に組み込まれたプロセッサーなど（以下に説明）によって処理されてもよい。またローカルの装置と異なる場所に配置されているクラウドサーバなどによって処理されてもよい。
なお、本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
また、本開示は、さらに、以下のような場合も含まれる。
（１）上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
（３）上記の装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
（４）また、本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
（５）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray(登録商標) Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
本開示は、CNNを用いた情報処理方法、情報処理装置およびプログラムに利用でき、特にCNNの畳み込み層で行われる畳み込み演算を行う情報処理方法、情報処理装置およびプログラムをFPGAまたはASICに実装するなど低消費の組み込みシステムに利用できる。
１０ 情報処理装置
１１ 入力部
１１ａ 入力テンソル
１２ 処理部
１３ 出力部
１３ａ 出力テンソル
１２１ 事前計算部
１２２ 畳み込み演算部
１２３ コードブック
１２３ａ 重みテンソル
１２４ メモリ
１２４ａ 事前計算後テンソル
１２４ｂ バイアス項
１２５ 制御部
１２１１ ShiftALU部
１２２１、１２２２ マルチプレクサ
１２２３ 加算器

Claims (6)

  1. データを示す入力テンソルを、メモリを有しコンピュータにより処理される処理部に入力する入力ステップと、
    前記入力テンソルの各要素について２の累乗表現の形式に変換される事前計算が行われて前記メモリに格納された後において、所定のアルゴリズムにより予め２の累乗表現の形式に変換され、かつ前記メモリに格納されている畳み込み演算に用いる可能性のある重みを示す重みテンソルと、前記メモリに格納された前記事前計算が行われた前記入力テンソルの各要素とを用いて、前記処理部に、加算演算およびシフト演算のみで畳み込み演算処理を行わせる処理ステップと、
    前記処理ステップにより前記畳み込み演算処理が行われた前記入力テンソルの各要素を、出力テンソルとして出力する出力ステップとを含み、
    前記重みテンソルは、２の補数のビット値がＢ（１以上の整数）とすると２ Ｂ －１個の組み合わせからなり、かつ、前記メモリにコードブックとして格納されており、
    前記処理ステップでは、前記コードブックから、１ビットの表現の自由度を示す次元数とするＮ（１以上の整数）および前記Ｂとにより特定される重みテンソルの要素を取得して用いる、
    情報処理方法。
  2. 前記処理ステップでは、前記処理部に、前記事前計算を行わせ、前記メモリに前記事前計算を行った前記入力テンソルの各要素を格納させる、
    請求項１に記載の情報処理方法。
  3. 前記処理ステップでは、前記処理部に、畳み込みニューラルネットワークを構成する畳み込み層の演算を行わせる、
    請求項１または２に記載の情報処理方法。
  4. 前記Ｎは、２以上の整数である、
    請求項１～３のいずれか１項に記載の情報処理方法。
  5. データを示す入力テンソルを入力する入力部と、
    メモリを有しコンピュータにより処理される処理部であって、前記入力テンソルの各要素について２の累乗表現の形式に変換される事前計算が行われて前記メモリに格納された後において、所定のアルゴリズムにより予め２の累乗表現の形式に変換され、かつ前記メモリに格納されている畳み込み演算に用いる可能性のある重みを示す重みテンソルと、前記メモリに格納された前記事前計算が行われた前記入力テンソルの各要素とを用いて、加算演算およびシフト演算のみで畳み込み演算処理を行う処理部と、
    前記処理部により前記畳み込み演算処理が行われた前記入力テンソルの各要素を、出力テンソルとして出力する出力部とを含み、
    前記重みテンソルは、２の補数のビット値がＢ（１以上の整数）とすると２ Ｂ －１個の組み合わせからなり、かつ、前記メモリにコードブックとして格納されており、
    前記処理部は、前記コードブックから、１ビットの表現の自由度を示す次元数とするＮ（１以上の整数）および前記Ｂとにより特定される重みテンソルの要素を取得して用いる、
    情報処理装置。
  6. データを示す入力テンソルを、メモリを有する処理部に入力する入力ステップと、
    前記入力テンソルの各要素について２の累乗表現の形式に変換される事前計算が行われてメモリに格納された後において、所定のアルゴリズムにより予め２の累乗表現の形式に変換され、かつ前記メモリに格納されている畳み込み演算に用いる可能性のある重みを示す重みテンソルと、前記メモリに格納された前記事前計算が行われた前記入力テンソルの各要素とを用いて、前記処理部に、加算演算およびシフト演算のみで畳み込み演算処理を行わせる処理ステップと、
    前記処理ステップにより前記畳み込み演算処理が行われた前記入力テンソルの各要素を、出力テンソルとして出力する出力ステップとを、
    コンピュータに実行させ、
    前記重みテンソルは、２の補数のビット値がＢ（１以上の整数）とすると２ Ｂ －１個の組み合わせからなり、かつ、前記メモリにコードブックとして格納されており、
    前記処理ステップでは、前記コードブックから、１ビットの表現の自由度を示す次元数とするＮ（１以上の整数）および前記Ｂとにより特定される重みテンソルの要素を取得して用いることをコンピュータに実行させる、
    プログラム。
JP2018046055A 2017-04-20 2018-03-13 情報処理方法、情報処理装置およびプログラム Active JP7029321B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762487684P 2017-04-20 2017-04-20
US62/487,684 2017-04-20

Publications (2)

Publication Number Publication Date
JP2018181313A JP2018181313A (ja) 2018-11-15
JP7029321B2 true JP7029321B2 (ja) 2022-03-03

Family

ID=63856563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018046055A Active JP7029321B2 (ja) 2017-04-20 2018-03-13 情報処理方法、情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US11055379B2 (ja)
JP (1) JP7029321B2 (ja)
WO (1) WO2018193906A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201801639D0 (en) * 2018-02-01 2018-03-21 Ruff Brendan Patrick Low precision efficient multiplication free convolutional filter bank device
US11989639B2 (en) 2018-03-02 2024-05-21 Nec Corporation Inferential device, convolutional operation method, and program
FR3087558B1 (fr) * 2018-10-19 2021-08-06 Idemia Identity & Security France Procede d'extraction de caracteristiques d'une empreinte digitale representee par une image d'entree
CN109740748B (zh) * 2019-01-08 2021-01-08 西安邮电大学 一种基于fpga的卷积神经网络加速器
CN109635940B (zh) * 2019-01-28 2021-04-06 深兰人工智能芯片研究院（江苏）有限公司 一种基于卷积神经网络的图像处理方法及图像处理装置
CN109992785B (zh) * 2019-04-09 2023-07-25 腾讯科技（深圳）有限公司 基于机器学习的内容计算方法、装置及设备
CN110059817B (zh) * 2019-04-17 2023-06-13 中山大学 一种实现低资源消耗卷积器的方法
EP4026057A4 (en) * 2019-09-10 2023-02-15 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR GENERATION OF ARCHITECTURE-SPECIFIC FOLDING GRADIENT CORE
CN112766470B (zh) * 2019-10-21 2024-05-07 地平线(上海)人工智能技术有限公司 特征数据处理方法、指令序列生成方法、装置及设备
CN112926020B (zh) * 2019-12-06 2023-07-25 腾讯科技（深圳）有限公司 反卷积处理方法、图像处理方法和相应装置
CN113128673B (zh) * 2019-12-31 2023-08-11 Oppo广东移动通信有限公司 数据处理方法、存储介质、神经网络处理器及电子设备
WO2021158378A1 (en) * 2020-02-06 2021-08-12 Interdigital Patent Holdings, Inc. Systems and methods for encoding a deep neural network
US11687336B2 (en) * 2020-05-08 2023-06-27 Black Sesame Technologies Inc. Extensible multi-precision data pipeline for computing non-linear and arithmetic functions in artificial neural networks
CN111831429B (zh) * 2020-06-11 2024-04-02 上海交通大学 一种基于simt编程模型的张量化并行计算方法
JP2022034897A (ja) 2020-08-19 2022-03-04 富士通株式会社 情報処理装置、機械学習方法及び機械学習プログラム
US20220114413A1 (en) * 2020-10-12 2022-04-14 Black Sesame International Holding Limited Integer-based fused convolutional layer in a convolutional neural network
CN114217686A (zh) * 2021-04-26 2022-03-22 无锡江南计算技术研究所 一种稠密卷积运算核心的低功耗方法
CN113485837B (zh) * 2021-07-21 2024-05-07 瀚博半导体(上海)有限公司 一种基于并行分支和张量切分的张量处理方法和处理系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259585A (ja) * 1993-03-10 1994-09-16 Toyota Central Res & Dev Lab Inc ニューラルネットワーク装置
US5473730A (en) * 1993-11-09 1995-12-05 At&T Ipm Corp. High efficiency learning network
US9805303B2 (en) * 2015-05-21 2017-10-31 Google Inc. Rotating data for neural network computations
US10311342B1 (en) * 2016-04-14 2019-06-04 XNOR.ai, Inc. System and methods for efficiently implementing a convolutional neural network incorporating binarized filter and convolution operation for performing image classification

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Daisuke Miyashita，Convolutional Neural Networks using Logarithmic Data Representation，Cornell University，2016年03月17日，https://arxiv.org/pdf/1603.01025.pdf

Also Published As

Publication number Publication date
US20190340214A1 (en) 2019-11-07
US11055379B2 (en) 2021-07-06
JP2018181313A (ja) 2018-11-15
WO2018193906A1 (ja) 2018-10-25

Similar Documents

Publication Publication Date Title
JP7029321B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP7349835B2 (ja) ニューラルネットワークにおいてパラメータを処理する方法及び装置
Faraone et al. AddNet: Deep neural networks using FPGA-optimized multipliers
JP6998968B2 (ja) ディープニューラルネットワークの実行方法、実行装置、学習方法、学習装置及びプログラム
CN112292816B (zh) 处理核心数据压缩和存储系统
JP7240657B2 (ja) ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム
WO2018140294A1 (en) Neural network based on fixed-point operations
US20180365529A1 (en) Hieroglyphic feature-based data processing
CN106570559A (zh) 一种基于神经网络的数据处理方法和装置
Choi et al. An energy-efficient deep convolutional neural network training accelerator for in situ personalization on smart devices
EP3480689B1 (en) Hierarchical mantissa bit length selection for hardware implementation of deep neural network
KR102153791B1 (ko) 인공 신경망을 위한 디지털 뉴런, 인공 뉴런 및 이를 포함하는 추론 엔진
Chervyakov et al. Residue number system-based solution for reducing the hardware cost of a convolutional neural network
CN107402905B (zh) 基于神经网络的计算方法及装置
CN112651485A (zh) 识别图像的方法和设备以及训练神经网络的方法和设备
Choi et al. Low cost convolutional neural network accelerator based on bi-directional filtering and bit-width reduction
CN111126557A (zh) 神经网络量化、应用方法、装置和计算设备
JP2023525371A (ja) 深層学習ネットワークのためのメモリ圧縮のシステム及び方法
US11995533B1 (en) Executing replicated neural network layers on inference circuit
US11699077B2 (en) Multi-layer neural network system and method
JP2020021208A (ja) ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム
US20220171602A1 (en) Integrated circuit for constant multiplication and device including the same
CN117063183A (zh) 激活函数的高效压缩
Panwar et al. M2DA: a low-complex design methodology for convolutional neural network exploiting data symmetry and redundancy
GB2549928A (en) Sorting numbers in hardware

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220218

R150 Certificate of patent or registration of utility model

Ref document number: 7029321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150