JP7431263B2 - ニューラルネットワーク演算方法及び装置 - Google Patents

ニューラルネットワーク演算方法及び装置 Download PDF

Info

Publication number
JP7431263B2
JP7431263B2 JP2022010730A JP2022010730A JP7431263B2 JP 7431263 B2 JP7431263 B2 JP 7431263B2 JP 2022010730 A JP2022010730 A JP 2022010730A JP 2022010730 A JP2022010730 A JP 2022010730A JP 7431263 B2 JP7431263 B2 JP 7431263B2
Authority
JP
Japan
Prior art keywords
data
processor
operand
neural network
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022010730A
Other languages
English (en)
Other versions
JP2022120809A (ja
Inventor
炯碩 兪
愈珍 金
性旭 朴
▲ひょん▼宣 朴
世煥 李
準祐 張
▲どく▼賑 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210036060A external-priority patent/KR20220113220A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2022120809A publication Critical patent/JP2022120809A/ja
Application granted granted Critical
Publication of JP7431263B2 publication Critical patent/JP7431263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/02—Comparing digital values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3005—Arrangements for executing specific machine instructions to perform operations for flow control
    • G06F9/30069—Instruction skipping instructions, e.g. SKIP

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Advance Control (AREA)
  • Complex Calculations (AREA)

Description

以下の実施形態は、ニューラルネットワーク演算方法及び装置に関する。
ニューラルネットワークは、入力パターンと出力パターンのマッピングを生成し、学習に使用されていない入力パターンに対して相対的に正確な出力を生成できる機能がある。ニューラルプロセッサは、ニューラルネットワークの演算を加速化するよう設計されてきた。ニューラルネットワーク演算加速は、ニューラル演算の核心である乗算演算の量を最大に減らし、優れた結果を取得する時間を短縮することにある。
効率的なニューラルネットワーク演算のために、プルーニング（ｐｒｕｎｉｎｇ）及び量子化（ｑｕａｎｔｉｚａｔｉｏｎ）のような様々な技術が試みられている。
プルーニングは、ネットワークの構成要素であるニューロン及びシナプスをプルーニング（ｐｒｕｎｉｎｇ）するものであって、それはモデルの正確度を高めるための努力が必要である。
プルーニング及び量子化はスパース性を活用してニューラルネットワーク演算を効率よく行うものであるが、スパース性を活用する場合、演算装置間における負荷の不均衡が発生する恐れがある。即ち、特定装置に配置されている演算集合に排除される要素が集中するものであって、全ての装置へ均一に負荷がかかるものではないため、性能が低下する恐れがある。
スパース性の活用は、演算加速化のメリットを与えるものの、従来技術は、ネットワークプルーニングのプロセスを求め、特に、微細プルーニング技術はそれ自体に特定のプロセッサで活用できる独特のプルーニング過程を求め、粗いプルーニング（ｃｏａｒｓｅ ｐｒｕｎｉｎｇ）時の加速効果を取得できず限定的に用いられる。また、重み部分のスパース性活用に制限され、重みや入力の全てに適用できず、汎用性が低下する。
本発明の課題は、ニューラルネットワーク演算方法及び装置を提供することにある。
一実施形態に係るニューラルネットワーク演算方法は、ニューラルネットワーク演算のための複数のデータを受信するステップと、第１演算装置に対応する第１データ探索経路及び第２演算装置に対応する第２データ探索経路の競合の有無を判断するステップと、前記競合の有無及び前記第１データ探索経路と前記第２データ探索経路との間の優先順位を用いて、前記複数のデータのうち第１被演算データ及び第２被演算データを決定するステップと、前記第１被演算データ及び前記第２被演算データに基づいてニューラルネットワーク演算を行うステップとを含む。
前記複数のデータのうち、前記第１データ探索経路及び前記第２データ探索経路上のデータに対する演算をスキップするか否かを決定するステップをさらに含むことができる。
前記複数のデータのうち、前記第１データ探索経路及び前記第２データ探索経路上のデータに対する演算をスキップするか否かを決定するステップは、前記データが０である場合、前記データに対する演算をスキップするものと決定するステップと、又は、前記データが予め決定された範囲以内の値である場合、前記データに対する演算をスキップするものと決定するステップとを含むことができる。
前記判断するステップは、任意の時点において、前記第１演算装置と前記第２演算装置が同じデータにアクセスする場合、前記第１データ探索経路と前記第２データ探索経路の競合が発生したと判断するステップを含むことができる。
前記決定するステップは、前記第１データ探索経路及び前記第２データ探索経路に対する優先順位を設定するステップと、前記競合の発生に応答して、前記優先順位に基づいて前記第１被演算データ及び前記第２被演算データを決定するステップとを含むことができる。
前記優先順位を設定するステップは、前記第１データ探索経路上のデータに対応するノードが互いに異なる優先順位を有するように第１優先順位を設定するステップと、前記第２データ探索経路上のデータに対応するノードが互いに異なる優先順位を有するように第２優先順位を設定するステップとを含むことができる。
前記競合の発生に応答して、前記優先順位に基づいて前記第１被演算データ及び前記第２被演算データを決定するステップは、優先順位の高い探索経路を決定するために、前記第１データ探索経路に対応する第１優先順位と前記第２データ探索経路に対応する第２優先順位とを比較するステップと、競合が発生した位置のデータを、前記優先順位の高い探索経路に対応する演算装置の被演算データとして決定するステップとを含むことができる。
前記競合が発生した位置のデータを、前記優先順位の高い探索経路に対応する演算装置の被演算データとして決定するステップは、前記第１優先順位が前記第２優先順位よりも大きい場合、前記競合が発生した位置のデータを前記第１被演算データとして決定するステップと、前記第２データ探索経路上の次のデータを前記第２被演算データとして決定するステップとを含むことができる。
前記第１被演算データ及び前記第２被演算データの決定に応答し、前記第１被演算データ及び前記第２被演算データのアドレスを前記第１データ探索経路及び前記第２データ探索経路上から排除するステップをさらに含むことができる。
前記第１データ探索経路及び前記第２データ探索経路は、予め決定された探索範囲を有し、前記予め決定された探索範囲に対する探索完了に応答して、前記複数のデータに対する前記第１データ探索経路及び前記第２データ探索経路を更新するステップをさらに含むことができる。
一実施形態に係るニューラルネットワーク演算装置は、ニューラルネットワーク演算を行うための複数のデータを受信する受信器と、第１演算装置に対応する第１データ探索経路及び第２演算装置に対応する第２データ探索経路の競合有無を判断し、前記競合の有無及び前記第１データ探索経路と前記第２データ探索経路との間の優先順位を用いて、前記複数のデータのうち第１被演算データ及び第２被演算データを決定し、前記第１被演算データ及び前記第２被演算データに基づいてニューラルネットワーク演算を行うプロセッサを含む。
前記プロセッサは、前記複数のデータのうち、前記第１データ探索経路及び前記第２データ探索経路上のデータに対する演算をスキップするか否かを決定することができる。
前記プロセッサは、前記データが０である場合、前記データに対する演算をスキップするものと決定したり、又は、前記データが予め決定された範囲以内の値である場合、前記データに対する演算をスキップするものと決定することができる。
前記プロセッサは、任意の時点で前記第１演算装置と前記第２演算装置が同じデータにアクセスする場合、前記第１データ探索経路と前記第２データ探索経路の競合が発生したものと判断することができる。
前記プロセッサは、前記第１データ探索経路及び前記第２データ探索経路に対する優先順位を設定し、前記競合の発生に応答して、前記優先順位に基づいて前記第１被演算データ及び前記第２被演算データを決定することができる。
前記プロセッサは、前記第１データ探索経路上のデータに対応するノードが、互いに異なる優先順位を有するように第１優先順位を設定し、前記第２データ探索経路上のデータに対応するノードが、互いに異なる優先順位を有するように第２優先順位を設定することができる。
前記プロセッサは、優先順位の高い探索経路を決定するために、前記第１データ探索経路に対応する第１優先順位と前記第２データ探索経路に対応する第２優先順位とを比較し、競合が発生した位置のデータを、前記優先順位の高い探索経路に対応する演算装置の被演算データとして決定することができる。
前記プロセッサは、前記第１優先順位が前記第２優先順位よりも大きい場合、前記競合が発生した位置のデータを前記第１被演算データとして決定し、前記第２データ探索経路上の次のデータを前記第２被演算データとして決定することができる。
前記プロセッサは、前記第１被演算データ及び前記第２被演算データの決定に応答して、前記第１被演算データ及び前記第２被演算データのアドレスを前記第１データ探索経路及び前記第２データ探索経路上から排除することができる。
前記第１データ探索経路及び前記第２データ探索経路は、予め決定された探索範囲を有し、前記プロセッサは、前記予め決定された探索範囲に対する探索完了に応答して、前記複数のデータに対する前記第１データ探索経路及び前記第２データ探索経路を更新することができる。
本発明によると、ニューラルネットワーク演算方法及び装置を提供する。
一実施形態に係るニューラルネットワーク演算装置の概略的なブロック図を示す。 図１に示されたニューラルネットワーク演算装置の具現の一例を示す。 図１に示されたニューラルネットワーク演算装置のデータの探索過程を示す。 データをスキップする動作を示す。 複数の演算装置でデータを探索する過程を示す。 データ探索経路の一例を示す。 時間の流れによるデータの探索過程を示す。 時間の流れによるデータの探索過程を示す。 時間の流れによるデータの探索過程を示す。 データ探索経路の他の例を示す。 データ探索を行ってニューラルネットワークを行う過程を示す。 図１に示されたニューラルネットワーク演算装置の具現の他の例を示す。 図１に示すニューラルネットワーク演算装置の動作のフローチャートを示す。
本明細書で開示する特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示したものであり、実施形態は様々な異なる形態で実施され、本発明は本明細書で説明した実施形態に限定されるものではなく、本発明の範囲は、実施形態で説明した技術的な思想に含まれている変更、均等物、または代替物を含む。
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、添付する図面を参照しながら実施形態を詳細に説明する。添付図面を参照した説明において、図面の符号に関係なく同じ構成要素には同じ参照符号を付与し、これに対する重複する説明は省略することにする。
図１は、一実施形態に係るニューラルネットワーク演算装置の概略的なブロック図を示す。
図１を参照すると、ニューラルネットワーク演算装置１０は、データを処理することによりニューラルネットワーク演算結果を生成することができる。ニューラルネットワーク演算装置１０は、データのスパース性（ｓｐａｒｓｉｔｙ）に基づいてデータを探索することで、ニューラルネットワーク演算することでニューラルネットワークの演算性能を加速し得る。スパース性は、ニューラルネットワーク演算に用いられるエレメントのうち、演算に意味を有しないエレメントの比率を意味する。例えば、スパース性は、全てのエレメントに対する０値を有するエレメントの比率を意味する。
ニューラルネットワーク演算装置１０は、データの探索過程で演算が不要なデータをスキップ（ｓｋｉｐ）し、スキップによりデータの探索過程で発生し得る競合を優先順位を用いて処理することで、演算コストを効率よく低減することができる。
ニューラルネットワーク演算装置１０は、ニューラルネットワークを学習させ得る。ニューラルネットワーク演算装置１０は、学習されたニューラルネットワークに基づいて推論を行ってもよい。
ニューラルネットワーク演算装置１０は、加速器を用いてニューラルネットワーク演算を行ってもよい。ニューラルネットワーク演算装置１０は、加速器内部又は外部に実現されてもよい。
加速器は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又は、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）を含んでもよい。また、加速器は、仮想マシーン（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）のように、ソフトウェアコンピューティング環境で実現されてもよい。
ニューラルネットワーク（又は、人工神経網）は、機械学習及び認知科学で生物学の神経を模倣した統計学的学習アルゴリズムを含む。ニューラルネットワークは、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が学習を通じてシナプスの結合強度を変化させ、問題解決能力を有するモデルの全般を意味する。
ニューラルネットワークのニューロンは、重み又はバイアスの組み合わせを含んでもよい。ニューラルネットワークは１つ以上のニューロン又はノードから構成された１つ以上のレイヤ（ｌａｙｅｒ）を含んでもよい。ニューラルネットワークは、ニューロンの重みを学習を通じて変化させることで、任意の入力から予測しようとする結果を推論することができる。
ニューラルネットワークは、深層ニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含む。ニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、パーセプトロン（ｐｅｒｃｅｐｔｒｏｎ）、マルチパーセプトロン（ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）、ＦＦ（Ｆｅｅｄ Ｆｏｒｗａｒｄ）、ＲＢＦ（Ｒａｄｉａｌ Ｂａｓｉｓ Ｎｅｔｗｏｒｋ）、ＤＦＦ（Ｄｅｅｐ Ｆｅｅｄ Ｆｏｒｗａｒｄ）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）、ＡＥ（Ａｕｔｏ Ｅｎｃｏｄｅｒ）、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ Ｅｎｃｏｄｅｒ）、ＤＡＥ（Ｄｅｎｏｉｓｉｎｇ Ａｕｔｏ Ｅｎｃｏｄｅｒ）、ＳＡＥ（Ｓｐａｒｓｅ Ａｕｔｏ Ｅｎｃｏｄｅｒ）、ＭＣ（Ｍａｒｋｏｖ Ｃｈａｉｎ）、ＨＮ（Ｈｏｐｆｉｅｌｄ Ｎｅｔｗｏｒｋ）、ＢＭ（Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、ＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、ＤＢＮ（Ｄｅｐｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、ＤＣＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、ＤＮ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、ＤＣＩＧＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｉｎｖｅｒｓｅ Ｇｒａｐｈｉｃｓ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、ＬＳＭ（Ｌｉｑｕｉｄ Ｓｔａｔｅ Ｍａｃｈｉｎｅ）、ＥＬＭ（Ｅｘｔｒｅｍｅ Ｌｅａｒｎｉｎｇ Ｍａｃｈｉｎｅ）、ＥＳＮ（Ｅｃｈｏ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）、ＤＲＮ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）、ＤＮＣ（Ｄｉｆｆｅｒｅｎｔｉａｂｌｅ Ｎｅｕｒａｌ Ｃｏｍｐｕｔｅｒ）、ＮＴＭ（Ｎｅｕｒａｌ Ｔｕｒｎｉｎｇ Ｍａｃｈｉｎｅ）、ＣＮ（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ）、ＫＮ（Ｋｏｈｏｎｅｎ Ｎｅｔｗｏｒｋ）、及びＡＮ（Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ）を含むことができる。
ニューラルネットワーク演算装置１０は、マザーボード（ｍｏｔｈｅｒｂｏａｒｄ）のようなプリント回路基板（ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ（ＰＣＢ））、集積回路（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ（ＩＣ））、又はＳｏＣ（ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）で実現することができる。例えば、ニューラルネットワーク演算装置１０は、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）で実現することができる。
また、ニューラルネットワーク演算装置１０は、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、データサーバ、又は、携帯用装置内に実現されてもよい。
携帯用装置は、ラップトップコンピュータ、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレット（ｔａｂｌｅｔ）ＰＣ、モバイルインターネットデバイス（ＭＩＤ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチールカメラ（ｄｉｇｉｔａｌ ｓｔａｎｔ）、デジタルビデオカメラ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ＰＮＤ（ｐｅｒｓｏｎａｌ ｎａｖｉｇａｔｉｏｎ ｄｅｖｉｃｅ又はｐｏｒｔａｂｌｅ ｎａｖｉｇａｔｉｏｎ ｄｅｖｉｃｅ）、携帯用ゲームコンソール（ｈａｎｄｈｅｌｄ ｇａｍｅ ｃｏｎｓｏｌｅ）、ｅ－ブック（ｅ－ｂｏｏｋ）、デジタルテレビ（ｄｉｇｉｔａｌ ｔｅｌｅｖｉｓｉｏｎ）、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｅｌｉｇｅｎｃｅ）スピーカー、テレビ、スマートテレビ、冷蔵庫、スマートホームデバイスのようなホームアプリケーション、スマートビークル（ｓｍａｒｔ ｖｅｈｉｃｌｅ）などの車両、ＩｏＴ（Ｉｎｔｅｒ）デバイス又はスマートデバイス（ｓｍａｒｔ ｄｅｖｉｃｅ）に具現化され得る。スマートデバイスは、スマートウォッチ（ｓｍａｒｔ ｗａｔｃｈ）、スマートバンド（ｓｍａｒｔ ｂａｎｄ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓｅｓ）、又はスマートリング（ｓｍａｒｔ ｒｉｎｇ）に具現化され得る。
ニューラルネットワーク演算装置１０は、受信器１００及びプロセッサ２００を含む。ニューラルネットワーク演算装置１０は、メモリ３００をさらに含んでもよい。
受信器１００は、受信インターフェースを含む。受信器１００は、ニューラルネットワーク演算を行うための複数のデータを受信する。受信器１００は、メモリ３００から複数のデータを受信してもよい。
プロセッサ２００は、メモリ３００に格納されたデータを処理する。プロセッサ２００は、メモリ３００に格納されたコンピュータで読込み可能なコード（例えば、ソフトウェア）及びプロセッサ２００によって誘発された命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行する。
「プロセッサ２００」は、目的とする動作（ｄｅｓｉｒｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行させるための物理的な構造を有する回路を有するハードウェアで具現化されたデータ処理装置である。例えば、目的とする動作は、プログラムに含まれたコード（ｃｏｄｅ）又は命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含んでもよい。
例えば、ハードウェアで具現化されたデータ処理装置は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、シングルプロセッサ（ｓｉｎｇｌｅ ｐｒｏｃｅｓｓｏｒ）、独立プロセッサ（ｉｎｄｅｐｅｎｄｅｎｔ ｐｒｏｃｅｓｓｏｒｓ）、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒｓ）、シングル－命令シングル－データ（ｓｉｎｇｌｅ－ｉｎｓｔｒｕｃｔｉｏｎ ｓｉｎｇｌｅ－ｄａｔａ（ＳＩＳＤ））マルチプロセッシング、シングル－命令マルチプル－データ（ｓｉｎｇｌｅ－ｉｎｓｔｒｕｃｔｉｏｎ ｍｕｌｔｉｐｌｅ－ｄａｔａ（ＳＩＭＤ））マルチプロセッシング、マルチプル－命令シングル－データ（ｍｕｌｔｉｐｌｅ－ｉｎｓｔｒｕｃｔｉｏｎ ｍｕｌｔｉｐｌｅ－ｄａｔａ（ＭＩＭＤ））マルチプロセッシング、マイクロコンピュータ、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチ－コアプロセッサ（ｍｕｌｔｉ－ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、ＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ Ｌｏｇｉｃ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＰＬＵ（（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｕｎｉｔ）を含んでもよい。
プロセッサ２００は、複数のデータのうち第１データ探索経路（ｄａｔａ ｓｅａｒｃｈ ｐａｔｈ）及び第２データ探索経路上のデータに対する演算をスキップするか否かを決定する。プロセッサ２００は、データが０である場合、前記データに対する演算をスキップすると決定したり、データが予め決定された範囲以内の値である場合、データに対する演算をスキップするものと決定する。データのスキップは、図４を参照して詳細に説明する。
プロセッサ２００は、第１演算装置に対応する第１データ探索経路及び第２演算装置に対応する第２データ探索経路の競合有無を判断する。プロセッサ２００は、任意の時点で第１演算装置と第２演算装置が同じデータにアクセスする場合、第１データ探索経路と第２データ探索経路の競合が発生したと判断する。
プロセッサ２００は、競合の有無及び第１データ探索経路と第２データ探索経路との間の優先順位を用いて、複数のデータのうち第１被演算データ及び第２被演算データを決定することができる。
プロセッサ２００は、第１データ探索経路及び第２データ探索経路に対する優先順位を設定する。プロセッサ２００は、第１データ探索経路上のデータに対応するノードが互いに異なる優先順位を有するよう、第１優先順位を設定してもよい。プロセッサ２００は、第２データ探索経路上のデータに対応するノードが互いに異なる優先順位を有するよう、第２優先順位を設定してもよい。
プロセッサ２００は競合の発生に応答して、優先順位に基づいて第１被演算データ及び第２被演算データを決定することができる。プロセッサ２００は、第１データ探索経路に対応する第１優先順位と第２データ探索経路に対応する第２優先順位とを比較することで、優先順位が高い探索経路を決定することができる。
プロセッサ２００は、競合が発生した位置のデータを、優先順位の高い探索経路に対応する演算装置の被演算データとして決定してもよい。第１優先順位が第２優先順位よりも大きい場合、プロセッサ２００は、競合が発生した位置のデータを第１被演算データとして決定する。プロセッサ２００は、第２データ探索経路上の次のデータを第２被演算データとして決定する。
第１優先順位が第２優先順位よりも小さい場合、プロセッサ２００は、競合が発生した位置のデータを第２被演算データとして決定してもよい。プロセッサ２００は、第１データ探索経路上の次のデータを第１被演算データとして決定してもよい。
プロセッサ２００は、第１被演算データ及び第２被演算データの決定に応答して、第１被演算データ及び第２被演算データのアドレスを第１データ探索経路及び第２データ探索経路上から排除する。
プロセッサ２００は、第１被演算データ及び第２被演算データに基づいてニューラルネットワーク演算を行うことができる。
第１データ探索経路及び第２データ探索経路は、予め決定された探索範囲を有する。プロセッサ２００は、予め決定された探索範囲に対する探索完了に応答して、複数のデータに対する第１データ探索経路及び第２データ探索経路を更新し得る。
メモリ３００は、プロセッサ２００によって実行可能な命令（又は、プログラム）を格納する。例えば、命令は、プロセッサの動作及び／又はプロセッサの各構成の動作を実行するための命令を含んでもよい。
メモリ３００は、揮発性メモリ装置又は不揮発性メモリ装置で実現されてもよい。
揮発性メモリ装置は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、Ｔ－ＲＡＭ（ｔｈｙｒｉｓｔｏｒ ＲＡＭ）、Ｚ－ＲＡＭ（ｚｅｒｏ ｃａｐａｃｉｔｏｒ ＲＡＭ）、又は、ＴＴＲＡＭ（Ｔｗｉｎ Ｔｒａｎｓｉｓｔｏｒ ＲＡＭ）で実現されてもよい。
不揮発性メモリ装置は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュ（ｆｌａｓｈ）メモリ、ＭＲＡＭ（Ｍａｇｎｅｔｉｃ ＲＡＭ）、スピン伝達トルクＭＲＡＭ（Ｓｐｉｎ－Ｔｒａｎｓｆｅｒ Ｔｏｒｑｕｅ（ＳＴＴ）－ＭＲＡＭ）、Ｃｏｎｄｕｃｔｉｖｅ Ｂｒｉｄｇｉｎｇ ＲＡＭ（ＣＢＲＡＭ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ）、ＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ ＲＡＭ）、抵抗メモリ（Ｒｅｓｉｓｔｉｖｅ ＲＡＭ（ＲＲＡＭ））、ナノチューブＲＲＡＭ（Ｎａｎｏｔｕｂｅ ＲＲＡＭ）、ポリマーＲＡＭ（Ｐｏｌｙｍｅｒ ＲＡＭ（ＰｏＲＡＭ））、ナノフローティングゲートメモリ（Ｎａｎｏ Ｆｌｏａｔｉｎｇ Ｇａｔｅ Ｍｅｍｏｒｙ（ＮＦＧＭ））、ホログラフィックメモリ（ｈｏｌｏｇｒａｐｈｉｃ ｍｅｍｏｒｙ）、分子電子メモリ素子（Ｍｏｌｅｃｕｌａｒ Ｅｌｅｃｔｒｏｎｉｃ Ｍｅｍｏｒｙ Ｄｅｖｉｃｅ）、又は、絶縁抵抗変化メモリ（Ｉｎｓｕｌａｔｏｒ Ｒｅｓｉｓｔａｎｃｅ Ｃｈａｎｇｅ Ｍｅｍｏｒｙ）で実現されてもよい。
図２は、図１に示されたニューラルネットワーク演算装置の具現の一例を示す。
図２を参照すると、ニューラルネットワーク演算装置（例えば、図１に示すニューラルネットワーク演算装置１０）は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）及びＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含むメモリシステムと、演算装置（例えば、処理ユニット）を備えるプロセッサ（例えば、図１に示すプロセッサ２００）、又は、ハードウェア加速器を用いてニューラルネットワーク演算を行うデータを、データが格納されているメモリ（例えば、図１のメモリ３００）からロードして演算装置に割り当てる動作を行ってもよい。演算装置は、乗算器、加算器、又は、ＭＡＣ（Ｍｕｌｔｉｐｌｙ Ａｃｃｕｍｕｌａｔｏｒ）を含んでもよい。
プロセッサ２００は、ニューラルネットワーク演算に用いられるデータのスパース性を用いて、ニューラルネットワーク演算の性能を加速することができる。プロセッサ２００は、駆動時間のうち任意の集合のデータに対して探索を行い、複数の演算装置それぞれが使用するデータを取得する方式を提供することができる。
プロセッサ２００は、演算装置の条件に応じて、スキップ条件に基づいて特定のデータをスキップし、演算装置間のデータの重複ロードなしにニューラルネットワーク演算を行うことができる。
プロセッサ２００は、複数の演算装置がデータのスパース性を用いて特定データをスキップし、指定された範囲内の複数の被演算データを選択することで不要な演算をスキップし、ニューラルネットワーク演算の性能を向上し、演算コストを低減させ得る。
演算装置に入力される被演算データを取得することは、ニューラルネットワーク演算の間に共有され得るデータの候補のうち、特定候補を特定の演算装置が排他的に使用する権利を取得することを意味する。
データのスキップは、予め決定された範囲（又は、閾値）のような特定の条件を満たすデータのみを演算装置に供給し、条件を満たさないデータは演算から排除することを意味する。例えば、プロセッサ２００は、プルーニングネットワークの場合、圧縮や構造化を行うことなく、入力されるデータに対してニューラルネットワーク演算の速度を加速させることができる。
ニューラルネットワーク演算装置１０は、外部（ｅｘｔｅｒｎａｌ）ＩＯ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）２１０、データメモリ２３０、データトラバーサルコントローラ２５０、及びデータ処理ユニット２７０（例えば、演算装置）を含む。
外部ＩＯ２１０は、データの入出力インターフェースを含む。データメモリ２３０は、メモリ３００に含まれてもよい。データトラバーサルコントローラ２５０は、プロセッサ２００に含まれてもよい。データ処理ユニット２７０は、ニューラルネットワーク演算装置の外部に別に位置してもよい。
データトラバーサルコントローラ２５０は、データが格納された制限された大きさのメモリ３００のアドレスを更新して管理する。データトラバーサルコントローラ２５０は、データ探索経路を用いてデータを探索し、探索を通じて取得した被演算データをデータ処理ユニット２７０に出力する。
データメモリ２３０は、データのスキップ条件及びデータの使用有無（例えば、ニューラルネットワーク演算における使用有無）を判断するためのインデックスを共に格納する。
データトラバーサルコントローラ２５０は、時間の流れによるフェーズ（ｐｈａｓｅ）ごと又はサイクル（ｃｙｃｌｅ）にデータ送信が完了すれば、データ使用が完了した領域に対してアドレスアップデートを行ってもよい。例えば、データトラバーサルコントローラ２５０は、被演算データの決定に応答して、データ処理ユニット２７０の被演算データのアドレスをデータ探索経路上から排除してもよい。
データトラバーサルコントローラ２５０は、データ探索経路によりデータを探索して被演算データを決定することで、データ処理ユニット２７０に被演算データ、データ取得順序、及びデータの位置に関連するメタデータを共に伝達することができる。
図３は、図１に示されたニューラルネットワーク演算装置のデータの探索過程を示す。
図３を参照すると、メモリ（例えば、図１に示すメモリ３００）は、メモリユニット３１０を含んでもよい。プロセッサ（例えば、図１に示すプロセッサ２００）は、演算装置（例えば、処理ユニット３３０）を含んでもよい。演算装置はプロセッサ２００の外部に別に実現されてもよい。
プロセッサ２００は、負荷分散化（ｌｏａｄ ｂａｌａｎｃｉｎｇ）を行うことにより、ニューラルネットワーク演算の処理時間を短縮させると共に、ハードウェアで用いられるエネルギーを減らし得る。
負荷分散化とは、複数の処理ユニット３３０（例えば、演算装置）に用いられるデータＤｎが処理ユニットＰｎ＋１、Ｐｎ＋２、Ｐｎ＋３．．．の１つの処理ユニットに用いられるように分配する過程を意味する。データＤｎのデータは、複数の処理ユニット３３０のうち排他的に１つの処理ユニットにのみ使用されてもよい。
プロセッサ２００は、負荷分散化過程で発生し得る複数の処理ユニット３３０が同じデータをもってくる過程で発生し得る競合（ｃｏｍｐｅｔｉｔｉｏｎ）問題を効率よく解決することで、ハードウェアで競合解消による性能低下を招くことなく、ニューラルネットワーク演算を行うことができる。
メモリユニット３１０には、任意の処理ユニットＰｎで処理されるデータＤｎが割り当てられる。処理ユニットＰｎは、ｍ個の処理ユニットの集合Ｐ＝｛Ｐｎ＋ａ、Ｐｎ＋ｂ、Ｐｎ＋ｃ、Ｐｎ＋ｄ．．．｝の１つであってもよい。互いに異なる処理ユニットは、ｍ個のデータ集合Ｄ＝｛Ｄｎ＋ａ、Ｄｎ＋ｂ、Ｄｎ＋ｃ、Ｄｎ＋ｄ．．．｝のうちの一部又は全てについても、アクセスして条件に適するデータを探索してロードすることができる。
集合内の任意の処理ユニットＰｎがアクセスできるＤの部分集合であるＬ個のデータ集合がＤｎ’＝｛Ｄｎ、Ｄｎ＋ａ、Ｄｎ＋ｂ、Ｄｎ＋ｃ、Ｄｎ＋ｄ．．．｝であれば、他の処理ユニットＰｎ＋ｉがアクセスできるデータ集合は、Ｄｎ＋ｉ’＝｛Ｄｎ＋ｉ、Ｄｎ＋ｉ＋ａ、Ｄｎ＋ｉ＋ｂ、Ｄｎ＋ｉ＋ｃ、Ｄｎ＋ｉ＋ｄ．．．｝であってもよい。ここで、アクセスの順序ａ、ｂ、ｃ、ｄは、全ての処理ユニットに同じである。
処理ユニットＰｎは、特定のフェーズ又はサイクルでデータ集合Ｄｎ’内のデータそれぞれに対して、Ｄｎ’［ｋ：ｋ＋ｔ－１］＝｛Ｄｎ［ｋ：ｋ＋ｔ－１］、Ｄｎ＋ａ［ｋ：ｋ＋ｔ－１］、Ｄｎ＋ｂ［ｋ：ｋ＋ｔ－１］、Ｄｎ＋ｃ［ｋ：ｋ＋ｔ－１］、Ｄｎ＋ｄ［ｋ：ｋ＋ｔ－１］．．．｝の範囲でｍ回データを探索することができる。ここで、ｍはｌ×ｔを超過せず、各Ｄｎ’［ｉ］は一つのフェーズ又はサイクルで１回のみ探索されてもよい。
上記の条件に応じて、処理ユニットＰｎは、次のような順にデータ集合Ｄｎ’をｍ回探索する。処理ユニットＰｎは、［Ｄｎ＋ｄ［ｑ］→Ｄｎ＋ｅ［ｒ］→Ｄｎ＋ｆ［ｓ］．．．］のような方式に、また、他の処理ユニットＰｎ＋ｉは、［Ｄｎ＋ｄ＋ｉ［ｑ］→Ｄｎ＋ｅ＋ｉ［ｒ］→Ｄｎ＋ｆ＋ｉ［ｓ］．．．］のような方式にデータへアクセスできる。
上記でＰｎは、Ｄｎ’データに対して自身に割り当てられたＤｎ’［ｋ：ｋ＋ｔ－１］＝｛Ｄｎ［ｋ：ｋ＋ｔ－１］、Ｄｎ＋ａ［ｋ：ｋ＋ｔ－１］、Ｄｎ＋ｂ［ｋ：ｋ＋ｔ－１］、Ｄｎ＋ｃ［ｋ：ｋ＋ｔ－１］、Ｄｎ＋ｄ［ｋ：ｋ＋ｔ－１］．．．｝に対して最小１回以上探索を行ってもよい。
上記の探索過程で、スキップ条件を考慮してデータを検索した処理ユニットは、データを自身の入力として伝達し、該当データは、使用済みに設定して他の処理ユニットで使用されないように排除することができる。必要なデータを取得した処理ユニットは、探索終了状態に変更されてもよい。
複数の処理ユニット３３０が、特定フェーズ又はサイクルで同じデータＤｐ［ｊ］にアクセスして演算条件に適するか、他の処理ユニットによって使用されていない場合、複数の処理ユニット３３０がデータを使用するために競合が発生し得る。
プロセッサ２００は、発生する競合を解消するために、上記で予め決定されたデータのアクセス順に固有の優先順位を設定してもよい。例えば、プロセッサ２００は、Ｐｎに対してＤｎ＋ｄ［ｑ］＝１、Ｄｎ＋ｅ［ｒ］＝２Ｄｎ＋ｆ［ｓ］＝３．．．のように優先順位を設定してもよい。同様に、プロセッサ２００は、Ｐｎ＋ｉに対して、Ｄｎ＋ｄ＋ｉ［ｑ］＝１、Ｄｎ＋ｅ＋ｉ［ｒ］＝２Ｄｎ＋ｆ＋ｉ［ｓ］＝３．．．のように優先順位を設定してもよい。
上記の優先順位は、各処理ユニットのデータアクセス順に対して同一に付与されてもよく、全てのアクセス順に対して互いに異なる優先順位が付与されてもよい。プロセッサ２００は、データのアクセス順に関係なく、優先順位を設定してもよい。即ち、プロセッサ２００は、初めてアクセスするデータに最も高い優先順位を設定し、最後にアクセスするデータに最も低い優先順位を設定してもよく、逆の順に設定してもよい。
競合が発生する場合、プロセッサ２００は、各データ探索経路に対して設定された優先順位を比較し、さらに高い優先順位を有する処理ユニットが該当のデータを取得するようにする。データを取得した処理ユニットは、探索を終了して取得に失敗した処理ユニットは、上記で指定された探索経路に沿ってデータの探索を続くことができる。
最終的に、データを取得することのできない処理ユニットはｎｕｌｌ演算を行ったり、有効でない結果を生成することがある。例えば、処理ユニットがＭＡＣである場合に０を生成する。
各フェーズ又はサイクルにおいて、Ｄｎ［ｋ：ｋ＋ｔ－１］で全てのデータがスキップ条件に該当したり、使用されたＤｎ［ｙ］がある場合、それをＤｎ［ｋ：ｋ＋ｔ－１］から除外し、ｋ及びｔをアップデートしてから、各処理ユニットが探索を繰り返し実行することができる。
図４は、データをスキップする動作を示す。
図４を参照すると、プロセッサ（例えば、図１に示すプロセッサ２００）は、複数のデータのうち、第１データ探索経路及び第２データ探索経路上のデータに対する演算をスキップするか否かを決定する。
プロセッサ２００は、データが０である場合、データに対する演算をスキップすると決定したり、データが予め決定された範囲以内の値である場合、データに対する演算をスキップすると決定する。
図４の例は、データが０である場合に演算をスキップすることを示したが、実施形態に応じて、０ではないデータに対してスキップを行ってもよい。演算装置（例えば、乗算器）の２つの入力Ａｎ及びＢｎに対して、Ａ及びＢは、演算装置の２つの入力を示し、ｎは演算順序を示す。
フェーズ０、１、２は、データ探索の時点を意味する。プロセッサ２００は、データ集合の右側から左側にデータを探索する。
フェーズ０において、プロセッサ２００は、データの集合４１０及びデータの集合４２０の最初に位置するデータであるＡ０、Ｂ０を用いて、ニューラルネットワーク演算（例えば、乗算）を行ってもよい。
フェーズ１において、プロセッサ２００は、データ集合４３０のＡ１及びデータ集合４４０のＢ１を用いてニューラルネットワーク演算を行ってもよい。
フェーズ２において、データ集合４５０は、Ａ２に対応する位置のデータが０であるため、プロセッサ２００は、Ａ２に対応する位置のデータをスキップするものと決定してもよい。ここで、プロセッサ２００は、データ集合４６０に対してもデータ集合４５０で発生したスキップに対応するよう、データＢ２をスキップしてもよい。言い換えれば、データのスキップが発生する場合、同じ演算装置で用いられる複数のデータに対して、データをスキップに対応するデータ探索のホッピングオフセット（ｈｏｐｐｉｎｇ ｏｆｆｓｅｔ）は同一であり得る。
図４に示す実施形態において、スキップのない場合、合計４回の乗算が実行されなければならないが、プロセッサ２００は、一部のデータをスキップすることによって、３回のフェーズ（又は、サイクル）のみで演算を行い、１／４の演算時間及びエネルギーを節約することができる。
図５は、複数の演算装置でデータを探索する過程を示し、図６は、データ探索経路の一例を示す。
図５及び図６を参照すると、プロセッサ（例えば、図１に示すプロセッサ２００）は、データ探索経路に基づいてメモリ（例えば、図１に示すメモリ３００）に格納されているデータを探索する。プロセッサ２００は、データ探索経路により探索を行って演算装置（例えば、乗算器）に出力する被演算データを決定し、決定された被演算データを演算装置に送信する。
データ探索経路は、データが格納されたメモリ３００上の位置に対応するノード、及びノードの間を接続するエッジから構成されてもよい。図５に示す例示において、データ集合５１０及びデータ集合５３０の点線又は実線は、データ探索経路の例を示す。データ探索経路は、トラバース方向を有する。
プロセッサ２００は、予め決定されたデータ探索範囲に基づいてデータ探索経路を生成する。探索範囲は、探索するデータの数を意味する。例えば、図５の例示において、データ探索範囲は７であってもよく、図６に示す探索経路でデータ探索範囲は６であってもよい。
プロセッサ２００は、第１演算装置（例えば、乗算器）で演算を行うために、データ集合５１０において、Ａ０、０、Ａ０、１、Ａ１、０、Ａ１、１、Ａ２、０、Ａ２、１、Ａ３、０の順にデータを探索し、データ集合５３０において、Ｂ０、０、Ｂ０、１、Ｂ１、０、Ｂ１、１、Ｂ２、０、Ｂ２、１、Ｂ３、０の順にデータを探索してもよい。
同様に、プロセッサ２００は、第２演算装置（例えば、乗算器）で演算を行うために、データ集合５１０において、Ａ０、１、Ａ０、２、Ａ１、１、Ａ１、２、Ａ２、１、Ａ２、２、Ａ３、１の順にデータを探索し、データ集合５３０において、Ｂ０、１、Ｂ０、２、Ｂ１、１、Ｂ１、２、Ｂ２、１、Ｂ２、２、Ｂ３、１の順にデータを探索してもよい。
プロセッサ２００は、データ探索と同時に探索する演算装置により、探索時間が長くなるという短所をなくし、駆動時間中にデータの探索に参加する全ての演算装置が同時に探索を行うようにすることで、演算装置の個数を制限したり性能を制限する問題を解決することができる。
プロセッサ２００は、探索経路に互いに異なる優先順位を与えることで、複数の演算装置が演算することによって発生するデータの呼出の競合状況を解決することができる。
プロセッサ２００は、メモリ３００の指定された領域に対して、それぞれの演算装置がデータを探索する順に応じてデータ探索経路を生成してもよい。プロセッサ２００は、データが格納された位置をノードに設定し、ノード間をエッジとして接続することで、開始ノードから最後ノードに達するデータ探索経路を設定し得る。ここで、データ探索経路は方向性を有してもよい。
プロセッサ２００は、データ探索経路上のエッジとノードが重ならないように、データの探索経路を生成する。プロセッサ２００は、データ探索経路上のノードに優先順位を設定してもよい。
プロセッサ２００は、第１データ探索経路及び第２データ探索経路に対する優先順位を設定してもよい。プロセッサ２００は、第１データ探索経路上のデータに対応するノードが互いに異なる優先順位を有するように、第１優先順位を設定してもよい。プロセッサ２００は、第２データ探索経路上のデータに対応するノードが互いに異なる優先順位を有するように、第２優先順位を設定してもよい。
例えば、図６に示す例示において、プロセッサ２００は、右側上のノードに優先順位に対応する数字として１を設定し、右側下のノードに優先順位に対応する数字として２を設定し、中間の上側ノードに優先順位に対応する数字として３を設定した。同様に、プロセッサ２００は、６個のノードにそれぞれの優先順位を設定する。
プロセッサ２００は、相対的に低い数に対応するノードを優先順位の高いノードとして判断してもよい。反対に、プロセッサ２００は、相対的に高い数に対応するノードを優先順位の低いノードとして判断してもよい。
プロセッサ２００は、競合の発生に応答して、優先順位に基づいて第１被演算データ及び第２被演算データを決定する。プロセッサ２００は、第１データ探索経路に対応する第１優先順位と、第２データ探索経路に対応する第２優先順位とを比較することで、優先順位の高い探索経路を決定できる。
プロセッサ２００は、競合が発生した位置のデータを、優先順位の高い探索経路に対応する演算装置の被演算データとして決定する。第１優先順位が第２優先順位よりも大きい場合、プロセッサ２００は、競合が発生した位置のデータを第１被演算データとして決定する。プロセッサ２００は、第２データ探索経路上の次のデータを第２被演算データとして決定する。
第１優先順位が第２優先順位よりも小さい場合、プロセッサ２００は、競合が発生した位置のデータを第２被演算データとして決定する。プロセッサ２００は、第１データ探索経路上の次のデータを第１被演算データとして決定する。
上述したように、図６に示す例示において、データ探索範囲（又は、有効なデータに対する探索）は最大６回に制限され、プロセッサ２００は、各データ探索経路上のメモリ位置に探索の長さに応じて優先順位を設定してもよい。
プロセッサ２００は、ニューラルネットワーク演算を行うために取得可能なデータを発見するまで、最大６回メモリを探索することができる。ここで、制限された回数内で演算候補（例えば、被演算データ）を決定しなければ、データの探索は終了し、予め指定された値を演算装置に伝達する。
プロセッサ２００は、メモリ３００上のアドレス又は格納されたデータが更新される開始点から予め決定した、制限された長さのデータ探索経路を予め決定された方向性に応じて探索してもよい。
データ探索経路上の複数のノードは、データ探索経路内で互いに異なる優先順位を有してもよい。プロセッサ２００は、互いに異なる演算装置に送信するために、それぞれの演算装置に対応するデータ探索経路に沿って探索を行うとき、競合の発生したノードで各データ探索経路が有する優先順位を比較することができる。
プロセッサ２００は、さらに高い優先順位を有するデータ探索経路に対応する演算装置に、競合が発生したノードのデータを被演算データとして送信する。データ取得に失敗したデータ探索経路は生存性をもって、プロセッサ２００は、データ取得に失敗したデータ探索経路を用いて、予め設定された探索範囲内で探索を続くことができる。
図５及び図６に示す例示において、データ探索経路を鋸歯状に設定したが、実施形態に応じてデータ探索経路は互いに異なってもよい。
図７Ａ～図７Ｃは、時間の流れによるデータの探索過程を示す。
図７Ａ～図７Ｃを参照すると、プロセッサ２００は、複数の演算装置（例えば、第１演算装置及び第２演算装置）に対応する複数のデータ探索経路（例えば、第１データ探索経路及び第２データ探索経路）に沿って、ニューラルネットワーク演算に用いられる被演算データを決定することができる。
図７に示す例示において、プロセッサ２００は、第１演算装置（例えば、ＭＵＬ０）に対応する第１データ探索経路、及び第２演算装置（例えば、ＭＵＬ１）に対応する第２データ探索経路によりデータ探索を行いながら、第１演算装置に用いられる第１被演算データ及び第２演算装置に用いられる第２被演算データを決定することができる。
図７Ａの例示は、フェーズ０（又は、サイクル０）における探索動作を示す。プロセッサ２００は、上述したように特定のスキップ条件が満たされるデータをスキップすることができる。
プロセッサ２００は、第１データ探索経路上の最初のデータを探索した結果データが０であることを確認し、０であるデータをスキップする。プロセッサ２００は、第１データ探索経路上の次のデータであるＡ０、１を第１被演算データとして決定しようとしたが、Ａ０、１は、第２データ探索経路上の最初のデータであるため、競合が発生し得る。
即ち、第１演算装置は、０であるデータをスキップし、第１データ探索経路上の次のデータであるＡ０、１を取得しようとしたが、第２演算装置が同じデータを取得しようとするため、競合が発生し得る。
プロセッサ２００は、競合の発生に応答して、優先順位に基づいて第１被演算データ及び第２被演算データを決定することができる。プロセッサ２００は、第１データ探索経路に対応する第１優先順位と第２データ探索経路に対応する第２優先順位とを比較することで、優先順位の高い探索経路を決定する。
優先順位及び優先順位に対応する数は、図６を参照して説明したものと同様に割り当てられてもよい。従って、図７Ａにおいて、第１データ探索経路上でデータＡ０、１に対応する優先順位に対応する数は１であり、第２データ探索経路上でデータＡ０、１に対応する優先順位に対応する数は２である。
低い数に対応するノードが優先権を有する場合、第１データ探索経路が第２データ探索経路に比べて優先順位が高いため、プロセッサ２００は、Ａ０，１を第２被演算データとして決定する。したがって、プロセッサ２００は、Ａ０、１を第２演算装置に送信し、探索が終了される。
第１演算装置は、データＡ０、１に対する取得に失敗したため、プロセッサ２００は、第１データ探索経路に沿って探索を持続することができる。第１データ探索経路上の次のデータは、データＡ１、０であるため、プロセッサ２００は、データＡ１、０を第１被演算データとして決定して第１演算装置へ送信し、フェーズ０における探索を終了する。
プロセッサ２００は、被演算データの決定に応答して、被演算データとして決定されたデータアドレスをデータ探索経路上から排除してもよい。図７Ａの例示において、プロセッサ２００は、被演算データとして決定されて演算装置に送信されたＡ０、１及びＡ１、０に既に取得したという情報を表示したり、データを０に変えることで、次のフェーズのデータ探索から排除させてもよい。
図７Ｂに示す例示は、フェーズ１（又は、サイクル１）における探索動作を示す。フェーズ１において、第１データ探索経路の次のデータであるＡ１、１及び第２データ探索経路の次のデータであるＡ０、２は全て０ではないため、プロセッサ２００はスキップを行わなくてもよい。
プロセッサ２００は、第１データ探索経路上で既に探索したデータである０、Ａ０、１、Ａ１、０を排除し、第２データ探索経路上で既に探索したデータであるＡ０、１を排除した状態でデータ探索を行うことができる。
プロセッサ２００は、第１データ探索経路上の次の順序のデータであるＡ１、１を第１被演算データとして決定して第１演算装置に送信し、第２データ探索経路上の次の順序のデータであるＡ０、２を第２被演算データとして決定して第２演算装置に送信する。また、演算装置に送信されて演算に用いられたデータであるＡ１、１及びＡ０、２をデータ探索経路から排除する。
図７Ｃの例示は、フェーズ２（又は、サイクル２）における探索動作を示す。フェーズ１において、第１データ探索経路の次のデータは０であるため、プロセッサ２００は０であるデータをスキップする。
第２データ探索経路の次のデータはＡ１、１であって、以前フェーズから排除されたデータであるため、プロセッサ２００はＡ１、１をスキップする。第２データ探索経路上でＡ１、１の次の順序のデータは０であるため、プロセッサ２００は再びスキップしてもよい。
この場合、第１データ探索経路上の次のデータはＡ２、１であり、第２データ探索経路上の次のデータもＡ２、１であるため、競合が発生する可能性がある。プロセッサ２００は、優先順位に基づいてＡ２、１が送信される演算装置を決定してもよい。優先順位に対応する数は、図６に示す例示のように設定されてもよい。
第１データ探索経路のＡ２、１の優先順位に対応する数は６であり、第２データ探索経路のＡ２、１の優先順位に対応する数は５であるため、プロセッサ２００は第２データ探索経路の優先順位が高いと判断し、Ａ２、１を第２被演算データとして決定することができる。
ここで、第１データ探索経路は、予め決定された探索範囲が終了したため、プロセッサ２００は、取得可能なデータがないという意味としてＮＡを第１演算装置に出力することができる。
プロセッサ２００は、予め決定された探索範囲に対する探索完了に応答して、複数のデータに対する第１データ探索経路及び第２データ探索経路を更新し得る。図７Ｃにおいて、プロセッサ２００は、第１データ探索経路又は第２データ探索経路を更新して新しいメモリ領域上のデータを探索することができる。
図８は、データ探索経路の他の例を示す。
図８を参照すると、プロセッサ２００は、正方形の形状に配列されていないデータに対してデータ探索を行ってもよい。また、プロセッサ２００は、演算装置が３つ以上である場合についても並列的にデータ探索を行うことができる。
図８の例示のように、３つの演算装置が１つのデータ集合８３０を共有しようとする場合、図７Ａ～図７Ｃを参照して説明したように、データ探索を行ってもよい。この場合、プロセッサ２００は、データ探索経路８１０を用いてデータの探索を行うことができる。
データ探索経路の競合が発生したり、０であるデータが探索された場合の処理方式について、図７Ａ～図７Ｃと同一である。上述したデータ探索を介して、プロセッサ２００は、ニューラルネットワーク演算で消耗する電力を節減し、演算の効率を向上することができる。
図９は、データを探索してニューラルネットワークを行う過程を示す。
図９を参照すると、ニューラルネットワーク演算装置（例えば、図１のニューラルネットワーク演算装置１０）を用いてニューラルネットワーク演算を行う過程を示す。
プロセッサ（例えば、図１のプロセッサ２００）は、スパース性（ｓｐａｒｓｉｔｙ）を有する入力データ（例えば、活性化値）をメモリ（例えば、データバッファ）に格納し、格納されたデータを探索して有効なデータをＭＡＣアレイ９１０にインデックス情報（例えば、被演算データのメモリ上のアドレス）と共に送信し、重み９３０を選択することでニューラルネットワーク演算を行うことができる。
プロセッサ２００は、演算装置（例えば、ＭＡＣアレイ９１０）のそれぞれの処理ユニットに入力されるデータをデータ探索経路に沿って探索し、優先順位に基づいて被演算データを決定することができる。
例えば、受信器（例えば、図１の受信器１００）はデータ９５０を受信し、プロセッサ２００に出力してもよい。
プロセッサ２００は、受信したデータ９７０に対して探索を行う。プロセッサ２００は、データ９７０の一部に対応する領域について上記で説明したような方式に基づいて特定の値のデータをスキップし、データ探索経路の優先順位に基づいてデータ探索を行う。
プロセッサ２００は、探索を介して決定された被演算データをＭＡＣアレイ９１０に送信し、ＭＡＣアレイ９１０から出力された演算結果に基づいて出力活性化値９９０を生成する。
優先順位に基づくデータ探索を用いて、プロセッサ２００は、ニューラルネットワーク演算で負荷の均等化を行って演算を行うことができる。そのため、プロセッサ２００は、演算装置の個数による複雑度の増加を抑制し、実際のハードウェアを実現したときに、従来方式に比べて高い演算性能を達成することができる。
図１０は、図１に示されたニューラルネットワーク演算装置の具現の他の例を示す。
図１０の例示は、ニューラルネットワーク演算装置（例えば、図１のニューラルネットワーク演算装置１０）を適用したスパース性ＭＡＣ演算装置の具現例を示す。
スパース性ＭＡＣ演算装置は、スパース性ユニット１０３０及びＭＡＣアレイ１０５０を有する。プロセッサ（例えば、図１のプロセッサ２００）は、スパース性ユニット１０３０の内部又は外部に具現化されてもよい。
ＭＡＣアレイ１０５０は、上記で説明した演算装置に含まれてもよい。
スパース性ユニット１０３０は、優先順位に基づいてデータ探索１０１０を行う。スパース性ユニット１０３０は、上記で説明したものと同じ方式で、データ探索経路に沿ってデータを探索し、ＭＡＣアレイにデータを送信する。
図１１は、図１に示すニューラルネットワーク演算装置の動作のフローチャートを示す。
図１１を参照すると、図１１に示す動作は順に実行されてもよく、説明された実施形態の範囲を離脱することなく、一部の動作が変更されたり省略されてもよい。図１１に示す動作は、並列的又は同時に実行されてもよい。図１１の１つ以上のブロック又はブロックの組み合せは、特定の機能を行うプロセッサのような特殊目的のハードウェア基盤コンピュータ又は特殊目的のハードウェア及びコンピュータ命令の組み合わせによって実行されてもよい。以下の説明及び図１～図１０の説明についても図１１に適用されてもよい。図１～図１０の説明は重複して記載しない。
受信器１００は、ニューラルネットワーク演算を行うための複数のデータを受信する（Ｓ１１１０）。
プロセッサ２００は、複数のデータのうち第１データ探索経路（ｄａｔａ ｓｅａｒｃｈ ｐａｔｈ）及び第２データ探索経路上のデータに対する演算をスキップするか否かを決定する。プロセッサ２００は、データが０である場合、前記データに対する演算をスキップするものと決定したり、データが予め決定された範囲以内の値である場合、データに対する演算をスキップすると決定する。
プロセッサ２００は、第１演算装置に対応する第１データ探索経路及び第２演算装置に対応する第２データ探索経路の競合有無を判断する（Ｓ１１３０）。プロセッサ２００は、任意の時点で第１演算装置と第２演算装置が同じデータにアクセスする場合、第１データ探索経路と第２データ探索経路の競合が発生したと判断する。
プロセッサ２００は、競合の有無及び第１データ探索経路と第２データ探索経路との間の優先順位を用いて、複数のデータのうち第１被演算データ及び第２被演算データを決定する（Ｓ１１５０）。
プロセッサ２００は、第１データ探索経路及び第２データ探索経路に対する優先順位を設定する。プロセッサ２００は、第１データ探索経路上のデータに対応するノードが互いに異なる優先順位を有するよう、第１優先順位を設定してもよい。プロセッサ２００は、第２データ探索経路上のデータに対応するノードが、互いに異なる優先順位を有するように第２優先順位を設定してもよい。
プロセッサ２００は、競合の発生に応答して、優先順位に基づいて第１被演算データ及び第２被演算データを決定する。プロセッサ２００は、第１データ探索経路に対応する第１優先順位と、第２データ探索経路に対応する第２優先順位とを比較することで、優先順位が高い探索経路を決定することができる。
プロセッサ２００は、競合が発生した位置のデータを優先順位の高い探索経路に対応する演算装置の被演算データとして決定する。第１優先順位が第２優先順位よりも大きい場合、プロセッサ２００は、競合が発生した位置のデータを第１被演算データとして決定する。プロセッサ２００は、第２データ探索経路上の次のデータを第２被演算データとして決定する。
第１優先順位が第２優先順位よりも小さい場合、プロセッサ２００は、競合が発生した位置のデータを第２被演算データとして決定する。プロセッサ２００は、第１データ探索経路上の次のデータを第１被演算データとして決定する。
プロセッサ２００は、第１被演算データ及び第２被演算データの決定に応答して、第１被演算データ及び第２被演算データのアドレスを第１データ探索経路及び第２データ探索経路上から排除することができる。
プロセッサ２００は、第１被演算データ及び第２被演算データに基づいてニューラルネットワーク演算を行う（Ｓ１１７０）。
第１データ探索経路及び第２データ探索経路は、予め決定された探索範囲を有する。プロセッサ２００は、予め決定された探索範囲に対する探索完了に応答して、複数のデータに対する第１データ探索経路及び第２データ探索経路を更新できる。
第１データ探索経路及び第２データ探索経路は、予め決定された探索範囲を有する。プロセッサ２００は、予め決定された探索範囲に対する探索完了に応答して、複数のデータに対する第１データ探索経路及び第２データ探索経路を更新することができる。
以上で説明した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現化される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現化される。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行うことができる。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成することもできる。理解の利便のために、処理装置は、１つが使用されるものと説明される場合もあるが、当該技術分野において通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び又は複数のタイプの処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサ又は一つのプロセッサ及び一つのコントローラを含んでもよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
実施形態に係る方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
１０ ニューラルネットワーク演算装置
１００ 受信器
２００ プロセッサ
３００ メモリ

Claims (20)

  1. ニューラルネットワーク演算装置の受信器が、ニューラルネットワーク演算のための複数のデータを受信するステップと、
    前記ニューラルネットワーク演算装置のプロセッサが、前記複数のデータのうち、前記プロセッサの第１演算装置に対応する第１データ探索経路及び前記プロセッサの第２演算装置に対応する第２データ探索経路上のデータに対する演算をスキップするか否かを決定するステップと、
    前記プロセッサが、前記第１データ探索経路及び前記第２データ探索経路の競合の有無を判断するステップと、
    前記プロセッサが、前記競合の有無及び前記第１データ探索経路と前記第２データ探索経路との間の優先順位を用いて、前記複数のデータのうち第１被演算データ及び第２被演算データを決定するステップと、
    前記プロセッサが、前記第１被演算データ及び前記第２被演算データに基づいてニューラルネットワーク演算を行うステップと、
    を含み、
    前記複数のデータのうち、前記第１データ探索経路及び前記第２データ探索経路上のデータに対する演算をスキップするか否かを決定するステップは、
    前記プロセッサが、前記データが０である場合、前記データに対する演算をスキップするものと決定するステップ、又は、
    前記プロセッサが、前記データが予め決定された範囲以内の値である場合、前記データに対する演算をスキップするものと決定するステップ、を含む、
    ニューラルネットワーク演算方法。
  2. ニューラルネットワーク演算装置の受信器が、ニューラルネットワーク演算のための複数のデータを受信するステップと、
    前記ニューラルネットワーク演算装置のプロセッサが、前記プロセッサの第１演算装置に対応する第１データ探索経路及び前記プロセッサの第２演算装置に対応する第２データ探索経路の競合の有無を判断するステップと、
    前記プロセッサが、前記競合の有無及び前記第１データ探索経路と前記第２データ探索経路との間の優先順位を用いて、前記複数のデータのうち第１被演算データ及び第２被演算データを決定するステップと、
    前記プロセッサが、前記第１被演算データ及び前記第２被演算データに基づいてニューラルネットワーク演算を行うステップと、
    を含み、
    前記第１被演算データ及び前記第２被演算データを決定するステップは、
    前記プロセッサが、前記第１データ探索経路及び前記第２データ探索経路に対する優先順位を設定するステップと、
    前記プロセッサが、前記競合の発生に応答して、前記優先順位に基づいて前記第１被演算データ及び前記第２被演算データを決定するステップと、
    を含み、
    前記競合の発生に応答して、前記優先順位に基づいて前記第１被演算データ及び前記第２被演算データを決定するステップは、
    前記プロセッサが、優先順位の高い探索経路を決定するために、前記第１データ探索経路に対応する第１優先順位と前記第２データ探索経路に対応する第２優先順位とを比較するステップと、
    前記プロセッサが、競合が発生した位置のデータを、前記優先順位の高い探索経路に対応する演算装置の被演算データとして決定するステップと、
    を含む、
    ニューラルネットワーク演算方法。
  3. 前記プロセッサが、前記複数のデータのうち、前記第１データ探索経路及び前記第２データ探索経路上のデータに対する演算をスキップするか否かを決定するステップをさらに含む、請求項２に記載のニューラルネットワーク演算方法。
  4. 前記判断するステップは、任意の時点において、前記第１演算装置と前記第２演算装置が同じデータにアクセスする場合、前記プロセッサが、前記第１データ探索経路と前記第２データ探索経路の競合が発生したと判断するステップを含む、請求項１乃至３のいずれか１項に記載のニューラルネットワーク演算方法。
  5. 前記第１被演算データ及び前記第２被演算データを決定するステップは、
    前記プロセッサが、前記第１データ探索経路及び前記第２データ探索経路に対する優先順位を設定するステップと、
    前記プロセッサが、前記競合の発生に応答して、前記優先順位に基づいて前記第１被演算データ及び前記第２被演算データを決定するステップと、
    を含む、請求項１に記載のニューラルネットワーク演算方法。
  6. 前記優先順位を設定するステップは、
    前記プロセッサが、前記第１データ探索経路上のデータに対応するノードが互いに異なる優先順位を有するように第１優先順位を設定するステップと、
    前記プロセッサが、前記第２データ探索経路上のデータに対応するノードが互いに異なる優先順位を有するように第２優先順位を設定するステップと、
    を含む、請求項５に記載のニューラルネットワーク演算方法。
  7. 前記競合の発生に応答して、前記優先順位に基づいて前記第１被演算データ及び前記第２被演算データを決定するステップは、
    前記プロセッサが、優先順位の高い探索経路を決定するために、前記第１データ探索経路に対応する第１優先順位と前記第２データ探索経路に対応する第２優先順位とを比較するステップと、
    前記プロセッサが、競合が発生した位置のデータを、前記優先順位の高い探索経路に対応する演算装置の被演算データとして決定するステップと、
    を含む、請求項５に記載のニューラルネットワーク演算方法。
  8. 前記競合が発生した位置のデータを、前記優先順位の高い探索経路に対応する演算装置の被演算データとして決定するステップは、
    前記プロセッサが、前記第１優先順位が前記第２優先順位よりも大きい場合、前記競合が発生した位置のデータを前記第１被演算データとして決定するステップと、
    前記プロセッサが、前記第２データ探索経路上の次のデータを前記第２被演算データとして決定するステップと、
    を含む、請求項７に記載のニューラルネットワーク演算方法。
  9. 前記プロセッサが、前記第１被演算データ及び前記第２被演算データの決定に応答して、前記第１被演算データ及び前記第２被演算データのアドレスを前記第１データ探索経路及び前記第２データ探索経路上から排除するステップをさらに含む、請求項１乃至８のいずれか１項に記載のニューラルネットワーク演算方法。
  10. 前記第１データ探索経路及び前記第２データ探索経路は、予め決定された探索範囲を有し、
    前記プロセッサが、前記予め決定された探索範囲に対する探索完了に応答して、前記複数のデータに対する前記第１データ探索経路及び前記第２データ探索経路を更新するステップをさらに含む、請求項１乃至９のいずれか１項に記載のニューラルネットワーク演算方法。
  11. ニューラルネットワーク演算を行うための複数のデータを受信する受信器と、
    第１演算装置に対応する第１データ探索経路及び第２演算装置に対応する第２データ探索経路の競合の有無を判断し、
    前記競合の有無及び前記第１データ探索経路と前記第２データ探索経路との間の優先順位を用いて、前記複数のデータのうち第１被演算データ及び第２被演算データを決定し、
    前記第１被演算データ及び前記第２被演算データに基づいてニューラルネットワーク演算を行うプロセッサを含み、
    前記プロセッサは、
    前記データが０である場合、前記データに対する演算をスキップするものと決定する、又は、
    前記データが予め決定された範囲以内の値である場合、前記データに対する演算をスキップするものと決定する、
    ニューラルネットワーク演算装置。
  12. ニューラルネットワーク演算を行うための複数のデータを受信する受信器と、
    第１演算装置に対応する第１データ探索経路及び第２演算装置に対応する第２データ探索経路の競合の有無を判断し、
    前記競合の有無及び前記第１データ探索経路と前記第２データ探索経路との間の優先順位を用いて、前記複数のデータのうち第１被演算データ及び第２被演算データを決定し、
    前記第１被演算データ及び前記第２被演算データに基づいてニューラルネットワーク演算を行うプロセッサを含み、
    前記プロセッサは、
    前記第１データ探索経路及び前記第２データ探索経路に対する優先順位を設定し、
    前記競合の発生に応答して、前記優先順位に基づいて前記第１被演算データ及び前記第２被演算データを決定し、
    優先順位の高い探索経路を決定するために、前記第１データ探索経路に対応する第１優先順位と前記第２データ探索経路に対応する第２優先順位とを比較し、
    競合が発生した位置のデータを、前記優先順位の高い探索経路に対応する演算装置の被演算データとして決定する、
    ニューラルネットワーク演算装置。
  13. 前記プロセッサは、前記複数のデータのうち、前記第１データ探索経路及び前記第２データ探索経路上のデータに対する演算をスキップするか否かを決定する、請求項１２に記載のニューラルネットワーク演算装置。
  14. 前記プロセッサは、任意の時点で前記第１演算装置と前記第２演算装置が同じデータにアクセスする場合、前記第１データ探索経路と前記第２データ探索経路の競合が発生したものと判断する、請求項１１乃至１３のいずれか１項に記載のニューラルネットワーク演算装置。
  15. 前記プロセッサは、
    前記第１データ探索経路及び前記第２データ探索経路に対する優先順位を設定し、
    前記競合の発生に応答して、前記優先順位に基づいて前記第１被演算データ及び前記第２被演算データを決定する、請求項１１に記載のニューラルネットワーク演算装置。
  16. 前記プロセッサは、
    前記第１データ探索経路上のデータに対応するノードが、互いに異なる優先順位を有するように第１優先順位を設定し、
    前記第２データ探索経路上のデータに対応するノードが、互いに異なる優先順位を有するように第２優先順位を設定する、請求項１５に記載のニューラルネットワーク演算装置。
  17. 前記プロセッサは、
    優先順位の高い探索経路を決定するために、前記第１データ探索経路に対応する第１優先順位と前記第２データ探索経路に対応する第２優先順位とを比較し、
    競合が発生した位置のデータを、前記優先順位の高い探索経路に対応する演算装置の被演算データとして決定する、請求項１５に記載のニューラルネットワーク演算装置。
  18. 前記プロセッサは、
    前記第１優先順位が前記第２優先順位よりも大きい場合、前記競合が発生した位置のデータを前記第１被演算データとして決定し、
    前記第２データ探索経路上の次のデータを前記第２被演算データとして決定する、請求項１７に記載のニューラルネットワーク演算装置。
  19. 前記プロセッサは、前記第１被演算データ及び前記第２被演算データの決定に応答して、前記第１被演算データ及び前記第２被演算データのアドレスを前記第１データ探索経路及び前記第２データ探索経路上から排除する、請求項１１乃至１８のいずれか１項に記載のニューラルネットワーク演算装置。
  20. 前記第１データ探索経路及び前記第２データ探索経路は、予め決定された探索範囲を有し、
    前記プロセッサは、前記予め決定された探索範囲に対する探索完了に応答して、前記複数のデータに対する前記第１データ探索経路及び前記第２データ探索経路を更新する、請求項１１乃至１９のいずれか１項に記載のニューラルネットワーク演算装置。
JP2022010730A 2021-02-05 2022-01-27 ニューラルネットワーク演算方法及び装置 Active JP7431263B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0016943 2021-02-05
KR20210016943 2021-02-05
KR1020210036060A KR20220113220A (ko) 2021-02-05 2021-03-19 뉴럴 네트워크 연산 방법 및 장치
KR10-2021-0036060 2021-03-19

Publications (2)

Publication Number Publication Date
JP2022120809A JP2022120809A (ja) 2022-08-18
JP7431263B2 true JP7431263B2 (ja) 2024-02-14

Family

ID=78211953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022010730A Active JP7431263B2 (ja) 2021-02-05 2022-01-27 ニューラルネットワーク演算方法及び装置

Country Status (4)

Country Link
US (1) US20220253692A1 (ja)
EP (1) EP4040314A1 (ja)
JP (1) JP7431263B2 (ja)
CN (1) CN114861897A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163310A (ja) 1998-11-30 2000-06-16 Nec Corp マイクロプロセッサ
JP2018077842A (ja) 2016-11-07 2018-05-17 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 畳み込み神経網処理方法及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163310A (ja) 1998-11-30 2000-06-16 Nec Corp マイクロプロセッサ
JP2018077842A (ja) 2016-11-07 2018-05-17 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 畳み込み神経網処理方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAVE, Shail ほか，Hardware Acceleration of Sparse and Irregular Tensor Computations of ML Models: A Survey and Insights，arXiv[online]，2020年07月02日，pp.36-38，[retrieved on 2023.09.19], Retrieved from the Internet: <URL: https://arxiv.org/pdf/2007.00864v1.pdf>

Also Published As

Publication number Publication date
US20220253692A1 (en) 2022-08-11
JP2022120809A (ja) 2022-08-18
CN114861897A (zh) 2022-08-05
EP4040314A1 (en) 2022-08-10

Similar Documents

Publication Publication Date Title
US11373084B2 (en) Apparatus and methods for forward propagation in fully connected layers of convolutional neural networks
US10410112B2 (en) Apparatus and method for performing a forward operation of artificil neural networks
US10713567B2 (en) Apparatus and method for executing reversal training of artificial neural network
CN107341547B (zh) 一种用于执行卷积神经网络训练的装置和方法
KR20210002676A (ko) 집약성을 개선하기 위한 머신 학습 모델들의 수정
US20210373944A1 (en) Scheduler, method of operating the same, and accelerator apparatus including the same
JP7413549B2 (ja) 並列ロードストアを有する共有スクラッチパッドメモリ
US11803733B2 (en) Method for implementing neural network model in heterogeneous computing platform and apparatus for performing the same
JP7431263B2 (ja) ニューラルネットワーク演算方法及び装置
US20220237487A1 (en) Accelerator for processing inference tasks in parallel and operating method thereof
US20220253682A1 (en) Processor, method of operating the processor, and electronic device including the same
US20220261644A1 (en) Method and apparatus for generating task plan based on neural network
US20220179714A1 (en) Method and apparatus for scheduling neural network operation
KR20220113220A (ko) 뉴럴 네트워크 연산 방법 및 장치
KR102547997B1 (ko) 효율적인 메모리 접근 방식을 이용한 뉴럴 네트워크 연산 가속 방법 및 장치
KR102614909B1 (ko) 희소화를 이용한 뉴럴 네트워크 연산 방법 및 장치
US20220269597A1 (en) Memory mapping method and apparatus
US20220284299A1 (en) Method and apparatus with neural network operation using sparsification
US20230140145A1 (en) Apparatus and method with neural network operation
US20230143371A1 (en) Apparatus and method with neural network operation
US20220237436A1 (en) Neural network training method and apparatus
US20240061972A1 (en) Method and apparatus with performance modeling
US20220269930A1 (en) Neural network operation method and apparatus
US20220075606A1 (en) Compiling method and apparatus for neural networks
TW202316365A (zh) 用於實施分組卷積之神經網路架構

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240201

R150 Certificate of patent or registration of utility model

Ref document number: 7431263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150