JP6961011B2 - データ管理のためのシステム及び方法 - Google Patents
データ管理のためのシステム及び方法 Download PDFInfo
- Publication number
- JP6961011B2 JP6961011B2 JP2019552327A JP2019552327A JP6961011B2 JP 6961011 B2 JP6961011 B2 JP 6961011B2 JP 2019552327 A JP2019552327 A JP 2019552327A JP 2019552327 A JP2019552327 A JP 2019552327A JP 6961011 B2 JP6961011 B2 JP 6961011B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- items
- slices
- space
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/1668—Details of memory controller
- G06F13/1678—Details of memory controller using bus width
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Advance Control (AREA)
- Complex Calculations (AREA)
Description
この出願は、2016年12月9日に出願されたPCT出願第PCT/CN2016/109258、2016年12月9日に出願されたPCT出願第PCT/CN2016/109257及び2017年9月1日に出願されたPCT出願第PCT/CN2017/100201の優先権及び利益を主張し、その全内容を参照により援用する。
この明細書において言及される全ての刊行物、特許及び特許出願は、それぞれの刊行物、特許又は特許出願が参照により援用されることが具体的且つ個別に示されているものと同じ程度に、参照により援用する。
Claims (15)
- データ管理の方法であって、
複数の項目をメインメモリ内の隣接空間に記憶するステップであり、前記複数の項目は、複数のグループに分類され、前記記憶するステップは、前記複数のグループのうち1つに分類される項目を前記隣接空間内で連続して配置するステップを含む、ステップと、
前記複数の項目を前記メインメモリからチップ上のランダムアクセスメモリ(RAM)に送信するための命令を発行するステップであり、前記命令は、前記隣接空間を一緒に識別するアドレス及びサイズを含み、前記チップは、複数の乗算器を含む計算ユニットを含む、ステップと、
前記チップ上の前記計算ユニットに対して、前記RAMから前記複数の項目のうち数個を取得し、出力データを生成するために、前記複数の乗算器を使用して前記数個の項目で複数の並列演算を実行するように命令するステップと
を含み、
当該方法は、
ニューラルネットワークに関する情報を受信するステップであり、前記複数のグループは、前記ニューラルネットワークの複数の層に対応し、前記複数の項目は、前記ニューラルネットワークのパラメータを含み、前記複数の並列演算は、前記複数の層のうち1つに関連する乗算に対応し、前記ニューラルネットワークに関する情報は、前記複数の層のうち1つについて、フィルタ数と、チャネル数と、フィルタサイズとの組み合わせを含む、ステップと、
前記1つの層について、前記チャネル数又は前記フィルタサイズに基づいて、スライス数を決定するステップであり、前記隣接空間は、複数の領域に分割され、各領域は隣接する、ステップと、
前記複数の領域のうち1つの中のエリアを少なくとも複数のスライスに分割するステップであり、各スライスが隣接する、ステップと
を更に含み、
前記記憶するステップは、前記複数のスライスの開始点から同じオフセットで記憶された全ての項目が前記並列演算のために使用されるように、前記複数のスライスにわたって前記複数のグループのうち1つに分類される項目を配置するステップを含む、方法。 - 前記複数の項目を前記隣接空間に記憶する前に、前記メインメモリ内の前記アドレス及び前記サイズを決定するステップ
を更に含む、請求項1に記載の方法。 - 前記記憶するステップは、前記隣接空間内の未使用空間を低減するために、前記複数のグループのうち数個に分類される項目を同じ領域に配置するステップを更に含む、請求項1に記載の方法。
- 前記複数の領域のうち1つの中のエリアを複数のスライスに分割するステップを更に含み、各スライスは隣接し、
前記エリアは、1つのグループに分類される項目に割り当てられ、
前記記憶するステップは、前記複数のスライスにわたって前記1つのグループに分類される前記項目を配置するステップを更に含み、
前記命令するステップは、前記複数のスライスの開始点から同じオフセットで記憶された数個の項目を使用して、前記複数の並列演算のうち数個を実行するステップを含む、請求項3に記載の方法。 - 前記メインメモリ内の前記隣接空間と実質的に同じサイズを有する前記RAM内の第2の隣接空間は、前記隣接空間と実質的に同じ方式で領域及びスライスに分割され、
前記複数の項目は、前記隣接空間と実質的に同じ方式で前記第2の隣接空間に配置され、
当該方法は、前記複数のグループのうち1つについて、前記計算ユニットが、前記1つのグループに分類される項目が記憶される前記第2の隣接空間内のエリアの開始点及び前記エリア内の複数のスライスのうち少なくとも1つの開始点に関する情報を取得することを可能にする命令を発行するステップを更に含む、請求項4に記載の方法。 - ディープコンピューティングを加速させるようにデータを配置するためのシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサにより実行されたとき、前記1つ以上のプロセッサに対して、
複数の項目をメインメモリ内の隣接空間に記憶するステップであり、前記複数の項目は、複数のグループに分類され、前記記憶するステップは、前記複数のグループのうち1つに分類される項目を前記隣接空間内で連続して配置するステップを含む、ステップと、
前記複数の項目を前記メインメモリからチップ上のランダムアクセスメモリ(RAM)に送信するための命令を発行するステップであり、前記命令は、前記隣接空間を一緒に識別するアドレス及びサイズを含み、前記チップは、複数の乗算器を含む計算ユニットを含む、ステップと、
前記チップ上の前記計算ユニットに対して、前記RAMから前記複数の項目のうち数個を取得し、出力データを生成するために、前記複数の乗算器を使用して前記数個の項目で複数の並列演算を実行するように命令するステップと、
ニューラルネットワークに関する情報を受信するステップであり、前記複数のグループは、前記ニューラルネットワークの複数の層に対応し、前記複数の項目は、前記ニューラルネットワークのパラメータを含み、前記複数の並列演算は、前記複数の層のうち1つに関連する乗算に対応し、前記ニューラルネットワークに関する情報は、前記複数の層のうち1つについて、フィルタ数と、チャネル数と、フィルタサイズとの組み合わせを含む、ステップと、
前記1つの層について、前記チャネル数又は前記フィルタサイズに基づいて、スライス数を決定するステップであり、前記隣接空間は、複数の領域に分割され、各領域は隣接する、ステップと、
前記複数の領域のうち1つの中のエリアを少なくとも複数のスライスに分割するステップであり、各スライスが隣接する、ステップと
を実行させる命令を記憶した1つ以上のメモリと
を含み、
前記記憶するステップは、前記複数のスライスの開始点から同じオフセットで記憶された全ての項目が前記並列演算のために使用されるように、前記複数のスライスにわたって前記複数のグループのうち1つに分類される項目を配置するステップを含む、システム。 - データ管理の方法であって、
1つ以上のプロセッサの支援によって、それぞれが三次元数値配列のグループを含む複数のオブジェクトに関するデータを受信するステップと、
前記複数のオブジェクトにメインメモリ内の空間を割り当てるステップであり、前記空間は複数の領域を含む、ステップと、
前記複数のオブジェクトのうち1つに前記複数の領域のうち1つの中のエリアを割り振るステップと、
前記グループのサイズ及び1つのオブジェクトに含まれる前記三次元数値配列の次元に基づいて、前記1つのオブジェクトについてのスライス数を決定するステップと、
前記1つのオブジェクトについて前記エリアを少なくとも複数のスライスに分割するステップと、
少なくとも1つの数値項目が前記複数のスライスのそれぞれに記憶されるように、前記1つのオブジェクトに含まれる前記三次元配列内の数値項目を前記複数のスライスにわたって記憶するステップと
を含み、
当該方法は、
前記メインメモリ内の前記空間の内容をチップ上のランダムアクセスメモリ(RAM)内の第2の空間に送信するための命令を発行するステップであり、前記命令は、前記空間の開始アドレス及びサイズを含み、前記チップは、複数の乗算器を含む計算ユニットを含む、ステップと、
ニューラルネットワークに関する情報を受信するステップであり、前記複数のオブジェクトは、ニューラルネットワークの複数の層に対応し、各三次元数値配列は、フィルタに対応する、ステップと、
前記RAM内の所定のアドレスからの同じオフセットから数個の数値項目を取得し、出力データを生成するために、前記複数の乗算器を使用して前記数個の数値項目で複数の並列演算を実行するための命令を発行するステップであり、前記複数の並列演算は、前記複数の層のうち1つに関連する乗算に対応する、ステップと
を更に含む、方法。 - 番号を前記エリアに記憶する前に、前記空間の開始アドレス及びサイズを決定するステップ、又は前記複数のオブジェクトのうち第2のものに前記1つの領域内の第2のエリアを割り振るステップを更に含むか、或いは
前記複数の所定のアドレスは、複数のスライスの始まりであるか、或いは
前記RAM内の前記第2の空間は、前記メインメモリ内の前記空間と実質的に同じサイズを有し、前記メインメモリ内の前記空間と実質的に同じ方式で領域及びスライスに分割され、前記送信は、前記メインメモリ内の前記空間と実質的に同じ方式で前記第2の空間内の内容を配置することを含む、請求項7に記載の方法。 - 記憶された命令を有する非一時的なコンピュータ読み取り可能記憶媒体であって、
前記命令は、計算システムにより実行されたとき、前記計算システムに対して、ディープコンピューティングを加速させるようにデータを配置する方法を実行させ、当該方法は、
1つ以上のプロセッサの支援によって、それぞれが三次元数値配列のグループを含む複数のオブジェクトに関するデータを受信するステップと、
前記複数のオブジェクトにメインメモリ内の空間を割り当てるステップであり、前記空間は複数の領域を含む、ステップと、
前記複数のオブジェクトのうち1つに前記複数の領域のうち1つの中のエリアを割り振るステップと、
前記グループのサイズ及び前記1つのオブジェクトに含まれる前記三次元数値配列の次元に基づいて、前記1つのオブジェクトについてのスライス数を決定するステップと、
前記1つのオブジェクトについて前記エリアを少なくとも複数のスライスに分割するステップと、
少なくとも1つの数値項目が前記複数のスライスのそれぞれに記憶されるように、前記1つのオブジェクトに含まれる前記三次元配列内の数値項目を前記複数のスライスにわたって記憶するステップと、
前記メインメモリ内の前記空間の内容をチップ上のランダムアクセスメモリ(RAM)内の第2の空間に送信するための命令を発行するステップであり、前記命令は、前記空間の開始アドレス及びサイズを含み、前記チップは、複数の乗算器を含む計算ユニットを含み、前記RAM内の前記第2の空間は、前記メインメモリ内の前記空間と実質的に同じサイズを有し、前記メインメモリ内の前記空間と実質的に同じ方式で領域及びスライスに分割され、前記送信は、前記メインメモリ内の前記空間と実質的に同じ方式で前記第2の空間内の内容を配置することを含む、ステップと、
ニューラルネットワークに関する情報を受信するステップであり、前記複数のオブジェクトは、ニューラルネットワークの複数の層に対応し、各三次元数値配列は、フィルタに対応する、ステップと、
前記RAM内の複数の所定のアドレスからの同じオフセットから数個の数値項目を取得し、出力データを生成するために、前記複数の乗算器を使用して前記数個の数値項目で複数の並列演算を実行するための命令を発行するステップであり、前記複数の並列演算は、前記複数の層のうち1つに関連する乗算に対応する、ステップと
を含む、非一時的なコンピュータ読み取り可能記憶媒体。 - チップ上の集積回路であって、
項目のセットを隣接空間に記憶するように構成されたランダムアクセスメモリ(RAM)と、
1つ以上の命令に応じて並列演算を実行するように構成された複数の乗算器及び複数のマルチプレクサを含む計算ユニットと
を含み、
前記複数のマルチプレクサのサブセットは、前記複数の乗算器と接続され、
前記複数のマルチプレクサの前記サブセットは、複数の所定のアドレスからの1つのオフセットを使用して、前記並列演算のために前記項目のセットのサブセットを前記複数の乗算器に送信するようにプログラムされる、集積回路。 - 前記並列演算は、反復プロセスを形成するために数回実行され、
現在の回数における前記並列演算は、前記反復プロセスの次の回数において処理されるべき値のセットをもたらす、請求項10に記載の集積回路。 - 前記マルチプレクサのサブセットは、前記1つ以上の命令のうち1つに基づいて第1のセットの制御信号を受信するように構成され、
前記第1のセットの制御信号は、前記項目のサブセットを前記複数の乗算器に送信するための複数の所定の経路のうち1つを決定し、
前記計算ユニットは、前記複数の乗算器と接続された複数の加算器を更に含む、請求項10に記載の集積回路。 - 前記複数の加算器は、累算器であり、前記複数のマルチプレクサの第2のサブセットは、前記複数の加算器と接続され、前記マルチプレクサの第2のサブセットは、前記1つ以上の命令のうち1つに基づいて第2のセットの制御信号を受信するように構成され、前記第2のサブセットの制御信号は、前記複数の加算器のうち1つ以上において累算を可能にするための複数の所定のオプションのうち1つを決定する、請求項12に記載の集積回路。
- 前記複数のマルチプレクサの第2のサブセットは、前記複数の加算器により生成された項目を受信して前記RAMに送信するようにプログラムされ、前記マルチプレクサの第2のサブセットは、前記1つ以上の命令のうち1つに基づいて第2のセットの制御信号を受信するように構成され、前記第2のセットの制御信号は、前記複数の加算器により生成された項目を、前記RAM内の第2の複数の所定のアドレスからの第2のオフセットに送信するための第2の複数の所定の経路のうち1つを決定する、請求項12に記載の集積回路。
- 前記計算ユニットは、前記複数の加算器と接続された複数の調整器を更に含み、
前記複数のマルチプレクサの第2のサブセットは、前記複数の調整器と接続され、前記マルチプレクサの第2のサブセットは、前記1つ以上の命令のうち1つに基づいて第2のセットの制御信号を受信するように構成され、前記第2のセットの制御信号は、前記複数の調整器のうち1つ以上を有効にするための複数の所定のオプションのうち1つを決定するか、或いは
前記複数のマルチプレクサの第2のサブセットは、前記複数の調整器により生成された項目を受信して前記RAMに送信するようにプログラムされ、前記マルチプレクサの第2のサブセットは、前記1つ以上の命令のうち1つに基づいて第2のセットの制御信号を受信するように構成され、前記第2のセットの制御信号は、前記調整器により生成された項目を前記RAM内の第2の複数の所定のアドレスからの第2のオフセットに送信するための第2の複数の所定の経路のうち1つを更に決定する、請求項12に記載の集積回路。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2016/109257 | 2016-12-09 | ||
CNPCT/CN2016/109258 | 2016-12-09 | ||
CNPCT/CN2016/109257 | 2016-12-09 | ||
CNPCT/CN2016/109258 | 2016-12-09 | ||
CNPCT/CN2017/100201 | 2017-09-01 | ||
CNPCT/CN2017/100201 | 2017-09-01 | ||
PCT/CN2017/115213 WO2018103736A1 (en) | 2016-12-09 | 2017-12-08 | Systems and methods for data management |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020513637A JP2020513637A (ja) | 2020-05-14 |
JP6961011B2 true JP6961011B2 (ja) | 2021-11-05 |
Family
ID=62491592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019552327A Active JP6961011B2 (ja) | 2016-12-09 | 2017-12-08 | データ管理のためのシステム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (3) | US10241837B2 (ja) |
EP (1) | EP3552112A1 (ja) |
JP (1) | JP6961011B2 (ja) |
KR (1) | KR102224510B1 (ja) |
CN (1) | CN110050267B (ja) |
WO (1) | WO2018103736A1 (ja) |
Families Citing this family (89)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10366328B2 (en) * | 2017-09-19 | 2019-07-30 | Gyrfalcon Technology Inc. | Approximating fully-connected layers with multiple arrays of 3x3 convolutional filter kernels in a CNN based integrated circuit |
US10360470B2 (en) * | 2016-10-10 | 2019-07-23 | Gyrfalcon Technology Inc. | Implementation of MobileNet in a CNN based digital integrated circuit |
WO2018091486A1 (en) | 2016-11-16 | 2018-05-24 | Ventana Medical Systems, Inc. | Convolutional neural networks for locating objects of interest in images of biological samples |
EP3552112A1 (en) | 2016-12-09 | 2019-10-16 | Beijing Horizon Information Technology Co., Ltd. | Systems and methods for data management |
US10600147B2 (en) * | 2017-08-22 | 2020-03-24 | Intel Corporation | Efficient memory layout for enabling smart data compression in machine learning environments |
CN110245751B (zh) * | 2017-08-31 | 2020-10-09 | 中科寒武纪科技股份有限公司 | 一种gemm运算方法及装置 |
US11620490B2 (en) * | 2017-10-17 | 2023-04-04 | Xilinx, Inc. | Multi-layer neural network processing by a neural network accelerator using host communicated merged weights and a package of per-layer instructions |
WO2019090325A1 (en) * | 2017-11-06 | 2019-05-09 | Neuralmagic, Inc. | Methods and systems for improved transforms in convolutional neural networks |
US11521046B2 (en) * | 2017-11-08 | 2022-12-06 | Samsung Electronics Co., Ltd. | Time-delayed convolutions for neural network device and method |
US11734545B2 (en) * | 2017-11-14 | 2023-08-22 | Google Llc | Highly efficient convolutional neural networks |
US20190156214A1 (en) | 2017-11-18 | 2019-05-23 | Neuralmagic Inc. | Systems and methods for exchange of data in distributed training of machine learning algorithms |
EP3514733A1 (en) * | 2018-01-18 | 2019-07-24 | Aptiv Technologies Limited | A device and a method for image classification using a convolutional neural network |
US20210004668A1 (en) * | 2018-02-16 | 2021-01-07 | The Governing Council Of The University Of Toronto | Neural network accelerator |
US11468302B2 (en) | 2018-03-13 | 2022-10-11 | Recogni Inc. | Efficient convolutional engine |
US11783174B2 (en) * | 2018-05-04 | 2023-10-10 | Apple Inc. | Splitting of input data for processing in neural network processor |
WO2020000382A1 (en) * | 2018-06-29 | 2020-01-02 | Hangzhou Eyecloud Technologies Co., Ltd. | Motion-based object detection method, object detection apparatus and electronic device |
US10832133B2 (en) | 2018-05-31 | 2020-11-10 | Neuralmagic Inc. | System and method of executing neural networks |
US11449363B2 (en) | 2018-05-31 | 2022-09-20 | Neuralmagic Inc. | Systems and methods for improved neural network execution |
US10984245B1 (en) * | 2018-06-11 | 2021-04-20 | Facebook, Inc. | Convolutional neural network based on groupwise convolution for efficient video analysis |
US11620528B2 (en) * | 2018-06-12 | 2023-04-04 | Ciena Corporation | Pattern detection in time-series data |
CN108921283A (zh) * | 2018-06-13 | 2018-11-30 | 深圳市商汤科技有限公司 | 深度神经网络的归一化方法和装置、设备、存储介质 |
JP6970827B2 (ja) * | 2018-06-25 | 2021-11-24 | オリンパス株式会社 | 演算処理装置 |
IN201811023855A (ja) * | 2018-06-26 | 2018-07-13 | Hcl Technologies Ltd | |
US10970120B2 (en) | 2018-06-26 | 2021-04-06 | Advanced Micro Devices, Inc. | Method and system for opportunistic load balancing in neural networks using metadata |
EP3798850A4 (en) | 2018-06-27 | 2022-03-23 | Shanghai Cambricon Information Technology Co., Ltd | ON-CHIP CODE BREAKPOINT DEBUG METHOD, ON-CHIP PROCESSOR AND CHIP BREAKPOINT DEBUG SYSTEM |
CN111225178A (zh) * | 2018-11-23 | 2020-06-02 | 杭州眼云智家科技有限公司 | 基于对象检测的视频监控方法及其系统 |
JP6902000B2 (ja) | 2018-07-10 | 2021-07-14 | 株式会社東芝 | 演算装置 |
CN112732601A (zh) * | 2018-08-28 | 2021-04-30 | 中科寒武纪科技股份有限公司 | 数据预处理方法、装置、计算机设备和存储介质 |
EP3757896B1 (en) | 2018-08-28 | 2023-01-11 | Cambricon Technologies Corporation Limited | Method and device for pre-processing data in a neural network |
US11579921B2 (en) * | 2018-08-29 | 2023-02-14 | Alibaba Group Holding Limited | Method and system for performing parallel computations to generate multiple output feature maps |
US11868875B1 (en) * | 2018-09-10 | 2024-01-09 | Amazon Technologies, Inc. | Data selection circuit |
US11429824B2 (en) * | 2018-09-11 | 2022-08-30 | Intel Corporation | Method and system of deep supervision object detection for reducing resource usage |
JP7391883B2 (ja) * | 2018-09-13 | 2023-12-05 | インテル コーポレイション | 顔認識のための圧縮-拡張深さ方向畳み込みニューラルネットワーク |
WO2020072274A1 (en) | 2018-10-01 | 2020-04-09 | Neuralmagic Inc. | Systems and methods for neural network pruning with accuracy preservation |
KR102168485B1 (ko) * | 2018-10-02 | 2020-10-21 | 한림대학교 산학협력단 | 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법 |
KR102210806B1 (ko) * | 2018-10-02 | 2021-02-01 | 한림대학교 산학협력단 | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 |
JP7165018B2 (ja) * | 2018-10-03 | 2022-11-02 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
CN111078625B (zh) * | 2018-10-18 | 2022-03-29 | 上海寒武纪信息科技有限公司 | 片上网络处理系统和片上网络数据处理方法 |
WO2020078470A1 (zh) * | 2018-10-18 | 2020-04-23 | 上海寒武纪信息科技有限公司 | 片上网络数据处理方法及装置 |
CN111078624B (zh) * | 2018-10-18 | 2022-03-25 | 上海寒武纪信息科技有限公司 | 片上网络处理系统和片上网络数据处理方法 |
CN111078623B (zh) * | 2018-10-18 | 2022-03-29 | 上海寒武纪信息科技有限公司 | 片上网络处理系统和片上网络数据处理方法 |
KR20200051395A (ko) * | 2018-11-05 | 2020-05-13 | 한국전자통신연구원 | 신경망 제어 장치 및 방법 |
KR102451519B1 (ko) * | 2018-11-20 | 2022-10-07 | 삼성전자주식회사 | 룩업 테이블 기반의 비트-시리얼 처리 요소를 포함하는 심층 신경망 가속기 |
US11321819B2 (en) * | 2019-01-07 | 2022-05-03 | Hcl Technologies Limited | System and method for performing a convolution operation |
IN201911000737A (ja) * | 2019-01-07 | 2019-09-22 | Hcl Technologies Limited | |
US11544559B2 (en) | 2019-01-08 | 2023-01-03 | Neuralmagic Inc. | System and method for executing convolution in a neural network |
JP7241563B2 (ja) * | 2019-02-15 | 2023-03-17 | 三菱電機株式会社 | ニューラルネットワーク回路 |
US10652535B1 (en) * | 2019-02-27 | 2020-05-12 | Google Llc | Memory-efficient filtering approach for image and video coding |
WO2020194465A1 (ja) * | 2019-03-25 | 2020-10-01 | 日本電気株式会社 | ニューラルネットワーク回路 |
CN110009103B (zh) * | 2019-03-26 | 2021-06-29 | 深兰科技(上海)有限公司 | 一种深度学习卷积计算的方法和装置 |
CN110070867B (zh) * | 2019-04-26 | 2022-03-11 | 珠海普林芯驰科技有限公司 | 语音指令识别方法、计算机装置及计算机可读存储介质 |
JP7278150B2 (ja) * | 2019-05-23 | 2023-05-19 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法 |
CN110298441B (zh) * | 2019-05-24 | 2022-01-11 | 深圳云天励飞技术有限公司 | 一种数据处理方法、电子装置及计算机可读存储介质 |
KR20220047560A (ko) * | 2019-06-04 | 2022-04-18 | 유니버시티 오브 매니토바 | 이미지 내의 관심 물품을 분할하기 위해 이미지를 분석하는 컴퓨터 구현 방법 |
JP7299770B2 (ja) * | 2019-07-01 | 2023-06-28 | キヤノン株式会社 | 演算処理装置及び演算処理方法 |
WO2021026225A1 (en) * | 2019-08-08 | 2021-02-11 | Neuralmagic Inc. | System and method of accelerating execution of a neural network |
WO2021025214A1 (ko) * | 2019-08-08 | 2021-02-11 | 엘지전자 주식회사 | 경로 제공 장치 및 그것의 경로 제공 방법 |
CN110490302B (zh) * | 2019-08-12 | 2022-06-07 | 中科寒武纪科技股份有限公司 | 一种神经网络编译优化方法、装置以及相关产品 |
CN110569970B (zh) * | 2019-09-12 | 2022-03-15 | 合肥工业大学 | 一种应用于卷积神经网络中硬件加速器的数据传输方法 |
US11455368B2 (en) * | 2019-10-02 | 2022-09-27 | Flex Logix Technologies, Inc. | MAC processing pipeline having conversion circuitry, and methods of operating same |
US11568062B2 (en) * | 2019-10-10 | 2023-01-31 | Baidu Usa Llc | Methods to protect neural network models |
CN110647984B (zh) * | 2019-10-25 | 2022-07-12 | 芯盟科技有限公司 | 芯片、集成处理设备及其操作方法 |
CN110852385B (zh) * | 2019-11-12 | 2022-07-12 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和存储介质 |
KR20210076420A (ko) * | 2019-12-16 | 2021-06-24 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN110728367B (zh) * | 2019-12-18 | 2020-05-05 | 深圳鲲云信息科技有限公司 | 用于神经网络的数据存储方法及装置 |
KR20210079785A (ko) * | 2019-12-20 | 2021-06-30 | 삼성전자주식회사 | 뉴럴 네트워크의 컨볼루션 연산 처리 방법 및 장치 |
CN111178505B (zh) * | 2019-12-23 | 2023-04-07 | 福建星网视易信息系统有限公司 | 卷积神经网络的加速方法和计算机可读存储介质 |
KR20210082970A (ko) * | 2019-12-26 | 2021-07-06 | 삼성전자주식회사 | 컨볼루션 연산을 수행하는 방법 및 장치 |
US20210224630A1 (en) * | 2020-01-21 | 2021-07-22 | Arm Limited | Neural processing system |
DE102020201182A1 (de) * | 2020-01-31 | 2021-08-05 | Robert Bosch Gesellschaft mit beschränkter Haftung | Hardwarebeschleunigte Berechnung von Faltungen |
US10713493B1 (en) * | 2020-02-06 | 2020-07-14 | Shenzhen Malong Technologies Co., Ltd. | 4D convolutional neural networks for video recognition |
US11507843B2 (en) * | 2020-03-30 | 2022-11-22 | Western Digital Technologies, Inc. | Separate storage and control of static and dynamic neural network data within a non-volatile memory array |
US20210312258A1 (en) * | 2020-04-01 | 2021-10-07 | Sony Corporation | Computing temporal convolution networks in real time |
CN111523642B (zh) * | 2020-04-10 | 2023-03-28 | 星宸科技股份有限公司 | 用于卷积运算的数据重用方法、运算方法及装置、芯片 |
US20210357730A1 (en) * | 2020-05-12 | 2021-11-18 | Alibaba Group Holding Limited | Multi-size convolutional layer background |
US11774553B2 (en) * | 2020-06-18 | 2023-10-03 | Infineon Technologies Ag | Parametric CNN for radar processing |
JP2022022876A (ja) | 2020-07-09 | 2022-02-07 | キヤノン株式会社 | 畳み込みニューラルネットワーク処理装置 |
CN111767508B (zh) * | 2020-07-09 | 2024-02-23 | 地平线(上海)人工智能技术有限公司 | 计算机实现张量数据计算的方法、装置、介质和设备 |
IT202000016909A1 (it) * | 2020-07-13 | 2022-01-13 | St Microelectronics Srl | Procedimento di elaborazione dati implementato su elaboratore, sistema micro-controllore e prodotto informatico corrispondenti |
US11182319B1 (en) * | 2020-10-13 | 2021-11-23 | Omnivision Technologies, Inc. | Camera system with PWM-activated, burst-self-refresh, DRAM to reduce standby power consumption |
KR20220049325A (ko) * | 2020-10-14 | 2022-04-21 | 삼성전자주식회사 | 가속기 및 이를 포함한 전자 장치 |
CN112231631A (zh) * | 2020-10-29 | 2021-01-15 | 北京知存科技有限公司 | 存算一体芯片并行工作的流水线控制方法 |
CN112257859A (zh) * | 2020-10-30 | 2021-01-22 | 地平线(上海)人工智能技术有限公司 | 特征数据处理方法及装置、设备、存储介质 |
US11556757B1 (en) | 2020-12-10 | 2023-01-17 | Neuralmagic Ltd. | System and method of executing deep tensor columns in neural networks |
US11144822B1 (en) * | 2021-01-04 | 2021-10-12 | Edgecortix Pte. Ltd. | Neural network accelerator run-time reconfigurability |
KR102368075B1 (ko) * | 2021-06-04 | 2022-02-25 | 오픈엣지테크놀로지 주식회사 | 고효율 풀링 방법 및 이를 위한 장치 |
CN113688069B (zh) * | 2021-09-10 | 2022-08-02 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备及介质 |
US11960982B1 (en) | 2021-10-21 | 2024-04-16 | Neuralmagic, Inc. | System and method of determining and executing deep tensor columns in neural networks |
TWI790789B (zh) * | 2021-10-22 | 2023-01-21 | 大陸商星宸科技股份有限公司 | 卷積運算方法 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5099417A (en) * | 1987-03-13 | 1992-03-24 | Texas Instruments Incorporated | Data processing device with improved direct memory access |
JP2729987B2 (ja) * | 1989-09-20 | 1998-03-18 | 富士通株式会社 | ネットワーク構成データ処理装置の重み保持方式 |
US5087826A (en) | 1990-12-28 | 1992-02-11 | Intel Corporation | Multi-layer neural network employing multiplexed output neurons |
US5867726A (en) | 1995-05-02 | 1999-02-02 | Hitachi, Ltd. | Microcomputer |
RU2131145C1 (ru) | 1998-06-16 | 1999-05-27 | Закрытое акционерное общество Научно-технический центр "Модуль" | Нейропроцессор, устройство для вычисления функций насыщения, вычислительное устройство и сумматор |
US7873815B2 (en) * | 2004-03-04 | 2011-01-18 | Qualcomm Incorporated | Digital signal processors with configurable dual-MAC and dual-ALU |
US7640285B1 (en) * | 2004-10-20 | 2009-12-29 | Nvidia Corporation | Multipurpose arithmetic functional unit |
US8190669B1 (en) * | 2004-10-20 | 2012-05-29 | Nvidia Corporation | Multipurpose arithmetic functional unit |
US8037119B1 (en) * | 2006-02-21 | 2011-10-11 | Nvidia Corporation | Multipurpose functional unit with single-precision and double-precision operations |
US20120151145A1 (en) * | 2010-12-13 | 2012-06-14 | Advanced Micro Devices, Inc. | Data Driven Micro-Scheduling of the Individual Processing Elements of a Wide Vector SIMD Processing Unit |
CN102497567B (zh) * | 2011-12-06 | 2013-11-06 | 合肥工业大学 | 一种用于固态真三维体积式显示的体素数据重构方法 |
US9235414B2 (en) * | 2011-12-19 | 2016-01-12 | Intel Corporation | SIMD integer multiply-accumulate instruction for multi-precision arithmetic |
US9589344B2 (en) | 2012-12-28 | 2017-03-07 | Hitachi, Ltd. | Volume data analysis system and method therefor |
US10318444B2 (en) | 2013-04-11 | 2019-06-11 | The Regents Of The University Of California | Collective memory transfer devices and methods for multiple-core processors |
CN103310228B (zh) * | 2013-05-28 | 2017-09-29 | 南京邮电大学 | 基于归一化相关系数的模板匹配高速并行实现方法和装置 |
US9978014B2 (en) | 2013-12-18 | 2018-05-22 | Intel Corporation | Reconfigurable processing unit |
CN103761213A (zh) * | 2014-02-14 | 2014-04-30 | 上海交通大学 | 基于循环流水计算的片上阵列系统 |
JP6393058B2 (ja) * | 2014-03-31 | 2018-09-19 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
US10255547B2 (en) * | 2014-12-04 | 2019-04-09 | Nvidia Corporation | Indirectly accessing sample data to perform multi-convolution operations in a parallel processing system |
CN104935831B (zh) * | 2015-06-12 | 2017-10-27 | 中国科学院自动化研究所 | 并行多相位图像插值装置和方法 |
US10509765B2 (en) * | 2015-10-08 | 2019-12-17 | Via Alliance Semiconductor Co., Ltd. | Neural processing unit that selectively writes back to neural memory either activation function output or accumulator value |
CN105488565A (zh) | 2015-11-17 | 2016-04-13 | 中国科学院计算技术研究所 | 加速深度神经网络算法的加速芯片的运算装置及方法 |
CN107609642B (zh) | 2016-01-20 | 2021-08-31 | 中科寒武纪科技股份有限公司 | 计算装置和方法 |
US20190138922A1 (en) | 2016-04-15 | 2019-05-09 | Cambricon Technologies Corporation Limited | Apparatus and methods for forward propagation in neural networks supporting discrete data |
US20170357894A1 (en) * | 2016-06-10 | 2017-12-14 | Apple Inc. | Data packing for convolution of artificial neural networks |
US10891538B2 (en) * | 2016-08-11 | 2021-01-12 | Nvidia Corporation | Sparse convolutional neural network accelerator |
EP3552112A1 (en) | 2016-12-09 | 2019-10-16 | Beijing Horizon Information Technology Co., Ltd. | Systems and methods for data management |
US10387298B2 (en) * | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
CN108108811B (zh) | 2017-12-18 | 2021-07-30 | 南京地平线机器人技术有限公司 | 神经网络中的卷积计算方法和电子设备 |
-
2017
- 2017-12-08 EP EP17879175.2A patent/EP3552112A1/en not_active Withdrawn
- 2017-12-08 KR KR1020197019730A patent/KR102224510B1/ko active IP Right Grant
- 2017-12-08 WO PCT/CN2017/115213 patent/WO2018103736A1/en unknown
- 2017-12-08 JP JP2019552327A patent/JP6961011B2/ja active Active
- 2017-12-08 CN CN201780075535.7A patent/CN110050267B/zh active Active
-
2018
- 2018-02-05 US US15/888,380 patent/US10241837B2/en active Active
-
2019
- 2019-01-10 US US16/244,510 patent/US11360818B2/en active Active
- 2019-03-06 US US16/293,912 patent/US11360819B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3552112A1 (en) | 2019-10-16 |
US11360819B2 (en) | 2022-06-14 |
US20200065154A1 (en) | 2020-02-27 |
US20190179674A1 (en) | 2019-06-13 |
US10241837B2 (en) | 2019-03-26 |
KR102224510B1 (ko) | 2021-03-05 |
US11360818B2 (en) | 2022-06-14 |
US20180173571A1 (en) | 2018-06-21 |
CN110050267B (zh) | 2023-05-26 |
WO2018103736A1 (en) | 2018-06-14 |
KR20190090858A (ko) | 2019-08-02 |
CN110050267A (zh) | 2019-07-23 |
JP2020513637A (ja) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6961011B2 (ja) | データ管理のためのシステム及び方法 | |
US11868895B2 (en) | Dynamic processing element array expansion | |
US11734006B2 (en) | Deep vision processor | |
US20220335284A1 (en) | Apparatus and method with neural network | |
CN110197276B (zh) | 用于深度学习加速的数据体雕刻器 | |
US11521039B2 (en) | Method and apparatus with neural network performing convolution | |
TWI804684B (zh) | 用於在深度神經網路中利用啟動稀疏性的方法與裝置 | |
Orchard et al. | Fast neuromimetic object recognition using FPGA outperforms GPU implementations | |
US20230359876A1 (en) | Efficient utilization of processing element array | |
JP6961640B2 (ja) | データ処理のシステムおよび方法 | |
US11144291B1 (en) | Loop-oriented neural network compilation | |
CN110766127A (zh) | 神经网络计算专用电路及其相关计算平台与实现方法 | |
CN112668381A (zh) | 用于识别图像的方法和设备 | |
Hwang et al. | An efficient FPGA-based architecture for convolutional neural networks | |
CN117063182A (zh) | 一种数据处理方法和装置 | |
MAI | Study on an Efficient Artificial Intelligence Architecture for Image Classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190725 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210720 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210720 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210820 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211012 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6961011 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |