JP6719537B2 - 演算装置、演算実行設備及び演算実行方法 - Google Patents
演算装置、演算実行設備及び演算実行方法 Download PDFInfo
- Publication number
- JP6719537B2 JP6719537B2 JP2018225532A JP2018225532A JP6719537B2 JP 6719537 B2 JP6719537 B2 JP 6719537B2 JP 2018225532 A JP2018225532 A JP 2018225532A JP 2018225532 A JP2018225532 A JP 2018225532A JP 6719537 B2 JP6719537 B2 JP 6719537B2
- Authority
- JP
- Japan
- Prior art keywords
- module
- arithmetic
- calculation
- convolution
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
- Stored Programmes (AREA)
Description
該選択結果は、入力データが拡張モジュールを流れるかどうかによって決定される。本実施例において、拡張モジュールを用いて拡張操作を実行することにより、逆畳み込み操作効果を実現する。具体的に実現するとき、拡張モジュールの後に逆畳み込みモジュールの代わりに畳み込みモジュールを接続してもよい。具体的に、単一命令におけるLINES値に基づいて決定されてもよい。
該選択結果は、畳み込みモジュールが畳み込み演算の後でプーリング演算を行うかどうか、及び畳み込みモジュールの実行中のストライドが1より大きいかどうかによって決定される。具体的に、単一命令におけるSTRIDE値に基づいて決定されてもよい。
該選択結果は、畳み込みモジュールに1*1畳み込みカーネルサイズの畳み込み層が含まれるかどうかによって決定される。具体的に、単一命令におけるKERNELSIZE1値、KERNELSIZE2値に基づいて決定されてもよい。
該選択は、量子化モジュールによって畳み込みモジュールから出力されたデータに対して量子化処理を行って、非線形を導入するかどうかによって決定される。具体的に、単一命令におけるQUANTIZING値及びQUANTIZINGBIT値に基づいて決定されてもよい。
演算装置の現在層演算をスタートするとき、現在層演算に対応する現在の単一命令を読み取るステップS902と、
現在の単一命令のモジュール選択パラメータ及びモジュール動作パラメータを解析し、現在層演算に必要な機能演算モジュール及び機能演算モジュールに対応するモジュール動作パラメータを決定するステップS904と、
現在層演算に必要な機能演算モジュール及び機能演算モジュールに対応するモジュール動作パラメータに基づいて、演算装置における演算パスを決定し、演算パスは現在層演算に必要な機能演算モジュールを連通してなるステップS906と、
現在層演算の入力データを演算装置に入力することにより、演算装置が決定された演算パスを利用して入力データを演算処理し、現在層演算の出力データを生成し、現在層演算の入力データが演算装置の前層演算における出力データであり、現在層が第一層である場合、第一層演算の入力データが処理対象画像であるステップS908と、を含んでもよい。
メモリには、更に各演算層に対応するネットワークパラメータ、具体的に各演算層に対応する機能演算モジュールの演算時に必要なパラメータ、例えば重みデータW data、閾値データBT data、畳み込みカーネルパラメータ等が記憶される。コントローラは現在層演算の入力データを演算装置に入力するとき、更にメモリから現在層のネットワークパラメータを読み取る。コントローラはメモリに記憶される単一命令に基づいて演算装置の演算パスを決定し、次に読み取ったネットワークパラメータと合わせて、入力データを演算処理し、出力データを生成することができると理解される。
Claims (13)
- 演算装置であって、
マルチニューラルネットワークアーキテクチャを実現することに用いられ、複数の機能演算モジュールを含み、前記機能演算モジュールはスプライスモジュール、拡張モジュール、畳み込みモジュール及び量子化モジュールのうちの少なくとも1つを含み、
複数の前記機能演算モジュールを組み合わせることで、複数の演算パスを連通形成することができ、すべての前記演算パスはいずれも少なくとも前記スプライスモジュール及び前記畳み込みモジュールを含み、それぞれの前記演算パスは1つの計算ロジックを実現することに用いられ、前記計算ロジックは畳み込み操作、逆畳み込み操作、プーリング操作、量子化操作及び全結合操作のうちの少なくとも1つを含むことを特徴とする演算装置。 - それぞれの前記機能演算モジュールが1つ又は複数の演算タイプに対応し、前記演算タイプはスプライス演算、拡張演算、畳み込み演算、プーリング演算、量子化演算、非線形演算又は全結合演算を含むことを特徴とする請求項1に記載の演算装置。
- 第一演算パスには更に前記拡張モジュールが含まれ、逆畳み込み操作を実現するために、前記畳み込みモジュールが前記拡張モジュールの後に接続されることを特徴とする請求項1に記載の演算装置。
- 全結合操作を実現するために、第二演算パスにおいて、前記畳み込みモジュールは1*1畳み込みカーネルサイズの畳み込み層を含むことを特徴とする請求項1に記載の演算装置。
- 第三演算パスには更に量子化モジュールが含まれ、且つ量子化操作を実現するために、前記量子化モジュールが前記第三演算パスの末端に設置されることを特徴とする請求項1に記載の演算装置。
- 第四演算パスには、畳み込み操作を実現するために、前記スプライスモジュール及び前記畳み込みモジュールのみが含まれることを特徴とする請求項1に記載の演算装置。
- 前記畳み込みモジュールはストライドを持つ畳み込み層を含み、
前記畳み込み層のストライドが1である場合、前記畳み込みモジュールは畳み込み演算を実現することに用いられ、前記畳み込み層のストライドが1ではない場合、前記畳み込みモジュールは畳み込み演算及びプーリング演算を実現することに用いられることを特徴とする請求項2に記載の演算装置。 - 前記量子化モジュールは浮動小数点数値を下位ビット値に量子化することにより、パラメータ圧縮及び非線形演算を実現することを特徴とする請求項2に記載の演算装置。
- 前記機能演算モジュールは更に逆畳み込みモジュール、プーリングモジュール又は全結合モジュールを含むことを特徴とする請求項1に記載の演算装置。
- 演算実行設備であって、
コントローラと、メモリと、請求項1〜9のいずれか一項に記載の演算装置とを含み、前記メモリは予め設定された単一命令セットを記憶することに用いられ、前記単一命令セットは前記演算装置が多層演算を行う際に各層演算毎に対応する単一命令を含み、それぞれの前記単一命令はモジュール選択パラメータ及びモジュール動作パラメータを含み、
前記コントローラは、前記メモリから前記演算装置に必要な現在層演算に対応する現在の単一命令を読み取って、前記現在の単一命令に含まれるモジュール選択パラメータ及びモジュール動作パラメータを解析することにより、前記現在の単一命令に対応する演算パスを決定することに用いられ、前記コントローラは、更に前記演算装置に制御信号を送信することにより、前記演算装置に前記現在の単一命令に対応する演算パスを連通させることに用いられ、
前記演算装置は、前記コントローラの制御下で前記現在の単一命令に対応する演算パスを連通させ、前記現在の単一命令に対応する演算パスを利用して、前記演算装置の現在層演算における入力データに対して演算処理を行い、前記現在層演算の出力データを生成することに用いられ、前記現在層演算の入力データは前記演算装置が直前の層演算時に取得した出力データであり、現在層が第一層である場合、第一層演算の入力データが処理対象画像であることを特徴とする演算実行設備。 - 前記単一命令にはパラメータリストを持ち、前記パラメータリストには前記モジュール選択パラメータ及び前記モジュール動作パラメータが1つずつ示されることを特徴とする請求項10に記載の演算実行設備。
- 請求項11に記載の演算実行設備に応用され、前記演算実行設備のコントローラで実行される演算実行方法であって、
前記演算装置の現在層演算をスタートするとき、前記現在層演算に対応する現在の単一命令を読み取るステップと、
前記現在の単一命令のモジュール選択パラメータ及びモジュール動作パラメータを解析し、前記現在層演算に必要な機能演算モジュール及び前記機能演算モジュールに対応するモジュール動作パラメータを決定するステップと、
前記現在層演算に必要な機能演算モジュール及び前記機能演算モジュールに対応するモジュール動作パラメータに基づいて、前記演算装置における演算パスを決定し、前記演算パスは前記現在層演算に必要な機能演算モジュールを連通してなるステップと、
前記現在層演算の入力データを前記演算装置に入力することにより、前記演算装置は、決定された前記演算パスを利用して前記入力データに対して演算処理を行い、前記現在層演算の出力データを生成し、前記現在層演算の入力データが前記演算装置の直前の層演算における出力データであり、現在層が第一層である場合、第一層演算の入力データが処理対象画像であるステップと、
を含むことを特徴とする演算実行方法。 - コンピュータプログラムが記憶されるコンピュータで読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサで実行されるとき、上記請求項12に記載の演算実行方法のステップを実行することを特徴とするコンピュータで読み取り可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810151426.5 | 2018-02-13 | ||
CN201810151426.5A CN108364061B (zh) | 2018-02-13 | 2018-02-13 | 运算装置、运算执行设备及运算执行方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019139747A JP2019139747A (ja) | 2019-08-22 |
JP6719537B2 true JP6719537B2 (ja) | 2020-07-08 |
Family
ID=63002488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018225532A Active JP6719537B2 (ja) | 2018-02-13 | 2018-11-30 | 演算装置、演算実行設備及び演算実行方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190251424A1 (ja) |
EP (1) | EP3525138A1 (ja) |
JP (1) | JP6719537B2 (ja) |
KR (1) | KR102326918B1 (ja) |
CN (1) | CN108364061B (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110929837B (zh) * | 2018-09-19 | 2024-05-10 | 北京搜狗科技发展有限公司 | 一种联想词预测方法及装置 |
JP6886747B2 (ja) * | 2018-10-10 | 2021-06-16 | LeapMind株式会社 | ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、およびニューラルネットワーク処理プログラム |
KR20200043169A (ko) * | 2018-10-17 | 2020-04-27 | 삼성전자주식회사 | 뉴럴 네트워크의 파라미터를 양자화하는 방법 및 장치 |
CN111079925B (zh) * | 2018-10-19 | 2021-04-09 | 中科寒武纪科技股份有限公司 | 运算方法、装置及相关产品 |
CN111078283B (zh) * | 2018-10-19 | 2021-02-09 | 中科寒武纪科技股份有限公司 | 运算方法、装置及相关产品 |
CN109472353B (zh) * | 2018-11-22 | 2020-11-03 | 浪潮集团有限公司 | 一种卷积神经网络量化电路及量化方法 |
CN109389212B (zh) * | 2018-12-30 | 2022-03-25 | 南京大学 | 一种面向低位宽卷积神经网络的可重构激活量化池化系统 |
CN109800872B (zh) * | 2019-01-28 | 2022-12-16 | 电子科技大学 | 一种基于分段复用和参数量化共享的神经形态处理器 |
US11175898B2 (en) * | 2019-05-31 | 2021-11-16 | Apple Inc. | Compiling code for a machine learning model for execution on a specialized processor |
CN110543849B (zh) * | 2019-08-30 | 2022-10-04 | 北京市商汤科技开发有限公司 | 检测器的配置方法及装置、电子设备和存储介质 |
CN112765541B (zh) * | 2019-11-01 | 2024-02-23 | 中科寒武纪科技股份有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
KR20210101903A (ko) | 2020-02-11 | 2021-08-19 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
KR20220163977A (ko) * | 2020-04-03 | 2022-12-12 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 반도체 장치 |
JP6896306B1 (ja) * | 2020-04-13 | 2021-06-30 | LeapMind株式会社 | ニューラルネットワーク回路、エッジデバイスおよびニューラルネットワーク演算方法 |
WO2021210527A1 (ja) * | 2020-04-13 | 2021-10-21 | LeapMind株式会社 | ニューラルネットワーク回路の制御方法 |
CN111738423A (zh) * | 2020-06-28 | 2020-10-02 | 湖南国科微电子股份有限公司 | 神经网络模型的编译方法、装置、存储介质及电子设备 |
JPWO2022004815A1 (ja) * | 2020-06-30 | 2022-01-06 | ||
CN111986165B (zh) * | 2020-07-31 | 2024-04-09 | 北京深睿博联科技有限责任公司 | 一种乳房图像中的钙化检出方法及装置 |
JP6931252B1 (ja) * | 2020-08-07 | 2021-09-01 | LeapMind株式会社 | ニューラルネットワーク回路およびニューラルネットワーク回路の制御方法 |
US20220222519A1 (en) * | 2021-01-13 | 2022-07-14 | Mipsology SAS | Optimizing operations in artificial neural network |
CN113469333B (zh) * | 2021-06-28 | 2023-11-10 | 上海寒武纪信息科技有限公司 | 执行神经网络模型的人工智能处理器、方法及相关产品 |
CN117807082A (zh) * | 2023-12-20 | 2024-04-02 | 中科驭数(北京)科技有限公司 | 哈希处理方法、装置、设备及计算机可读存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6464075A (en) * | 1987-09-03 | 1989-03-09 | Nec Corp | Image processor |
KR100445264B1 (ko) * | 2002-11-06 | 2004-08-21 | 학교법인 인하학원 | 재구성능력 및 확장능력을 가진 신경회로망 하드웨어 |
JP2009070265A (ja) * | 2007-09-14 | 2009-04-02 | Ricoh Co Ltd | 情報処理装置 |
JP5772442B2 (ja) * | 2011-09-22 | 2015-09-02 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
US9721319B2 (en) * | 2011-10-14 | 2017-08-01 | Mastercard International Incorporated | Tap and wireless payment methods and devices |
US9811775B2 (en) * | 2012-12-24 | 2017-11-07 | Google Inc. | Parallelizing neural networks during training |
CN105701120B (zh) | 2014-11-28 | 2019-05-03 | 华为技术有限公司 | 确定语义匹配度的方法和装置 |
US10083395B2 (en) * | 2015-05-21 | 2018-09-25 | Google Llc | Batch processing in a neural network processor |
US10198624B2 (en) * | 2016-02-18 | 2019-02-05 | Pinscreen, Inc. | Segmentation-guided real-time facial performance capture |
CN107341547B (zh) * | 2016-04-29 | 2021-04-20 | 中科寒武纪科技股份有限公司 | 一种用于执行卷积神经网络训练的装置和方法 |
CN107590153B (zh) | 2016-07-08 | 2021-04-27 | 微软技术许可有限责任公司 | 使用卷积神经网络的对话相关性建模 |
CN106203622B (zh) * | 2016-07-14 | 2018-12-25 | 杭州华为数字技术有限公司 | 神经网络运算装置 |
US10083347B2 (en) | 2016-07-29 | 2018-09-25 | NTech lab LLC | Face identification using artificial neural network |
KR20190068255A (ko) * | 2017-12-08 | 2019-06-18 | 삼성전자주식회사 | 고정 소수점 뉴럴 네트워크를 생성하는 방법 및 장치 |
-
2018
- 2018-02-13 CN CN201810151426.5A patent/CN108364061B/zh active Active
- 2018-11-30 JP JP2018225532A patent/JP6719537B2/ja active Active
- 2018-12-07 KR KR1020180157395A patent/KR102326918B1/ko active IP Right Grant
- 2018-12-07 US US16/213,697 patent/US20190251424A1/en not_active Abandoned
- 2018-12-07 EP EP18211066.8A patent/EP3525138A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
KR20190098033A (ko) | 2019-08-21 |
US20190251424A1 (en) | 2019-08-15 |
EP3525138A1 (en) | 2019-08-14 |
CN108364061B (zh) | 2020-05-05 |
CN108364061A (zh) | 2018-08-03 |
KR102326918B1 (ko) | 2021-11-17 |
JP2019139747A (ja) | 2019-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6719537B2 (ja) | 演算装置、演算実行設備及び演算実行方法 | |
CN111652368B (zh) | 一种数据处理方法及相关产品 | |
Yang et al. | Synetgy: Algorithm-hardware co-design for convnet accelerators on embedded fpgas | |
Emmons et al. | Cracking open the dnn black-box: Video analytics with dnns across the camera-cloud boundary | |
CN110427359A (zh) | 一种图数据处理方法和装置 | |
KR102585470B1 (ko) | 정보 처리장치, 정보 처리방법, 비일시적인 컴퓨터 판독가능한 기억매체 | |
US11967120B2 (en) | Attribute coding of duplicate points for point cloud coding | |
Niu et al. | Reuse kernels or activations? A flexible dataflow for low-latency spectral CNN acceleration | |
JP2020087127A (ja) | グラフ構造を有するデータのエンコードに関するプログラム、情報処理方法及び情報処理システム | |
JP2020149156A (ja) | データ圧縮装置、データ処理装置、データ圧縮方法、プログラム、及び学習済みモデル | |
WO2020164644A2 (zh) | 神经网络模型拆分方法、装置、计算机设备和存储介质 | |
CN114841325A (zh) | 神经网络模型的数据处理方法、介质及电子设备 | |
Chikin et al. | Explicit model size control and relaxation via smooth regularization for mixed-precision quantization | |
WO2022081265A1 (en) | Neural network based coefficient sign prediction | |
JP2023522301A (ja) | パルス生成 | |
TWI829208B (zh) | 用於判定用於處理串流輸入資料之硬體架構之設計參數值之方法及系統及電腦可讀儲存媒體 | |
KR102435447B1 (ko) | 뉴럴 네트워크 시스템 및 이의 동작 방법 | |
WO2024114226A1 (zh) | 前向推理的处理方法、芯片、介质及处理装置 | |
US20220284692A1 (en) | Method for extracting features from images and electronic device employing method | |
US20220358182A1 (en) | Scalable error mitigation | |
US20230205589A1 (en) | System and method for dynamically modifying media processing functions to control optimization of a media production | |
WO2023209797A1 (ja) | 情報処理装置、推論システム、及び制御方法 | |
CN117992061A (zh) | 程序转换方法、装置、计算机设备及计算机可读存储介质 | |
Mamedov | Analysis and Enhancement of Lossless Image Compression in JPEG-XL | |
Chang et al. | Deep neural networks compiler for a trace-based accelerator (short WIP paper) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200616 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6719537 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |