JP7475150B2 - 推論装置、推論方法、及びプログラム - Google Patents
推論装置、推論方法、及びプログラム Download PDFInfo
- Publication number
- JP7475150B2 JP7475150B2 JP2020016491A JP2020016491A JP7475150B2 JP 7475150 B2 JP7475150 B2 JP 7475150B2 JP 2020016491 A JP2020016491 A JP 2020016491A JP 2020016491 A JP2020016491 A JP 2020016491A JP 7475150 B2 JP7475150 B2 JP 7475150B2
- Authority
- JP
- Japan
- Prior art keywords
- inference
- intermediate layer
- layer
- neural network
- inference device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000012545 processing Methods 0.000 claims description 87
- 238000004891 communication Methods 0.000 claims description 76
- 238000013528 artificial neural network Methods 0.000 claims description 74
- 230000008569 process Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 description 74
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Description
図1は、ニューラルネットワークを用いる推論システム100の全体構成例を示す図である。推論システム100は、入力層と、前階層から入力されるデータに含まれる特徴量を抽出する複数の中間層と、出力層とが階層的に接続された演算を実行する。図1に示すように、推論システム100は、撮像装置101(例えばデジタルカメラ)、サーバ103、及び通信ネットワーク102(例えばインターネット)を含む。撮像装置101とサーバ103とは、通信ネットワーク102を介して、各種の情報を通信する。
第2の実施形態では、撮像装置101とサーバ103との間の通信に用いる通信ネットワーク102が遮断されている場合(例えば通信ネットワーク102が無線ネットワークであって電波状況が悪い場合)の処理について説明する。本実施形態において、推論システム100、撮像装置101、及びサーバ103の基本的な構成は第1の実施形態と同様である(図1及び図2参照)。以下、主に第1の実施形態と異なる点について説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (10)
- 入力層と、複数の中間層と、出力層とを有する第1のニューラルネットワークを用いる推論処理を外部の推論装置と分担して行う推論装置であって、
前記入力層に入力された入力データについて、前記第1のニューラルネットワークの第1の部分の演算処理を行うように制御する制御手段であって、前記第1のニューラルネットワークの前記第1の部分は、前記入力層から前記複数の中間層のうちの前記入力層よりもノード数が少ない特定の中間層までの部分である、制御手段と、
前記特定の中間層の出力データを前記外部の推論装置へ送信する送信手段であって、前記外部の推論装置は、前記特定の中間層の前記出力データについて前記第1のニューラルネットワークの第2の部分の演算処理を行うことにより第1の推論結果を取得するように構成され、前記第1のニューラルネットワークの前記第2の部分は、前記第1のニューラルネットワークから前記第1の部分を除いた残りの部分である、送信手段と、
前記外部の推論装置から前記第1の推論結果を受信する受信手段と、
を備え、
前記制御手段は、前記第1のニューラルネットワークの前記第1の部分の前記演算処理を実行する前に、前記外部の推論装置に通信要求を送信し、該通信要求に対する前記外部の推論装置からの応答を待つことなく前記第1のニューラルネットワークの前記第1の部分の前記演算処理を開始し、
前記送信手段は、前記通信要求に対する前記応答を前記外部の推論装置から受信した後に、前記出力データを前記外部の推論装置に送信することを特徴とする推論装置。 - 前記特定の中間層は、前記複数の中間層のうちの最もノード数の少ない中間層である
ことを特徴とする請求項1に記載の推論装置。 - 前記複数の中間層は、前記入力層よりもノード数が少ない第1の中間層と、前記第1の中間層よりも後に配置され前記第1の中間層よりもノード数が少ない第2の中間層とを含み、
前記制御手段は、前記第1の中間層又は前記第2の中間層を前記特定の中間層として用いるように制御する
ことを特徴とする請求項1に記載の推論装置。 - 前記第2の中間層は、前記複数の中間層のうちの最もノード数の少ない中間層であり、
前記第1の中間層は、前記複数の中間層のうちの、前記第2の中間層を除いて最もノード数の少ない中間層である
ことを特徴とする請求項3に記載の推論装置。 - 前記制御手段は、前記外部の推論装置との通信速度が第1の閾値以上の場合、前記第1の中間層を前記特定の中間層として用い、前記通信速度が前記第1の閾値未満の場合、前記第2の中間層を前記特定の中間層として用いるように制御する
ことを特徴とする請求項3又は4に記載の推論装置。 - 前記制御手段は、前記推論装置の電池残量が第2の閾値未満の場合、前記第1の中間層を前記特定の中間層として用い、前記電池残量が前記第2の閾値以上の場合、前記第2の中間層を前記特定の中間層として用いるように制御する
ことを特徴とする請求項3又は4に記載の推論装置。 - 所定の条件が満たされる場合、前記制御手段は、前記特定の中間層の前記出力データについて、入力層を含む第1の部分と出力層を含む第2の部分とから構成される第2のニューラルネットワークの前記第2の部分の演算処理を行うことにより、第2の推論結果を取得するように制御し、
前記第2のニューラルネットワークの中間層の数は、前記第1のニューラルネットワークの中間層の数よりも少なく、
前記第2のニューラルネットワークの前記第1の部分は、前記第1のニューラルネットワークの前記第1の部分と共通であり、
前記第1のニューラルネットワークの前記第1の部分と前記第2のニューラルネットワークの前記第1の部分とは、共通の学習済みパラメータを有する
ことを特徴とする請求項1又は2に記載の推論装置。 - 前記外部の推論装置との通信が不可能な場合に、前記所定の条件が満たされる
ことを特徴とする請求項7に記載の推論装置。 - 入力層と、複数の中間層と、出力層とを有する第1のニューラルネットワークを用いる推論処理を外部の推論装置と分担して行うための、推論装置が実行する推論方法であって、
前記入力層に入力された入力データについて、前記第1のニューラルネットワークの第1の部分の演算処理を行うように制御する制御工程であって、前記第1のニューラルネットワークの前記第1の部分は、前記入力層から前記複数の中間層のうちの前記入力層よりもノード数が少ない特定の中間層までの部分である、制御工程と、
前記特定の中間層の出力データを前記外部の推論装置へ送信する送信工程であって、前記外部の推論装置は、前記特定の中間層の前記出力データについて前記第1のニューラルネットワークの第2の部分の演算処理を行うことにより第1の推論結果を取得するように構成され、前記第1のニューラルネットワークの前記第2の部分は、前記第1のニューラルネットワークから前記第1の部分を除いた残りの部分である、送信工程と、
前記外部の推論装置から前記第1の推論結果を受信する受信工程と、
を備え、
前記制御工程は、前記第1のニューラルネットワークの前記第1の部分の前記演算処理を実行する前に、前記外部の推論装置に通信要求を送信し、該通信要求に対する前記外部の推論装置からの応答を待つことなく前記第1のニューラルネットワークの前記第1の部分の前記演算処理を開始し、
前記送信工程は、前記通信要求に対する前記応答を前記外部の推論装置から受信した後に、前記出力データを前記外部の推論装置に送信することを特徴とする推論方法。 - コンピュータを、請求項1乃至8のいずれか1項に記載の推論装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020016491A JP7475150B2 (ja) | 2020-02-03 | 2020-02-03 | 推論装置、推論方法、及びプログラム |
US17/161,207 US20210241105A1 (en) | 2020-02-03 | 2021-01-28 | Inference apparatus, inference method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020016491A JP7475150B2 (ja) | 2020-02-03 | 2020-02-03 | 推論装置、推論方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021124832A JP2021124832A (ja) | 2021-08-30 |
JP7475150B2 true JP7475150B2 (ja) | 2024-04-26 |
Family
ID=77062021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020016491A Active JP7475150B2 (ja) | 2020-02-03 | 2020-02-03 | 推論装置、推論方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210241105A1 (ja) |
JP (1) | JP7475150B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4420046A1 (en) * | 2021-11-01 | 2024-08-28 | Huawei Technologies Co., Ltd. | Interfacing with coded inference networks |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287062A (ja) | 2009-06-11 | 2010-12-24 | Honda Motor Co Ltd | ニューラルネットワーク・シミュレーション演算方法 |
WO2017187516A1 (ja) | 2016-04-26 | 2017-11-02 | 株式会社日立製作所 | 情報処理システムおよびその運用方法 |
JP2019510287A (ja) | 2016-03-28 | 2019-04-11 | グーグル エルエルシー | 適応型人工ニューラルネットワーク選択技法 |
US20190228294A1 (en) | 2018-01-23 | 2019-07-25 | Samsung Electronics Co., Ltd. | Method and system for processing neural network model using plurality of electronic devices |
WO2019203232A1 (ja) | 2018-04-18 | 2019-10-24 | 日本電信電話株式会社 | データ分析システム、方法、及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11568257B2 (en) * | 2019-05-20 | 2023-01-31 | Vmware, Inc. | Secure cloud-based machine learning without sending original data to the cloud |
-
2020
- 2020-02-03 JP JP2020016491A patent/JP7475150B2/ja active Active
-
2021
- 2021-01-28 US US17/161,207 patent/US20210241105A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287062A (ja) | 2009-06-11 | 2010-12-24 | Honda Motor Co Ltd | ニューラルネットワーク・シミュレーション演算方法 |
JP2019510287A (ja) | 2016-03-28 | 2019-04-11 | グーグル エルエルシー | 適応型人工ニューラルネットワーク選択技法 |
WO2017187516A1 (ja) | 2016-04-26 | 2017-11-02 | 株式会社日立製作所 | 情報処理システムおよびその運用方法 |
US20190228294A1 (en) | 2018-01-23 | 2019-07-25 | Samsung Electronics Co., Ltd. | Method and system for processing neural network model using plurality of electronic devices |
WO2019203232A1 (ja) | 2018-04-18 | 2019-10-24 | 日本電信電話株式会社 | データ分析システム、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210241105A1 (en) | 2021-08-05 |
JP2021124832A (ja) | 2021-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109375951B (zh) | 一种用于执行全连接层神经网络正向运算的装置和方法 | |
EP3451157B1 (en) | Device and method for performing forward operation of convolutional neural network | |
TWI775805B (zh) | 可組態及可程式化影像處理器單元、由其執行之方法及計算系統 | |
TWI818944B (zh) | 神經網路處理單元及系統晶片 | |
TW201805858A (zh) | 一種用於執行神經網絡運算的裝置及方法 | |
US10936533B2 (en) | GPU remote communication with triggered operations | |
CN107993206A (zh) | 一种信息处理方法及相关产品 | |
US20210097647A1 (en) | Information processing method and terminal device | |
JP7475150B2 (ja) | 推論装置、推論方法、及びプログラム | |
US20210326189A1 (en) | Synchronization of processing elements that execute statically scheduled instructions in a machine learning accelerator | |
WO2024094058A1 (zh) | 一种模型训练方法及相关装置 | |
WO2023236929A1 (zh) | 基于指令读取数据中的目标数据的方法及其设备 | |
TWI715281B (zh) | 用於實施神經網路應用之多晶片系統、適用於多晶片系統的資料處理方法、和非暫態電腦可讀取媒體 | |
JP6548483B2 (ja) | 複数のデータ処理部でバッファを共有するデータ制御装置、制御方法 | |
CN116402673A (zh) | 数据处理方法、系统、计算设备和存储介质 | |
CN107329733B (zh) | 用于执行pooling运算的装置和方法 | |
US20140189298A1 (en) | Configurable ring network | |
CN111209230B (zh) | 数据处理装置、方法及相关产品 | |
US20200150971A1 (en) | Data processing apparatus and method | |
JP7073403B2 (ja) | 高スループット内部通信プロトコルを用いる画像処理プロセッサ | |
US20200110635A1 (en) | Data processing apparatus and method | |
JP2020201883A (ja) | データ処理装置及びその制御方法 | |
JP5718558B2 (ja) | 画像データ処理装置 | |
US20230274539A1 (en) | Inference processing system capable of reducing load when executing inference processing, edge device, method of controlling inference processing system, method of controlling edge device, and storage medium | |
Takase et al. | Work-in-Progress: Design Concept of a Lightweight Runtime Environment for Robot Software Components Onto Embedded Devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7475150 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |