JP6980263B2 - 異種データ深層学習装置、異種データ深層学習方法、および異種データ深層学習プログラム - Google Patents
異種データ深層学習装置、異種データ深層学習方法、および異種データ深層学習プログラム Download PDFInfo
- Publication number
- JP6980263B2 JP6980263B2 JP2017200830A JP2017200830A JP6980263B2 JP 6980263 B2 JP6980263 B2 JP 6980263B2 JP 2017200830 A JP2017200830 A JP 2017200830A JP 2017200830 A JP2017200830 A JP 2017200830A JP 6980263 B2 JP6980263 B2 JP 6980263B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- type
- data
- candidate block
- neurons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
可視層と隠れ層から構成される制限付きボルツマンマシンを用いて、異種データの深層学習を行う異種データ深層学習装置であって、
第1種類のデータを構成する複数の第1種類ブロックと、第2種類のデータを構成する複数の第2種類ブロックとを所定の配置ルールに従って配置することにより初期データを生成する初期データ生成部と、
前記制限付きボルツマンマシンのパラメタを初期化するパラメタ初期化部と、
前記可視層に前記初期データをセットし学習を行うことによって前記隠れ層を構成する隠れニューロンの出力値を求め、前記出力値に基づいてCD法による学習を行うことによって前記初期データに対する誤差を求めるRBM学習実行部と、
前記誤差を用いて前記パラメタを更新するパラメタ更新部と、
前記更新されたパラメタに基づいて、少なくとも、前記制限付きボルツマンマシンのバイアスbに関する学習中振動および前記隠れニューロンの状態変数hに関する学習中振動を算出するWD算出部と、
前記隠れ層の隠れニューロンから、発火しており且つ前記状態変数hに関する学習中振動が所定の閾値以下である安定特徴ニューロンを抽出する安定特徴ニューロン抽出部と、
前記抽出された安定特徴ニューロンの一つからCD法により、前記可視層を構成する可視ニューロンの出力値を求める可視ニューロン値算出部と、
前記複数の第1種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第1種類ブロックを第1種類候補ブロックとして抽出し、前記複数の第2種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第2種類ブロックを第2種類候補ブロックとして抽出する候補ブロック抽出部と、
まだ位置変更されていない前記第2種類候補ブロックの中でバイアスbに関する学習中振動が最も高い第2種類候補ブロックが所定の第1種類候補ブロックから第1の距離範囲内にない場合、当該第2種類候補ブロックの位置を前記第1の距離範囲よりも短い第2の距離範囲内の位置に変更する候補ブロック位置変更部と、
を備えることを特徴とする。
前記第1種類のデータは、複数の画像ブロックからなる画像データであり、前記第2種類のデータは、複数のCSVブロックからなるCSVデータであってもよい
また、前記異種データ深層学習装置において、
前記各CSVブロックは、複数の検査項目を含む検査の各項目にそれぞれ対応していてもよい。
前記画像データは、複数の前記画像ブロックを含む複数のイメージラインから構成されており、
前記初期データ生成部は、前記各イメージラインの前または後に前記CSVブロックを配置することにより前記初期データを生成してもよい。
前記候補ブロック位置変更部は、前記バイアスbに関する学習中振動が最も高い第2種類候補ブロックの位置を、当該所定の第1種類候補ブロックの隣の位置に変更してもよい。
前記候補ブロック位置変更部は、前記バイアスbに関する学習中振動が二番目に高い第2種類候補ブロックの位置を、前記第2の距離範囲内の位置に変更してもよい。
前記候補ブロック位置変更部は、前記バイアスbに関する学習中振動が二番目に高い第2種類候補ブロックの位置を、前記バイアスbに関する学習中振動が最も高い第2種類候補ブロックの隣の位置に変更してもよい。
前記WD算出部は、前記制限付きボルツマンマシンの重みWに関する学習中振動およびバイアスcに関する学習中振動を算出し、
前記隠れニューロンが前記重みWに関する学習中振動および前記バイアスcに関する学習中振動に基づく生成条件を満たす場合、前記制限付きボルツマンマシンの隠れニューロンを生成し、前記隠れニューロンが所定の消滅条件を満たす場合、当該隠れニューロンを消滅させるニューロン生成消滅部をさらに備えてもよい。
前記候補ブロック位置変更部による前記第2種類候補ブロックの位置変更結果に基づいて、前記第2種類ブロックの位置を変更するための位置変更情報を格納したルックアップテーブルを更新するルックアップテーブル更新部をさらに備えてもよい。
前記ルックアップテーブルに基づいて学習用の入力データの配置を変更し、前記変更された入力データを学習済みのニューラルネットワークに与え、推論を行う推論部をさらに備えてもよい。
上記の異種データ深層学習装置1による異種データ深層学習方法について、図9〜図12のフローチャートに沿って説明する。図9は、異種データ深層学習に係る処理フローの全体を示す。図10は、図9のステップS4(CD法による学習アルゴリズム)に係る処理フローを示す。図11は、図9のステップS6(ニューロン生成・消滅アルゴリズム)に係る処理フローを示す。図12は、図9のステップS8(異種データ学習アルゴリズム)に係る処理フローを示す。
上記の異種データ深層学習により構成されたニューラルネットワークによる推論について、図18〜図21を参照して説明する。図18は、学習後のニューラルネットワークを用いた推論に係る処理フローを示すフローチャートを示す。図19は、学習用のデータ(画像データとCSVデータ)の一例を示している。図20は、ルックアップテーブルの一例を示している。図21は、ルックアップテーブルを用いてCSVブロックの位置を変更した後の状態を示している。
10 制御部
11 初期データ生成部
12 パラメタ初期化部
13 RBM学習実行部
14 パラメタ更新部
15 WD算出部
16 ニューロン生成消滅部
17 安定特徴ニューロン抽出部
18 可視ニューロン値算出部
19 候補ブロック抽出部
20 候補ブロック位置変更部
21 ルックアップテーブル更新部
22 推論部
30 通信部
40 操作入力部
50 表示部
60 記憶部
CB CSVブロック
CB_Cand CSV候補ブロック
IB 画像ブロック
IB_Cand 画像候補ブロック
IL イメージライン
HS 安定特徴ニューロン
Claims (12)
- 可視層と隠れ層から構成される制限付きボルツマンマシンを用いて、異種データの深層学習を行う異種データ深層学習装置であって、
第1種類のデータを構成する複数の第1種類ブロックと、第2種類のデータを構成する複数の第2種類ブロックとを所定の配置ルールに従って配置することにより初期データを生成する初期データ生成部と、
前記制限付きボルツマンマシンのパラメタを初期化するパラメタ初期化部と、
前記可視層に前記初期データをセットし学習を行うことによって前記隠れ層を構成する隠れニューロンの出力値を求め、前記出力値に基づいてCD法による学習を行うことによって前記初期データに対する誤差を求めるRBM学習実行部と、
前記誤差を用いて前記パラメタを更新するパラメタ更新部と、
前記更新されたパラメタに基づいて、少なくとも、前記制限付きボルツマンマシンのバイアスbに関する学習中振動および前記隠れニューロンの状態変数hに関する学習中振動を算出するWD算出部と、
前記隠れ層の隠れニューロンから、発火しており且つ前記状態変数hに関する学習中振動が所定の閾値以下である安定特徴ニューロンを抽出する安定特徴ニューロン抽出部と、
前記抽出された安定特徴ニューロンの一つからCD法により、前記可視層を構成する可視ニューロンの出力値を求める可視ニューロン値算出部と、
前記複数の第1種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第1種類ブロックを第1種類候補ブロックとして抽出し、前記複数の第2種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第2種類ブロックを第2種類候補ブロックとして抽出する候補ブロック抽出部と、
まだ位置変更されていない前記第2種類候補ブロックの中でバイアスbに関する学習中振動が最も高い第2種類候補ブロックが所定の第1種類候補ブロックから第1の距離範囲内にない場合、当該第2種類候補ブロックの位置を前記第1の距離範囲よりも短い第2の距離範囲内の位置に変更する候補ブロック位置変更部と、
を備えることを特徴とする異種データ深層学習装置。 - 前記第1種類のデータは、複数の画像ブロックからなる画像データであり、前記第2種類のデータは、複数のCSVブロックからなるCSVデータであることを特徴とする請求項1に記載の異種データ深層学習装置。
- 前記各CSVブロックは、複数の検査項目を含む検査の各項目にそれぞれ対応していることを特徴とする請求項2に記載の異種データ深層学習装置。
- 前記画像データは、複数の前記画像ブロックを含む複数のイメージラインから構成されており、
前記初期データ生成部は、前記各イメージラインの前または後に前記CSVブロックを配置することにより前記初期データを生成することを特徴とする請求項2または3に記載の異種データ深層学習装置。 - 前記候補ブロック位置変更部は、前記バイアスbに関する学習中振動が最も高い第2種類候補ブロックの位置を、当該所定の第1種類候補ブロックの隣の位置に変更することを特徴とする請求項1〜4のいずれかに記載の異種データ深層学習装置。
- 前記候補ブロック位置変更部は、前記バイアスbに関する学習中振動が二番目に高い第2種類候補ブロックの位置を、前記第2の距離範囲内の位置に変更することを特徴とする請求項1〜5のいずれかに記載の異種データ深層学習装置。
- 前記候補ブロック位置変更部は、前記バイアスbに関する学習中振動が二番目に高い第2種類候補ブロックの位置を、前記バイアスbに関する学習中振動が最も高い第2種類候補ブロックの隣の位置に変更することを特徴とする請求項6に記載の異種データ深層学習装置。
- 前記WD算出部は、前記制限付きボルツマンマシンの重みWに関する学習中振動およびバイアスcに関する学習中振動を算出し、
前記隠れニューロンが前記重みWに関する学習中振動および前記バイアスcに関する学習中振動に基づく生成条件を満たす場合、前記制限付きボルツマンマシンの隠れニューロンを生成し、前記隠れニューロンが所定の消滅条件を満たす場合、当該隠れニューロンを消滅させるニューロン生成消滅部をさらに備えることを特徴とする請求項1〜7のいずれかに記載の異種データ深層学習装置。 - 前記候補ブロック位置変更部による前記第2種類候補ブロックの位置変更結果に基づいて、前記第2種類ブロックの位置を変更するための位置変更情報を格納したルックアップテーブルを更新するルックアップテーブル更新部をさらに備えることを特徴とする請求項1〜8のいずれかに記載の異種データ深層学習装置。
- 前記ルックアップテーブルに基づいて学習用の入力データの配置を変更し、前記変更された入力データを学習済みのニューラルネットワークに与え、推論を行う推論部をさらに備えることを特徴とする請求項9に記載の異種データ深層学習装置。
- 可視層と隠れ層から構成される制限付きボルツマンマシンを用いて、異種データの深層学習を行う異種データ深層学習方法であって、
第1種類のデータを構成する複数の第1種類ブロックと、第2種類のデータを構成する複数の第2種類ブロックとを所定の配置ルールに従って配置することにより初期データを生成するステップと、
前記制限付きボルツマンマシンのパラメタを初期化するステップと、
前記可視層に前記初期データをセットし学習を行うことによって前記隠れ層を構成する隠れニューロンの出力値を求め、前記出力値に基づいてCD法による学習を行うことによって前記初期データに対する誤差を求めるステップと、
前記誤差を用いて前記パラメタを更新するステップと、
前記更新されたパラメタに基づいて、前記制限付きボルツマンマシンのバイアスbに関する学習中振動および前記隠れニューロンの状態変数hに関する学習中振動を算出するステップと、
前記隠れ層の隠れニューロンから、発火しており且つ前記状態変数hに関する学習中振動が所定の閾値以下である安定特徴ニューロンを抽出するステップと、
前記抽出された安定特徴ニューロンの一つからCD法により、前記可視層を構成する可視ニューロンの出力値を求めるステップと、
前記複数の第1種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第1種類ブロックを第1種類候補ブロックとして抽出し、前記複数の第2種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第2種類ブロックを第2種類候補ブロックとして抽出するステップと、
まだ位置変更されていない前記第2種類候補ブロックの中でバイアスbに関する学習中振動が最も高い第2種類候補ブロックが所定の第1種類候補ブロックから第1の距離範囲内にない場合、当該第2種類候補ブロックの位置を前記第1の距離範囲よりも短い第2の距離範囲内の位置に変更するステップと、
を備えることを特徴とする異種データ深層学習方法。 - 可視層と隠れ層から構成される制限付きボルツマンマシンを用いて、異種データの深層学習を行うための異種データ深層学習プログラムであって、
第1種類のデータを構成する複数の第1種類ブロックと、第2種類のデータを構成する複数の第2種類ブロックとを所定の配置ルールに従って配置することにより初期データを生成するステップと、
前記制限付きボルツマンマシンのパラメタを初期化するステップと、
前記可視層に前記初期データをセットし学習を行うことによって前記隠れ層を構成する隠れニューロンの出力値を求め、前記出力値に基づいてCD法による学習を行うことによって前記初期データに対する誤差を求めるステップと、
前記誤差を用いて前記パラメタを更新するステップと、
前記更新されたパラメタに基づいて、少なくとも、前記制限付きボルツマンマシンのバイアスbに関する学習中振動および前記隠れニューロンの状態変数hに関する学習中振動を算出するステップと、
前記隠れ層の隠れニューロンから、発火しており且つ前記状態変数hに関する学習中振動が所定の閾値以下である安定特徴ニューロンを抽出するステップと、
前記抽出された安定特徴ニューロンの一つからCD法により、前記可視層を構成する可視ニューロンの出力値を求めるステップと、
前記複数の第1種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第1種類ブロックを第1種類候補ブロックとして抽出し、前記複数の第2種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第2種類ブロックを第2種類候補ブロックとして抽出するステップと、
まだ位置変更されていない前記第2種類候補ブロックの中でバイアスbに関する学習中振動が最も高い第2種類候補ブロックが所定の第1種類候補ブロックから第1の距離範囲内にない場合、当該第2種類候補ブロックの位置を前記第1の距離範囲よりも短い第2の距離範囲内の位置に変更するステップと、
をコンピュータに実行させる異種データ深層学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017200830A JP6980263B2 (ja) | 2017-10-17 | 2017-10-17 | 異種データ深層学習装置、異種データ深層学習方法、および異種データ深層学習プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017200830A JP6980263B2 (ja) | 2017-10-17 | 2017-10-17 | 異種データ深層学習装置、異種データ深層学習方法、および異種データ深層学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019074946A JP2019074946A (ja) | 2019-05-16 |
JP6980263B2 true JP6980263B2 (ja) | 2021-12-15 |
Family
ID=66544197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017200830A Active JP6980263B2 (ja) | 2017-10-17 | 2017-10-17 | 異種データ深層学習装置、異種データ深層学習方法、および異種データ深層学習プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6980263B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7359380B2 (ja) * | 2019-08-05 | 2023-10-11 | 広島県公立大学法人 | 検出パラメタ生成装置、検出パラメタ生成方法、検出パラメタ生成プログラム、オブジェクト検出装置、オブジェクト検出方法、およびオブジェクト検出プログラム |
-
2017
- 2017-10-17 JP JP2017200830A patent/JP6980263B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019074946A (ja) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ye | Particle swarm optimization-based automatic parameter selection for deep neural networks and its applications in large-scale and high-dimensional data | |
US11023806B2 (en) | Learning apparatus, identifying apparatus, learning and identifying system, and recording medium | |
WO2022212921A1 (en) | Continually learning audio feedback engine | |
Davoudi et al. | Evolving convolutional neural network parameters through the genetic algorithm for the breast cancer classification problem | |
CN109754078A (zh) | 用于优化神经网络的方法 | |
WO2021138083A1 (en) | Neural architecture search based on synaptic connectivity graphs | |
Alkım et al. | A fast and adaptive automated disease diagnosis method with an innovative neural network model | |
WO2021138091A1 (en) | Reservoir computing neural networks based on synaptic connectivity graphs | |
WO2021138092A1 (en) | Artificial neural network architectures based on synaptic connectivity graphs | |
WO2021138082A1 (en) | Training artificial neural networks based on synaptic connectivity graphs | |
Bibaeva | Using metaheuristics for hyper-parameter optimization of convolutional neural networks | |
WO2021138085A1 (en) | Predicting neuron types based on synaptic connectivity graphs | |
WO2020226751A1 (en) | Interpretable neural network | |
WO2021238279A1 (zh) | 数据分类方法、分类器训练方法及系统 | |
Gayathri et al. | Exploring the potential of vgg-16 architecture for accurate brain tumor detection using deep learning | |
Singh et al. | Object classification to analyze medical imaging data using deep learning | |
WO2022125181A1 (en) | Recurrent neural network architectures based on synaptic connectivity graphs | |
US12026873B2 (en) | Bone age assessment method for bone image | |
Bakasa et al. | Stacked ensemble deep learning for pancreas cancer classification using extreme gradient boosting | |
JP2023044336A (ja) | 学習装置、学習方法およびプログラム | |
Rahman et al. | Deep learning-based left ventricular ejection fraction estimation from echocardiographic videos | |
JP6980263B2 (ja) | 異種データ深層学習装置、異種データ深層学習方法、および異種データ深層学習プログラム | |
Ingle et al. | Generate Adversarial Attack on Graph Neural Network using K-Means Clustering and Class Activation Mapping. | |
Rajendiran et al. | Detection of alzheimer's disease in mri images using different transfer learning models and improving the classification accuracy | |
Ikram | A benchmark for evaluating Deep Learning based Image Analytics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201006 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6980263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |