JP6623184B2 - 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム - Google Patents
多層ニューラルネットの大局構造抽出装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6623184B2 JP6623184B2 JP2017015909A JP2017015909A JP6623184B2 JP 6623184 B2 JP6623184 B2 JP 6623184B2 JP 2017015909 A JP2017015909 A JP 2017015909A JP 2017015909 A JP2017015909 A JP 2017015909A JP 6623184 B2 JP6623184 B2 JP 6623184B2
- Authority
- JP
- Japan
- Prior art keywords
- community
- layer
- neural network
- global structure
- vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
といくつかのパラメータを受け付け、演算部20により、学習した多層ニューラルネットの大まかな関係構造を抽出し、出力部50により出力する。
を受け付ける。ここで、Ndataはデータの個数、
の各次元数を
とおく。
である。ただし、
である。
である。例えば、
と設定すればよい。
である。例えば、
と設定すればよい。
である。例えば、
と設定すればよい。
多層ニューラルネット学習部22は、入力部10で受け付けた、観測データの入出力の組
と、パラメータとを用い、多層ニューラルネットにおけるパラメータの学習を行う。ここで、シグモイド関数をσ(x)= 1/(1 + exp(-x))、符号関数を
まず、多層ニューラルネット学習部22は、前処理として、入力部10で受け付けた、観測データの入出力の組
について正規化を行う。入力データ{xi n}の最大値がxmax、最小値がxminとなるように正規化するには、以下の計算により入力データの値を変換すればよい。
は以下の式に従って得られる。
次に、多層ニューラルネット学習部22は、多層ニューラルネットのパラメータの初期化を行う。多層ニューラルネットにおけるパラメータは、深さdの層の頂点viと、深さd + 1の層の頂点vjを結ぶ辺の重みWd i,jの集合と、深さdの層の各頂点vd iにおける出力のバイアスθd iである。ここで、{Wd i,j}と{θd i}の初期値はそれぞれ、例えば(0, 1)の一様分布などからランダムに決めればよい。
多層ニューラルネット学習部22は、上記で初期化したパラメータ{Wd i,j}と{θd i}と観測データから、パラメータの更新を行う。図3に示すAlgorithm1はパラメータ更新方法の一例であり、多層ニューラルネットによる出力値と観測データの二乗誤差を目的関数とする最急降下法によるものである。
多層ニューラルネット学習部22は、学習した多層ニューラルネットにおける各辺の重みに対し、閾値処理を行う。具体的には、深さdの層の各頂点viと、深さd + 1の層の各頂点vjを結ぶ辺について、その重みの絶対値|Wd i,j|が閾値ξNN以上であればそのままとし、そうでなければWd i,j←0 とする。
隣接行列変換部24は、学習後の多層ニューラルネットにおける各辺によって定まる、隣接する層の頂点間の結合関係に基づいて、各層の隣接行列を生成する。
ならばAij = 0 を満たす行列である。また、グラフの各頂点viの次数とは、viにつながる辺の数として定義される。
を定義する。元の多層ニューラルネットにおける深さd’のi番目の頂点が、この隣接行列Adでは頂点番号
を持つとすると、Wd′ i,j=0 ならば
とし、Wd′ i,j≠0 ならば
とする。ここで、各隣接行列Adに含める頂点集合の組み合わせは様々に考えられるが、少なくとも学習後の多層ニューラルネットにおける深さd の頂点を全て含むものとする。以下に、(i)〜(iii)の隣接行列Adに含める頂点集合の一例を示す。
について、Adは、深さd-1,d,d+1の頂点全てを含む隣接行列である。
は、深さNdepth-1, Ndepth の頂点全てを含む隣接行列である。
と列
を削除する。
大局構造抽出部26は、隣接行列変換部24により得られたNdepth個のグラフの隣接行列
に対して、それぞれコミュニティ抽出を行うことで、多層ニューラルネットの大局構造を抽出する。本実施の形態では、図4に示すように、大局構造抽出部26は、コミュニティ抽出部32と、辺定義部34とを備えている。
とおく。これは、学習した多層ニューラルネットのおおまかな構造を表すグラフにおける、頂点とみなすことができる。
を定義する。
)が閾値ξc d以上ならば、その場合のみコミュニティCとコミュニティC′の間を辺で結ぶ。
であることである。条件(2)は、深さd のコミュニティC と深さd + 1 のコミュニティC′をつなぐ辺について、
であることである。
と、コミュニティ同士を結ぶ辺の集合
とにより、学習した多層ニューラルネットの大局構造を表すグラフを抽出することができる。
可視化部28は、多層ニューラルネットの大局構造を表すグラフにおける頂点集合
と辺集合
とを可視化して、出力部50により表示する。
次に、本発明の第1の実施の形態に係る大局構造抽出装置100の作用を説明する。
と、パラメータとを用い、多層ニューラルネットにおけるパラメータの学習を行う。例えば、上記図3に示すAlgorithm1に従って、多層ニューラルネットによる出力値と観測データの二乗誤差を目的関数とする最急降下法により、多層ニューラルネットにおける各辺の重みを学習する。そして、学習した多層ニューラルネットにおける各辺の重みに対し、閾値処理を行う。
を定義する。
[大局構造抽出装置の構成]
次に、第2の実施の形態に係る大局構造抽出装置について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
に基づいて、分割された複数の多層ニューラルネットの各々の学習を並列に行い、学習結果を出力部50により出力する。
次に、本発明の第2の実施の形態に係る大局構造抽出装置200の作用を説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
と、パラメータとを用い、多層ニューラルネットにおけるパラメータの学習を行う。そして、学習した多層ニューラルネットにおける各辺の重みに対し、閾値処理を行う。
を定義する。
に基づいて、分割された複数の多層ニューラルネットの各々の学習を並列に行い、学習結果を出力部50により出力する。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
20、220 演算部
22 多層ニューラルネット学習部
24 隣接行列変換部
26 大局構造抽出部
28 可視化部
32 コミュニティ抽出部
34 辺定義部
40 大局構造可視化部
42 コミュニティ受付部
44 入出力可視化部
50 出力部
100、200 大局構造抽出装置
228 多層ニューラルネット分割部
230 並列学習部
Claims (8)
- 学習後の多層ニューラルネットにおける各辺によって定まる、隣接する層の頂点間の結合関係に基づいて、前記ニューラルネットの各層dに対し、前記層dのコミュニティを抽出する大局構造抽出部であって、
前記層dのコミュニティを抽出する際に、前記層dの頂点が各コミュニティcに属する確率と、各コミュニティcについての、前記コミュニティcに属する前記層dの頂点を始点とした辺が層d+1の各頂点iを終点とする確率、又は各コミュニティcについての、前記コミュニティcに属する前記層dの頂点を終点とした辺が層d−1の各頂点iを始点とする確率とに基づいて、前記層dに含まれる各頂点iが、各コミュニティcに属する確率を推定することにより、前記層dのコミュニティを抽出する大局構造抽出部
を含む大局構造抽出装置。 - 前記大局構造抽出部によって抽出された、各層dのコミュニティに基づいて、隣接する層のコミュニティ間を結ぶ辺を定義する辺定義部を更に含む請求項1記載の大局構造抽出装置。
- 学習後の多層ニューラルネットにおける各辺によって定まる、隣接する層の頂点間の接続関係に基づいて、前記ニューラルネットの各層dに対し、前記層dのコミュニティを抽出する大局構造抽出部と、
前記大局構造抽出部によって抽出された、各層dのコミュニティに基づいて、隣接する層のコミュニティ間を結ぶ辺を定義し、次の層への辺を持たないコミュニティがある場合には、前記ニューラルネットから、前記コミュニティに含まれる頂点と、前記コミュニティに含まれる頂点に繋がる辺とを削除する辺定義部と、
を含む大局構造抽出装置。 - 学習後の多層ニューラルネットにおける各辺によって定まる、隣接する層の頂点間の接続関係に基づいて、前記ニューラルネットの各層dに対し、前記層dのコミュニティを抽出する大局構造抽出部と、
前記大局構造抽出部によって抽出された、各層dのコミュニティに基づいて、隣接する層のコミュニティ間を結ぶ辺を定義する辺定義部と、
各層dのコミュニティと、隣接する層のコミュニティ間を結ぶ辺とを可視化し、中間層のコミュニティの指定を受け付けたときに、指定されたコミュニティと関連する入力層のコミュニティ、及び出力層のコミュニティに含まれる頂点の情報を可視化する可視化部と、
を含む大局構造抽出装置。 - 学習後の多層ニューラルネットにおける各辺によって定まる、隣接する層の頂点間の接続関係に基づいて、前記ニューラルネットの各層dに対し、前記層dのコミュニティを抽出する大局構造抽出部と、
前記大局構造抽出部によって抽出された、各層dのコミュニティに基づいて、隣接する層のコミュニティ間を結ぶ辺を定義し、次の層への辺を持たないコミュニティがある場合には、前記ニューラルネットから、前記コミュニティに含まれる頂点と、前記コミュニティに含まれる頂点に繋がる辺とを削除する辺定義部と、
前記ニューラルネットを、複数の多層ニューラルネットに分割し、予め用意された学習データに基づいて、分割された複数の多層ニューラルネットの各々の学習を並列に行う並列学習部と、
を含む大局構造抽出装置。 - 大局構造抽出部が、学習後の多層ニューラルネットにおける各辺によって定まる、隣接する層の頂点間の結合関係に基づいて、前記ニューラルネットの各層dに対し、前記層dのコミュニティを抽出することであって、
前記層dのコミュニティを抽出する際に、前記層dの頂点が各コミュニティcに属する確率と、各コミュニティcについての、前記コミュニティcに属する前記層dの頂点を始点とした辺が層d+1の各頂点iを終点とする確率、又は各コミュニティcについての、前記コミュニティcに属する前記層dの頂点を終点とした辺が層d−1の各頂点iを始点とする確率とに基づいて、前記層dに含まれる各頂点iが、各コミュニティcに属する確率を推定することにより、前記層dのコミュニティを抽出する
ことを特徴とする大局構造抽出方法。 - 大局構造抽出部が、学習後の多層ニューラルネットにおける各辺によって定まる、隣接する層の頂点間の接続関係に基づいて、前記ニューラルネットの各層dに対し、前記層dのコミュニティを抽出し、
辺定義部が、前記大局構造抽出部によって抽出された、各層dのコミュニティに基づいて、隣接する層のコミュニティ間を結ぶ辺を定義し、
可視化部が、各層dのコミュニティと、隣接する層のコミュニティ間を結ぶ辺とを可視化し、中間層のコミュニティの指定を受け付けたときに、指定されたコミュニティと関連する入力層のコミュニティ、及び出力層のコミュニティに含まれる頂点の情報を可視化する
ことを特徴とする大局構造抽出方法。 - コンピュータを、請求項1〜請求項5の何れか1項記載の大局構造抽出装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017015909A JP6623184B2 (ja) | 2017-01-31 | 2017-01-31 | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017015909A JP6623184B2 (ja) | 2017-01-31 | 2017-01-31 | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018124754A JP2018124754A (ja) | 2018-08-09 |
JP6623184B2 true JP6623184B2 (ja) | 2019-12-18 |
Family
ID=63109647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017015909A Active JP6623184B2 (ja) | 2017-01-31 | 2017-01-31 | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6623184B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109211202A (zh) * | 2018-09-21 | 2019-01-15 | 长安大学 | 一种基于无人机的高速公路边坡巡查的路径优化方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6731891B2 (ja) * | 2017-07-13 | 2020-07-29 | 日本電信電話株式会社 | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム |
WO2021084717A1 (ja) * | 2019-10-31 | 2021-05-06 | 日本電気株式会社 | 情報処理回路および情報処理回路の設計方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05108595A (ja) * | 1991-10-17 | 1993-04-30 | Hitachi Ltd | ニユーラルネツトワークの分散学習装置 |
JP2001344590A (ja) * | 2000-05-31 | 2001-12-14 | Fuji Electric Co Ltd | ニューラルネットワーク及びその学習方法、解析方法並びに異常判定方法 |
-
2017
- 2017-01-31 JP JP2017015909A patent/JP6623184B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109211202A (zh) * | 2018-09-21 | 2019-01-15 | 长安大学 | 一种基于无人机的高速公路边坡巡查的路径优化方法 |
CN109211202B (zh) * | 2018-09-21 | 2020-12-18 | 长安大学 | 一种基于无人机的高速公路边坡巡查的路径优化方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2018124754A (ja) | 2018-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180247193A1 (en) | Neural network training using compressed inputs | |
CN107145977B (zh) | 一种对在线社交网络用户进行结构化属性推断的方法 | |
JP5235770B2 (ja) | 顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体 | |
CN108171663B (zh) | 基于特征图最近邻替换的卷积神经网络的图像填充系统 | |
CN106780662B (zh) | 人脸图像生成方法、装置及设备 | |
JP6623184B2 (ja) | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム | |
US20240143977A1 (en) | Model training method and apparatus | |
CN109063041B (zh) | 关系网络图嵌入的方法及装置 | |
JP6789762B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Cortiñas-Lorenzo et al. | Adam and the ants: on the influence of the optimization algorithm on the detectability of DNN watermarks | |
JP2023533907A (ja) | 自己注意ベースのニューラルネットワークを使用した画像処理 | |
JP2013142991A (ja) | 物体領域検出装置、方法、及びプログラム | |
US20160300124A1 (en) | Method and system for image segmentation using a directed graph | |
Yu et al. | Modeling spatial extremes via ensemble-of-trees of pairwise copulas | |
Paul et al. | Dimensionality reduction of hyperspectral image using signal entropy and spatial information in genetic algorithm with discrete wavelet transformation | |
JP6770480B2 (ja) | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム | |
JP2015162113A (ja) | システムパラメタ学習装置、情報処理装置、方法、及びプログラム | |
JP6731891B2 (ja) | 多層ニューラルネットの大局構造抽出装置、方法、及びプログラム | |
WO2019167240A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
Singh et al. | DTCWTASODCNN: DTCWT based weighted fusion model for multimodal medical image quality improvement with ASO technique & DCNN | |
CN116186824A (zh) | 基于图像嵌入图神经网络模型的建筑结构布置方法 | |
CN115346055A (zh) | 一种基于多核宽度图神经网络特征提取与分类方法 | |
Hebbal et al. | Multi-fidelity modeling using DGPs: Improvements and a generalization to varying input space dimensions | |
CN110222222B (zh) | 基于深层主题自编码模型的多模态检索方法 | |
CN111475668A (zh) | 针对复杂关系描述的图片视觉推理方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6623184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |