JP6906478B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6906478B2
JP6906478B2 JP2018099175A JP2018099175A JP6906478B2 JP 6906478 B2 JP6906478 B2 JP 6906478B2 JP 2018099175 A JP2018099175 A JP 2018099175A JP 2018099175 A JP2018099175 A JP 2018099175A JP 6906478 B2 JP6906478 B2 JP 6906478B2
Authority
JP
Japan
Prior art keywords
assumed
real
nodes
node
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018099175A
Other languages
English (en)
Other versions
JP2019204294A (ja
Inventor
秀将 伊藤
秀将 伊藤
釜谷 幸男
幸男 釜谷
克之 花井
克之 花井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to JP2018099175A priority Critical patent/JP6906478B2/ja
Priority to CN201980018597.3A priority patent/CN111837141A/zh
Priority to PCT/JP2019/019077 priority patent/WO2019225399A1/ja
Publication of JP2019204294A publication Critical patent/JP2019204294A/ja
Priority to US17/098,508 priority patent/US12182681B2/en
Application granted granted Critical
Publication of JP6906478B2 publication Critical patent/JP6906478B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明の実施形態は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、人工知能を産業領域に活用する試みが進められている。利用が検討されている人工知能技術は、ディープラーニングやその関連技術が多く、画像認識、故障解析、特性予測などに適用範囲が広がっている。
特に、画像認識では、畳込みニューラルネットワーク(CNN;Convolutional Neural Network)を活用した研究と実用が盛んに進められている。CNNでは、画像の各画素点に対して、近傍の画素情報を使ったフィルター処理(畳込み処理、プーリング処理)を施してから、フルコネクションのニューラルネットワークに入力することで、計算の効率化と精度向上を図ることができる。ここで、フィルター処理としての、畳込みやプーリングは、実際の視覚野での受容野での処理が近傍の視覚細胞の信号だけを対象とした局所処理であるという、実際の視覚システムの構造をニューラルネットワークの構造に反映したものと考えられる。このフィルター処理においては、視覚野全体で同じ処理が分散並列に行われる。そして、視覚システムを反映したニューラルネットワークでは、各画素同士の接続構造は、少なくとも入力直後の処理としては、局所接続グラフ構造をもった処理になっている。これに関連し、グラフ構造のデータを人工知能に適用するために、グラフ構造を反映したニューラルネットワークの研究が進められている(非特許文献1参照)。
しかしながら、従来のグラフ構造を反映したニューラルネットワークの技術では、大規模化への対応、多様性、変動性などのニーズに対応することができない場合があった。
"GRAPH ATTENTION NETWORKS",Petar Velickovic et al, Published as a conference paper at ICLR 2018
本発明が解決しようとする課題は、より幅広いニーズに対応することができる情報処理装置、情報処理方法、およびプログラムを提供することである。
実施形態の情報処理装置は、データ取得部と、ネットワーク処理部とを持つ。データ取得部は、複数の実ノードと、前記複数の実ノードのうち二つを接続する一以上の実エッジとを含むグラフ構造のデータを取得する。ネットワーク処理部は、前記データ取得部により取得されたグラフ構造のデータに基づいて、前記複数の実ノードと前記一以上の実エッジとをそれぞれ区別できる想定ノードとし、前記複数の想定ノードの特徴量を伝播させるニューラルネットワークを設定し、前記複数の想定ノードのそれぞれの第k−1層の特徴量を、少なくとも前記それぞれの想定ノードと接続関係にある他の想定ノードの第k層の特徴量に伝播させる処理を実行する。kは1以上の自然数である。
従来の考え方により、グラフ構造のデータからニューラルネットワークを生成する様子を示す図。 第1の実施形態の手法により、グラフ構造のデータからニューラルネットワークを生成する様子を示す図。 情報処理装置が係数αi,jを決定する手法について説明するための図。 第1の実施形態に係る情報処理装置1のブロック図。 想定ノードANの種別の定義の一例を示す図。 第2の実施形態の手法により、グラフ構造のデータ20から生成されたニューラルネットワークを示す図。 対象データの変更によってニューラルネットワークが変更される様子を示す図。 第2の実施形態に係る情報処理装置2のブロック図。 第2の実施形態を電力送電配電網に適用する様子について説明するための図。 変形例に係るニューラルネットワークの一例を示す図。
以下、実施形態の情報処理装置、情報処理方法、およびプログラムを、図面を参照して説明する。
まず、情報処理装置が作成するニューラルネットワークの原理について説明する。図1は、従来の考え方により、グラフ構造のデータからニューラルネットワークを生成する様子を示す図である。
図1の上図は、グラフ構造のデータを模式的に示している。図示の構成では、実ノードRN1〜RN4が存在する。「実ノード」とは、後述する「想定ノード」と区別するための概念であり、情報処理装置が取得するグラフ構造のデータ(処理対象データ、元データ)におけるノードを意味する。実ノードRN1は、特徴量h1を有しており、実ノードRN2は、特徴量h2を有しており、実ノードRN3は、特徴量h3を有しており、実ノードRN4は、特徴量h4を有している。特徴量は、例えばベクトルであるが、本明細書および図面では、スカラーとベクトルを表記上、区別していない。
図1の上図において、実ノードRN1と実ノードRN2は、実エッジRE12で接続され、実ノードRN1と実ノードRN3は、実エッジRE13で接続され、実ノードRN1と実ノードRN4は、実エッジRE14で接続され、実ノードRN2と実ノードRN3は、実エッジRE23で接続されている。「実エッジ」とは、後述する「想定エッジ」と区別するための概念であり、情報処理装置が取得するグラフ構造のデータにおけるエッジを意味する。また、ここでの「接続されている」とは、互いの特徴量が、次の状態における双方の特徴量に影響を及ぼし合う関係を意味する。なお、この定義は無向グラフを前提としているが、有向グラフを扱う場合、「接続されている」とは、一方の特徴量が、次の状態における他方の特徴量に影響を及ぼす関係を意味する。
図1の下図は、図1の上図に示すグラフ構造のデータに基づいて生成されるニューラルネットワークの一例を示すものである。h#、h#、h#、h#のそれぞれは、実ノードRN1、RN2、RN3、RN4のそれぞれの特徴量の、中間第1層における特徴量である。図示するように、図1の上図における実エッジREが、そのままニューラルネットワークの接続構造となっている。ここで、特徴量h#は、式(1)で表される。式中、α1,1〜α1,4は、伝播度合いを示す係数である。このように、ある実ノードRNの第k層の特徴量は、接続関係にある他の実ノードRNおよびその実ノードRN自身のk−1層の特徴量に対して、それぞれ係数と伝播行列Wを乗算して合計することで求められる。伝播行列に関しては後述する。
#=α1,1・W・h+α1,2・W・h+α1,3・W・h+α1,4・W・h …(1)
(第1の実施形態)
図2は、第1の実施形態の手法により、グラフ構造のデータからニューラルネットワークを生成する様子を示す図である。図示するように、第1の実施形態の情報処理装置は、実ノードRNだけでなく、実エッジREを含めた想定ノードANを設定し、想定ノードANの第k−1層の特徴量を、接続関係にある他の想定ノードAN、およびその想定ノードAN自身の第k層の特徴量に伝播させるニューラルネットワークを生成する。kは1以上の自然数であり、k=0の層は、例えば入力層を意味する。
情報処理装置は、例えば、式(2)に基づいて中間第1層の特徴量を決定する。なお、式(2)は、想定ノード(RN1)の中間第1層の特徴量h1#の計算手法に該当する。一例としてα1,12は、想定ノード(RN1)と想定ノード(RE12)の間の伝播度合いを示す係数である。想定ノード(RN1)の中間第2層の特徴量h1##は、式(3)で表される。中間第3層以降も順次、同様の規則で特徴量が決定される。
#=α1,1・W・h+α1,12・W・h12+α1,13・W・h13+α1,14・W・h14 …(2)
##=α1,1・W・h#+α1,12・W・h12#+α1,13・W・h13#+α1,14・W・h14# …(3)
情報処理装置は、例えば、グラフアテンションネットワークに基づく規則で係数αi,jを決定する。図3は、情報処理装置が係数αi,jを決定する手法について説明するための図である。情報処理装置は、伝播元の想定ノードRNiの特徴量hiに伝播行列Wを乗算して得られるベクトルWhと、伝播先の想定ノードRNjの特徴量hjに伝播行列Wを乗算して得られるベクトルWhとを結合したベクトル(Wh,Wh)を個別ニューラルネットワークa(アテンション)に入力し、出力層のベクトルをシグモイド関数、ReLU、softmax関数などの活性化関数に入力して正規化し、足し合わせることで、係数αi,jを導出する。個別ニューラルネットワークaは、解析対象となる事象について予めパラメータ等が求められたものである。
情報処理装置は、上記の規則に従いつつ、ニューラルネットワークの目的に沿うようにニューラルネットワークのパラメータ(W、αi,j)を決定する。ニューラルネットワークの目的とは、想定ノードANを現在の状態とした場合に将来の状態を出力することであったり、現在の状態を評価するための指標を出力することであったり、現在の状態を分類することであったりする。
図4は、第1の実施形態に係る情報処理装置1のブロック図である。情報処理装置1は、例えば、データ取得部10と、ネットワーク処理部30と、出力部60とを備える。これらの機能部は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
データ取得部10は、例えば、外部装置からグラフ構造のデータ20を取得し、記憶部に記憶させる。記憶部は、例えば、RAM(Random Access Memory)やHDD(Hard Disk Drive)、フラッシュメモリなどにより実現される。グラフ構造のデータ20は、例えば、図1や図2の上図に示すようなグラフ構造を、実ノードRNと実エッジREのそれぞれのレコードとして表現したデータである。また、グラフ構造のデータ20には、それぞれの実ノードRNの初期状態としての特徴量が付与されていてもよい。なお、実ノードRNの初期状態としての特徴量は、グラフ構造のデータ20とは別のデータセットとして用意されてもよい。データ取得部10は、外部装置からグラフ構造のデータ20を取得するのに代えて、予め記憶部に記憶されているグラフ構造のデータ20を取得する(読み出す)ものであってもよいし、利用者が入力デバイスを用いて入力したグラフ構造のデータ20を取得してもよい。
ネットワーク処理部30は、例えば、実ノード・実エッジ隣接関係抽出部32と、想定ノードメタグラフ化部36と、メタグラフコンボリューション部40とを備える。
実ノード・実エッジ隣接関係抽出部32は、グラフ構造のデータ20を参照し、隣接関係(接続関係)にある実ノードRNと実エッジREを抽出する。例えば、実ノード・実エッジ隣接関係抽出部32は、それぞれの実ノードRNおよび実エッジREについて、隣接関係(接続関係)にあるの実ノードRNまたは実エッジREを網羅的に抽出し、それらを対応付けた形で記憶部に記憶させる。
想定ノードメタグラフ化部36は、実ノード・実エッジ隣接関係抽出部32により抽出された実ノードRNと実エッジREが接続されるように、想定ノードANの状態を層状に繋いだニューラルネットワークを生成する。この際に、想定ノードメタグラフ化部36は、前述したグラフアテンションネットワークに基づく規則に従いつつ、前述したニューラルネットワークの目的に沿うように、伝播行列Wおよび係数αi,jを決定する。
メタグラフコンボリューション部40は、例えば、想定ノードANのうち実ノードRNの初期値としての特徴量をニューラルネットワークに入力し、各層の想定ノードANの状態(特徴量)を導出する。これを繰り返し実行することで、出力部60が想定ノードANの特徴量を外部に出力する。
以上説明した第1の実施形態によれば、より幅広いニーズに対応することができる。
(第2の実施形態)
以下、第2の実施形態について説明する。第2の実施形態において、情報処理装置は、想定ノードANの元となる実ノードRNと実エッジの少なくとも一方に対して種別を設定し(換言すると、想定ノードANに対して種別を設定し)、種別ごとに係数を設定する際の規則を変更する。より具体的に、情報処理装置は、想定ノードANの種別ごとに、その想定ノードANから伝播する特徴量を規定する係数αi,jを決定するための伝播行列Wを異ならせる。
図5は、想定ノードANの種別の定義の一例を示す図である。この例において、第2の実施形態の情報処理装置は、実ノードRNであった想定ノードに対してA、Bの二種類の種別を、実エッジREであった想定ノードに対してL、Tの二種類の種別を設定する。図5の上図は、グラフ構造のデータ20の内容の一例を示し、図5の下図は、実ノードRNと実エッジREを想定ノードANに変換した様子を模式的に示している。
種別が「A」である実ノードRN(A)は、種別が「L」である実エッジRE(L)のみが接続されたものである。
種別が「B」である実ノードRN(B)は、種別が「L」である実エッジRE(L)と種別が「T」である実エッジRE(T)との双方が接続されたものである。
種別が「L」である実エッジRE(L)と、種別が「T」である実エッジRE(T)は、自身に接続された実ノードRNの特徴量の伝播特性が互いに異なるものである。
A、B、L、Tに続く数字は、実ノードRN、実エッジRE、想定ノードANとしての識別子である。以下、A1、B1、L1、T2などの符号は、想定ノードANの識別子であると共に、それらの特徴量を示すものとする。
図6は、第2の実施形態の手法により、グラフ構造のデータ20から生成されたニューラルネットワークを示す図である。ニューラルネットワークの生成規則に関しては第1の実施形態と同様であるが、第2の実施形態の情報処理装置は、想定ノードANの種別ごとに、その想定ノードANから伝播する特徴量を規定する係数αi,jを決定するための伝播行列Wを異ならせる。具体的に、情報処理装置は、実ノードRN(A)であった想定ノードANから伝播する特徴量には伝播行列Wを適用し、実ノードRN(B)であった想定ノードANから伝播する特徴量には伝播行列Wを適用し、実エッジRE(L)であった想定ノードANから伝播する特徴量には伝播行列Wを適用し、実ノードRE(T)であった想定ノードANから伝播する特徴量には伝播行列Wを適用する。なお、伝播行列WA、、WL、のそれぞれを、層ごとに異ならせてもよい。
これによって、実ノードRNや実エッジREの特性の違いに対して、より正確に追従することができ、正確に想定ノードANの状態(特徴量)を予測することができる。
また、第1または第2実施形態の情報処理装置によれば、対象データの変更に対して柔軟に対応することができる。図7は、対象データの変更によってニューラルネットワークが変更される様子を示す図である。図7の上図の例を図5の例と比較すると、実ノードRN(B1)と実ノードRN(B2)とを接続する実エッジRE(T2)が追加されている。この場合、図7の下図に示すように、ニューラルネットワークにおいては想定ノードAN(T2)を追加し、想定ノードAN(T2)と、想定ノードAN(B1)、AN(B2)、および想定ノードAN(T2)自身を接続する想定エッジAEを追加すれば済む。従って、対象データの変更に対して柔軟に対応することができる。
図8は、第2の実施形態に係る情報処理装置2のブロック図である。情報処理装置2は、第1の実施形態と比較すると、例えば、種別設定部34を更に備える。種別設定部34は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
種別設定部34は、実ノード・実エッジ隣接関係抽出部32により抽出された結果を参照し、実ノードRNおよび実エッジREのそれぞれに前述したような種別を付与する。
想定ノードメタグラフ化部36は、前述したグラフアテンションネットワークに基づく規則で、且つ特徴量の伝播元の種別に応じた伝播行列Wを適用して、係数αi,jを決定する。
その他の構成要素の機能については、第1の実施形態と同様である。
以上説明した第2の実施形態によれば、より幅広いニーズに対応することができる。
また、上記の構成は、社会インフラの状態を解析するのに好適である。例えば、電力送電配電網や上下水道網などの解析対象は、グラフ構造として捉えることで正確な解析をすることができる。
図9は、第2の実施形態を電力送電配電網に適用する様子について説明するための図である。図示する構成は、バス1〜バス4を含む。バスとは、電力の供給源や需要家が接続される「箇所」のような概念である。バス1とバス2の間には、変圧器が設けられている。バス2には、60[MW]の需要家が接続されている。バス2とバス3の間は、70[km]の電力線で接続されている。バス3には、発電機と、70[MW]の需要家が接続されている。バス2とバス4の間は、40[km]の電力線で接続されており、バス3とバス4の間は、50[km]の電力線で接続されている。バス4には、発電機と、10[MW]の需要家が接続されている。このような構成において、バスを実ノード、変圧器を種別「T」の実エッジ、電力線を種別「L」の実エッジと考えると、図7に示すグラフ構造のデータおよびニューラルネットワークで状態を解析することができる。この場合、実ノードRNに基づく想定ノードANに対して入力される入力属性としては、種別、接続された負荷、シャント抵抗などがある。また、種別「T」の実エッジREに基づく想定ノードANに対して入力される入力属性としては回路定数があり、種別「L」の実エッジREに基づく想定ノードANに対して入力される入力属性としては距離やユニット自由度などがある。入力属性とは、特徴量のうち静的な情報である。
グラフ構造に擬される社会インフラに対して、ニューラルネットワークによる解析処理を行う場合、以下の要件を満たすことが望ましい。
1.大規模性
社会インフラへの適用には、基本的に規模の大きさと拡張性が必要になる。たとえば、電力送電配電網を考えると、バス(設備機器や需要負荷などの接続点)数として1万以上の大規模回路網となることもある。
2.多様性
従来のニューラルネットワークを応用した入力情報は、多くが、均一の属性信号であった。たとえば、画像処理の場合、入力は、画素信号という一種類の情報であったり、その特徴信号であった。しかしながら、社会インフラの場合、その入力信号数(次元)は数千以上となる場合があり、ネットワーク層も数十層というような大きな規模になる場合がある。上述の電力送電配電網を考えると、発電機、変圧器、負荷、トランス、電線など多種の設備がつながった大規模システムである。
3.変動性
通常、社会インフラ自体は運用期間が長く、その間に機器の保守、改良、置換が繰り返され、その都度、運用管理の見直しや投資検討が行われている。このように社会インフラの部分的改善、変更に対して、モデルの再学習を行うことなく追従する機能が求められている。
これに対し実施形態の情報処理装置は、伝播行列Wを複数の想定ノードAN間で共通して用いることで、伝播に関するパラメータを網羅的に探索する必要がなくなるため、解析対象が大規模であっても処理負荷の増大を抑制することができる。また、想定ノードANに対して種別を設定し、伝播行列Wを種別に応じて異ならせることで、多様性の要求にも対応することができる。また、ニューラルネットワークにおける接続数を、もとのグラフ構造のデータにおける隣接関係(接続関係)にあるものに限定しているため、変動性の要求にも対応することができる。
(第1または第2の実施形態の変形例)
上記各実施形態では、実ノードRNと実エッジREを想定ノードとした後は、これらをニューラルネットワーク上では区別せずに処理を行うものとしたが、実ノードRNに基づく想定ノードANに対する処理と、実エッジREに基づく想定ノードANに対する処理とを、タイミングをずらしながら交互に行うようにしてもよい。図10は、変形例に係るニューラルネットワークの一例を示す図である。このように構成することで、ある実ノードRNの状態を、より速やかに隣接する(一つの実エッジを介して接続された)他の実ノードに伝播させることができる。また、この場合、実エッジからの伝播については、グラフアテンションネットワークの規則とは異なる規則で情報を伝播させてもよい。
以上説明した少なくともひとつの実施形態によれば、複数の実ノードRNと、複数の実ノードRNのうち二つを接続する一以上の実エッジREとを含むグラフ構造のデータ20を取得するデータ取得部10と、データ取得部10により取得されたグラフ構造のデータ20に基づいて、ニューラルネットワークにおいて、複数の実ノードRNおよび一以上の実エッジREを含む複数の想定ノードANのそれぞれの第k−1層の特徴量を、少なくともそれぞれの想定ノードANと接続関係にある他の想定ノードANの第k層の特徴量に伝播させる処理を実行するネットワーク処理部30と(kは1以上の自然数)、を持つことにより、より幅広いニーズに対応することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 情報処理装置
10 データ取得部
20 グラフ構造のデータ
30 ネットワーク処理部
32 実ノード・実エッジ隣接関係抽出部
34 種別設定部
36 想定ノードメタグラフ化部
40 メタグラフコンボリューション部
50 想定ノード特徴量
60 出力部

Claims (7)

  1. 複数の実ノードと、前記複数の実ノードのうち二つを接続する一以上の実エッジとを含むグラフ構造のデータを取得するデータ取得部と、
    前記データ取得部により取得されたグラフ構造のデータに基づいて、前記複数の実ノードと前記一以上の実エッジとをそれぞれ区別できる想定ノードとし、前記複数の想定ノードの特徴量を伝播させるニューラルネットワークを設定し、前記複数の想定ノードのそれぞれの第k−1層の特徴量を、少なくとも前記それぞれの想定ノードと接続関係にある他の想定ノードの第k層の特徴量に伝播させる処理を実行するネットワーク処理部と(kは1以上の自然数)、
    を備える情報処理装置。
  2. 前記ネットワーク処理部は、前記複数の想定ノードのそれぞれの第k−1層の特徴量を、前記それぞれの想定ノード自身の第k層の特徴量にも伝播させる、
    請求項1記載の情報処理装置。
  3. 前記ネットワーク処理部は、前記想定ノードの種別を複数の種別の中から設定し、前記設定した想定ノードの種別ごとに、前記特徴量を伝播させる際の係数を設定する規則を異ならせる、
    請求項1または2記載の情報処理装置。
  4. 前記ネットワーク処理部は、前記特徴量を伝播させる際の係数の少なくとも一部を、グラフアテンションネットワークに基づく規則で設定する、
    請求項1から3のうちいずれか1項記載の情報処理装置。
  5. 前記ネットワーク処理部は、伝播元の想定ノードの特徴量と、伝播先の想定ノードの特徴量とにそれぞれ作用させる伝播行列を、伝播元の前記想定ノードの種別に応じて設定する、
    請求項4記載の情報処理装置。
  6. コンピュータが、
    複数の実ノードと、前記複数の実ノードのうち二つを接続する一以上の実エッジとを含むグラフ構造のデータを取得し、
    前記取得したグラフ構造のデータに基づいて、前記複数の実ノードと前記一以上の実エッジとをそれぞれ区別できる想定ノードとし、前記複数の想定ノードの特徴量を伝播させるニューラルネットワークを設定し、前記複数の想定ノードのそれぞれの第k−1層の特徴量を、少なくとも前記それぞれの想定ノードと接続関係にある他の想定ノードの第k層の特徴量に伝播させる処理を実行する(kは1以上の自然数)、
    情報処理方法。
  7. コンピュータに、
    複数の実ノードと、前記複数の実ノードのうち二つを接続する一以上の実エッジとを含むグラフ構造のデータを取得させ、
    前記取得したグラフ構造のデータに基づいて、前記複数の実ノードと前記一以上の実エッジとをそれぞれ区別できる想定ノードとし、前記複数の想定ノードの特徴量を伝播させるニューラルネットワークを設定し、前記複数の想定ノードのそれぞれの第k−1層の特徴量を、少なくとも前記それぞれの想定ノードと接続関係にある他の想定ノードの第k層の特徴量に伝播させる処理を実行させる(kは1以上の自然数)、
    プログラム。
JP2018099175A 2018-05-23 2018-05-23 情報処理装置、情報処理方法、およびプログラム Active JP6906478B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018099175A JP6906478B2 (ja) 2018-05-23 2018-05-23 情報処理装置、情報処理方法、およびプログラム
CN201980018597.3A CN111837141A (zh) 2018-05-23 2019-05-14 信息处理装置、信息处理方法以及存储介质
PCT/JP2019/019077 WO2019225399A1 (ja) 2018-05-23 2019-05-14 情報処理装置、情報処理方法、および記憶媒体
US17/098,508 US12182681B2 (en) 2018-05-23 2020-11-16 Information processing device, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018099175A JP6906478B2 (ja) 2018-05-23 2018-05-23 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019204294A JP2019204294A (ja) 2019-11-28
JP6906478B2 true JP6906478B2 (ja) 2021-07-21

Family

ID=68615581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018099175A Active JP6906478B2 (ja) 2018-05-23 2018-05-23 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US12182681B2 (ja)
JP (1) JP6906478B2 (ja)
CN (1) CN111837141A (ja)
WO (1) WO2019225399A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210287067A1 (en) * 2020-03-11 2021-09-16 Insilico Medicine Ip Limited Edge message passing neural network
CN112284736B (zh) * 2020-10-23 2022-02-01 天津大学 一种基于多通道注意力模块的卷积神经网络故障诊断方法
CN112560211B (zh) * 2020-12-16 2023-07-25 北京百度网讯科技有限公司 用于调整电网结构的方法、相关装置及计算机程序产品
EP4310747A4 (en) 2021-03-18 2024-10-16 Toshiba Energy Systems & Solutions Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
CN113324754B (zh) * 2021-05-27 2022-05-06 西安交通大学 一种基于多感受野图卷积的齿轮传动系统故障识别方法
TW202248883A (zh) 2021-05-31 2022-12-16 汎思數據股份有限公司 深度學習神經網路儲存與推論方法
CN113759854B (zh) * 2021-09-18 2023-09-05 富联裕展科技(深圳)有限公司 基于边缘计算的智能工厂管控系统及方法
CN117609824B (zh) * 2023-11-09 2024-05-07 武汉华源电力设计院有限公司 有源配电网拓扑识别和故障诊断分析方法、装置及设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3270070B2 (ja) * 1991-05-17 2002-04-02 三菱電機株式会社 ニューラルネットワークシステム
JPH0561984A (ja) * 1991-09-03 1993-03-12 Nikon Corp 有向グラフ表示装置
JP2014054151A (ja) * 2012-09-10 2014-03-20 Toshiba Corp 輸送ネットワークのグラフ構造構築装置、グラフ構造構築システム、グラフ構造構築方法及びグラフ構造構築プログラム
US11094015B2 (en) * 2014-07-11 2021-08-17 BMLL Technologies, Ltd. Data access and processing system
JP6205526B2 (ja) * 2015-04-28 2017-09-27 株式会社日立製作所 計算機及びニューラルネットワークを用いた演算方法
US10366324B2 (en) * 2015-09-01 2019-07-30 Google Llc Neural network for processing graph data
JP6651629B2 (ja) * 2015-12-10 2020-02-19 ディープマインド テクノロジーズ リミテッド 外部メモリを用いたニューラルネットワークの拡張
CN105787439B (zh) * 2016-02-04 2019-04-05 广州新节奏智能科技股份有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
US10728120B2 (en) * 2016-12-13 2020-07-28 Sap Se Weighted node layering in graph drawing
US11023817B2 (en) * 2017-04-20 2021-06-01 International Business Machines Corporation Probabilistic estimation of node values
US10346166B2 (en) * 2017-04-28 2019-07-09 Intel Corporation Intelligent thread dispatch and vectorization of atomic operations
US12106217B2 (en) * 2018-05-18 2024-10-01 Benevolentai Technology Limited Graph neutral networks with attention

Also Published As

Publication number Publication date
CN111837141A (zh) 2020-10-27
US12182681B2 (en) 2024-12-31
US20210064978A1 (en) 2021-03-04
WO2019225399A1 (ja) 2019-11-28
JP2019204294A (ja) 2019-11-28

Similar Documents

Publication Publication Date Title
JP6906478B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Adeli et al. Dynamic fuzzy wavelet neural network model for structural system identification
JP6384065B2 (ja) 情報処理装置、学習方法、及び、プログラム
CN112749785B (zh) 信息处理装置、信息处理方法以及程序
JP7119820B2 (ja) 予測プログラム、予測方法および学習装置
Babovic et al. Error correction of a predictive ocean wave model using local model approximation
Ezhilarasi et al. Network partitioning using harmony search and equivalencing for distributed computing
CN111527734B (zh) 节点流量占比预测方法及装置
Tang et al. Predicting hourly boarding demand of bus passengers using imbalanced records from smart-cards: A deep learning approach
Wu et al. Generative design for resilience of interdependent network systems
CN118714028A (zh) 基于小波分解和改进型lstm的算力网络流量预测方法
JP6205526B2 (ja) 計算機及びニューラルネットワークを用いた演算方法
Chakraborty et al. The role of surrogate models in the development of digital twins of dynamic systems
CN115631057A (zh) 一种基于图神经网络的社交用户分类方法及系统
Qu et al. GPU‐Based Parallel Particle Swarm Optimization Methods for Graph Drawing
CN120806199A (zh) 模型性能预估方法、装置和计算机设备
Amer et al. Application of fuzzy cognitive map for the development of scenarios: a case study of Wind Energy Deployment
Zolotin et al. Matrix-vector algorithms of global posteriori inference in algebraic Bayesian networks
Abdul-Razaq et al. Local search algorithms for multi-criteria single machine scheduling problem
de Moraes et al. NetGAP: A graph grammar approach for concept design of networked platforms with extra-functional requirements
Bader et al. Nonlinear dynamical social and political prediction algorithm for city planning and public participation using the impulse pattern formulation
Haythorpe et al. Change ringing and Hamiltonian cycles: The search for Erin and Stedman triples
Taelman et al. PoDiGG: a public transport RDF dataset generator
Pattan et al. The role of digital twins in shaping aviation’s circular economy transformation
Wang et al. Parallel Monte Carlo method with MapReduce for option pricing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210629

R150 Certificate of patent or registration of utility model

Ref document number: 6906478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150