JP6886853B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、ニューラルネットワークを最適化する情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来のニューラルネットワークでは、ニューロンは関数の数学変数として扱われていた。例えば、特許文献１に記載のニューラルネットワークでは、各ニューロンには結合荷重が設定されており、隣接する層のニューロンから順伝搬又は逆伝搬により入出力が与えられている。

特開２０１７−３７３９２号公報

上述したように、特許文献１に記載のニューラルネットワークでは、各ニューロンには隣接するニューロンからの入出力しか与えられないため、当該ニューロンは単なる関数変数としての機能しかなく、物理的機能を含む実社会の社会インフラ問題に適用させることができないという問題がある。

そこで、本発明は、上記問題に鑑み、物理的機能を含む実社会の社会インフラ問題に適用可能なニューラルネットワークを実現する情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る情報処理装置は、複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得部と、前記学習データに基づいて、前記ニューラルネットワークを最適化する演算部と、を含み、前記演算部は、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する。

本発明の一態様に係る情報処理装置において、前記開閉機構は、所定の最適回数によって、前記隣接するニューロン間において、順伝搬または逆伝搬を実行することを特徴としてもよい。

本発明の一態様に係る情報処理装置において、前記所定の最適回数は、前記勾配生成層の更新回数と前記逆伝搬の勾配更新回数の比であることを特徴としてもよい。

本発明の一態様に係る情報処理装置において、前記勾配生成層は、前記ニューロンに対して、他のニューロンとは独立して外部から勾配を与えることを特徴としてもよい。

本発明の一態様に係る情報処理装置において、前記演算部は、前記ニューラルネットワークを電力システムに適用した場合、前記ニューロンを前記電力システムのノードに対応付け、前記勾配生成層が前記ニューロンに与える勾配は、前記電力システムの各ノードにおける電力の需給バランスの変化に対応することを特徴としてもよい。

本発明の一態様に係る情報処理装置において、前記勾配生成層が前記ニューロンに与える勾配は、前記電力システムの各ノードにおいて独立して発生する電力の変動に対応することを特徴としてもよい。

本発明の一態様に係る情報処理方法は、複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得ステップと、前記学習データに基づいて、前記ニューラルネットワークを最適化する演算ステップと、を含み、前記演算ステップにおいて、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する。

本発明の一態様に係る情報処理プログラムは、複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得機能と、前記学習データに基づいて、前記ニューラルネットワークを最適化する演算機能と、を含み、前記演算機能において、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する。

本発明によれば、既存のニューラルネットワークの各層間にある結合を一時的に切り離し、外部から付け加える勾配生成層を新たに導入することで、物理的機能を含む実社会の社会インフラ問題に適用可能なニューラルネットワークを実現する情報処理装置、情報処理方法及び情報処理プログラムを提供することが可能である。

本発明の実施形態におけるニューラルネットワークの構造を示す概略図である。 本発明の実施形態におけるニューラルネットワーク１の概略を説明するための図面である。 本発明の実施形態における情報処理装置の構成例を示すブロック図である。 本発明の実施形態におけるニューラルネットワーク１の構成例を示す図である。 本発明の実施形態における演算部の構成例を示すブロック図である。 本発明の実施形態における電力エネルギーの伝送ネットワークの概略例を示す概略図である。 本発明の実施形態における情報処理装置の動作例を示すフローチャートである。

以下、本発明の一実施態様に係る測定装置について、図面を参照しながら詳細に説明する。

＜実施の形態＞
図１は、本発明の実施形態におけるニューラルネットワーク１の構造を示す概略図である。図１に示すように、本発明の実施形態では、既存のニューラルネットワーク１の各層間にある結合を一時的に切り離し、外部から付け加える勾配生成層を新たに導入するものである。

人工知能技術の本質は、人間の脳の知能において解明されている生物機構を、計算機で人工的に再現することである。人工知能の歴史を振り返ると、画期的な発見は、脳の生物機構を計算機で人工的に再現することで起こっている。例えば、パーセプロトンは、神経の最小単位であるニューロンの機能に焦点を当てて、視覚と脳の神経活動をモデル化したものであり、初めてのニューロンデバイスである。また、同様に、脳の生物機構に起因した仕組みとして、受容野に起因した畳み込みニューラルネットワーク1や、大脳基底核に起因した強化学習がある。さらに、第三次人工知能である深層学習は、脳のアーキテクチャ、すなわち最下層から順に脊髄、脳幹、中脳、大脳新皮質、海馬という階層構造と対応関係をもつ。

ここで、既存の深層学習は識別する対象とニューラルネットワーク1におけるニューロン間に明確な物理的意味を持たず、ニューロンは単なる計算知能の関数変数として機能している。このニューロン表現の閉鎖性が、深層学習の発展を妨げる要因である。

一方、現在開発が進んでいるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、汎用型ＡＩであり、人間の成長初期段階において必要とされている「観察する→識別する→行動する」というプロセスを有する汎用的な人工知能である。言い換えると、汎用型ＡＩは、人間的なＡＩと言える。

そこで、本発明の実施形態におけるニューラルネットワーク１は、この人間的な汎用型ＡＩのアルゴリズムを拡張し、人工知能に対して、ニューロンが有する“物理”機能を付与するものである。“物理”機能を付与することは、計算対象をメッシュ化したものの一つ一つが計算ユニットであるとともに、「伝達、代謝、増殖、成長、変性と再生」などの物理の機能を有するものであることを意味する。

図２は、本発明の実施形態におけるニューラルネットワーク１の概略を説明するための図面である。図２に示すように、本発明の実施形態におけるニューラルネットワーク１のニューロンは、その各々が固有の“物理的デバイス機能”を定義されている。例えば、図２に示すように、ニューラルネットワーク１のニューロンＡに対して、「増殖・成長」という物理機能として、社会インフラの「製造」という物理的デバイス機能が定義されている。また、同様にして、ニューロンＢに対し、「伝達」という物理機能として、「移動」という物理的デバイス機能が定義されている。また、ニューロンＣに対し、「変性と再生」という物理機能として、「センサー」という物理的デバイス機能が定義されている。さらに、ニューロンＤに対し、「代謝」という物理機能として、「エネルギー」という物理的デバイス機能が定義されている。このように、本発明の実施形態のニューラルネットワーク１のニューロンには、社会インフラ機能としての物理的デバイス機能が対応付けられている。その結果、本発明の実施形態におけるニューラルネットワーク１は、実社会の様々な課題に対応可能な柔軟性を持つニューラルネットワーク１を構築することができる。

図１に示すように、本発明の実施形態におけるニューラルネットワーク１は、既存のニューラルネットワーク１の機械学習に「順伝搬」と「逆伝搬」を交互に実行することにより、収束するまで勾配を更新し続けることができる。また、本発明の実施形態におけるニューラルネットワーク１は、ニューラルネットワーク１の各層にあるニューロンが、既存のニューラルネットワーク１における逆伝搬から解放され、勾配生成層から勾配を更新することが可能となる。なお、逆伝搬機能を完全に中止するのではなく、勾配生成層の更新回数と逆伝搬の勾配更新回数の比を、所定の最適回数に設定し、当該所定の最適回数の元で逆伝搬を実行する逆伝搬遅延機能を取り入れる。このように、弱結合を実現したニューラルネットワーク１（すなわち所定の最適回数の元で逆伝搬を実行するニューラルネットワーク１）を用いることにより、全てのニューロンに物理的な機能を持たせることが可能となる。

本発明の実施形態におけるニューラルネットワーク１のように、物理的な機能を持つニューロンを使用することにより、既存のような画像処理にとどまらず、交通や人流、物流に適用することが可能となる。また、本発明の実施形態におけるニューラルネットワーク１は、ニューロンに対して物理的な機能としてのセンサー機能を持たせることにより、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）の基盤プラットフォームに対して適用することができる。また、本発明の実施形態におけるニューラルネットワーク１は、ニューロンに対して物理的な機能としての製造機能を持たせることにより、生産工場の管理プラットフォームに適用可能である。このように、本発明の実施形態におけるニューラルネットワーク１は、各種産業に適用可能である。

＜情報処理装置の構成＞
図３は、情報処理装置１００の構成例を示すブロック図である。図３に示すように、情報処理装置１００は、通信部１０１と、入出力部１０２と、表示部１０３と、記憶部１０４と、制御部１０５を含む。

通信部１０１は、所定のデータやメッセージなどを送受信可能な通信インターフェースである。通信部１０１は、例えば、無線通信が可能な通信インターフェースであり、無線ＬＡＮのアクセスポイントを介して通信する機能や、ＬＴＥやＣＤＭＡなどの無線通信ネットワークを介して通信するための機能を含んでいてもよい。また、アクセスポイントを介して、ネットワーク３に接続可能な機能を含んでいてもよい。アクセスポイントは、例えばＩＥＥＥ８０２．１１の規格に準拠したＷｉ−Ｆｉなどの無線ＬＡＮの無線通信方式による通信を提供する。通信部１０１は、例えば、他の情報処理装置（図示しない）から、学習データなどを受信可能である。

入出力部１０２は、情報処理装置１００に対する各種操作を入力する機能、および、情報処理装置１００で処理された処理結果を出力する機能を含む。入出力部１０２は、例えば、タッチパネルなどであり、ユーザの指やスタイラスなどの指示具による接触とその接触位置を検出可能である。また、入出力部１０２は、例えば、キーボードやマウス等のポインティングデバイス、音声による操作入力が可能な装置等であってもよい。また、入出力部１０２は、スピーカなどの音声出力装置や３Ｄ（ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎｓ）出力装置、ホログラム出力装置などであり、処理結果を出力する機能を含む。なお、入出力部１０２は、これらに限定されず、どのような装置であってもよい。

表示部１０３は、例えば、液晶ディスプレイやＯＥＬＤ（ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ ｄｉｓｐｌａｙ）などのモニタである。また、表示部１０３は、ヘッドマウントディスプレイ（ＨＤＭ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）や、プロジェクションマッピング、ホログラムなど、空間に画像やテキスト情報等を表示可能な装置により実現されてもよい。

記憶部１０４は、情報処理装置１００が動作するうえで必要とする各種プログラムや各種データを記憶する機能を含む。記憶部１０４は、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。

記憶部１０４は、例えば、制御部１０５における各種処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部１０４は、ドライバプログラムとして、ＩＥＥＥ８０２．１１規格の無線通信方式や移動体通信（セルラー通信）の無線通信方式を実行する通信ドライバプログラムを記憶する。また、記憶部１０４は、入力デバイスドライバプログラムや出力デバイスドライバプログラム等を記憶する。また、記憶部１０４は、各種のテキストデータ、映像データ、画像データ等を記憶したり、所定の処理に係る一時的なデータを一時的に記憶したりしてもよい。

また、記憶部１０４は、学習データを記憶する。学習データは、ニューラルネットワーク１を学習するためのデータである。学習データは、例えば、実測又はシミュレーション等により得ることができる。学習データは、入力データと結果の規範としての教師データとの組を含んでいてもよい。

また、記憶部１０４は、制御部１０５によって最適化されたニューラルネットワーク１を記憶してもよい。

制御部１０５は、プログラム内のコードや命令によって所定の機能を実行するための機能を備え、例えば、中央処理装置（ＣＰＵ）である。また、制御部１０５は、例えば、マイクロプロセッサやマルチプロセッサ、ＡＳＩＣ、ＦＰＧＡなどであってもよい。なお、制御部１０５は、これらの例に限定されない。

図３に示すように、制御部１０５は、取得部１０６と、演算部１０７を含む。

取得部１０６は、記憶部１０４に記憶されている学習データを取得する。また、取得部１０６は、ニューラルネットワーク１の初期構造を取得する。取得部１０６は、初期構造のニューラルネットワーク１を、外部からの入力により、又は、予め設定することにより取得する。

演算部１０７は、取得部１０６で取得した初期構造のニューラルネットワーク１を最適化する演算を行う。演算部１０７は、例えば、取得部１０６が取得した学習データを用いて、ニューラルネットワーク１を最適化する。また、演算部１０７は、例えば、ニューロン生成処理や、ニューロン消滅処理、勾配生成処理、隣接ニューロン間の開閉処理を実行する。

＜ニューラルネットワーク１の構成＞
図４は、本発明の実施形態におけるニューラルネットワーク１の構成例を示す図である。図４に示すように、制御部１０５によって最適化されたニューラルネットワーク１は、開閉可能な機構を含む複数のニューロン２００と、当該複数のニューロン２００の各々に対応する勾配生成層３００を含む。複数のニューロン２００の各々に含まれる開閉可能な機構は、所定の最適回数によって、隣接するニューロン２００との接続を開閉する機能を備える。最適化されたニューラルネットワーク１は、開閉可能な機構が閉じた状態になると、隣接するニューロン２００との間で、既存のニューラルネットワークにおける「順伝搬」と「逆伝搬」とを実行する。一方、開閉可能な機構が開いた状態では、隣接するニューロン２００との間で、「順伝搬」と「逆伝搬」とは実行されない状態となる。すなわち、最適化されたニューラルネットワーク１は、各層にあるニューロンを逆伝搬から解放される。なお、所定の最適回数は、例えば、勾配生成層の更新回数と逆伝搬の勾配更新回数の比である。

勾配生成層３００は、複数のニューロン２００の各々に対して、物理的な機能を与えるものである。勾配生成層３００は、ニューロン２００に対して、外部から勾配を付け加える機能である。勾配生成層３００は、例えば、動的なデータや静的なデータの入出力（勾配）を、ニューロン２００に対して与える（更新する）機能を有する。なお、勾配生成層３００は、既存のニューラルネットワークにおける「順伝搬」と「逆伝搬」など隣接するニューロンから与えられるものではなく、他のニューロン２００とは独立して、所定のニューロン２００に勾配を与えるものである。

勾配生成層３００は、例えば、電力システムにニューラルネットワーク１を適用した場合には、太陽光や風力、消費電力などの動的データの入出力を、ニューロン２００に与えることができる。また、勾配生成層３００は、蓄電池やセンサーなどの静的データの入出力を、ニューロン２００に与えることもできる。

また、最適化されたニューラルネットワーク１は、既存のニューラルネットワークと同様に、入力層となるニューロン２００Ａと、出力層となるニューロン２００Ｂと、中間層となる複数のニューロン２００Ｃとを含む。ただし、これらのニューロン２００の各々は、上述したように、隣接するニューロン２００との間の接続を開閉可能な機構と、勾配を更新する勾配生成層をと含む。

上記のとおり、最適化されたニューラルネットワーク１は、各ニューロン２００が物理的な機能を持つことにより、実社会の様々な課題に対応可能な柔軟性を持つニューラルネットワーク１を構築することができる。

以下では、本発明の実施形態におけるニューラルネットワーク１を、電力システムに適用させた場合を例にして説明する。ただし、本発明の実施形態におけるニューラルネットワーク１は、電力システム以外の各種システムに適用可能であることは言うまでもない。

ここで、ニューラルネットワーク１を最適化する演算部１０７について、説明する。図５は、本発明の実施形態における演算部１０７の構成例を示す図である。図５に例示するように、演算部１０７は、ニューロン生成処理部１７１と、ニューロン消滅処理部１７２と、勾配生成処理部１７３と、開閉処理部１７４を含む。

ニューロン生成処理部１７１は、実社会の各種社会インフラに対してニューラルネットワーク１を対応付ける場合に、各種社会インフラにおける物理的デバイス機能を、ニューロン２００として割り当て、該ニューロン２００を生成する機能を備える。例えば、電力システムにニューラルネットワーク１を適用した場合、ニューロン生成処理部１７１は、電力を消費する家屋やビル、工場、各家庭などに、ニューロン２００を対応付け、該ニューロン２００を生成する。

ニューロン消滅処理部１７２は、実社会の各種社会インフラにおいて、物理的デバイス機能が無くなった場合に、ニューラルネットワーク１において、対応するニューロン２００を消滅させる機能を備える。例えば、電力システムにニューラルネットワーク１を適用した場合、ニューロン消滅処理部１７２は、電力の消費を行わなくなった家屋やビル、工場、各家庭などに対応付けられているニューロン２００を消滅させる。

勾配生成処理部１７３は、ニューロン２００ごとに設けられた勾配生成層３００を用いて、ニューロン２００に対して動的なデータや静的なデータの入出力（勾配）を与える機能を備える。例えば、電力システムにニューラルネットワーク１を適用した場合、開閉処理部１７４は、太陽光発電や風力発電によって得られる電力や蓄電池から放電される電力を、勾配生成層３００からの入力として、ニューロン２００に与える。また、勾配生成処理部１７３は、蓄電池に充電される電力やセンサーなどで使用される電力を、勾配生成層３００に対する出力として、ニューロン２００から放出する。

開閉処理部１７４は、隣接するニューロン２００間の接続を開閉する機能を備える。開閉処理部１７４は、所定の最適回数に基づいて、隣接するニューロン２００間の接続を開閉する。例えば、電力システムにニューラルネットワーク１を適用した場合、各ニューロン２００に対応する、隣接する電力供給先（家屋やビル、部屋など）の間の電力の流れを、所定の最適回数に基づいて、ＯＮ又はＯＦＦ（接続又は開閉）する。

上記のとおり、演算部１０７の機能によって、実社会の各種社会インフラに対して、ニューラルネットワーク１を対応付けることができ、実社会の様々な課題に対応可能な柔軟性を持つニューラルネットワーク１を構築することができる。

＜電力エネルギーの伝送ネットワークとニューラルネットワーク１の等価性＞
電力エネルギーの伝送ネットワークとニューラルネットワーク１の等価性について、説明する。電力エネルギーは、指向性を持たず連続的に伝送する。そして、電力システムに含まれるノードにおいて、電力の需給バランスに変化が発生すると、電力エネルギーの流れに与える変化は、式（１）で記述できる。

式（１）において、Ｈ_ｉ，Ｕは、ネットワーク伝達マトリクスである。これによって、定常状態での送電線の電気の流れは、式（２）のようになる。

また、需給バランス目的関数は、式（３）となる。

式（３）において、Ｌは、全ネットワークロスである。式（３）を変形すると、式（４）のような恒等関係式になる。

式（４）において、目的関数であるＬが０になる場合が、最も理想的であることを考慮して、さらに、誤差関数Ｅを導入すると、式（５）のようになる。

式（５）において、式（６）で示される誤差関数は、既存のニューラルネットワークの勾配を更新する際に使用されている、交差エントロピーである。

すなわち、電力エネルギーの伝送ネットワークと、ニューラルネットワーク１の等価性が証明される。さらに、ニューラルネットワーク１における誤差関数の最小の探索と、電力エネルギーの伝送ネットワークの伝送ロスが０となることに等価性があることも証明される。

ニューラルネットワーク１における誤差関数の最小値を探索する際には、誤差関数の学習パラメータに対する勾配が０になるまで更新することによって、最小値の検索が行われる。需給バランスにおける勾配に関しては、式（７）が成り立つ。

図６は、電力エネルギーの伝送ネットワークの概略例を示す概略図である。式（７）に基づき、電力エネルギーの伝送ネットワークの勾配に関する物理的な意味は、次のようになる。すなわち、電流は、高電位から低電位へ勾配から生じる電圧に駆動されて流れる。図６に例示するように、電力（電流×電圧）エネルギーの伝送ネットワークでは、電圧勾配の下降方向に向かって、電流が流れる。図５において、電圧は“線”の勾配で表現し、電流は“線”の太さで表現している。そして、電力エネルギーの伝送ネットワークと、ニューラルネットワーク１の等価性から、ニューラルネットワーク１における誤差関数の最小値を、探索アルゴリズムを用いた電力エネルギーの伝送ネットワークにおける需給バランスの目的関数Ｌの最小値、すなわち「Ｌ→０」が探索可能であることが担保される。すなわち、図６に示すように、本発明の実施形態のニューラルネットワーク１は、各ノード（ニューロン）に物理的な機能を持たせることによって、電力エネルギーの伝送ネットワークに適用可能であることが分かる。

そして、電力エネルギーの伝送ネットワークに適用したニューラルネットワーク１において、電圧勾配の更新は、順伝播と逆伝搬とを交互に実行することにより、需給バランスのとれた目的関数の最小値を計算することが可能となる。

＜勾配生成型ニューラルネットワーク１＞
電力エネルギーの伝送ネットワークにおいて、太陽光発電や風力発電のような局所的な発電所や、蓄電池のようなエネルギーを一時的に貯蔵する機能を有する蓄電設備がある。このような発電所や蓄電設備を含む電力エネルギーの伝送ネットワークは、勾配生成型ニューラルネットワーク１を用いることで、適用可能である。

勾配生成型ニューラルネットワーク１は、既存の再起型ニューラルネットワークのトポロジーと一致する。既存の再起型ニューラルネットワークは、時間依存逆伝搬を行う必要があり、その際にパラメータθの更新は、式（８）によって実行される。

なお、勾配消失の問題があるため、Ｔより先の計算は、δ_Ｔが０であると仮定し、式（９）だけの計算となっている。

勾配生成型ニューラルネットワーク１は、δ_Ｔは合成勾配層から生成されることができ、さらに、勾配予測層を導入すれば、３ステップ先を予測することが可能となる。このように、勾配生成型ニューラルネットワーク１は、既存の再帰型ニューラルネットワークを補完する役割を果たし、識別制度の向上につながる。

＜情報処理装置１００の動作例＞
図７は、本発明の実施形態における情報処理装置１００の動作例を示すフローチャートである。

図７に示すように、情報処理装置１００の取得部１０６は、複数のニューロンを含むニューラルネットワーク１を学習するための学習データを取得する（Ｓ１０１）。

情報処理装置１００の演算部１０７は、取得部１０６が取得した学習データに基づいて、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワーク１を最適化する（Ｓ１０２）。

上記のとおり、本発明の実施形態では、既存のニューラルネットワークの各層間にある結合を一時的に切り離し、外部から付け加える勾配生成合成層を新たに導入する。そのため、本発明の実施形態のニューラルネットワーク１のニューロンは、社会インフラ機能としての物理的デバイス機能を対応付けることができる。その結果、本発明の実施形態におけるニューラルネットワーク１は、実社会の様々な課題に対応可能な柔軟性を持つニューラルネットワーク１を構築することが可能となる。

＜補足＞
上記実施の形態に係る情報処理装置１００は、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。

上記実施の形態においては、表示部１０３は、情報処理装置１００外の装置であってもよい。

上記実施形態においては、情報処理装置１００を構成する各機能部として機能するプロセッサが情報処理プログラム等を実行することとしているが、これは装置に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。

また、上記情報処理プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記歪み測定プログラムは、当該歪み測定プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記歪み測定プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記情報処理プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。

上記実施の形態及び各補足に示した構成は、適宜組み合わせることとしてもよい。

１ ニューラルネットワーク
１００ 情報処理装置
１０１ 通信部
１０２ 入出力部
１０３ 表示部
１０４ 記憶部
１０５ 制御部
１０６ 取得部
１０７ 演算部
２００ ニューロン
３００ 勾配生成層

Claims (8)

1. 複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得部と、前記学習データに基づいて、前記ニューラルネットワークを最適化する演算部と、を含み、前記演算部は、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する情報処理装置。
2. 前記開閉機構は、所定の最適回数によって、前記隣接するニューロン間において、順伝搬または逆伝搬を実行することを特徴とする請求項１に記載の情報処理装置。
3. 前記所定の最適回数は、前記勾配生成層の更新回数と前記逆伝搬の勾配更新回数の比であることを特徴とする請求項２に記載の情報処理装置。
4. 前記勾配生成層は、前記ニューロンに対して、他のニューロンとは独立して外部から勾配を与えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記演算部は、前記ニューラルネットワークを電力システムに適用した場合、前記ニューロンを前記電力システムのノードに対応付け、
   前記勾配生成層が前記ニューロンに与える勾配は、前記電力システムの各ノードにおける電力の需給バランスの変化に対応する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記勾配生成層が前記ニューロンに与える勾配は、前記電力システムの各ノードにおいて独立して発生する電力に対応する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得ステップと、
   前記学習データに基づいて、前記ニューラルネットワークを最適化する演算ステップと、を含み、
   前記演算ステップにおいて、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する
   情報処理方法。
8. 複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得機能と、
   前記学習データに基づいて、前記ニューラルネットワークを最適化する演算機能と、を含み、
   前記演算機能において、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する
   情報処理プログラム。

Images