WO2018101476A1 - Information processing device, information processing method, and information processing program - Google Patents
Information processing device, information processing method, and information processing program Download PDFInfo
- Publication number
- WO2018101476A1 WO2018101476A1 PCT/JP2017/043366 JP2017043366W WO2018101476A1 WO 2018101476 A1 WO2018101476 A1 WO 2018101476A1 JP 2017043366 W JP2017043366 W JP 2017043366W WO 2018101476 A1 WO2018101476 A1 WO 2018101476A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- neural network
- information processing
- gradient
- neurons
- neuron
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Abstract
An information processing device according to one embodiment of the present invention comprises: an acquisition unit for acquiring learning data for studying a neural network including a plurality of neurons; and a computation unit for optimizing the neural network on the basis of the learning data. The computation unit optimizes a neural network that is provided, at each of the plurality of neurons, with: a gradient generation layer for applying a gradient to the neurons; and an opening and closing mechanism for opening and closing connections to adjacent neurons.
Description
本発明は、ニューラルネットワークを最適化する情報処理装置、情報処理方法及び情報処理プログラムに関する。
The present invention relates to an information processing apparatus, an information processing method, and an information processing program for optimizing a neural network.
従来のニューラルネットワークでは、ニューロンは関数の数学変数として扱われていた。例えば、特許文献１に記載のニューラルネットワークでは、各ニューロンには結合荷重が設定されており、隣接する層のニューロンから順伝搬又は逆伝搬により入出力が与えられている。
In conventional neural networks, neurons are treated as mathematical functions. For example, in the neural network described in Patent Document 1, a connection load is set for each neuron, and input / output is given from a neuron in an adjacent layer by forward propagation or reverse propagation.
上述したように、特許文献１に記載のニューラルネットワークでは、各ニューロンには隣接するニューロンからの入出力しか与えられないため、当該ニューロンは単なる関数変数としての機能しかなく、物理的機能を含む実社会の社会インフラ問題に適用させることができないという問題がある。
As described above, in the neural network described in Patent Document 1, since each neuron is only given input / output from an adjacent neuron, the neuron has only a function as a function variable, and includes a physical function. There is a problem that it cannot be applied to social infrastructure problems.
そこで、本発明は、上記問題に鑑み、物理的機能を含む実社会の社会インフラ問題に適用可能なニューラルネットワークを実現する情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
Therefore, in view of the above problems, an object of the present invention is to provide an information processing apparatus, an information processing method, and an information processing program for realizing a neural network that can be applied to real-world social infrastructure problems including physical functions.
上記課題を解決するために、本発明の一態様に係る情報処理装置は、複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得部と、前記学習データに基づいて、前記ニューラルネットワークを最適化する演算部と、を含み、前記演算部は、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する。
In order to solve the above-described problem, an information processing apparatus according to an aspect of the present invention includes an acquisition unit that acquires learning data for learning a neural network including a plurality of neurons, and the neural network based on the learning data. A neural network comprising: a computation unit for optimizing a network, wherein the computation unit includes a gradient generation layer for providing a gradient to the neuron, and an opening / closing mechanism for opening and closing a connection between adjacent neurons. To optimize.
本発明の一態様に係る情報処理装置において、前記開閉機構は、所定の最適回数によって、前記隣接するニューロン間において、順伝搬または逆伝搬を実行することを特徴としてもよい。
In the information processing apparatus according to an aspect of the present invention, the opening / closing mechanism may perform forward propagation or back propagation between the adjacent neurons by a predetermined optimum number of times.
本発明の一態様に係る情報処理装置において、前記所定の最適回数は、前記勾配生成層の更新回数と前記逆伝搬の勾配更新回数の比であることを特徴としてもよい。
In the information processing apparatus according to an aspect of the present invention, the predetermined optimum number of times may be a ratio of the number of times the gradient generation layer is updated and the number of times the gradient of back propagation is updated.
本発明の一態様に係る情報処理装置において、前記勾配生成層は、前記ニューロンに対して、他のニューロンとは独立して外部から勾配を与えることを特徴としてもよい。
In the information processing apparatus according to an aspect of the present invention, the gradient generation layer may be characterized in that the neuron is given a gradient from the outside independently of other neurons.
本発明の一態様に係る情報処理装置において、前記演算部は、前記ニューラルネットワークを電力システムに適用した場合、前記ニューロンを前記電力システムのノードに対応付け、前記勾配生成層が前記ニューロンに与える勾配は、前記電力システムの各ノードにおける電力の需給バランスの変化に対応することを特徴としてもよい。
In the information processing apparatus according to one aspect of the present invention, when the neural network is applied to a power system, the arithmetic unit associates the neuron with a node of the power system, and the gradient that the gradient generation layer provides to the neuron. May correspond to a change in the supply and demand balance of power in each node of the power system.
本発明の一態様に係る情報処理装置において、前記勾配生成層が前記ニューロンに与える勾配は、前記電力システムの各ノードにおいて独立して発生する電力の変動に対応することを特徴としてもよい。
In the information processing apparatus according to one aspect of the present invention, the gradient given to the neuron by the gradient generation layer may correspond to a variation in power generated independently at each node of the power system.
本発明の一態様に係る情報処理方法は、複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得ステップと、前記学習データに基づいて、前記ニューラルネットワークを最適化する演算ステップと、を含み、前記演算ステップにおいて、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する。
An information processing method according to an aspect of the present invention includes an acquisition step of acquiring learning data for learning a neural network including a plurality of neurons, and an arithmetic step of optimizing the neural network based on the learning data. In the calculation step, the neural network including a gradient generation layer that gives a gradient to the neuron and an open / close mechanism that opens and closes a connection between adjacent neurons is optimized.
本発明の一態様に係る情報処理プログラムは、複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得機能と、前記学習データに基づいて、前記ニューラルネットワークを最適化する演算機能と、を含み、前記演算機能において、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する。
An information processing program according to an aspect of the present invention includes an acquisition function for acquiring learning data for learning a neural network including a plurality of neurons, an arithmetic function for optimizing the neural network based on the learning data, and In the arithmetic function, a neural network including a gradient generation layer that gives a gradient to the neuron and an opening / closing mechanism that opens and closes a connection between adjacent neurons is optimized for each of the plurality of neurons.
本発明によれば、既存のニューラルネットワークの各層間にある結合を一時的に切り離し、外部から付け加える勾配生成層を新たに導入することで、物理的機能を含む実社会の社会インフラ問題に適用可能なニューラルネットワークを実現する情報処理装置、情報処理方法及び情報処理プログラムを提供することが可能である。
According to the present invention, it is applicable to real-world social infrastructure problems including physical functions by temporarily disconnecting connections between layers of an existing neural network and newly introducing a gradient generation layer to be added from the outside. It is possible to provide an information processing apparatus, an information processing method, and an information processing program for realizing a neural network.
以下、本発明の一実施態様に係る測定装置について、図面を参照しながら詳細に説明する。
Hereinafter, a measuring apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings.
＜実施の形態＞
図１は、本発明の実施形態におけるニューラルネットワーク１の構造を示す概略図である。図１に示すように、本発明の実施形態では、既存のニューラルネットワーク１の各層間にある結合を一時的に切り離し、外部から付け加える勾配生成層を新たに導入するものである。 <Embodiment>
FIG. 1 is a schematic diagram showing the structure of aneural network 1 according to an embodiment of the present invention. As shown in FIG. 1, in the embodiment of the present invention, a connection between layers of an existing neural network 1 is temporarily disconnected, and a gradient generation layer added from the outside is newly introduced.
図１は、本発明の実施形態におけるニューラルネットワーク１の構造を示す概略図である。図１に示すように、本発明の実施形態では、既存のニューラルネットワーク１の各層間にある結合を一時的に切り離し、外部から付け加える勾配生成層を新たに導入するものである。 <Embodiment>
FIG. 1 is a schematic diagram showing the structure of a
人工知能技術の本質は、人間の脳の知能において解明されている生物機構を、計算機で人工的に再現することである。人工知能の歴史を振り返ると、画期的な発見は、脳の生物機構を計算機で人工的に再現することで起こっている。例えば、パーセプロトンは、神経の最小単位であるニューロンの機能に焦点を当てて、視覚と脳の神経活動をモデル化したものであり、初めてのニューロンデバイスである。また、同様に、脳の生物機構に起因した仕組みとして、受容野に起因した畳み込みニューラルネットワーク1や、大脳基底核に起因した強化学習がある。さらに、第三次人工知能である深層学習は、脳のアーキテクチャ、すなわち最下層から順に脊髄、脳幹、中脳、大脳新皮質、海馬という階層構造と対応関係をもつ。
The essence of artificial intelligence technology is to artificially reproduce the biological mechanism elucidated in the intelligence of the human brain with a computer. Looking back at the history of artificial intelligence, groundbreaking discoveries occur by artificially reproducing the biological mechanisms of the brain with computers. For example, Parse Proton is the first neuron device that models visual and brain neural activity, focusing on the function of neurons, the smallest unit of nerves. Similarly, as a mechanism caused by the biological mechanism of the brain, there are a convolutional neural network 1 caused by the receptive field and reinforcement learning caused by the basal ganglia. Further, deep learning, which is tertiary artificial intelligence, has a corresponding relationship with the brain architecture, that is, the hierarchical structure of the spinal cord, brainstem, midbrain, cerebral neocortex, and hippocampus in order from the lowest layer.
ここで、既存の深層学習は識別する対象とニューラルネットワーク1におけるニューロン間に明確な物理的意味を持たず、ニューロンは単なる計算知能の関数変数として機能している。このニューロン表現の閉鎖性が、深層学習の発展を妨げる要因である。
Here, the existing deep learning does not have a clear physical meaning between the object to be identified and the neuron in the neural network 1, and the neuron functions merely as a function variable of computational intelligence. This closeness of neuronal expression is a factor that hinders the development of deep learning.
一方、現在開発が進んでいるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、汎用型ＡＩであり、人間の成長初期段階において必要とされている「観察する→識別する→行動する」というプロセスを有する汎用的な人工知能である。言い換えると、汎用型ＡＩは、人間的なＡＩと言える。
On the other hand, AI (Artificial Intelligence), which is currently under development, is a general-purpose AI and is a general-purpose artificial having a process of “observation → identification → acting” that is required in the early stage of human growth. It is intelligence. In other words, the general-purpose AI can be said to be a human AI.
そこで、本発明の実施形態におけるニューラルネットワーク１は、この人間的な汎用型ＡＩのアルゴリズムを拡張し、人工知能に対して、ニューロンが有する“物理”機能を付与するものである。“物理”機能を付与することは、計算対象をメッシュ化したものの一つ一つが計算ユニットであるとともに、「伝達、代謝、増殖、成長、変性と再生」などの物理の機能を有するものであることを意味する。
Therefore, the neural network 1 according to the embodiment of the present invention extends the human general-purpose AI algorithm to give the artificial intelligence the “physical” function of the neuron. Giving the “physical” function means that each calculation object is a calculation unit and has a physical function such as “transmission, metabolism, proliferation, growth, degeneration and regeneration”. Means that.
図２は、本発明の実施形態におけるニューラルネットワーク１の概略を説明するための図面である。図２に示すように、本発明の実施形態におけるニューラルネットワーク１のニューロンは、その各々が固有の“物理的デバイス機能”を定義されている。例えば、図２に示すように、ニューラルネットワーク１のニューロンＡに対して、「増殖・成長」という物理機能として、社会インフラの「製造」という物理的デバイス機能が定義されている。また、同様にして、ニューロンＢに対し、「伝達」という物理機能として、「移動」という物理的デバイス機能が定義されている。また、ニューロンＣに対し、「変性と再生」という物理機能として、「センサー」という物理的デバイス機能が定義されている。さらに、ニューロンＤに対し、「代謝」という物理機能として、「エネルギー」という物理的デバイス機能が定義されている。このように、本発明の実施形態のニューラルネットワーク１のニューロンには、社会インフラ機能としての物理的デバイス機能が対応付けられている。その結果、本発明の実施形態におけるニューラルネットワーク１は、実社会の様々な課題に対応可能な柔軟性を持つニューラルネットワーク１を構築することができる。
FIG. 2 is a diagram for explaining the outline of the neural network 1 in the embodiment of the present invention. As shown in FIG. 2, each neuron of the neural network 1 in the embodiment of the present invention is defined with a unique “physical device function”. For example, as shown in FIG. 2, a physical device function “manufacturing” of social infrastructure is defined as a physical function “proliferation / growth” for the neuron A of the neural network 1. Similarly, a physical device function “movement” is defined for the neuron B as a physical function “transmission”. For the neuron C, a physical device function “sensor” is defined as a physical function “degeneration and regeneration”. Further, for the neuron D, a physical device function “energy” is defined as a physical function “metabolism”. Thus, the physical device function as the social infrastructure function is associated with the neuron of the neural network 1 according to the embodiment of the present invention. As a result, the neural network 1 in the embodiment of the present invention can construct the neural network 1 having flexibility that can cope with various problems in the real world.
図１に示すように、本発明の実施形態におけるニューラルネットワーク１は、既存のニューラルネットワーク１の機械学習に「順伝搬」と「逆伝搬」を交互に実行することにより、収束するまで勾配を更新し続けることができる。また、本発明の実施形態におけるニューラルネットワーク１は、ニューラルネットワーク１の各層にあるニューロンが、既存のニューラルネットワーク１における逆伝搬から解放され、勾配生成層から勾配を更新することが可能となる。なお、逆伝搬機能を完全に中止するのではなく、勾配生成層の更新回数と逆伝搬の勾配更新回数の比を、所定の最適回数に設定し、当該所定の最適回数の元で逆伝搬を実行する逆伝搬遅延機能を取り入れる。このように、弱結合を実現したニューラルネットワーク１（すなわち所定の最適回数の元で逆伝搬を実行するニューラルネットワーク１）を用いることにより、全てのニューロンに物理的な機能を持たせることが可能となる。
As shown in FIG. 1, the neural network 1 in the embodiment of the present invention updates the gradient until convergence by alternately executing “forward propagation” and “back propagation” in the machine learning of the existing neural network 1. Can continue. In the neural network 1 according to the embodiment of the present invention, the neurons in each layer of the neural network 1 are released from the back propagation in the existing neural network 1, and the gradient can be updated from the gradient generation layer. Instead of completely canceling the back propagation function, the ratio of the number of gradient generation layer updates and the number of back propagation gradient updates is set to a predetermined optimum number, and back propagation is performed based on the predetermined optimum number of times. Incorporates the backpropagation delay function to be performed. In this way, by using the neural network 1 that realizes weak coupling (that is, the neural network 1 that performs back propagation under a predetermined optimum number of times), it is possible to give all neurons a physical function. Become.
本発明の実施形態におけるニューラルネットワーク１のように、物理的な機能を持つニューロンを使用することにより、既存のような画像処理にとどまらず、交通や人流、物流に適用することが可能となる。また、本発明の実施形態におけるニューラルネットワーク１は、ニューロンに対して物理的な機能としてのセンサー機能を持たせることにより、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）の基盤プラットフォームに対して適用することができる。また、本発明の実施形態におけるニューラルネットワーク１は、ニューロンに対して物理的な機能としての製造機能を持たせることにより、生産工場の管理プラットフォームに適用可能である。このように、本発明の実施形態におけるニューラルネットワーク１は、各種産業に適用可能である。
By using a neuron having a physical function like the neural network 1 in the embodiment of the present invention, it can be applied not only to existing image processing but also to traffic, human flow, and physical distribution. In addition, the neural network 1 according to the embodiment of the present invention can be applied to an IoT (Internet of Things) platform platform by providing a neuron with a sensor function as a physical function. Moreover, the neural network 1 in the embodiment of the present invention can be applied to a management platform of a production factory by giving a neuron a manufacturing function as a physical function. Thus, the neural network 1 in the embodiment of the present invention can be applied to various industries.
＜情報処理装置の構成＞
図３は、情報処理装置１００の構成例を示すブロック図である。図３に示すように、情報処理装置１００は、通信部１０１と、入出力部１０２と、表示部１０３と、記憶部１０４と、制御部１０５を含む。 <Configuration of information processing apparatus>
FIG. 3 is a block diagram illustrating a configuration example of theinformation processing apparatus 100. As illustrated in FIG. 3, the information processing apparatus 100 includes a communication unit 101, an input / output unit 102, a display unit 103, a storage unit 104, and a control unit 105.
図３は、情報処理装置１００の構成例を示すブロック図である。図３に示すように、情報処理装置１００は、通信部１０１と、入出力部１０２と、表示部１０３と、記憶部１０４と、制御部１０５を含む。 <Configuration of information processing apparatus>
FIG. 3 is a block diagram illustrating a configuration example of the
通信部１０１は、所定のデータやメッセージなどを送受信可能な通信インターフェースである。通信部１０１は、例えば、無線通信が可能な通信インターフェースであり、無線ＬＡＮのアクセスポイントを介して通信する機能や、ＬＴＥやＣＤＭＡなどの無線通信ネットワークを介して通信するための機能を含んでいてもよい。また、アクセスポイントを介して、ネットワーク３に接続可能な機能を含んでいてもよい。アクセスポイントは、例えばＩＥＥＥ８０２．１１の規格に準拠したＷｉ－Ｆｉなどの無線ＬＡＮの無線通信方式による通信を提供する。通信部１０１は、例えば、他の情報処理装置（図示しない）から、学習データなどを受信可能である。
The communication unit 101 is a communication interface capable of transmitting and receiving predetermined data and messages. The communication unit 101 is a communication interface capable of wireless communication, for example, and includes a function of communicating via a wireless LAN access point and a function of communicating via a wireless communication network such as LTE or CDMA. Also good. Further, it may include a function that can be connected to the network 3 via an access point. The access point provides communication using a wireless LAN wireless communication system such as Wi-Fi that complies with the IEEE 802.11 standard, for example. For example, the communication unit 101 can receive learning data from another information processing apparatus (not shown).
入出力部１０２は、情報処理装置１００に対する各種操作を入力する機能、および、情報処理装置１００で処理された処理結果を出力する機能を含む。入出力部１０２は、例えば、タッチパネルなどであり、ユーザの指やスタイラスなどの指示具による接触とその接触位置を検出可能である。また、入出力部１０２は、例えば、キーボードやマウス等のポインティングデバイス、音声による操作入力が可能な装置等であってもよい。また、入出力部１０２は、スピーカなどの音声出力装置や３Ｄ（ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎｓ）出力装置、ホログラム出力装置などであり、処理結果を出力する機能を含む。なお、入出力部１０２は、これらに限定されず、どのような装置であってもよい。
The input / output unit 102 includes a function for inputting various operations on the information processing apparatus 100 and a function for outputting a processing result processed by the information processing apparatus 100. The input / output unit 102 is, for example, a touch panel, and can detect contact with a pointing tool such as a user's finger or stylus and a contact position thereof. In addition, the input / output unit 102 may be, for example, a pointing device such as a keyboard or a mouse, a device capable of operating input by voice, or the like. The input / output unit 102 is a sound output device such as a speaker, a 3D (three dimensions) output device, a hologram output device, or the like, and includes a function of outputting a processing result. The input / output unit 102 is not limited to these, and may be any device.
表示部１０３は、例えば、液晶ディスプレイやＯＥＬＤ（ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ ｄｉｓｐｌａｙ）などのモニタである。また、表示部１０３は、ヘッドマウントディスプレイ（ＨＤＭ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）や、プロジェクションマッピング、ホログラムなど、空間に画像やテキスト情報等を表示可能な装置により実現されてもよい。
The display unit 103 is, for example, a monitor such as a liquid crystal display or OELD (organic electroluminescence display). The display unit 103 may be realized by a device capable of displaying an image, text information, or the like in a space, such as a head mounted display (HDM), projection mapping, or a hologram.
記憶部１０４は、情報処理装置１００が動作するうえで必要とする各種プログラムや各種データを記憶する機能を含む。記憶部１０４は、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。
The storage unit 104 includes a function of storing various programs and various data necessary for the information processing apparatus 100 to operate. The storage unit 104 is realized by various storage media such as an HDD, an SSD, and a flash memory.
記憶部１０４は、例えば、制御部１０５における各種処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部１０４は、ドライバプログラムとして、ＩＥＥＥ８０２．１１規格の無線通信方式や移動体通信（セルラー通信）の無線通信方式を実行する通信ドライバプログラムを記憶する。また、記憶部１０４は、入力デバイスドライバプログラムや出力デバイスドライバプログラム等を記憶する。また、記憶部１０４は、各種のテキストデータ、映像データ、画像データ等を記憶したり、所定の処理に係る一時的なデータを一時的に記憶したりしてもよい。
The storage unit 104 stores, for example, a driver program, an operating system program, an application program, data, and the like used for various processes in the control unit 105. For example, the storage unit 104 stores, as a driver program, a communication driver program that executes an IEEE 802.11 standard wireless communication method or a mobile communication (cellular communication) wireless communication method. The storage unit 104 stores an input device driver program, an output device driver program, and the like. The storage unit 104 may store various text data, video data, image data, and the like, or temporarily store temporary data related to a predetermined process.
また、記憶部１０４は、学習データを記憶する。学習データは、ニューラルネットワーク１を学習するためのデータである。学習データは、例えば、実測又はシミュレーション等により得ることができる。学習データは、入力データと結果の規範としての教師データとの組を含んでいてもよい。
Further, the storage unit 104 stores learning data. The learning data is data for learning the neural network 1. The learning data can be obtained by actual measurement or simulation, for example. The learning data may include a set of input data and teacher data as a result criterion.
また、記憶部１０４は、制御部１０５によって最適化されたニューラルネットワーク１を記憶してもよい。
Further, the storage unit 104 may store the neural network 1 optimized by the control unit 105.
制御部１０５は、プログラム内のコードや命令によって所定の機能を実行するための機能を備え、例えば、中央処理装置（ＣＰＵ）である。また、制御部１０５は、例えば、マイクロプロセッサやマルチプロセッサ、ＡＳＩＣ、ＦＰＧＡなどであってもよい。なお、制御部１０５は、これらの例に限定されない。
The control unit 105 has a function for executing a predetermined function by a code or an instruction in the program, and is, for example, a central processing unit (CPU). The control unit 105 may be a microprocessor, a multiprocessor, an ASIC, an FPGA, or the like, for example. The control unit 105 is not limited to these examples.
図３に示すように、制御部１０５は、取得部１０６と、演算部１０７を含む。
As shown in FIG. 3, the control unit 105 includes an acquisition unit 106 and a calculation unit 107.
取得部１０６は、記憶部１０４に記憶されている学習データを取得する。また、取得部１０６は、ニューラルネットワーク１の初期構造を取得する。取得部１０６は、初期構造のニューラルネットワーク１を、外部からの入力により、又は、予め設定することにより取得する。
The acquisition unit 106 acquires learning data stored in the storage unit 104. The acquisition unit 106 acquires the initial structure of the neural network 1. The acquisition unit 106 acquires the neural network 1 having an initial structure by inputting from the outside or by setting in advance.
演算部１０７は、取得部１０６で取得した初期構造のニューラルネットワーク１を最適化する演算を行う。演算部１０７は、例えば、取得部１０６が取得した学習データを用いて、ニューラルネットワーク１を最適化する。また、演算部１０７は、例えば、ニューロン生成処理や、ニューロン消滅処理、勾配生成処理、隣接ニューロン間の開閉処理を実行する。
The calculation unit 107 performs a calculation for optimizing the neural network 1 having the initial structure acquired by the acquisition unit 106. For example, the calculation unit 107 optimizes the neural network 1 using the learning data acquired by the acquisition unit 106. The arithmetic unit 107 executes, for example, a neuron generation process, a neuron disappearance process, a gradient generation process, and an opening / closing process between adjacent neurons. *
＜ニューラルネットワーク１の構成＞
図４は、本発明の実施形態におけるニューラルネットワーク１の構成例を示す図である。図４に示すように、制御部１０５によって最適化されたニューラルネットワーク１は、開閉可能な機構を含む複数のニューロン２００と、当該複数のニューロン２００の各々に対応する勾配生成層３００を含む。複数のニューロン２００の各々に含まれる開閉可能な機構は、所定の最適回数によって、隣接するニューロン２００との接続を開閉する機能を備える。最適化されたニューラルネットワーク１は、開閉可能な機構が閉じた状態になると、隣接するニューロン２００との間で、既存のニューラルネットワークにおける「順伝搬」と「逆伝搬」とを実行する。一方、開閉可能な機構が開いた状態では、隣接するニューロン２００との間で、「順伝搬」と「逆伝搬」とは実行されない状態となる。すなわち、最適化されたニューラルネットワーク１は、各層にあるニューロンを逆伝搬から解放される。なお、所定の最適回数は、例えば、勾配生成層の更新回数と逆伝搬の勾配更新回数の比である。 <Configuration ofNeural Network 1>
FIG. 4 is a diagram illustrating a configuration example of theneural network 1 according to the embodiment of the present invention. As shown in FIG. 4, the neural network 1 optimized by the control unit 105 includes a plurality of neurons 200 including a mechanism that can be opened and closed, and a gradient generation layer 300 corresponding to each of the plurality of neurons 200. The openable / closable mechanism included in each of the plurality of neurons 200 has a function of opening / closing a connection with the adjacent neuron 200 by a predetermined optimum number of times. The optimized neural network 1 executes “forward propagation” and “back propagation” in the existing neural network with the adjacent neuron 200 when the openable / closable mechanism is closed. On the other hand, in a state where the openable / closable mechanism is open, “forward propagation” and “backpropagation” are not executed between adjacent neurons 200. That is, the optimized neural network 1 frees the neurons in each layer from back propagation. The predetermined optimum number of times is, for example, the ratio of the number of gradient generation layer updates to the number of back propagation gradient updates.
図４は、本発明の実施形態におけるニューラルネットワーク１の構成例を示す図である。図４に示すように、制御部１０５によって最適化されたニューラルネットワーク１は、開閉可能な機構を含む複数のニューロン２００と、当該複数のニューロン２００の各々に対応する勾配生成層３００を含む。複数のニューロン２００の各々に含まれる開閉可能な機構は、所定の最適回数によって、隣接するニューロン２００との接続を開閉する機能を備える。最適化されたニューラルネットワーク１は、開閉可能な機構が閉じた状態になると、隣接するニューロン２００との間で、既存のニューラルネットワークにおける「順伝搬」と「逆伝搬」とを実行する。一方、開閉可能な機構が開いた状態では、隣接するニューロン２００との間で、「順伝搬」と「逆伝搬」とは実行されない状態となる。すなわち、最適化されたニューラルネットワーク１は、各層にあるニューロンを逆伝搬から解放される。なお、所定の最適回数は、例えば、勾配生成層の更新回数と逆伝搬の勾配更新回数の比である。 <Configuration of
FIG. 4 is a diagram illustrating a configuration example of the
勾配生成層３００は、複数のニューロン２００の各々に対して、物理的な機能を与えるものである。勾配生成層３００は、ニューロン２００に対して、外部から勾配を付け加える機能である。勾配生成層３００は、例えば、動的なデータや静的なデータの入出力（勾配）を、ニューロン２００に対して与える（更新する）機能を有する。なお、勾配生成層３００は、既存のニューラルネットワークにおける「順伝搬」と「逆伝搬」など隣接するニューロンから与えられるものではなく、他のニューロン２００とは独立して、所定のニューロン２００に勾配を与えるものである。
The gradient generation layer 300 provides a physical function to each of the plurality of neurons 200. The gradient generation layer 300 has a function of adding a gradient to the neuron 200 from the outside. For example, the gradient generation layer 300 has a function of giving (updating) dynamic data or static data input / output (gradient) to the neuron 200. Note that the gradient generation layer 300 is not given from adjacent neurons such as “forward propagation” and “back propagation” in an existing neural network, and a gradient is given to a predetermined neuron 200 independently of other neurons 200. Give.
勾配生成層３００は、例えば、電力システムにニューラルネットワーク１を適用した場合には、太陽光や風力、消費電力などの動的データの入出力を、ニューロン２００に与えることができる。また、勾配生成層３００は、蓄電池やセンサーなどの静的データの入出力を、ニューロン２００に与えることもできる。
For example, when the neural network 1 is applied to the power system, the gradient generation layer 300 can give the neuron 200 input / output of dynamic data such as sunlight, wind power, and power consumption. In addition, the gradient generation layer 300 can give the neuron 200 input / output of static data such as a storage battery or a sensor.
また、最適化されたニューラルネットワーク１は、既存のニューラルネットワークと同様に、入力層となるニューロン２００Ａと、出力層となるニューロン２００Ｂと、中間層となる複数のニューロン２００Ｃとを含む。ただし、これらのニューロン２００の各々は、上述したように、隣接するニューロン２００との間の接続を開閉可能な機構と、勾配を更新する勾配生成層をと含む。
Also, the optimized neural network 1 includes a neuron 200A serving as an input layer, a neuron 200B serving as an output layer, and a plurality of neurons 200C serving as intermediate layers, similarly to the existing neural network. However, each of these neurons 200 includes a mechanism that can open and close a connection between adjacent neurons 200 and a gradient generation layer that updates the gradient, as described above.
上記のとおり、最適化されたニューラルネットワーク１は、各ニューロン２００が物理的な機能を持つことにより、実社会の様々な課題に対応可能な柔軟性を持つニューラルネットワーク１を構築することができる。
As described above, the optimized neural network 1 can construct a neural network 1 having flexibility that can cope with various problems in the real world, because each neuron 200 has a physical function.
以下では、本発明の実施形態におけるニューラルネットワーク１を、電力システムに適用させた場合を例にして説明する。ただし、本発明の実施形態におけるニューラルネットワーク１は、電力システム以外の各種システムに適用可能であることは言うまでもない。
Hereinafter, a case where the neural network 1 according to the embodiment of the present invention is applied to a power system will be described as an example. However, it goes without saying that the neural network 1 in the embodiment of the present invention is applicable to various systems other than the power system.
ここで、ニューラルネットワーク１を最適化する演算部１０７について、説明する。図５は、本発明の実施形態における演算部１０７の構成例を示す図である。図５に例示するように、演算部１０７は、ニューロン生成処理部１７１と、ニューロン消滅処理部１７２と、勾配生成処理部１７３と、開閉処理部１７４を含む。
Here, the calculation unit 107 that optimizes the neural network 1 will be described. FIG. 5 is a diagram illustrating a configuration example of the calculation unit 107 in the embodiment of the present invention. As illustrated in FIG. 5, the calculation unit 107 includes a neuron generation processing unit 171, a neuron disappearance processing unit 172, a gradient generation processing unit 173, and an opening / closing processing unit 174.
ニューロン生成処理部１７１は、実社会の各種社会インフラに対してニューラルネットワーク１を対応付ける場合に、各種社会インフラにおける物理的デバイス機能を、ニューロン２００として割り当て、該ニューロン２００を生成する機能を備える。例えば、電力システムにニューラルネットワーク１を適用した場合、ニューロン生成処理部１７１は、電力を消費する家屋やビル、工場、各家庭などに、ニューロン２００を対応付け、該ニューロン２００を生成する。
The neuron generation processing unit 171 has a function of assigning physical device functions in various social infrastructures as neurons 200 and generating the neurons 200 when the neural network 1 is associated with various social infrastructures in the real world. For example, when the neural network 1 is applied to the power system, the neuron generation processing unit 171 generates the neuron 200 by associating the neuron 200 with a house, building, factory, or home that consumes power.
ニューロン消滅処理部１７２は、実社会の各種社会インフラにおいて、物理的デバイス機能が無くなった場合に、ニューラルネットワーク１において、対応するニューロン２００を消滅させる機能を備える。例えば、電力システムにニューラルネットワーク１を適用した場合、ニューロン消滅処理部１７２は、電力の消費を行わなくなった家屋やビル、工場、各家庭などに対応付けられているニューロン２００を消滅させる。
The neuron annihilation processing unit 172 has a function of erasing the corresponding neuron 200 in the neural network 1 when the physical device function is lost in various social infrastructures in the real world. For example, when the neural network 1 is applied to the power system, the neuron disappearance processing unit 172 extinguishes the neurons 200 associated with houses, buildings, factories, homes, etc. that no longer consume power.
勾配生成処理部１７３は、ニューロン２００ごとに設けられた勾配生成層３００を用いて、ニューロン２００に対して動的なデータや静的なデータの入出力（勾配）を与える機能を備える。例えば、電力システムにニューラルネットワーク１を適用した場合、開閉処理部１７４は、太陽光発電や風力発電によって得られる電力や蓄電池から放電される電力を、勾配生成層３００からの入力として、ニューロン２００に与える。また、勾配生成処理部１７３は、蓄電池に充電される電力やセンサーなどで使用される電力を、勾配生成層３００に対する出力として、ニューロン２００から放出する。
The gradient generation processing unit 173 has a function of giving input / output (gradient) of dynamic data and static data to the neuron 200 using the gradient generation layer 300 provided for each neuron 200. For example, when the neural network 1 is applied to the power system, the open / close processing unit 174 uses the power obtained by solar power generation or wind power generation or the power discharged from the storage battery as input from the gradient generation layer 300 to the neuron 200. give. In addition, the gradient generation processing unit 173 emits the power charged in the storage battery or the power used by the sensor from the neuron 200 as an output to the gradient generation layer 300.
開閉処理部１７４は、隣接するニューロン２００間の接続を開閉する機能を備える。開閉処理部１７４は、所定の最適回数に基づいて、隣接するニューロン２００間の接続を開閉する。例えば、電力システムにニューラルネットワーク１を適用した場合、各ニューロン２００に対応する、隣接する電力供給先（家屋やビル、部屋など）の間の電力の流れを、所定の最適回数に基づいて、ＯＮ又はＯＦＦ（接続又は開閉）する。
The opening / closing processing unit 174 has a function of opening / closing a connection between adjacent neurons 200. The opening / closing processor 174 opens / closes the connection between the adjacent neurons 200 based on a predetermined optimum number of times. For example, when the neural network 1 is applied to a power system, the power flow between adjacent power supply destinations (houses, buildings, rooms, etc.) corresponding to each neuron 200 is turned on based on a predetermined optimum number of times. Alternatively, it is turned off (connected or opened / closed).
上記のとおり、演算部１０７の機能によって、実社会の各種社会インフラに対して、ニューラルネットワーク１を対応付けることができ、実社会の様々な課題に対応可能な柔軟性を持つニューラルネットワーク１を構築することができる。
As described above, the neural network 1 can be associated with various social infrastructures in the real world by the function of the arithmetic unit 107, and the neural network 1 having flexibility that can deal with various problems in the real world can be constructed. it can.
＜電力エネルギーの伝送ネットワークとニューラルネットワーク１の等価性＞
電力エネルギーの伝送ネットワークとニューラルネットワーク１の等価性について、説明する。電力エネルギーは、指向性を持たず連続的に伝送する。そして、電力システムに含まれるノードにおいて、電力の需給バランスに変化が発生すると、電力エネルギーの流れに与える変化は、式（１）で記述できる。 <Equivalence of electric energy transmission network andneural network 1>
The equivalence between the power energy transmission network and theneural network 1 will be described. Electric power energy is transmitted continuously without directivity. Then, when a change occurs in the power supply / demand balance in the nodes included in the power system, the change given to the flow of power energy can be described by Expression (1).
電力エネルギーの伝送ネットワークとニューラルネットワーク１の等価性について、説明する。電力エネルギーは、指向性を持たず連続的に伝送する。そして、電力システムに含まれるノードにおいて、電力の需給バランスに変化が発生すると、電力エネルギーの流れに与える変化は、式（１）で記述できる。 <Equivalence of electric energy transmission network and
The equivalence between the power energy transmission network and the
式（１）において、Ｈｉ，Ｕは、ネットワーク伝達マトリクスである。これによって、定常状態での送電線の電気の流れは、式（２）のようになる。
In Equation (1), H i, U is a network transmission matrix. As a result, the flow of electricity in the transmission line in the steady state is as shown in Equation (2).
また、需給バランス目的関数は、式（３）となる。
Also, the supply and demand balance objective function is expressed by equation (3).
式（３）において、Ｌは、全ネットワークロスである。式（３）を変形すると、式（４）のような恒等関係式になる。
In Equation (3), L is the total network loss. When equation (3) is transformed, an identity relation such as equation (4) is obtained.
式（４）において、目的関数であるＬが０になる場合が、最も理想的であることを考慮して、さらに、誤差関数Ｅを導入すると、式（５）のようになる。
In the equation (4), when the objective function L is 0, it is most ideal, and when the error function E is further introduced, the equation (5) is obtained.
式（５）において、式（６）で示される誤差関数は、既存のニューラルネットワークの勾配を更新する際に使用されている、交差エントロピーである。
In Equation (5), the error function shown in Equation (6) is the cross entropy used when updating the gradient of the existing neural network.
すなわち、電力エネルギーの伝送ネットワークと、ニューラルネットワーク１の等価性が証明される。さらに、ニューラルネットワーク１における誤差関数の最小の探索と、電力エネルギーの伝送ネットワークの伝送ロスが０となることに等価性があることも証明される。
That is, the equivalence between the transmission network of power energy and the neural network 1 is proved. Further, it is proved that there is an equivalence between the minimum search of the error function in the neural network 1 and the transmission loss of the power energy transmission network being zero.
ニューラルネットワーク１における誤差関数の最小値を探索する際には、誤差関数の学習パラメータに対する勾配が０になるまで更新することによって、最小値の検索が行われる。需給バランスにおける勾配に関しては、式（７）が成り立つ。
When searching for the minimum value of the error function in the neural network 1, the minimum value is searched by updating until the gradient of the error function with respect to the learning parameter becomes zero. Regarding the slope in the supply-demand balance, equation (7) holds.
図６は、電力エネルギーの伝送ネットワークの概略例を示す概略図である。式（７）に基づき、電力エネルギーの伝送ネットワークの勾配に関する物理的な意味は、次のようになる。すなわち、電流は、高電位から低電位へ勾配から生じる電圧に駆動されて流れる。図６に例示するように、電力（電流×電圧）エネルギーの伝送ネットワークでは、電圧勾配の下降方向に向かって、電流が流れる。図５において、電圧は“線”の勾配で表現し、電流は“線”の太さで表現している。そして、電力エネルギーの伝送ネットワークと、ニューラルネットワーク１の等価性から、ニューラルネットワーク１における誤差関数の最小値を、探索アルゴリズムを用いた電力エネルギーの伝送ネットワークにおける需給バランスの目的関数Ｌの最小値、すなわち「Ｌ→０」が探索可能であることが担保される。すなわち、図６に示すように、本発明の実施形態のニューラルネットワーク１は、各ノード（ニューロン）に物理的な機能を持たせることによって、電力エネルギーの伝送ネットワークに適用可能であることが分かる。
FIG. 6 is a schematic diagram showing a schematic example of a power energy transmission network. Based on equation (7), the physical meaning of the gradient of the power energy transmission network is as follows. That is, the current flows while being driven by a voltage resulting from a gradient from a high potential to a low potential. As illustrated in FIG. 6, in the power (current × voltage) energy transmission network, current flows in the downward direction of the voltage gradient. In FIG. 5, the voltage is expressed by the “line” gradient, and the current is expressed by the thickness of the “line”. From the equivalence of the power energy transmission network and the neural network 1, the minimum value of the error function in the neural network 1 is calculated as the minimum value of the objective function L of the supply and demand balance in the power energy transmission network using the search algorithm, that is, It is ensured that “L → 0” can be searched. That is, as shown in FIG. 6, the neural network 1 of the embodiment of the present invention can be applied to a power energy transmission network by giving each node (neuron) a physical function.
そして、電力エネルギーの伝送ネットワークに適用したニューラルネットワーク１において、電圧勾配の更新は、順伝播と逆伝搬とを交互に実行することにより、需給バランスのとれた目的関数の最小値を計算することが可能となる。
In the neural network 1 applied to the power energy transmission network, the voltage gradient can be updated by alternately executing forward propagation and reverse propagation to calculate the minimum value of the objective function balanced in supply and demand. It becomes possible.
＜勾配生成型ニューラルネットワーク１＞
電力エネルギーの伝送ネットワークにおいて、太陽光発電や風力発電のような局所的な発電所や、蓄電池のようなエネルギーを一時的に貯蔵する機能を有する蓄電設備がある。このような発電所や蓄電設備を含む電力エネルギーの伝送ネットワークは、勾配生成型ニューラルネットワーク１を用いることで、適用可能である。 <Gradient generation typeneural network 1>
In a power energy transmission network, there are local power plants such as solar power generation and wind power generation, and power storage facilities having a function of temporarily storing energy such as a storage battery. Such a power energy transmission network including a power plant and a power storage facility can be applied by using the gradient generation typeneural network 1.
電力エネルギーの伝送ネットワークにおいて、太陽光発電や風力発電のような局所的な発電所や、蓄電池のようなエネルギーを一時的に貯蔵する機能を有する蓄電設備がある。このような発電所や蓄電設備を含む電力エネルギーの伝送ネットワークは、勾配生成型ニューラルネットワーク１を用いることで、適用可能である。 <Gradient generation type
In a power energy transmission network, there are local power plants such as solar power generation and wind power generation, and power storage facilities having a function of temporarily storing energy such as a storage battery. Such a power energy transmission network including a power plant and a power storage facility can be applied by using the gradient generation type
勾配生成型ニューラルネットワーク１は、既存の再起型ニューラルネットワークのトポロジーと一致する。既存の再起型ニューラルネットワークは、時間依存逆伝搬を行う必要があり、その際にパラメータθの更新は、式（８）によって実行される。
The gradient generation type neural network 1 matches the topology of the existing recurrent neural network. The existing recurrent neural network needs to perform time-dependent back propagation, and at that time, the update of the parameter θ is executed by the equation (8).
なお、勾配消失の問題があるため、Ｔより先の計算は、δＴが０であると仮定し、式（９）だけの計算となっている。
Since there is a problem of disappearance of the gradient, the calculation ahead of T assumes that δT is 0, and is only the calculation of Expression (9).
勾配生成型ニューラルネットワーク１は、δＴは合成勾配層から生成されることができ、さらに、勾配予測層を導入すれば、３ステップ先を予測することが可能となる。このように、勾配生成型ニューラルネットワーク１は、既存の再帰型ニューラルネットワークを補完する役割を果たし、識別制度の向上につながる。
Gradient generated neural network 1, [delta] T can be generated from a synthetic gradient layer, further, is introduced gradient prediction layer, it is possible to predict the three steps away. As described above, the gradient generation type neural network 1 plays a role of complementing the existing recursive type neural network, leading to improvement of the identification system.
＜情報処理装置１００の動作例＞
図７は、本発明の実施形態における情報処理装置１００の動作例を示すフローチャートである。 <Operation Example ofInformation Processing Device 100>
FIG. 7 is a flowchart showing an operation example of theinformation processing apparatus 100 according to the embodiment of the present invention.
図７は、本発明の実施形態における情報処理装置１００の動作例を示すフローチャートである。 <Operation Example of
FIG. 7 is a flowchart showing an operation example of the
図７に示すように、情報処理装置１００の取得部１０６は、複数のニューロンを含むニューラルネットワーク１を学習するための学習データを取得する（Ｓ１０１）。
As shown in FIG. 7, the acquisition unit 106 of the information processing apparatus 100 acquires learning data for learning the neural network 1 including a plurality of neurons (S101).
情報処理装置１００の演算部１０７は、取得部１０６が取得した学習データに基づいて、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワーク１を最適化する（Ｓ１０２）。
The calculation unit 107 of the information processing apparatus 100 includes a gradient generation layer that gives a gradient to the neuron based on the learning data acquired by the acquisition unit 106 and an open / close mechanism that opens and closes a connection between adjacent neurons. The neural network 1 provided for each is optimized (S102).
上記のとおり、本発明の実施形態では、既存のニューラルネットワークの各層間にある結合を一時的に切り離し、外部から付け加える勾配生成合成層を新たに導入する。そのため、本発明の実施形態のニューラルネットワーク１のニューロンは、社会インフラ機能としての物理的デバイス機能を対応付けることができる。その結果、本発明の実施形態におけるニューラルネットワーク１は、実社会の様々な課題に対応可能な柔軟性を持つニューラルネットワーク１を構築することが可能となる。
As described above, in the embodiment of the present invention, a gradient generation / synthesis layer to be added from the outside is newly introduced by temporarily disconnecting the connection between the layers of the existing neural network. Therefore, the neurons of the neural network 1 according to the embodiment of the present invention can be associated with physical device functions as social infrastructure functions. As a result, the neural network 1 according to the embodiment of the present invention can construct the neural network 1 having flexibility that can cope with various problems in the real world.
＜補足＞
上記実施の形態に係る情報処理装置１００は、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。 <Supplement>
It goes without saying that theinformation processing apparatus 100 according to the above embodiment is not limited to the above embodiment, and may be realized by other methods.
上記実施の形態に係る情報処理装置１００は、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。 <Supplement>
It goes without saying that the
上記実施の形態においては、表示部１０３は、情報処理装置１００外の装置であってもよい。
In the above embodiment, the display unit 103 may be a device outside the information processing device 100.
上記実施形態においては、情報処理装置１００を構成する各機能部として機能するプロセッサが情報処理プログラム等を実行することとしているが、これは装置に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。
In the above-described embodiment, a processor that functions as each functional unit constituting the information processing apparatus 100 executes an information processing program and the like. This is performed by an integrated circuit (IC (Integrated Circuit) chip, LSI (Large) Scale Integration)) etc. may be realized by a logic circuit (hardware) or a dedicated circuit. In addition, these circuits may be realized by one or a plurality of integrated circuits, and the functions of the plurality of functional units described in the above embodiments may be realized by a single integrated circuit. An LSI may be called a VLSI, a super LSI, an ultra LSI, or the like depending on the degree of integration.
また、上記情報処理プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記歪み測定プログラムは、当該歪み測定プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記歪み測定プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
The information processing program may be recorded on a processor-readable recording medium, and the recording medium may be a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, or a programmable logic. A circuit or the like can be used. The distortion measurement program may be supplied to the processor via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the distortion measurement program. The present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the distortion measurement program is embodied by electronic transmission.
なお、上記情報処理プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。
The information processing program can be implemented using, for example, a script language such as ActionScript or JavaScript (registered trademark), an object-oriented programming language such as Objective-C or Java (registered trademark), or a markup language such as HTML5. .
上記実施の形態及び各補足に示した構成は、適宜組み合わせることとしてもよい。
The configurations described in the above embodiment and each supplement may be combined as appropriate.
１ ニューラルネットワーク
１００ 情報処理装置
１０１ 通信部
１０２ 入出力部
１０３ 表示部
１０４ 記憶部
１０５ 制御部
１０６ 取得部
１０７ 演算部
２００ ニューロン
３００ 勾配生成層 DESCRIPTION OFSYMBOLS 1 Neural network 100 Information processing apparatus 101 Communication part 102 Input / output part 103 Display part 104 Storage part 105 Control part 106 Acquisition part 107 Operation part 200 Neuron 300 Gradient generation layer
１００ 情報処理装置
１０１ 通信部
１０２ 入出力部
１０３ 表示部
１０４ 記憶部
１０５ 制御部
１０６ 取得部
１０７ 演算部
２００ ニューロン
３００ 勾配生成層 DESCRIPTION OF
Claims (8)
- 複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得部と、前記学習データに基づいて、前記ニューラルネットワークを最適化する演算部と、を含み、前記演算部は、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する情報処理装置。 An acquisition unit for acquiring learning data for learning a neural network including a plurality of neurons, and a calculation unit for optimizing the neural network based on the learning data, wherein the calculation unit is configured to gradient the neurons An information processing apparatus for optimizing a neural network provided with a gradient generation layer for providing a plurality of neurons and an opening / closing mechanism for opening / closing a connection between adjacent neurons.
- 前記開閉機構は、所定の最適回数によって、前記隣接するニューロン間において、順伝搬または逆伝搬を実行することを特徴とする請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the opening / closing mechanism performs forward propagation or back propagation between the adjacent neurons by a predetermined optimum number of times.
- 前記所定の最適回数は、前記勾配生成層の更新回数と前記逆伝搬の勾配更新回数の比であることを特徴とする請求項２に記載の情報処理装置。 3. The information processing apparatus according to claim 2, wherein the predetermined optimum number of times is a ratio of the number of updates of the gradient generation layer and the number of times of gradient update of the back propagation.
- 前記勾配生成層は、前記ニューロンに対して、他のニューロンとは独立して外部から勾配を与えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 3, wherein the gradient generation layer gives a gradient to the neuron from the outside independently of other neurons.
- 前記演算部は、前記ニューラルネットワークを電力システムに適用した場合、前記ニューロンを前記電力システムのノードに対応付け、
前記勾配生成層が前記ニューロンに与える勾配は、前記電力システムの各ノードにおける電力の需給バランスの変化に対応する
ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。 When the neural network is applied to a power system, the arithmetic unit associates the neuron with a node of the power system,
5. The information processing apparatus according to claim 1, wherein the gradient given to the neuron by the gradient generation layer corresponds to a change in a power supply / demand balance in each node of the power system. 6. - 前記勾配生成層が前記ニューロンに与える勾配は、前記電力システムの各ノードにおいて独立して発生する電力に対応する
ことを特徴とする請求項５に記載の情報処理装置。 The information processing apparatus according to claim 5, wherein a gradient given to the neuron by the gradient generation layer corresponds to power generated independently at each node of the power system. - 複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得ステップと、
前記学習データに基づいて、前記ニューラルネットワークを最適化する演算ステップと、を含み、
前記演算ステップにおいて、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する
情報処理方法。 An acquisition step of acquiring learning data for learning a neural network including a plurality of neurons;
A step of optimizing the neural network based on the learning data,
An information processing method for optimizing a neural network including a gradient generation layer for providing a gradient to a neuron and an opening / closing mechanism for opening / closing a connection between adjacent neurons in each of the plurality of neurons in the calculation step. - コンピュータに、
複数のニューロンを含むニューラルネットワークを学習するための学習データを取得する取得機能と、
前記学習データに基づいて、前記ニューラルネットワークを最適化する演算機能と、実行させる情報処理プログラムであって、
前記演算機能において、ニューロンに勾配を与える勾配生成層と、隣接するニューロンとの接続を開閉する開閉機構とを、前記複数のニューロンごとに備えるニューラルネットワークを最適化する
情報処理プログラム。 On the computer,
An acquisition function for acquiring learning data for learning a neural network including a plurality of neurons;
An arithmetic function for optimizing the neural network based on the learning data, and an information processing program to be executed,
An information processing program for optimizing a neural network including a gradient generation layer for providing a gradient to a neuron and an opening / closing mechanism for opening / closing a connection between adjacent neurons in each of the plurality of neurons.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016-245925 | 2016-12-01 | ||
| JP2016245925 | 2016-12-01 | ||
| JP2017075545A JP6886853B2 (en) | 2016-12-01 | 2017-04-05 | Information processing equipment, information processing methods and information processing programs |
| JP2017-075545 | 2017-04-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018101476A1 true WO2018101476A1 (en) | 2018-06-07 |
Family
ID=62241768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/043366 WO2018101476A1 (en) | 2016-12-01 | 2017-12-01 | Information processing device, information processing method, and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2018101476A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749785A (en) * | 2019-10-29 | 2021-05-04 | 株式会社东芝 | Information processing apparatus, information processing method, and program |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06110862A (en) * | 1992-09-30 | 1994-04-22 | Hitachi Ltd | Self-growing neural network |
-
2017
- 2017-12-01 WO PCT/JP2017/043366 patent/WO2018101476A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06110862A (en) * | 1992-09-30 | 1994-04-22 | Hitachi Ltd | Self-growing neural network |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749785A (en) * | 2019-10-29 | 2021-05-04 | 株式会社东芝 | Information processing apparatus, information processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ullah et al. | Short-term prediction of residential power energy consumption via CNN and multi-layer bi-directional LSTM networks | |
| Abbas et al. | Modeling, simulation and optimization of power plant energy sustainability for IoT enabled smart cities empowered with deep extreme learning machine | |
| US10803401B2 (en) | Artificial intelligence engine having multiple independent processes on a cloud based platform configured to scale | |
| Qiao et al. | Identification and modeling of nonlinear dynamical systems using a novel self-organizing RBF-based approach | |
| Kumar et al. | Ensemble learning based predictive framework for virtual machine resource request prediction | |
| Wang et al. | A novel conjugate gradient method with generalized Armijo search for efficient training of feedforward neural networks | |
| Liang et al. | Applying genetic algorithm and ant colony optimization algorithm into marine investigation path planning model | |
| Wang et al. | Chatgpt for computational social systems: From conversational applications to human-oriented operating systems | |
| US11593618B2 (en) | Data processing apparatus, data processing method, and storage medium | |
| Song et al. | Learning-guided nondominated sorting genetic algorithm II for multi-objective satellite range scheduling problem | |
| Liu et al. | Global exponential stability of discrete-time recurrent neural network for solving quadratic programming problems subject to linear constraints | |
| CN110383302A (en) | Small Maastricht Treaty Rana Fermi's subcode | |
| JP2021512387A (en) | Quantum computing device design | |
| Du et al. | Multi-objective multi-criteria evolutionary algorithm for multi-objective multi-task optimization | |
| Chen et al. | A multivariate grey RBF hybrid model for residual useful life prediction of industrial equipment based on state data | |
| Lu et al. | An adaptive neural architecture search design for collaborative edge-cloud computing | |
| Li et al. | Artificial-intelligence-based algorithms in multi-access edge computing for the performance optimization control of a benchmark microgrid | |
| Veeramsetty et al. | Short term active power load forecasting using machine learning with feature selection | |
| US20220269835A1 (en) | Resource prediction system for executing machine learning models | |
| Zhen et al. | Neighborhood evolutionary sampling with dynamic repulsion for expensive multimodal optimization | |
| WO2018101476A1 (en) | Information processing device, information processing method, and information processing program | |
| US20220058477A1 (en) | Hyperparameter Transfer Via the Theory of Infinite-Width Neural Networks | |
| KR102561799B1 (en) | Method and system for predicting latency of deep learning model in device | |
| US20230080424A1 (en) | Dynamic causal discovery in imitation learning | |
| JP6886853B2 (en) | Information processing equipment, information processing methods and information processing programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17875146 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 060919) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17875146 Country of ref document: EP Kind code of ref document: A1 |