JP6690489B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6690489B2 JP6690489B2 JP2016192482A JP2016192482A JP6690489B2 JP 6690489 B2 JP6690489 B2 JP 6690489B2 JP 2016192482 A JP2016192482 A JP 2016192482A JP 2016192482 A JP2016192482 A JP 2016192482A JP 6690489 B2 JP6690489 B2 JP 6690489B2
- Authority
- JP
- Japan
- Prior art keywords
- type
- neural network
- neuron
- input
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Description
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、脳神経系の仕組みを模した数学モデルであるニューラルネットワークが注目されている。また、ニューラルネットワークを用いて種々の識別を行う装置が開発されている。例えば、特許文献１には、アレーアンテナから得られる受信信号ベクトルの位相差から、先行車両の台数を、ニューラルネットワークを用いて推定するレーダ信号処理装置が開示されている。
しかし、特許文献１に記載の技術では、実数型または複素数型ニューラルネットワークにおいて、受信信号ベクトルの自己相関行列の対角成分を除いた上三角行列を入力としている。このため、特許文献１に記載の技術では、受信信号ベクトルの要素数に対応する全通りの組み合わせペアを入力することが求められ、ニューラルネットワークの規模が大型化する傾向がある。
また、特許文献１に記載の技術では、要素数の組み合わせ演算自体に係る計算コストの増大が問題となる。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、多次元データを入力とするニューラルネットワークにおけるネットワーク規模および計算コストを低減することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、入力される多次元データに基づく出力を行う、単数あるいは複数の次元を有するニューロンから構成されるニューラルネットワークを用いて状態推定を行う推定部、を備え、前記ニューラルネットワークは、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換する変換層を備え、前記第２型のニューロンは、前記第１型のニューロンと比較して低次元のデータに基づく処理を行う、情報処理装置が提供される。
前記第１型のニューロンは、複素数型ニューロンであり、前記第２型のニューロンは、実数型ニューロンであってもよい。
前記ニューラルネットワークは、複素数データを入力層に持つ少なくとも１層以上の複素数型ネットワーク層と、実数データを出力層に持つ少なくとも１層以上の実数型ネットワーク層と、をさらに備え、前記変換層は、前記複素数型ネットワーク層と前記実数型ネットワーク層とを接続してもよい。
前記変換層は、前記実数型ネットワーク層における誤差情報を前記複素数型ネットワーク層に逆伝播してもよい。
前記変換層は、前記複素数型ニューロンの出力を実部および虚部に基づいて分割し、前記実数型ニューロンの入力に対応する次元に変換してもよい。
前記変換層は、前記複素数型ニューロンの出力を位相および振幅に基づいて分割し、前記実数型ニューロンの入力に対応する次元に変換してもよい。
前記変換層は、位相に基づいて分割した実数型ニューロンの出力を、正弦波および余弦波に基づいてさらに分割し、前記実数型ニューロンの入力に対応する次元に変換してもよい。
前記変換層は、位相に基づいて前記実数型ニューロンの数を決定してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、多次元データを入力とする、単数あるいは複数の次元を有するニューロンで構成されるニューラルネットワークを用いた情報処理方法であって、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換すること、を含み、前記変換することにおいて、前記第２型のニューロンは、前記第１型のニューロンと比較し低次元のデータに基づく処理を行うこと、をさらに含む、情報処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、入力される多次元データに基づく出力を行う、単数あるいは複数の次元を有するニューロンで構成されるニューラルネットワークを用いて状態推定を行う推定部、を備え、前記ニューラルネットワークは、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換する変換層を備え、前記第２型のニューロンは、前記第１型のニューロンと比較し低次元のデータに基づく処理を行う、情報処理装置、として機能させるためのプログラムが提供される。
以上説明したように本発明によれば、多次元データを入力とするニューラルネットワークにおけるネットワーク規模および計算コストを低減することが可能となる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜１．第１の実施形態＞
＜＜１．１．実施形態の概要＞＞
近年、情報処理技術の発展に伴い、種々のニューラルネットワークモデルが提案されている。また、上記のようなニューラルネットワークモデルには、入力される複素数や四元数などの多次元データに基づいて識別を行うモデルも存在する。
＜＜１．１．実施形態の概要＞＞
近年、情報処理技術の発展に伴い、種々のニューラルネットワークモデルが提案されている。また、上記のようなニューラルネットワークモデルには、入力される複素数や四元数などの多次元データに基づいて識別を行うモデルも存在する。
一方、上述したとおり、多次元データを入力とするニューラルネットワークでは、ネットワーク規模や計算コストが増大する傾向があり、当該問題を解決する手法が求められていた。
本発明の一実施形態に係る情報処理装置、情報処理方法、およびプログラムは、上記の点に着目して発想されたものであり、多次元データを入力とするニューラルネットワークにおいて、ネットワーク規模および計算コストを抑えながら、精度の高い推定を行うことを可能とする。このために、本実施形態に係るニューラルネットモデルは、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換する変換層を備えることを特徴の一つとする。ここで、上記第２型のニューロンは、第１型のニューロンと比較して低次元のデータに基づく処理を行うニューロンであってよい。
図１は、本実施形態に係るニューラルネットワークＮＮ０の構成例を示す図である。図１を参照すると、本実施形態に係るニューラルネットワークＮＮ０は、第１型のニューラルネットワークＮＮ１、変換層ＴＬ、および第２型のニューラルネットワークＮＮ２を備える。
なお、ここで、本実施形態に係る多次元データとは、１つの観測対象に対して１つ以上の観測値が得られるもの指す。例えば、ｘ、ｙ、ｚ座標上の点を含む観測値は、３つの次元を持つ多次元データといえる。また、以下の説明で言及されるニューロンの入力あるいは出力の次元とは、多次元ニューロンの次元を意味する。上記の多次元ニューロンとは、１つの多次元データを１つのニューロンに対応付けたものであり、例えば、複素平面のｘ、ｙ座標上の点（２つの次元を持つ多次元データ）を１つのニューロンに対応付けたものは、１つの多次元ニューロン（複素数型ニューロン）となる。
また、多次元データは、多次元ニューロンの入力の次元と同じ次元を持つ。一般にニューラルネットワークでは、各層は複数のニューロンで構成されることから、複数個の多次元ニューロンで一つの層を構成し、その層の出力値は、複数個分の多次元データとなる。この際、複数の層で構成されるニューラルネットワークにおいて、各層に含まれるニューロンの数は同一であってもよいし。異なっていてもよい。
また、層間の接続は、全結合であってもよいし、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のような局所的な結合であってもよい。また、一般にニューラルネットワークでは、一つの結合には一つの重みを持たせ、ニューロンの出力値が重み付き結合を介して次層のニューロンの入力となるが、この際、上記の重みは、多次元ニューロンと同じ数の次元を持ち、前後の層のニューロンの次元数は一致する。ここで、多次元データの入力データ配列を多次元ニューロンの入力層と考えると、当該入力層は、複数の多次元ニューロンが個々にニューラルネットワークの入力値としての多次元データを有し、次の層へは多次元の結合を通して同じ次元数の次の層へ接続することとなる。
（第１型のニューラルネットワークＮＮ１）
本実施形態に係る第１型のニューラルネットワークＮＮ１は、多次元データを入力とするニューラルネットワークであってよい。また、本実施形態に係る第１型のニューラルネットワークＮＮ１は、第２型のニューラルネットワークＮＮ２と比較して高次元のデータに基づく処理を実行する。例えば、本実施形態に係る第１型のニューラルネットワークＮＮ１は、複素数に基づく処理を実行する複素数型ニューラルネットワークであってもよいし、四元数に基づく処理を実行する四元数型ニューラルネットワークであってもよい。また、本実施形態に係る第１型のニューラルネットワークＮＮ１は、２以上の次元を有するニューロンに対して異なる次元のデータ間で任意の演算処理を実行するタイプのニューラルネットワークであってもよい。
本実施形態に係る第１型のニューラルネットワークＮＮ１は、多次元データを入力とするニューラルネットワークであってよい。また、本実施形態に係る第１型のニューラルネットワークＮＮ１は、第２型のニューラルネットワークＮＮ２と比較して高次元のデータに基づく処理を実行する。例えば、本実施形態に係る第１型のニューラルネットワークＮＮ１は、複素数に基づく処理を実行する複素数型ニューラルネットワークであってもよいし、四元数に基づく処理を実行する四元数型ニューラルネットワークであってもよい。また、本実施形態に係る第１型のニューラルネットワークＮＮ１は、２以上の次元を有するニューロンに対して異なる次元のデータ間で任意の演算処理を実行するタイプのニューラルネットワークであってもよい。
以下、本実施形態に係る第１型のニューラルネットワークＮＮ１が複素数型ニューラルネットワークである場合を例に説明する。すなわち、本実施形態に係る第１型のニューラルネットワークＮＮ１は、複素数データを入力層に持つ少なくとも１層以上の複素数型ネットワーク層であってよい。
図１を参照すると、本実施形態に係る第１型のニューラルネットワークＮＮ１は、入力層ＩＬおよび中間層ＭＬ１を備える。この際、上記の入力層ＩＬおよび中間層ＭＬ１では、入力、結合荷重、出力などの処理がすべて複素数で定義されてよい。図１に示す一例では、入力層ＭＬおよび中間層ＭＬ１における第１型のニューロン、すなわち複素数型ニューロンがドットのハッチングで示されている。
（変換層ＴＬ）
本実施形態に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１と第２型のニューラルネットワークＮＮ２を接続する機能を有する。また、本実施形態に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１における第１型のニューロンの出力を、第２のニューラルネットワークＮＮ２における第２型のニューロンの入力に対応する次元に変換する機能を有する。例えば、本実施形態に係る変換層ＴＬは、複素数型ニューロンを実数型ニューロンに変換してよい。本実施形態に係る変換層ＴＬの有する機能の詳細については後述する。
本実施形態に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１と第２型のニューラルネットワークＮＮ２を接続する機能を有する。また、本実施形態に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１における第１型のニューロンの出力を、第２のニューラルネットワークＮＮ２における第２型のニューロンの入力に対応する次元に変換する機能を有する。例えば、本実施形態に係る変換層ＴＬは、複素数型ニューロンを実数型ニューロンに変換してよい。本実施形態に係る変換層ＴＬの有する機能の詳細については後述する。
（第２型のニューラルネットワークＮＮ２）
本実施形態に係る第２型のニューラルネットワークＮＮ２は、第１型のニューラルネットワークＮＮ１と比較して低次元のデータに基づく処理を実行する。例えば、第１型のニューラルネットワークＮＮ１が複素数型ニューラルネットワークである場合、本実施形態に係る第１型のニューラルネットワークＮＮ１は、実数型ニューラルネットワークであってよい。
本実施形態に係る第２型のニューラルネットワークＮＮ２は、第１型のニューラルネットワークＮＮ１と比較して低次元のデータに基づく処理を実行する。例えば、第１型のニューラルネットワークＮＮ１が複素数型ニューラルネットワークである場合、本実施形態に係る第１型のニューラルネットワークＮＮ１は、実数型ニューラルネットワークであってよい。
以下、本実施形態に係る第２型のニューラルネットワークＮＮ２が実数型ニューラルネットワークである場合を例に説明する。すなわち、本実施形態に係る第２型のニューラルネットワークＮＮ２は、実数データを出力層に持つ少なくとも１層以上の実数型ネットワーク層であってよい。
図１を参照すると、本実施形態に係る第２型のニューラルネットワークＮＮ２は、中間層ＭＬ２および出力層ＯＬを備える。この際、上記の中間層ＭＬ２および出力層ＯＬでは、入力、結合荷重、出力などの処理がすべて実数で定義されてよい。図１に示す一例では、中間層ＭＬ２および出力層ＯＬにおける第２型のニューロン、すなわち実数型ニューロンが斜線のハッチングで示されている。
以上、本実施形態に係るニューラルネットワークＮＮ０の構成例について説明した。上述したとおり、本実施形態に係るニューラルネットワークＮＮ０は、例えば、複素数型である第１型のニューラルネットワークＮＮ１、変換層ＴＬ、および実数型である第２型のニューラルネットワークＮＮ２を備える。また、本実施形態に係る変換層ＴＬは、例えば、複素数型である第１型のニューロンの出力を実数型である第２型のニューロンの入力に対応する次元に変換する機能を有する。
本実施形態に係るニューラルネットワークＮＮ０によれば、上述したような組み合わせペアの入力が不要となり、複素数などの多次元データを直接入力することができるため、ネットワーク規模や計算コストを大きく低減することが可能となる。
また、本実施形態に係るニューラルネットワークＮＮ０では、従来の複素数型ニューラルネットワークや実数型ニューラルネットワークを単独で用いる場合と比較して、推定精度の向上が期待される。
図２は、従来の実数型ニューラルネットワークの結合関係を示す図である。図２に示すように、実数型ニューラルネットワークでは、入力ｘＲ、結合荷重ｗＲ、および出力ｙＲは、すべて実数で定義される。すなわち、実数型ニューラルネットワークの結合関係は、下記の数式（１）により表現され得る。ここで、図２および下記の数式（１）におけるＲは実数であってよい。
このため、実数型ニューラルネットワークでは、複素数データをそのまま入力することができず、予め複素数データから実数を抽出する処理が求められる。
一方、図３は、従来の複素数型ニューラルネットワークの結合関係を示す図である。図３に示すように、複素数型ニューラルネットワークでは、入力ｘＣ、結合荷重ｗＣ、および出力ｙＣは、すべて複素数で定義される。すなわち、複素数型ニューラルネットワークの結合関係は、下記の数式（２）により表現され得る。ここで、図３および下記の数式（２）におけるＣは複素数であってよい。
このため、複素数型ニューラルネットワークは、複素数データを入力とする処理に優れている。ここで、上記の複素数データとは、例えば、電波や音波など、波動の大きさや位相の進み・遅れに意味を持つデータや、風向きなど特定の方向に意味を持つデータを指す。しかし、複素数型ニューラルネットワークでは、出力も複素数データとなるため、例えば、位相差のような実数データを直接的に出力することができない。従って、複素数型ニューラルネットワークにおいて、上記のような実数値に対する回帰を行う場合、出力の振動または位相の値がどのような実数値に対応するかを予めルール付けするなどの工夫が求められる。
また、上記のような方法では、本来実数として表現できないデータに対して実数を当てはめるため、位相における０〜２πのような折り返し性や、振幅の正値性を考慮することが困難であり、精度が劣化してしまう。
他方、本実施形態に係るニューラルネットワークＮＮ０は、複素数型ニューロンの出力を実数型ニューロンの入力に対応する次元に変換する変換層ＴＬを備えることで、上記のような課題を解決することが可能となる。なお、本実施形態に係る変換層ＴＬが有する機能については、別途詳細に説明する。
以上、本実施形態に係るニューラルネットワークＮＮ０の概要について説明した。なお、上記では、ニューラルネットワークＮＮ０が第１型および第２型の２つのニューラルネットワークと、１つの変換層ＴＬを有する場合を例に説明した。一方、本実施形態に係るニューラルネットワークＮＮ０は、３つ以上の型のニューラルネットワークと、２つ以上の変換層を備えてもよい。また、以下の説明では、第１型のニューラルネットワークＮＮ１が複素数型であり、第２型のニューラルネットワークＮＮ２が実数型である場合を例に説明するが、本実施形態に係るニューラルネットワークＮＮ０の構成は、係る例に限定されない。本実施形態に係る第１型のニューラルネットワークＮＮ１は、例えば、四元数型であってもよい。本実施形態に係るニューラルネットワークＮＮ０の構成は、扱うデータの性質により柔軟に変更され得る。
＜＜１．２．情報処理装置１０の機能構成＞＞
次に、本実施形態に係る情報処理装置１０の機能構成について説明する。図４は、本実施形態に係る情報処理装置１０の機能ブロック図である。図４を参照すると、本実施形態に係る情報処理装置１０は、入力部１１０、推定部１２０、記憶部１３０、および出力部１４０を備える。以下、上記構成について、当該構成が有する機能を中心に説明する。
次に、本実施形態に係る情報処理装置１０の機能構成について説明する。図４は、本実施形態に係る情報処理装置１０の機能ブロック図である。図４を参照すると、本実施形態に係る情報処理装置１０は、入力部１１０、推定部１２０、記憶部１３０、および出力部１４０を備える。以下、上記構成について、当該構成が有する機能を中心に説明する。
（入力部１１０）
入力部１１０は、操作者による種々の入力操作を検出する機能を有する。本実施形態に係る入力部１１０は、例えば、後述する推定部１２０による推定に用いるデータを指定する操作者の入力操作を検出してよい。このために、本実施形態に係る入力部１１０は、操作者による入力操作を検出するための各種の装置を含んでよい。入力部１１０は、例えば、各種のボタン、キーボード、タッチパネル、マウス、スイッチなどにより実現され得る。
入力部１１０は、操作者による種々の入力操作を検出する機能を有する。本実施形態に係る入力部１１０は、例えば、後述する推定部１２０による推定に用いるデータを指定する操作者の入力操作を検出してよい。このために、本実施形態に係る入力部１１０は、操作者による入力操作を検出するための各種の装置を含んでよい。入力部１１０は、例えば、各種のボタン、キーボード、タッチパネル、マウス、スイッチなどにより実現され得る。
（推定部１２０）
推定部１２０は、入力される多次元データを用いて、機械学習モデルに基づく状態推定を行う機能を有する。このため、本実施形態に係る推定部１２０は、上述したニューラルネットワークＮＮ０を含んで構成される。本実施形態に係る推定部１２０は、例えば、入力される複素数データに基づいて、２つの信号における位相差などを推定してよい。
推定部１２０は、入力される多次元データを用いて、機械学習モデルに基づく状態推定を行う機能を有する。このため、本実施形態に係る推定部１２０は、上述したニューラルネットワークＮＮ０を含んで構成される。本実施形態に係る推定部１２０は、例えば、入力される複素数データに基づいて、２つの信号における位相差などを推定してよい。
（記憶部１３０）
記憶部１３０は、情報処理装置１０の各構成で用いられるプログラムやデータなどを記憶する機能を有する。本実施形態に係る記憶部１３０は、例えば、推定部１２０が含むニューラルネットワークＮＮ０に用いられる種々のパラメータや、推定部１２０が出力する出力結果などを記憶してよい。
記憶部１３０は、情報処理装置１０の各構成で用いられるプログラムやデータなどを記憶する機能を有する。本実施形態に係る記憶部１３０は、例えば、推定部１２０が含むニューラルネットワークＮＮ０に用いられる種々のパラメータや、推定部１２０が出力する出力結果などを記憶してよい。
（出力部１４０）
出力部１４０は、操作者に対し種々の情報出力を行う機能を有する。本実施形態に係る出力部１４０は、例えば、推定部１２０による推定結果を出力してよい。このために、本実施形態に係る出力部１４０は、視覚情報を出力するディスプレイ装置を含んで構成され得る。ここで、上記のディスプレイ装置は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、タッチパネル、プロジェクタなどにより実現され得る。
出力部１４０は、操作者に対し種々の情報出力を行う機能を有する。本実施形態に係る出力部１４０は、例えば、推定部１２０による推定結果を出力してよい。このために、本実施形態に係る出力部１４０は、視覚情報を出力するディスプレイ装置を含んで構成され得る。ここで、上記のディスプレイ装置は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、タッチパネル、プロジェクタなどにより実現され得る。
以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。なお、上記で説明した機能構成例はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成例は係る例に限定されない。本実施形態に係る情報処理装置１０は、図４に示す以外の構成をさらに備えてもよい。情報処理装置１０は、例えば、他の情報処理端末との情報通信を行う通信部などをさらに備えるように構成されてもよい。本実施形態に係る情報処理装置１０の機能構成は、柔軟に設計変更され得る。
＜＜１．３．変換層ＴＬによるニューロンの入出力変換＞＞
次に、本実施形態に係る変換層ＴＬによるニューロンの入出力変換について詳細に説明する。上述したとおり、本実施形態に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１における複素数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型のニューロンの入力に対応する次元に変換する機能を有する。この際、推定精度を向上させるためには、第１型のニューラルネットワークＮＮ１が出力する情報を可能な限り損失させることなく、第２型のニューラルネットワークＮＮ２に順伝播することが重要となる。
次に、本実施形態に係る変換層ＴＬによるニューロンの入出力変換について詳細に説明する。上述したとおり、本実施形態に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１における複素数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型のニューロンの入力に対応する次元に変換する機能を有する。この際、推定精度を向上させるためには、第１型のニューラルネットワークＮＮ１が出力する情報を可能な限り損失させることなく、第２型のニューラルネットワークＮＮ２に順伝播することが重要となる。
また、この際、情報損失を最小化するためには、入力データの性質に応じて変換方法を選択することが望ましい。例えば、入力される複素数データを実部成分と虚部成分とで解釈する場合、抽出される実数は実軸および虚軸にどの程度近いかを示す指標となり得る。具体的には、入力される複素数データが、風向や風量のように方位性に意味を持つデータである場合には、実部および虚部に基づいた変換を行うことで、情報損失を最小化することが期待できる。
また、例えば、複素数データを振幅成分および位相成分で解釈する場合、抽出される実数は回転成分の大きさ、および方向を示す指標となり得る。具体的には、入力される複素数データが、電波データのような特定の位相方向に意味を持たないデータである場合、振幅および位相に基づく変換を行うことで、情報損失を最小化することが期待できる。
このため、本実施形態に係る変換層ＴＬは、入力される複素数データの性質に応じて、複数の変換方式を用いてよい。本実施形態に係る変換層ＴＬは、例えば、上述したような実部・虚部方式や振幅・位相方式、上記の２方式を複合した複合方式、また、位相値に基づいて振幅を分割する位相Ｎ分割方式などを選択し得る。
また、上述した通り、本実施形態に係るニューラルネットワークＮＮ０は、複素数型である第１型のニューラルネットワークＮＮ１および実数型である第２型のニューラルネットワークＮＮ２を備える。このため、学習の整合性を確保するためには、第２型のニューラルネットワークＮＮ２で算出された誤差情報が変換層ＴＬを介して第１型のニューラルネットワークＮＮ１まで正しく伝達されることが求められる。このため、本実施形態に係る変換層ＴＬは、第２型のニューラルネットワークにおける誤差情報を複素数型ネットワークにおける誤差情報の形式に変換して第１型のニューラルネットワークに逆伝播する機能を有する。
また、複素数を実数に変換する関数ｆＲを用いると複素数から実部を抽出することができる。ここで、上記の関数ｆＲ、および関数ｆＲを用いた実部の抽出は、下記の数式（４）および数式（５）のように表される。
この際、図５Ｂに示すような実数型ニューロンｘの上層からの誤差勾配をδｘとし、当該変換を図５Ａに示した逆伝播に当てはまると、ｘ＝ｘ＊、となる。このため、誤差勾配δｚ１は、下記の数式（６）により求められる。
以上、本実施形態に係る誤差情報の逆伝播について説明した。上述したように、本実施形態に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１と第２型のニューラルネットワークＮＮ２との間における順伝播および逆伝播を実現する。以下では、変換層ＴＬが用いる各変換方式における順伝播および逆伝播の手法について詳細に説明する。
（実部・虚部方式）
まず、本実施形態に係る実部・虚部方式について説明する。本実施形態に係る変換層ＴＬは、複素数型ニューロンの出力を実部および虚部に基づいて分割し、実数型ニューロンの入力に対応する次元に変換してよい。上述したように、本実施形態に係る実部・虚部方式は、実部・虚部への近さに意味を持つデータに特に有効である。
まず、本実施形態に係る実部・虚部方式について説明する。本実施形態に係る変換層ＴＬは、複素数型ニューロンの出力を実部および虚部に基づいて分割し、実数型ニューロンの入力に対応する次元に変換してよい。上述したように、本実施形態に係る実部・虚部方式は、実部・虚部への近さに意味を持つデータに特に有効である。
図６は、本実施形態に係る実部・虚部方式によるニューロンの入出力の変換について説明するための図である。図６に示すように、本実施形態に係る変換層ＴＬは、第１のニューラルネットワークＮＮ１における複素数型ニューロンｚＡの出力に複素重みｗを掛けたｚＢ（＝ＷｚＡ）の出力を、第２型のニューラルネットワークにおける実数型ニューロンｘおよびｙの入力に対応する次元に変換することができる。ただし、上記のｚＢは、ｚＢ＝ｘ＋ｉｙ、とする。
この際、本実施形態に係る変換層ＴＬは、順伝播において、実部を抽出する関数ｆＲ、および虚部を抽出する関数ｆＩを用いることで、複素数型ニューロンの出力を実数型ニューロンの入力に対応する次元に変換してよい。関数ｆＲおよび関数ｆＩは、それぞれ下記の数式（７）および数式（８）で表される。
また、逆伝播においては、実数型ニューロンｘから伝播する誤差勾配をδｘ、実数型ニューロンｙから伝播する誤差勾配をδｙとすると、複素重みｗの更新量Δｗは、下記の数式（９）により表される。ただし、この際、偏微分は、下記の数式（１０）となる。
このように、本実施形態に係る変換層ＴＬは、上記の数式（９）により、第２型のニューラルネットワークＮＮ２における誤差情報を第１型のニューラルネットワークＮＮ１の重みまで伝播することができる。
（振幅・位相方式）
次に、本実施形態に係る振幅・位相方式について説明する。本実施形態に係る変換層ＴＬは、複素数型ニューロンの出力を振幅および位相に基づいて分割し、実数型ニューロンの入力に対応する次元に変換してよい。上述したように、本実施形態に係る振幅・位相方式は、特定の位相方向に意味を持たないデータに特に有効である。
次に、本実施形態に係る振幅・位相方式について説明する。本実施形態に係る変換層ＴＬは、複素数型ニューロンの出力を振幅および位相に基づいて分割し、実数型ニューロンの入力に対応する次元に変換してよい。上述したように、本実施形態に係る振幅・位相方式は、特定の位相方向に意味を持たないデータに特に有効である。
図７は、本実施形態に係る振幅・位相方式によるニューロンの入出力の変換について説明するための図である。図７に示すように、本実施形態に係る変換層ＴＬは、第１のニューラルネットワークＮＮ１における複素数型ニューロンｚＣの出力を、振幅に対応する実数型ニューロンＡおよび位相に対応する実数型ニューロンθの入力に変換することができる。
この際、本実施形態に係る変換層ＴＬは、順伝播において、ｚＢの出力をｚＣの入力に変換する複素対数関数ｆｌ、実部・虚部方式で用いた関数ｆＲと関数ｆＩ、および実部に対応するｘの出力を振幅に対応するＡの入力に変換する指数関数ｆｅを用いることで、複素数型ニューロンの出力を実数型ニューロンの入力に対応する次元に変換してよい。ここで、複素対数関数ｆｌと指数関数ｆｅは、それぞれ下記の数式（１１）および（１２）で表される。
また、逆伝播においては、実数型ニューロンＡから伝播する誤差勾配をδＡ、実数型ニューロンθから伝播する誤差勾配をδθとすると、複素重みｗの更新量Δｗは、下記の数式（１３）により表される。ただし、この際、偏微分は、下記の数式（１４）となる。
このように、本実施形態に係る変換層ＴＬは、上記の数式（１３）により、第２型のニューラルネットワークＮＮ２における誤差情報を第１型のニューラルネットワークＮＮ１の重みまで伝播することができる。
（複合方式）
次に、本実施形態に係る複合方式について説明する。本実施形態に係る複合方式は、上述した実部・虚部方式および振幅・位相方式を組み合わせた方式であってよい。具体的には、本実施形態に係る変換層ＴＬは、振幅・位相方式で変換した位相に対応する実数型ニューロンの出力を、正弦波および余弦波に対応する実数型ニューロンの入力にさらに分割することができる。このため、本実施形態に係る複合方式は、実部・虚部の近さとその際の振幅の大きさに意味を持つデータに特に有効である。
次に、本実施形態に係る複合方式について説明する。本実施形態に係る複合方式は、上述した実部・虚部方式および振幅・位相方式を組み合わせた方式であってよい。具体的には、本実施形態に係る変換層ＴＬは、振幅・位相方式で変換した位相に対応する実数型ニューロンの出力を、正弦波および余弦波に対応する実数型ニューロンの入力にさらに分割することができる。このため、本実施形態に係る複合方式は、実部・虚部の近さとその際の振幅の大きさに意味を持つデータに特に有効である。
図８は、本実施形態に係る複合方式によるニューロンの入出力の変換について説明するための図である。図８に示すように、本実施形態に係る変換層ＴＬは、振幅・位相方式と同様の変換を行ったのち、位相に対応する実数型ニューロンθの出力を、正弦波および余弦波に対応する実数型ニューロンｓｉｎθおよびｃｏｓθの入力にさらに分割することができる。
この際、本実施形態に係る変換層ＴＬは、順伝播において、正弦波関数ｆｓおよび余弦波関数ｆｃを用いることで、上記の変換を実現することができる。なお、正弦波関数ｆｓおよび余弦波関数ｆｃは下記の数式（１５）および数式（１６）で表される。
また、逆伝播においては、実数型ニューロンＡから伝播する誤差勾配をδＡ、実数型ニューロンｓｉｎθおよびｃｏｓθから伝播する誤差勾配をδｓおよびδｃとすると、複素重みｗの更新量Δｗは、下記の数式（１７）により表される。ただし、この際、偏微分は、下記の数式（１８）となる。
このように、本実施形態に係る変換層ＴＬは、上記の数式（１７）により、第２型のニューラルネットワークＮＮ２における誤差情報を第１型のニューラルネットワークＮＮ１の重みまで伝播することができる。
（位相Ｎ分割方式）
次に、本実施形態に係る位相Ｎ分割方式について説明する。本実施形態に係る位相Ｎ分割方式を採用する場合、変換層ＴＬは、複素数型ニューロンｚＢの位相値に基づいて、振幅に対応する実数型ニューロンの分割数を決定することができる。本実施形態に係る位相Ｎ分割方式は、特定の位相方向に意味を持つデータに特に有効である。
次に、本実施形態に係る位相Ｎ分割方式について説明する。本実施形態に係る位相Ｎ分割方式を採用する場合、変換層ＴＬは、複素数型ニューロンｚＢの位相値に基づいて、振幅に対応する実数型ニューロンの分割数を決定することができる。本実施形態に係る位相Ｎ分割方式は、特定の位相方向に意味を持つデータに特に有効である。
図９は、本実施形態に係る位相Ｎ分割方式によるニューロンの入出力の変換について説明するための図である。図９に示すように、本実施形態に係る変換層ＴＬは、複素数型ニューロンｚＢの出力を、振幅に対応する複数の実数型ニューロンＡｎ（ｎ＝１，・・・，Ｎ）の入力に対応する次元に変換することができる。
この際、本実施形態に係る変換層ＴＬは、順伝播において、複素数型ニューロンｚＢ＝Ａｅｉθの出力をＮ個の実数型ニューロンの入力に対応する次元に変換する場合、ｎ番目の実数型ニューロンＡｎの入力を下記の数式（１９）により表される分割関数ｇｎを用いて決定してよい。ただし、θｓ（０≦θｓ＜２π）を所与の初期位相とする。また、図１０は、Ｎ＝４、θｓ＝０である場合の分割領域を示している。
また、逆伝播においては、実数型ニューロンＡｎから伝播する誤差勾配をδＡｎとすると、複素重みｗの更新量Δｗは、下記の数式（２０）により表される。ただし、この際、偏微分∂ｆｎ／∂ｚＢは、下記の数式（２１）となり、条件を満たすニューロン以外に対しては０となる。
このように、本実施形態に係る変換層ＴＬは、上記の数式（２０）により、第２型のニューラルネットワークＮＮ２における誤差情報を第１型のニューラルネットワークＮＮ１の重みまで伝播することができる。
（多元数型ニューロンの入出力の変換）
次に、本実施形態に係る多元数型ニューロンの入出力の変換について説明する。上記の説明では、本実施形態に係る変換層ＴＬが、第１型のニューラルネットワークＮＮ１における複素数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型ニューロンの入力に対応する次元に変換する場合を中心に述べた。一方、本実施形態に係る変換層ＴＬは、多元数型ニューロンに係る入出力の変換を行うことも可能である。本実施形態に係る変換層ＴＬは、例えば、第１型のニューラルネットワークＮＮ１における四元数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型ニューロンの入力に対応する次元に変換してもよい。
次に、本実施形態に係る多元数型ニューロンの入出力の変換について説明する。上記の説明では、本実施形態に係る変換層ＴＬが、第１型のニューラルネットワークＮＮ１における複素数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型ニューロンの入力に対応する次元に変換する場合を中心に述べた。一方、本実施形態に係る変換層ＴＬは、多元数型ニューロンに係る入出力の変換を行うことも可能である。本実施形態に係る変換層ＴＬは、例えば、第１型のニューラルネットワークＮＮ１における四元数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型ニューロンの入力に対応する次元に変換してもよい。
図１１は、本実施形態に係る多元数型ニューロンの入出力の変換について説明するための図である。図１１には、本実施形態に係る変換層ＴＬが四元数型ニューロンｑの出力を、関数ｆ１を用いて実数型ニューロンａの入力に対応する次元に変換する場合の例が示されている。ここで、例えば、四元数型ニューロンｑは、ｑ＝ａ＋ｂｉ＋ｃｊ＋ｄｋ、と表現することができる。なお、上記のｉ、ｊ、およびｋは、虚数単位である。
この際、本実施形態に係る変換層ＴＬは、ｑと共役四元数であるｑ＊（ｑ＊＝ａ−ｂｉ−ｃｊ−ｄｋ）を用いて実部を抽出する関数ｆ１や、ノルムを抽出する関数ｆ２を用いて、四元素型ニューロンｑの出力を実数型ニューロンａの入力に対応する次元に変換することができる。なお、関数ｆ１および関数ｆ２は、それぞれ下記の数式（２２）および数式（２３）で表される。
このように、本実施形態に係る変換層ＴＬは、多元数を実数に写像する関数を用いることで、複素数型ニューロンの場合と同様に、多元数型ニューロンの入力に対応する次元に変換することが可能である。
＜＜１．４．変換後のニューロンの結合パターン＞＞
次に、本実施形態に係る変換後のニューロンの結合パターンについて説明する。上記の説明では、本実施形態に係る変換層ＴＬがニューロンの入出力の変換に複数の方式を選択し得ることについて述べた。同様に、本実施形態に係る第２型のニューラルネットワークＮＮ２では、変換された実数型ニューロンの結合パターンを複数の方式から選択してよい。本実施形態に係る第２型のニューラルネットワークＮＮ２は、例えば、実数型ニューロンの結合パターンとして、全結合パターン、分離結合パターン、および一部分離結合パターンを採用し得る。
次に、本実施形態に係る変換後のニューロンの結合パターンについて説明する。上記の説明では、本実施形態に係る変換層ＴＬがニューロンの入出力の変換に複数の方式を選択し得ることについて述べた。同様に、本実施形態に係る第２型のニューラルネットワークＮＮ２では、変換された実数型ニューロンの結合パターンを複数の方式から選択してよい。本実施形態に係る第２型のニューラルネットワークＮＮ２は、例えば、実数型ニューロンの結合パターンとして、全結合パターン、分離結合パターン、および一部分離結合パターンを採用し得る。
（全結合パターン）
まず、本実施形態に係る全結合パターンについて説明する。図１２は、本実施形態に係る全結合パターンについて説明するための図である。図１２には、２つの複素数型ニューロンが図中左列にドットのハッチングで示されている。上述したとおり、本実施形態に係る変換層ＴＬは、上記の複素数型ニューロンの出力を実数ニューロンの入力に対応する次元に変換することができる。図１２の中央列には、変換層ＴＬにより変換された４つの実数型ニューロンが斜線のハッチングで示されている。この際、図１２に示すように、本実施形態に係る第２型のニューラルネットワークＮＮ２では、変換後の実数型ニューロンを次の層ですべて結合してもよい。図１２には、複素数型ニューロンから変換された４つの実数型ニューロンが、次層における４つの実数型ニューロンと全結合する様子が示されている。
まず、本実施形態に係る全結合パターンについて説明する。図１２は、本実施形態に係る全結合パターンについて説明するための図である。図１２には、２つの複素数型ニューロンが図中左列にドットのハッチングで示されている。上述したとおり、本実施形態に係る変換層ＴＬは、上記の複素数型ニューロンの出力を実数ニューロンの入力に対応する次元に変換することができる。図１２の中央列には、変換層ＴＬにより変換された４つの実数型ニューロンが斜線のハッチングで示されている。この際、図１２に示すように、本実施形態に係る第２型のニューラルネットワークＮＮ２では、変換後の実数型ニューロンを次の層ですべて結合してもよい。図１２には、複素数型ニューロンから変換された４つの実数型ニューロンが、次層における４つの実数型ニューロンと全結合する様子が示されている。
（分離結合パターン）
次に、本実施形態に係る分離パターンについて説明する。図１３は、本実施形態に係る分離結合パターンについて説明するための図である。図１３には、図１２と同様に、２つの複素数型ニューロンの出力から変換された４つの実数型ニューロンへの入力が中央列に示されている。一方、図１３に示す分離結合パターンでは、図１２とは異なり、変換された実数型ニューロンの出力を振幅・位相などに分離して学習を進め、後に結合してよい。図１３には、振幅に係る第２型のニューラルネットワークＮＮ２−１と、位相に係る第２型のニューラルネットワークＮＮ２−２とが示されている。このように、本実施形態に係る分離結合パターンでは、実数データの特性に応じて学習を分離することができる。本実施形態に係る分離結合パターンは、振幅や位相などが独立に意味を持つデータに対し特に有効である。
次に、本実施形態に係る分離パターンについて説明する。図１３は、本実施形態に係る分離結合パターンについて説明するための図である。図１３には、図１２と同様に、２つの複素数型ニューロンの出力から変換された４つの実数型ニューロンへの入力が中央列に示されている。一方、図１３に示す分離結合パターンでは、図１２とは異なり、変換された実数型ニューロンの出力を振幅・位相などに分離して学習を進め、後に結合してよい。図１３には、振幅に係る第２型のニューラルネットワークＮＮ２−１と、位相に係る第２型のニューラルネットワークＮＮ２−２とが示されている。このように、本実施形態に係る分離結合パターンでは、実数データの特性に応じて学習を分離することができる。本実施形態に係る分離結合パターンは、振幅や位相などが独立に意味を持つデータに対し特に有効である。
（一部分離結合パターン）
次に、本実施形態に係る一部分離結合パターンについて説明する。図１４は、本実施形態に係る一部分離結合パターンについて説明するための図である。図１４には、図１３と同様に、振幅に係る第２型のニューラルネットワークＮＮ２−１と、位相に係る第２型のニューラルネットワークＮＮ２−２とが示されている。一方、図１４に示す一部分離結合パターンでは、振幅に係る第２型のニューラルネットワークＮＮ２−１と位相に係る第２のニューラルネットワークＮＮ−２における実数型ニューロンの結合レベルが異なっている。すなわち、本実施形態に係る一部分離結合パターンでは、実数データの特性に応じて異なる結合レベルの学習を行うことが可能である。例えば、本実施形態に係る一部分離結合パターンでは、位相のみがより抽象化するよう結合レベルが設定されてもよい。本実施形態に係る一部分離結合パターンによれば、実数データの特性に応じた抽象化を実現することが可能である。
次に、本実施形態に係る一部分離結合パターンについて説明する。図１４は、本実施形態に係る一部分離結合パターンについて説明するための図である。図１４には、図１３と同様に、振幅に係る第２型のニューラルネットワークＮＮ２−１と、位相に係る第２型のニューラルネットワークＮＮ２−２とが示されている。一方、図１４に示す一部分離結合パターンでは、振幅に係る第２型のニューラルネットワークＮＮ２−１と位相に係る第２のニューラルネットワークＮＮ−２における実数型ニューロンの結合レベルが異なっている。すなわち、本実施形態に係る一部分離結合パターンでは、実数データの特性に応じて異なる結合レベルの学習を行うことが可能である。例えば、本実施形態に係る一部分離結合パターンでは、位相のみがより抽象化するよう結合レベルが設定されてもよい。本実施形態に係る一部分離結合パターンによれば、実数データの特性に応じた抽象化を実現することが可能である。
＜＜１．５．実施形態の効果＞＞
次に、本実施形態の効果について説明する。上述したとおり、本実施形態に係るニューラルネットワークＮＮ０は、第１型のニューラルネットワークＮＮ１と第２型のニューラルネットワークＮＮ２、および当該２つのニューラルネットワークを接続する変換層ＴＬを備える。本実施形態に係るニューラルネットワークＮＮ０によれば、複素数データおよび実数データの学習を同時に行うことが可能となり、推定精度の向上が期待される。
次に、本実施形態の効果について説明する。上述したとおり、本実施形態に係るニューラルネットワークＮＮ０は、第１型のニューラルネットワークＮＮ１と第２型のニューラルネットワークＮＮ２、および当該２つのニューラルネットワークを接続する変換層ＴＬを備える。本実施形態に係るニューラルネットワークＮＮ０によれば、複素数データおよび実数データの学習を同時に行うことが可能となり、推定精度の向上が期待される。
一方、従来の実数型ニューラルネットワークにおいても、複素数データを分割して扱うことで、複素数データに基づく処理を行うことは可能である。しかし、この場合、複素数データを２次元ベクトルのように捉えるのみであり、例えば、位相回転などの学習を行うことは困難である。従って、従来の実数型ニューラルネットワークにおいて複素数データに基づく処理を行う場合、推定精度が劣化することが予想される。
そこで、上記の検証のため、本実施形態に係るニューラルネットワークＮＮ０、および従来の実数型ニューラルネットワークにおける推定精度の比較を実施した。以下、周波数の異なる２信号に係る位相差学習における推定精度の比較結果について述べる。なお、当該検証では、訓練データおよびテストデータとして、それぞれ３００００サンプルを使用した。ここで、訓練データには、周波数６．５Ｈｚ、および周波数４．０Ｈｚの２信号を用い、教師データには、上記の２信号から求めた位相差を用いた。また、テストデータには、周波数５．５Ｈｚ、および周波数５．０Ｈｚの２信号を用い、正解データには、上記の２信号から求めた位相差を用いている。
また、検証には、図１に示す構成を備えるニューラルネットワークＮＮ０を利用した。この際、入力層ＩＬにおいては２つの複素数型ニューロンを、中間層ＭＬ１およびＭＬ２においては、それぞれ５０の複素数型ニューロンおよび１００の実数型ニューロンを用いた。
また、比較対象とした実数型ニューラルネットワークの構成を図１５に示す。図１５に示すように、比較対象とした実数型ニューラルネットワークは、入力層ＩＬ２、中間層ＭＬ１−２とＭＬ２−２、および出力層ＯＬ２を備える。この際、入力層ＩＬ２においては、４つの実数型ニューロンを、中間層ＭＬ１−２およびＭＬ２−２においては、それぞれ１００の実数型ニューロンを用いた。
図１６は、従来の実数型ニューラルネットワークによる位相差学習の結果を示す図である。図１６には、上述した正解データＡ１が破線で、テストデータＴ１が点線で示されている。また、図１６では、縦軸に位相差が、横軸に時間（サンプル）がそれぞれ示されている。図１６を参照すると、従来の実数型ニューラルネットワークによる学習結果では、位相端における振動が目立つことがわかる。
一方、図１７は、本実施形態に係るニューラルネットワークＮＮ０による位相差の学習結果を示す図である。図１７には、正解データＡ１が破線で、テストデータＴ２が点線で示されている。また、図１７では、図１６と同様に、縦軸に位相差が、横軸に時間（サンプル）がそれぞれ示されている。図１７を参照すると、本実施形態に係るニューラルネットワークＮＮ０による学習結果では、従来の実数型ニューラルネットワークによる学習結果と比較し、特に位相端における位相ずれが緩やかとなっていることがわかる。すなわち、当該結果は、本実施形態に係るニューラルネットワークＮＮ０が、位相の折り返し性など複素数データの持つ特性に基づいた精度の高い推定を行っていることを示している。
＜２．ハードウェア構成例＞
次に、本発明に係る情報処理装置１０のハードウェア構成例について説明する。図１８は、本発明に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図１８を参照すると、情報処理装置１０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力部８７８と、出力部８７９と、記憶部８８０と、ドライブ８８１と、接続ポート８８２と、通信部８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
次に、本発明に係る情報処理装置１０のハードウェア構成例について説明する。図１８は、本発明に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図１８を参照すると、情報処理装置１０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力部８７８と、出力部８７９と、記憶部８８０と、ドライブ８８１と、接続ポート８８２と、通信部８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、記憶部８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、記憶部８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
（入力部８７８）
入力部８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、マイク、及びレバー等が用いられる。さらに、入力部８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
入力部８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、マイク、及びレバー等が用いられる。さらに、入力部８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
（出力部８７９）
出力部８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置（表示装置）、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
出力部８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置（表示装置）、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
（記憶部８８０）
記憶部８８０は、各種のデータを格納するための装置である。記憶部８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
記憶部８８０は、各種のデータを格納するための装置である。記憶部８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
（通信部８８３）
通信部８８３は、ネットワーク９０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、内線電話網や携帯電話事業者網等の電話網に接続してもよい。
通信部８８３は、ネットワーク９０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、内線電話網や携帯電話事業者網等の電話網に接続してもよい。
＜３．まとめ＞
以上説明したように、本発明に係るニューラルネットワークＮＮ０は、第１型のニューラルネットワークＮＮ１と第２型のニューラルネットワークＮＮ２、および上記の２つのニューラルネットワークを接続する変換層ＴＬを備える。第１型のニューラルネットワークＮＮ１は、例えば、複素数型ニューラルネットワークであり、第２型のニューラルネットワークＮＮ２は、例えば、実数型のニューラルネットワークであってもよい。この際、本発明に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１における複素数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型ニューロンの入力に対応する次元に変換することができる。係る構成によれば、多次元データを入力とするニューラルネットワークにおけるネットワーク規模および計算コストを低減することが可能となる。
以上説明したように、本発明に係るニューラルネットワークＮＮ０は、第１型のニューラルネットワークＮＮ１と第２型のニューラルネットワークＮＮ２、および上記の２つのニューラルネットワークを接続する変換層ＴＬを備える。第１型のニューラルネットワークＮＮ１は、例えば、複素数型ニューラルネットワークであり、第２型のニューラルネットワークＮＮ２は、例えば、実数型のニューラルネットワークであってもよい。この際、本発明に係る変換層ＴＬは、第１型のニューラルネットワークＮＮ１における複素数型ニューロンの出力を第２型のニューラルネットワークＮＮ２における実数型ニューロンの入力に対応する次元に変換することができる。係る構成によれば、多次元データを入力とするニューラルネットワークにおけるネットワーク規模および計算コストを低減することが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１０ 情報処理装置
１１０ 入力部
１２０ 推定部
１３０ 記憶部
１４０ 出力部
ＮＮ０ ニューラルネットワーク
ＮＮ１ 第１型のニューラルネットワーク
ＮＮ２ 第２型のニューラルネットワーク
ＴＬ 変換層
１１０ 入力部
１２０ 推定部
１３０ 記憶部
１４０ 出力部
ＮＮ０ ニューラルネットワーク
ＮＮ１ 第１型のニューラルネットワーク
ＮＮ２ 第２型のニューラルネットワーク
ＴＬ 変換層
Claims (10)
- 入力される多次元データに基づく出力を行う、単数あるいは複数の次元を有するニューロンから構成されるニューラルネットワークを用いて状態推定を行う推定部、
を備え、
前記ニューラルネットワークは、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換する変換層を備え、
前記第２型のニューロンは、前記第１型のニューロンと比較して低次元のデータに基づく処理を行う、
情報処理装置。 - 前記第１型のニューロンは、複素数型ニューロンであり、
前記第２型のニューロンは、実数型ニューロンである、
請求項１に記載の情報処理装置。 - 前記ニューラルネットワークは、
複素数データを入力層に持つ少なくとも１層以上の複素数型ネットワーク層と、
実数データを出力層に持つ少なくとも１層以上の実数型ネットワーク層と、
をさらに備え、
前記変換層は、前記複素数型ネットワーク層と前記実数型ネットワーク層とを接続する、
請求項２に記載の情報処理装置。 - 前記変換層は、前記実数型ネットワーク層における誤差情報を前記複素数型ネットワーク層に逆伝播する、
請求項３に記載の情報処理装置。 - 前記変換層は、前記複素数型ニューロンの出力を実部および虚部に基づいて分割し、前記実数型ニューロンの入力に対応する次元に変換する、
請求項２〜４のいずれかに記載の情報処理装置。 - 前記変換層は、前記複素数型ニューロンの出力を位相および振幅に基づいて分割し、前記実数型ニューロンの入力に対応する次元に変換する、
請求項２〜５のいずれかに記載の情報処理装置。 - 前記変換層は、位相に基づいて分割した実数型ニューロンの出力を、正弦波および余弦波に基づいてさらに分割し、前記実数型ニューロンの入力に対応する次元に変換する、
請求項６に記載の情報処理装置。 - 前記変換層は、位相に基づいて前記実数型ニューロンの数を決定する、
請求項２〜７のいずれかに記載の情報処理装置。 - 多次元データを入力とする、単数あるいは複数の次元を有するニューロンで構成されるニューラルネットワークを用いた情報処理方法であって、
第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換すること、
を含み、
前記変換することにおいて、前記第２型のニューロンは、前記第１型のニューロンと比較し低次元のデータに基づく処理を行うこと、
をさらに含む、
情報処理方法。 - コンピュータを、
入力される多次元データに基づく出力を行う、単数あるいは複数の次元を有するニューロンで構成されるニューラルネットワークを用いて状態推定を行う推定部、
を備え、
前記ニューラルネットワークは、第１型のニューロンの出力を第２型のニューロンの入力に対応する次元に変換する変換層を備え、
前記第２型のニューロンは、前記第１型のニューロンと比較し低次元のデータに基づく処理を行う、
情報処理装置、
として機能させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016192482A JP6690489B2 (ja) | 2016-09-30 | 2016-09-30 | 情報処理装置、情報処理方法、およびプログラム |
| US15/615,872 US20180096246A1 (en) | 2016-09-30 | 2017-06-07 | Information processing device and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016192482A JP6690489B2 (ja) | 2016-09-30 | 2016-09-30 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018055514A JP2018055514A (ja) | 2018-04-05 |
| JP6690489B2 true JP6690489B2 (ja) | 2020-04-28 |
Family
ID=61758778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016192482A Active JP6690489B2 (ja) | 2016-09-30 | 2016-09-30 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20180096246A1 (ja) |
| JP (1) | JP6690489B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200061164A (ko) | 2018-11-23 | 2020-06-02 | 삼성전자주식회사 | 뉴럴 네트워크 연산 수행을 위한 뉴럴 네트워크 장치, 뉴럴 네트워크 장치의 동작 방법 및 뉴럴 네트워크 장치를 포함하는 애플리케이션 프로세서 |
| JP7118938B2 (ja) * | 2019-09-13 | 2022-08-16 | Kddi株式会社 | 分類装置、学習装置、方法及びプログラム |
| CN110991620A (zh) * | 2019-12-11 | 2020-04-10 | 上海交通大学 | 一种具有隐私保护作用的新型神经网络模块 |
| JP6856112B1 (ja) * | 2019-12-25 | 2021-04-07 | 沖電気工業株式会社 | ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム |
| CN111368993B (zh) * | 2020-02-12 | 2023-03-31 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
| US11863221B1 (en) * | 2020-07-14 | 2024-01-02 | Hrl Laboratories, Llc | Low size, weight and power (swap) efficient hardware implementation of a wide instantaneous bandwidth neuromorphic adaptive core (NeurACore) |
| US12057989B1 (en) * | 2020-07-14 | 2024-08-06 | Hrl Laboratories, Llc | Ultra-wide instantaneous bandwidth complex neuromorphic adaptive core processor |
| CN112257858B (zh) * | 2020-09-21 | 2024-06-14 | 华为技术有限公司 | 一种模型压缩方法及装置 |
-
2016
- 2016-09-30 JP JP2016192482A patent/JP6690489B2/ja active Active
-
2017
- 2017-06-07 US US15/615,872 patent/US20180096246A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20180096246A1 (en) | 2018-04-05 |
| JP2018055514A (ja) | 2018-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6690489B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6801529B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| WO2021012929A1 (zh) | 通道间特征提取方法、音频分离方法和装置、计算设备 | |
| CN103426435B (zh) | 具有移动约束的通过独立分量分析的源分离 | |
| CN110222762A (zh) | 对象预测方法、装置、设备、及介质 | |
| US20190026630A1 (en) | Information processing apparatus and information processing method | |
| CN109919244A (zh) | 用于生成场景识别模型的方法和装置 | |
| CN109872276A (zh) | 用于生成图像超分辨率模型的方法和装置 | |
| CN111931877B (zh) | 目标检测方法、装置、设备及存储介质 | |
| CN102147865B (zh) | 信息处理设备、信息处理方法以及程序 | |
| US10713471B2 (en) | System and method for simulating facial expression of virtual facial model | |
| JP2018026040A (ja) | 情報処理装置および情報処理方法 | |
| JP2014095967A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN107688783A (zh) | 3d图像检测方法、装置、电子设备及计算机可读介质 | |
| CN109948699A (zh) | 用于生成特征图的方法和装置 | |
| CN111598160A (zh) | 图像分类模型的训练方法、装置、计算机设备及存储介质 | |
| CN109948700A (zh) | 用于生成特征图的方法和装置 | |
| CN109800730A (zh) | 用于生成头像生成模型的方法和装置 | |
| CN109583367A (zh) | 图像文本行检测方法及装置、存储介质和电子设备 | |
| CN109416836A (zh) | 信息处理设备、信息处理方法、以及信息处理系统 | |
| CN108885716A (zh) | 信息处理装置、信息处理方法以及信息提供方法 | |
| WO2023202285A1 (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| TW201918866A (zh) | 觸控面板上的敲擊事件的分類方法及系統，以及觸控面板產品 | |
| CN115049783A (zh) | 模型的确定方法、场景重建模型、介质、设备及产品 | |
| EP4102460A1 (en) | Information processing device, information processing method, and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190515 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200310 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200323 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6690489 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |