JP6784357B2 - 人工知能超深層学習モデルの構築方法、人工知能超深層学習装置、人工知能超深層学習モデルが搭載された汎用モバイル端末装置、及び人工知能超深層学習モデルのプログラム - Google Patents

Description

本発明は、情報処理の分野に属し、特に人工知能超深層学習モデルを構築する方法である、また、人工知能超深層学習装置、人工知能超深層学習モデルを搭載する汎用モバイル端末装置、及び人工知能超深層学習モデルのプログラムである。

近年、世界範囲で、人工知能がホットな話題になった、人工知能の関連特許も注目されている。ここで、日本の大手会社の古河電気工業株式会社により「画像処理方法および画像処理装置」［特許文献１］という特許出願を提出した、この出願はエッジ画像を抽出するしきい値に対し、人工知能のニューラルネットワークアルゴリズムを用いて、選択することにより高精度のエッジ画像を得ることが可能になった。

自動運転分野への応用では、日本の大手会社のトヨタは、「運転指向推定装置」［特許文献２］という出願を提出した。この出願は、交通事故の発生を避けるために、逆転送ニューラルネットワークの機械学習アルゴリズムの人工知能を介して、運転者が反映されていない場合であっても、不測の事態を防ぐために、自動的に運転状態を選択することができる自動車の制御方法を提案している。

特開２０１３−１０９７６２号公報 特開２００８−２２５９２３号公報

［特許文献１］および［特許文献２］では、すべて人工知能の従来のニューラルネットワークアルゴリズムを採用しているが、従来のニューラルネットワークの重み値Ｗ、及びしきい値Ｔを選ぶ時に、最適解を取得するため、すべての可能性を組み合わせる必要がある、その組み合わせの総数は、Ｐ×（Ｗ×Ｔ）^ｎになる、ここで、Ｐを、従来のニューラルネットワークの層の数とし、ｎを層毎の接点の数とする。

上式のようなに、膨大な組み合わせの数により、計算複雑度はＯ（ｎ^ｎ）になり、ＮＰ完全の問題になるため、現在の計算機を用いて計算の結果を得られることは不可能に近いことを分かった。

さらに、従来のニューラルネットワークモデルの重み値Ｗ、及びしきい値Ｔの定義方法は従来の数学しか使っていないため、結果的に脳のトリガー信号の原理とまったく異なっている。人間の脳の神経は従来のニューラルネットワークモデルとまったく別のメカニズムを判明した。

また、実際の目的関数は元々確率の問題に属することは多かったので、従来のニューラルネットワークモデルは関数の写像しかできない、そのため、大量学習データに依存する必要がある。確率問題を解決することが困難である。特に重み値Ｗ、及びしきい値Ｔを選ぶ時に最適解を得ないので、ブラックボックス問題を残している。

現在注目されている深層学習モデルは従来のニューラルネットワークモデルを基礎として、隠れ層の数を数百以上増やして行くことにより、処理の能力が深くなることを考えているが、隠れ層の数と処理の能力との間の関係があることを理論的に証明できない、そのため、このような構成により計算の複雑度がもっと高くならざるを得ない。
以上述べたように深層学習モデルに対して、工業的に広く応用することを期待できない。

本発明の第一の目的は、人間の脳のトリガーの機能を重点に置いて、脳の機能を再現することができる新しいニューラルネットワークモデルを提出すること。
人間の脳神経は神経にトリガーされた時に、ニューラルのしきい値の役割を一致する可能な新しいニューラルネットワークモデルを正確的に構築する方法を発見すること。
また、機械学習の能力が無限的に深くに行くことができるし、計算複雑度が変わらず新しいニューラルネットワークモデルを提出すること。

本発明の第二の目的は、実際の工業化への応用するために、低い計算複雑度、高効率、従来の深層学習モデルより根本的に一層進化した新しい人工知能モデルを見つける。

前記課題を解決するために、請求１に係れる発明は、人工知能超深層学習モデルの構築方法であって、
複数の入力情報を、第１の無教師機械学習により学習してから、各々最大確率の特徴値として、入力層の各ノードに入力すること；
入力層の各ノードに対応した複数回で入力し学習された最大確率の特徴値を、第２の無教師機械学習により学習してから、それぞれの最大確率の特徴 値、最大確率尺度、最大ファジィ事象確率測度を含めて少なくとも一つの学習値を得てから、トリガーされた神経信号として、隠れ層の各ノードに出力する；
出力層、即ち脳皮層は、前記すべての隠れ層、即ち神経層の出力最大確率尺度により、興奮レベルを決める確率尺度に基づいた自己組織アルゴリズムを備えることを特徴とする人工知能超深層学習モデルの構築方法である。

前記、無教師機械学習とは、確率尺度、若しくはファジィ事象確率測度に基づいて、繰返して処理することにより、新しい確率尺度、或はファジィ事象確率測度、或は最大確率の特徴値を得る確率尺度に基づいた自己組織アルゴリズムを特徴とする請求項１に記載の人工知能超深層学習モデルの構築方法である。

前記、確率尺度とは、確率分布に属するデータにおいて必ず１つの尺度を備える、この尺度は、与えたデータの中で最大確率分布を計ることができる値である。

前記、ファジィ事象確率測度とは、確率情報と、曖昧な情報に属するデータにおいて必ず１つの尺度を備える、この尺度は、与えたデータの中で最大ファジィ事象確率測度を計ることができる値である。

前記、確率尺度或はファジィ事象確率測度を、超深層学習モデルにおいて、脳神経のトリガーのしきい値とする。

前記課題を解決するために、請求６に係れる発明は、人工知能超深層学習モデルの装置であって、
複数の入力情報を、第１の無教師機械学習により学習してから、各々最大確率の特徴値をとして、入力層の各ノードに入力するモジュール；
さらに、入力層の各ノードに対応した複数回で入力し学習された最大確率特徴値を、第２の無教師機械学習により学習してから、それぞれの最大確率特徴値、最大確率尺度、最大ファジィ事象確率測度を含めて少なくとも一つの学習値を得てから、トリガーされた神経信号として、隠れ層の各ノードに出力するモジュール；
出力層、即ち脳皮層は、隠れ層、即ち神経層からトリガーされた神経信号の数によって、脳の興奮の程度を決定し、最終の結果を決める確率尺度に基づいた自己組織アルゴリズムを搭載したモジュールを備えることを特徴とする人工知能超深層学習装置である。

前記課題を解決するために、請求７に係れる発明は、入力情報と入力層の各ノードとの間、入力層と隠れ層、即ち神経層との各ノードとの間で、それぞれ無教師機械学習モデルに搭載されたモジュールと相互に接続することと；
入力情報から無教師機械学習により最大確率の特徴情報を抽出し、入力層に入力する
前記の無教師機械学習により学習してから、それぞれ最大確率特徴値、確率尺度、或はファジィ事象確率測度を含む、少なくとも一つの解を求める確率尺度に基づいた自己組織アルゴリズムとすること；
前記のアルゴリズムが搭載された汎用モバイル端末を備えることを特徴とする人工知能超深層学習モデルが搭載された汎用モバイル端末装置である。

前記課題を解決するために、請求８に係れる発明は、入力情報と入力層の各ノードとの間、入力層と隠れ層、即ち神経層との各ノードとの間で、それぞれ無教師機械学習モデルに搭載されたモジュールと相互に接続すること；
前記の無教師機械学習により、最大確率特徴値、確率尺度、或はファジィ事象確率測度を含む、少なくでも一つの解を求める確率尺度に基づいた自己組織アルゴリズムとすること；
前記のアルゴリズムが作成されるプログラムを備えることを特徴とする人工知能超深層学習モデルのプログラムである。

本発明は超深層学習では、人工知能の新しい超新層学習モデルの構成の方法を提出した、この方法は、脳神経のメカニズムのシミュレーションを達成することを重点おいて機械学習アルゴリズムを構成する。このようなアルゴリズムを用いて、確率分布による複雑系の問題に対処できる。

新しい「超深層学習」の計算複雑度はＯ（ｎ^２）であり、通常の無線端末に適用することができ、学習プロセスの目標は明確で、処理効率は高い、特に、ハードウェア回路を実装しやすい、人工知能の機械学習チップを構成することができる。自己組織された確率尺度を脳神経のトリガーのしきい値として、処理した結果は、実際の脳神経のメカニズムに非常に近い、そして、ランダム的な目的関数向けパターン認識を対象とした複雑系の問題に対して、対処することができ、新しいニューラルネットワークの理論には画期的なものである。

以下に説明する通り、本発明の実施形態について、添付の図面を参照して、さらに詳細に説明するが、本発明の実施形態は例示的なものであり、限定的ではない。
図１は、人工知能超深層学習モデルの構成図である。
図１に示すように、隠れ層、即ち神経層のノード数ｈ（ｈ＝１，２，…，ｋ）とし、学習の回数をｚ（ｚ＝１，２，…，ｗ）とし、また、学習される画像をＦ^ｚ（ｚ＝１，２，…，ｗ）とする。
一回目の学習を行う時に、入力情報を無教師機械学習により学習してから、入力層のノードに入力する、そこで、無教師機械学習ＭＬ^ｚ _ｐｈに対し、入力層ｐ＝１のために、ＭＬ^ｚ _１ｈとすると、

したがって、学習段階で毎回の無教師機械学習により学習する計算の複雑度は線形的であるので、ｗ回に学習する計算の複雑度はＯ（ｎ^２）になる。
次、各層のノードＮ^ｚ _ｐｈを定義する、入力層ｐ＝１になると、入力層ノードをＮ^ｚ _１ｈとする。

同様に、２番目の学習を行う時に、入力層のノードと隠れ層、即ち神経層のノードの間で、接続された無教師機械学習により学習する必要もある、ここで、Ｐ＝２、無教師機械学習をＭＬ_２ｈとする。

同様に、隠れ層、即ち神経層のノードにはｐ＝２、隠れ層、即ち神経層のノードをＮ_２ｈとする。

同じに、出力層、即ち脳皮層ｐ＝３であり、１つのノードしかないので、即ち出力層（脳皮層）のノードをＮ_３１とする。

次に、識別ステップについて、識別される画像Ｆ^ｓの特徴情報を抽出する必要がある無教師機械学習を、ＭＬ^ｓ _ｐｈに対し、入力層ｐ＝１になるので、ＭＬ^ｓ _１ｈとする。

同様に、識別される画像Ｆ^ｓの特徴情報は、入力層のノードに対応するデータは１個だけので、入力層のノードをＮ^ｓ _１ｈとする。

識別ステップを行う場合に、画像Ｆ^ｓの情報に対して、無教師機械学習ＭＬ^ｓ _１ｈにより、学習したデータを直接に、入力層と隠れ層、即ち神経層との間で、接続される無教師機械学習ＭＬ_２ｈに入力することである。

ここで、画像認識の方法を例として説明するが、図１に示すように、学習ステップでは、Ｆを学習される対象の画像とし、対象の画像Ｆをｎ＊ｍ画素の１つの画像として分割する、ここで、分割されたｋ個のｈ番目の分割画像をＩ^ｈ∈ｐ^ｈ _ｉｊ（ｉ＝１，２，…，ｎ，ｊ＝１，２，…，ｍ，ｈ＝１，２，…，ｋ）とし、分割画像に属する画素をｐ^ｈ _ｉｊとすると、１つの分割画像Ｉ^ｈ∈ｐ^ｈ _ｉｊの各画素ｐ^ｈ _ｉｊが、それぞれ１つの無教師機械学習ＭＬ^ｚ _１ｈの入力側に入力され、分割画像Ｉ^ｈ∈ｐ^ｈ _ｉｊの各画素から１つの最大確率の特徴値が、無教師機械学習の学習により抽出された。このような処理を繰り替えて、対象の画像Ｆのすべての分割画像Ｉ^ｈ∈ｐ^ｈ _ｉｊから、対象の画像Ｆの最大確率の特徴ベクトルを抽出することが可能になった。

上記の処理仕方に基づいて、ｚ（ｚ＝１，２，…，ｗ）番目の画像Ｆ^ｚのｈ（ｈ＝１，２，…，ｋ）番目の画像Ｉ^ｈ∈ｐ^ｈ _ｉｊのｇ個の画素ｐ^ｈ _ｉｊのグレー値を第一回の無教師機械学習ＭＬ^１ _１ｈに入力すると、得られた学習の結果Ｌ^１ _１ｈを、最初の入力層のｈ番目のノードＮ^１ _１ｈ，に送られ、学習されたｚ番目の画像Ｆ^ｚのｋ個領域に対してｋ×ｚ個無教師機械学習ＭＬ^ｚ _１ｈによって学習した後の結果は、第１入力層のｋ個のノードに入力され、ｗ回の異なる作成環境について得られた学習画像Ｆ^ｚ（ｚ＝１，２，…，ｗ）は、無教師機械学習により学習したｗ×ｋ個の入力層のデータＬ^ｚ _１ｈ（ｈ＝１，２，…，ｋ，ｚ＝１，２，…，ｗ）即ち、

ｚ番目の入力層の各ノードＮ^ｚ _１ｈに対応されたそれぞれ特徴値Ｌ^ｚ _１１，Ｌ^ｚ _１２，…，Ｌ^ｚ _１ｋ，（ｚ＝１，２，…，ｗ）を、第２の無教師機械学習ＭＬ_２ｈにより、学習すると、学習値Ｌ_２１，Ｌ_２２，…，Ｌ_２ｋを得た、また、それぞれの最大確率尺度、若しくは最大ファジィ事象確率測度も得られた、最大確率尺度、若しくは最大ファジィ事象確率測度を脳神経のトリガーのしきい値Ｔ_２ｈ（ｈ＝１，２，…，ｋ）とする、上述のすべての結果は、データベースとして登録される。

認識ステップでは、認識される画像Ｆ^ｓのｈ（ｈ＝１，２，…，ｋ）領域のｇ個画素を、無教師機械学習ＭＬ^ｓ _１ｈに入力すると、学習を行ったサンプリングの学習値Ｌ^Ｓ _１ｈをｋ個のノードＮ^ｓ _２ｈ（ｈ＝１，２，…，ｋ）に送信する、認識される画像Ｆ^ｓのサンプリングの学習値Ｌ^Ｓ _１ｈと、データベースに登録された学習値Ｌ_２ｈ値、脳神経のトリガーのしきい値Ｔ_２ｈを用いて計算することによって、

隠れ層、即ち神経層のｈ（ｈ＝１，２，…，ｋ）番目のノードＮ_２ｈがトリガーされ、それ以外の場合に

信号が出力されません。

その出力層、即ち脳皮層は、隠れ層、即ち神経層からトリガーされた神経信号の数によって、脳の興奮の程度を決定し、ニューロンの興奮の程度に応じて、すなわち、隠れ層、即ち神経層の各ノードの出力「１」の数により、認識される画像Ｆ^ｓが、学習された画像に属する度合いを決定することによって、脳の意思決定の効果を果たすことができる。

また、識別の際に、識別画像の認識に対した複数の識別の結果に基づいて、隠れ層、即ち神経層の各ノードの出力が「１」である確率を計算することにより、識別のパラメータを自動的に補正することにより、自己学習の効果を果たすことができる。

ここで、識別のパラメータを補正するアルゴリズムには、２つの方法があり、１つ方法は隠れ層、即ち神経層の各ノードの出力″１″の確率を計算すると、隠れ層、即ち神経層の各ノードの出力基準値にそのノードの確率値を掛ける、隠れ層、即ち神経層の各ノードが「１」を出力する確率をＰ_ｈ（ｈ＝１，２，…，ｋ）とし、隠れ層、即ち神経層各ノードの補正後の出力基準値をＮＶ_ｈ（ｈ＝１，２，…，ｋ）とすると、認識される画像Ｆ^ｓが、学習値Ｌ_２ｈに該当される画像に属する出力層、即ち脳皮層の興奮値ＸＶを

と定義することができる。

もう一つの方法は、識別された画像を学習データとして隠れ層、即ち神経層に再入力し、再学習して新しい学習結果を得ることである。
上述のように無教師機械学習により接続されたノード間で学習する方法ではない場合に、統計学のアルゴリズムを用いても良い、例えば平均値や分散値などの統計学的いろんな計算により、また、他の機械学習により、前記と同様な超深層学習モデルを構成することになると、本発明の範囲に属することである。

図２は、実際の人工知能超深層学習モデルの概略図である。
前記、画像を学習する時に、ｗ回の画像を読取ることにより、Ｆ画像集合を得る。Ｆ∈Ｆ^ｚ（ｚ＝１，２，…，ｗ）画像に対し、ＭＬ_１ｈ（ｈ＝１，２，…，ｋ）のｋ個の無教師機械学習を用いて、ｗ回により学習した結果，Ｌ^１ _１ｈ，Ｌ^２ _１ｈ，…，Ｌ^ｚ _１ｈ，（ｈ＝１，２，…，ｋ）を入力層Ｐ_１の各ノードＮ_１ｈ（ｈ＝１，２，…，ｋ）に一回ずつで送る、入力層のｗ回の学習結果をさらに無教師機械学習ＭＬ_２ｈ（ｈ＝１，２，…，ｋ）送る、無教師機械学習ＭＬ_２ｈ（ｈ＝１，２，…，ｋ）を用いて、学習値と脳神経のトリガーのしきい値（Ｌ_２ｈ、Ｔ_２ｈ）（ｈ＝１，２，…，ｋ）が生成される。

図２に示すように、学習ステップでは、Ｆ画像に対して、Ｆ^ｚ（ｚ＝１，２，…，ｗ）画像をそれぞれｗ回で、ｋ個の無教師機械学習ＭＬ_１ｈ（ｈ＝１，２，…，ｋ）に入力し、学習データＬ^ｚ _１ｈ（ｈ＝１，２，…，ｋ，ｚ＝１，２，…，ｗ）が得られたことである。Ｗ回により学習した結果Ｌ_１ｈ，（ｈ＝１，２，…，ｋ）を入力層の各ノードＮ_１ｈ（ｈ＝１，２，…，ｋ）にそれぞれに送る。

入力層のｈ個ノードＮ_１ｈによって得られたｗ個のデータＬ_１ｈ（ｈ＝１，２，…，ｋ）をさらに無教師機械学習ＭＬ_２ｈ（ｈ＝１，２，…，ｋ）により学習する、その結果は、ｋ個の新しいニューラルネットワーク学習値および脳神経のトリガーのしきい値（Ｌ_２ｈ，Ｔ_２ｈ）（ｈ＝１，２，…，ｋ）が得られる。
認識ステップでは、上述と同じように、認識される画像Ｆ^ｓをＭＬ_１ｈ（ｈ＝１，２，…，ｋ）のｋ個の無教師機械学習に入力し、学習すると、サンプリングの学習値Ｌ^ｓ _１ｈ（ｈ＝１，２，…，ｋ）を得る、同様に入力層Ｐ_１の各ノードＮ_１ｈ（ｈ＝１，２，…，Ｋ）に送る、入力層と隠れ層、即ち神経層の間で接続された無教師機械学習ＭＬ_２ｈ（ｈ＝１，２，…，ｋ）を通じて、隠れ層、即ち神経層の出力基準値を算出する、もし｜Ｌ^Ｓ _１ｈ

ば、｜Ｌ^Ｓ _１ｈ−Ｌ_２ｈ｜＞Ｔ_２ｈ→″０″となると、神経信号がない。

出力層、即ち脳皮層は上述と同じのようになる、隠れ層、即ち神経層により出力した「１」の数に基づいて、脳の興奮レベルを決める、ニューラルの興奮の度合いにより、隠れ層、即ち神経層の出力した「１」の数に基づいて、識別される画像が学習したＦ画像に属する度合いになる、これを脳神経の意思決定の効果と言える。
また、上記の超深層学習は、処理能力や処理精度が高くなるために、まず、対象の画像Ｆに対して分割された画像Ｉ^ｈ∈ｐ^ｈ _ｉｊ（ｉ＝１，２，…，ｎ，ｊ＝１，２，…，ｍ，ｈ＝１，２，…，ｋ）の数を増加すること、分割された画像数が多ければ多いほど、画像認識の精度が高くなる、または、対象の画像Ｆに対して、元の画像から、幾何学的モデル、または物理的モデルを用いて、画像の写像を行う時に、画像の写像の数を増加すること、画像の写像の数が多ければ多いほど、同様に画像認識の精度が高くなる、この二つのやり方により、入力層、隠れ層、即ち神経層のノードの数と、機械学習の数とを増加するたけ、計算複雑度が変わらない。上述のように本発明の超深層学習モデルは処理能力と精度が無限に深くなることを、理論的に証明できる。

図３は、音声認識向けの超深層学習のモデルの構成図である。
図３に示すように、学習ステップでは、各音声信号Ｖ_ｚ（ｚ＝１，２，…，ｗ）に対し、高速フーリエ変換ＦＦＴによってｚ（ｚ＝１，２，…，ｗ）個の音声信号のスペクトルのデータを変換することができる、隣接する各ｘ個のスペクトルの値を１つの特徴値とすると、ｈ＝ｙ／ｘとすると、ｈ（ｈ＝１，２，…，ｋ）個の入力層の特徴値を得る、また、ｘ個毎のスペクトルを、それぞれの無教師機械学習ＭＬ^ｚ _１１に入力し、ｋ個の無教師機械学習により、Ｌ^ｚ _１ｈ（ｈ＝１，２，…，ｋ，ｚ＝１，２，…，ｗ）個特徴値が得られる後、それぞれ入力層の各ノードＮ^ｚ _１ｈ（ｈ＝１，２，…，ｋ，ｚ＝１，２，…，ｗ）に送る。

無教師機械学習ＭＬ^ｚ _１１により算出したｗ個の入力層の第１のノードＮ^ｚ _１１の特徴値Ｌ^ｚ _１１（ｚ＝１，２，…，ｗ）は、入力層と隠れ層、即ち神経層の間で接続される無教師機械学習ＭＬ_２１の入力側に送られ、同様にＭＬ^ｚ _１２により算出したｗ個の入力層の第２のノードＮ^ｚ _１２の特徴値Ｌ^ｚ _１２（ｚ＝１，２，…，ｗ）は、ＭＬ_２２の入力側に送られ、それによって、ＭＬ^ｚ _１ｋにより算出したｗ個の入力層の第ｋのノードＮ^ｚ _１ｋの特徴値Ｌ^ｚ _１ｋ（ｚ＝１，２，…，ｗ）は、ＭＬ_２ｋの入力側に送られると、入力層と隠れ層、即ち神経層の間で接続されるｋ個の無教師機械学習ＭＬ_２ｋによってｋ個の学習値Ｌ_２ｈ、及びｋ個の脳神経のトリガーのしきい値Ｔ_２ｈ即ち（Ｌ_２ｈ，Ｔ_２ｈ）（ｈ＝１，２，…，ｋ）を算出することができる、その結果を、データベースに記憶する。

認識ステップでは、識別される音声Ｖ_ｓは、上述の学習状態と同じように、高速フーリエ変換ＦＦＴによってＶ_ｓの音声信号のスペクトルのデータを変換し、隣接する各ｘ個のスペクトルの値を１つの特徴値とすると、ｈ＝ｙ／ｘ、ｈ（ｈ＝１，２，…，ｋ）個の入力層の情報を得る、また、ｘ個毎のスペクトルを、それぞれの無教師機械学習ＭＬ^ｓ _１ｈに入力し、ｋ個無教師機械学習により、Ｌ^ｓ _１ｈ（ｈ＝１，２，…，ｋ）個特徴値が得られる後、それぞれ入力層の各ノードＮ^ｓ _１ｈ（ｈ＝１，２，…，ｋ，ｚ＝１，２，…，ｗ）に送る。

無教師機械学習ＭＬ^ｓ _１ｈにより算出した入力層のｋ個のノードＮ^ｚ _１１のサンプリングの学習値Ｌ^ｓ _１ｈ（ｈ＝１，２，…，ｋ）は、入力層と隠れ層、即ち神経層の間で接続される無教師機械学習ＭＬ_２ｈ（ｈ＝１，２，…，ｋ）の入力側に送られ、上記の登録された音声認識の学習値と脳神経のトリガーのしきい値（Ｌ_２ｈ，Ｔ_２ｈ）（ｈ＝１，２，…，ｋ）を用いて、隠れ層、即ち神経層が「１」、或は「０」を出力する判定の基準を計

る、そうではなければ、｜Ｌ^Ｓ _１ｈ−Ｌ_２ｈ｜＞Ｔ_２ｈ→″０″となると、神経信号がない。

同様に、隠れ層、即ち神経層により出力した「１」の数に基づいて、脳の興奮レベルを決める、ニューラルの興奮の度合いにより、即ち隠れ層（神経層）の出力した「１」の数に基づいて、識別される音声が学習したＶ音声に属する度合いになる、これは音声認識に向け脳の意思決定の効果と言い過ぎない。

上述と同じように、識別の際に、識別される音声の認識に対した複数の識別の結果に基づいて、隠れ層、即ち神経層の各ノードの出力が「１」である確率を計算することにより、識別のパラメータを自動的に補正することにより、自己学習の効果を果たすことができる。

図４は、音声認識向けの超深層学習のモデル構造の概略図である。
図３と同じように、実際の音声認識向けの超深層学習のモデル構造が図４に示しているようになる、音声認識の学習のステップでは、ｗ回の音声データＶ_ｚ（ｚ＝１，２，…，ｗ）に対し、高速フーリエ変換ＦＦＴによって音声信号のスペクトルのデータｓ_ｅ（ｅ＝１，２，…，ｙ）を変換することができる、隣接しているｘ個のスペクトルのデータを１つのスペクトル値とすると、ｋ＝ｙ／ｘになる、ｋ個の入力層の特徴値を得る、また、ｈ番目の特徴情報のｘ個のスペクトルを、それぞれの無教師機械学習ＭＬ_１ｈに入力し、ｋ個無教師機械学習により、Ｌ^ｚ _１ｈ（ｈ＝１，２，…，ｋ，ｚ＝１，２，…，ｗ）個の特徴値が得られる、それぞれ入力層の各ノードＮ_１ｈ（ｈ＝１，２，…，ｋ，ｚ＝１，２，…，ｗ）に送る。

入力層のｋ個のノードＮ_１ｈ（ｈ＝１，２，…，ｋ）に、入力した無教師機械学習ＭＬ_１１によりｗ回で算出した特徴値Ｌ^１ _１ｈ，Ｌ^２ _１ｈ，…，Ｌ^Ｗ _１ｈ，（ｈ＝１，２，…，ｋ）は、ｗ回としてそれぞれ入力層と隠れ層、即ち神経層の間で接続された無教師機械学習ＭＬ_２ｈ（ｈ＝１，２，…，ｋ）の入力側に送られ、ｋ個の学習値Ｌ_２ｈ、及びｋ個の脳神経のトリガーのしきい値Ｔ_２ｈ即ち（Ｌ_２ｈ，Ｔ_２ｈ）（ｈ＝１，２，…，ｋ）を算出することができる、その結果を、音声認識の学習値と脳神経のトリガーのしきい値としてデータベースに記憶されている。

認識ステップでは、識別される音声Ｖ_ｓは、上述の学習状態と同じように、高速フーリエ変換ＦＦＴによって音声データＶ_ｓのスペクトルのデータを変換し、隣接している各ｘ個のスペクトルの値を１つの特徴データとすると、ｋ＝ｙ／ｘ個の入力層の情報を得る、また、ｈ番目の特徴データのｘ個のスペクトルを、それぞれの無教師機械学習ＭＬ_１ｈ（ｈ＝１，２，…，ｋ）に入力し、ｋ個無教師機械学習により、Ｌ^ｓ _１ｈ（ｈ＝１，２，…，ｋ）個サンプリングの学習値が得られる後、それぞれ入力層の各ノードＮ_１ｈ（ｈ＝１，２，…，ｋ）に送る。

無教師機械学習ＭＬ_１ｈにより算出した入力層のｋ個のノードＮ_１１のサンプリングの特徴値Ｌ^ｓ _１ｈ（ｈ＝１，２，…，ｋ）は、入力層と隠れ層、即ち神経層の間で接続される無教師機械学習ＭＬ_２ｈ（ｈ＝１，２，…，ｋ）の入力側に送られ、上記の登録された音声認識の学習値と脳神経のトリガーのしきい値（Ｌ_２ｈ，Ｔ_２ｈ）（ｈ＝１，２，…，ｋ）を用いて、隠れ層、即ち神経層が「１」、或は「０」を出力する判定の基準を算

る、そうではなければ、｜Ｌ^Ｓ _１ｈ−Ｌ_２ｈ｜＞Ｔ_２ｈ→″０″となると、隠れ層（神経層）が“０”を出力する。

同様に、隠れ層、即ち神経層により出力した「１」の数に基づいて、脳の興奮レベルを決める、ニューラルの興奮の度合いにより、即ち隠れ層（神経層）の出力した「１」の数に基づいて、識別される音声が学習したＶ音声に属する度合いになる、これは音声認識に向け脳の意思決定の効果を得た。

音声認識の精度を向上させるためには、音声信号の内容と発音の状態に応じて、音声信号を分割し、分割した各々音声情報を、それぞれスペクトル分析を行う、また、分割した音声情報の間での状態遷移の確率値を学習内容として、無教師機械学習を使って、態遷移の確率情報を学習する。音声認識する時に、いくつかの音声状態の組み合わせに応じて音声認識の精度を向上させ、音声内容を判定し、音声状態遷移の確率を考慮することができる。

前記に述べた認識画像は、超深層学習の処理を行うことであるが、このような処理方法だけでなく、画像や音声をそれぞれの複数な空間に写像してから、次のように、超深層学習方法によって処理することも可能である。

次に、空間写像の方法について説明する。従来のシステムは直接に解決することが可能できるが、顔認識、画像認識や文字認識のような複雑系の問題は、普段に直接に解決することが難しい場合が多かった。複雑系の問題に対応することができる１つの有効な手法は、空間写像の理論である。空間写像の理論は、人工知能の理論に含まれ、複雑系の問題に対応するため、ファジィ数学に基づく、複雑系の空間を幾つかのシンプルな空間に写像する、幾つかのシンプルな空間ごとに対し、より簡単な問題しか解決できないが、組み合わせにより、複数な空間からシンプルな空間に写像することにより、シンプルな問題を別々解決することによって、複雑系の問題を解決することができる１つの発想である。

ここで、空間写像理論の１つの重要なポイントは、複雑系の空間からシンプルな空間へ写像する方法は、人間の脳の考えることによって写像モデルを決める、この方法を「人間の介入」と言う。従来の数学はもともと硬い、人間介入しにくい欠点があるが、ファジィ数学が使い易い、人間が目的関数を理解する上に、幾つか観点からファジィ数学のメンバーシップ関数を用いて定式し、複雑系の問題を解決することができる。ここで、このようなアルゴリズムは、人間の介入に基づいて、ファジィ数学の定式を作成し、複雑系の問題を解決することができるので、人工知能の理論の範囲に属することと言い過ぎない。

本発明の人工知能超深度学習モデルを用いた無教師機械学習について、次のように詳細に説明する、無教師機械学習が、新しいニューラルネットワークの入力層と隠れ層、即ち神経層の間で、互いに対応されている各ノードに接続されている、無教師機械学習を、確率尺度に基づいた自己組織アルゴリズムとする。このような新しいニューラルネットワークを構成することは、画期的な人工知能モデルと言える、次に無教師機械学習に関する自己組織アルゴリズムを紹介する。

確率分布を持つ要素ｇ_１、ｇ_２，…，ｇ_ζの集合をＧ∈ｇ_ｆ（ｆ＝１，２，…，ζ）とし、その集合Ｇの中心値をＡ（Ｇ）とし、また、中心値Ａ（Ｇ）に対する確率尺度をＭ［Ｇ，Ａ（Ｇ）］とすると、自己組織の繰り返す計算によって算出した第ｎ−１回の中心値Ａ（Ｇ^{（ｎ−１）}）とし、また、中心値Ａ（Ｇ^{（ｎ−１）}）に対する確率尺度Ｍ［Ｇ^{（ｎ−１）}，Ａ（Ｇ^{（ｎ−１）}）］の範囲で、もし、含まれた要素ｇ_１、ｇ_２，…，ｇ_ｋの集合Ｇ^（ｎ）∈ｇ_ｆ（ｆ＝１，２，…，ｋ）を存在していると、自己組織アルゴリズムは次のようになる。

上記の公式１１によって、繰り返す計算によって最終に算出された中心値と確率尺度は、確率分布を持つ要素ｇ_１、ｇ_２，…，ｇ_ζから、確率分布の母体に最も近い推定値と言える、また、統計学の精度に超えた確率分布のパラメータと言える。実際応用時に算出された中心値を、確率分布を持つ要素の集合Ｇ∈ｇ_ｆ（ｆ＝１，２，…，ζ）に対して１つの最大確率の特徴値とする、また、算出された確率尺度を、確率分布を持つ要素の集合Ｇ∈ｇ_ｆ（ｆ＝１，２，…，ζ）に対して、最大確率分布になる新しい要素の集合Ｇ’∈ｇ_ｆ（ｆ＝１，２，…，δ）の判断基準とする、また、算出された確率尺度を脳神経のトリガーのしきい値とする。このような特徴をもっているので、本発明により提出した超深層学習モデルは脳の機能に一番近いモデルと言える。

図５は、確率尺度に基づいた自己組織の処理流れ図である。
図５に示すように、与えられた確率分布を持つ要素ｇ_１、ｇ_２，…，ｇ_ζの集合をＧ∈ｇ_ｆ（ｆ＝１，２，…，ζ）とすると、確率尺度に基づいた自己組織アルゴリズムは次のような４つのステップになる。

ステップ１：前処理ステップであり、Ｍ^（０）を初期確率尺度、Ａ^（０）を自己組織の初期中心値、Ｖを自己組織値の収束値、ＭＮを自己組織の最大処理回数とする、また、自己組織処理回数の初期値をｎ＝０とする。

初期確率尺度Ｍ^（０）を決定する方法については、厳密に設定する必要はない。人間的に適当で決めてもいい、初期確率尺度Ｍ^（０）の値は、最終の確率尺度の範囲にとって、少なくとも一部データが、初期化確率尺度Ｍ^（０）の中に含まれる必要がある、初期確率尺度Ｍ^（０）が大きければ大きいほど、計算時間が長くなり、逆に小さいすぎになると、正しい結果を得ることができない可能性がある。

収束値Ｖの設定方法は、収束値Ｖが大きいほど、自己組織の処理結果の精度が低くなる、逆に収束値Ｖが小さいほど、計算時間が長くなる。正しい設定方法は、最終自己組織確率尺度の約１０％程度である。
自己組織の最大処理回数ＭＮの設定方法は、一般に５〜１０回十分である。

ステップ２：自己組織ステップであり、ｎ回で自己組織処理をすると、自己組織中心値としてのＡ^（ｎ）、半径としての確率尺度Ｍ^（ｎ）に基づいて、含まれた全ての集合要素ｇ_ｆ（ｆ＝１，２，…，ζ）に対し、新しい中心値Ｖ^{（ｎ＋１）}と分散値Ｓ^{（ｎ＋１）}を算出する、また、Ｖ^{（ｎ＋１）}＝Ａ^{（ｎ＋１）}、Ｓ^{（ｎ＋１）}＝Ｍ^{（ｎ＋１）}、ｎ＝ｎ＋１とする。

ステップ３：自己組織判別ステップであり、 （ｎ≧ＭＮ）または自己組織処理収束（｜Ｍ_（ｎ）−Ｍ^{（ｎ＋１）}｜≦Ｖ）であれば、次の自己組織処理は終了し、自己組織処理終了ステップ４にジャンプする。ＮＯの場合は、ステップ２にジャンプして自己組織処理を継続する。
ステップ４：自己組織化処理の終了。

確率尺度Ｍ^（ｎ）は、複数の属性を有する確率統計のパラメータである。例えば、正規分布、指数分布、Ｉｒｒａｌ分布、ウェーバー分布、三角分布、ベータ分布など。例えば、確率尺度Ｍ^（ｎ）は、正規分布の分散値として使用することができる。

確率尺度の自己組織アルゴリズムは、１つの無教師機械学習として人工知能の分野で広く応用することが可能になる。また、従来の統計の基本定数に対して画期的に超越し、基本定数に密接に関連する相関分析や、回帰分析などもブレークスルーにつながり、新しい統計アルゴリズムが生成される。人工知能の機械学習理論によって新しい統計的関連理論を形成することを予想している。

機械学習の中で尺度の問題については、確率尺度に基づいて自己組織のアルゴリズムはなぜ画期的に超越する成果を達成することができるか、その要因は確率尺度と自己組織アルゴリズムを導入することである。

次に、ファジィ事象確率測度を述べる。
まずファジィ事象確率測度の定義：関数ｆ（ｘ）がファジィ空間の集合で独立して計算可能であると仮定する、Ｆ（ｘ）とｐ（ｘ）は上記のファジィ測度と確率測度との条件を満たすと、ファジィ事象確率尺度Ｍ_ｆｐは次のとおりです。

［数１４］の物理的意味は、複雑系の問題を解決する場合に、多数のわずかなファジィ情報とわずかな確率情報を、それらの測度の性質を利用することにより、積分することによって安定した価値の高い情報値を得ることが可能であるということである。ファジィ事象確率測度を自己組織の尺度とすることにより、複雑系の問題を解決する予期せぬ効果を得ることができる。

図６は、超深層学習を導入した株予測プラットフォームの概略図である。
図６に示すように、複数の角度から株を予測するため、まず予測に関連する社会学的情報Ｆ^１に属する要素をｆ^１ _ｎ（ｎ＝１，２，…，ｙ）とし、ファジィ数学のメンバーシップ関数を用いて人間介入を行うと、各要素ｆ_ｎにｘ個データが存在し、ｋ＝ｙ／ｘをすると、ｋ個の入力層情報がある。Ｈ番目の入力情報のｘ個のデータを無教師学習Ｍ^１ _１ｈ（ｈ＝１，２，…，ｋ）に入力して、学習させ、ｋ個の社会学に関連する学習値Ｌ^１ _１１，Ｌ^１ _１２，…，Ｌ^１ _１ｋを得る。

同様な方法で、株予測に関連する経済学情報Ｆ^２に属する要素をｆ^２ _ｎ（ｎ＝１，２，…，ｙ）とし、各ｘ個のデータ毎を無教師学習Ｍ^２ _１ｈ（ｈ＝１，２，…，ｋ）に入力して、学習させ、ｋ個の経済学に関連する学習値Ｌ^２ _１１，Ｌ^２ _１２，…，Ｌ^２ _１ｋを得る。
また、予測に関連する歴史学情報Ｆ^ｗに属する要素をｆ^ｗ _ｎ（ｎ＝１，２，…，ｙ）とし、各ｘ個のデータ毎を無教師学習Ｍ^ｗ _１ｈ（ｈ＝１，２，…，ｋ）に入力して、学習させると、ｋ個の歴史学に関連する学習値Ｌ^ｗ _１１，Ｌ^ｗ _１２，…，Ｌ^ｗ _１ｋを得る。
上記のようにｗ×ｈ個の無教師機械学習ＭＬ^ｚ _１ｈ（ｈ＝１，２，…，ｋ，ｚ＝１，２，…，ｗ）により、学習を行うと、ｗ×ｈ個の学習値Ｌ^ｚ _１ｈ（ｈ＝１，２，…，ｋ，ｚ＝１，２，…，ｗ）が得られる、これらのデータをそれぞれ入力層のＰ^ｚ（ｚ＝１，２，…，ｗ）の各々のノードＮ^ｚ _１ｈ（ｈ＝１，２，…，ｋ，ｚ＝１，２，…，ｗ）に送る。

入力層のＰ^ｚ（ｚ＝１，２，…，ｗ）の各々のノードＮ^ｚ _１ｈ（ｈ＝１，２，…，ｋ，ｚ＝１，２，…，ｗ）に入力された学習データＬ^１ _１ｈ，Ｌ^２ _１ｈ，…，Ｌ^ｗ _１ｈ（ｈ＝１，２，…，ｋ）に対し、さらに、無教師機械学習ＭＬ_２１，ＭＬ_２２，…，ＭＬ_２ｋを用いて、学習すると、ｋ個の学習値Ｌ_２１，Ｌ_２２，…，Ｌ_２ｋ及びｋ個の脳神経のトリガーのしきい値Ｔ_２１，Ｔ_２２，…，Ｔ_２ｋが得られる、各学習値を、該当された株予測の関連情報により生成された予測値とする、最終意思決定するため、予測値と脳神経のトリガーのしきい値を、隠れ層、即ち神経層の各ノードを通じて出力層、即ち脳皮層に送る、出力層、即ち脳皮層では、すべての関連情報の予測値Ｌ_２１，Ｌ_２２，…，Ｌ_２ｋによって、予測範囲を計算する、そして、この予測範囲で自己テストを行う。

自己テストする方法は、出力層、即ち脳皮層は、自己テスト値ＴＶ_ｉ（ｉ＝１，２，…，ｒ）を与え、ｒは自己テストの数であり、ＴＶ_ｉは隠れ層、即ち神経層の各々のノードに送られる、隠れ層、即ち神経層の各々のノード上に｜ＴＶ_ｉ−Ｌ_２ｚ｜（ｉ＝１，２，…，ｒ，Ｚ＝１，２，…，ｗ、）を算出すると、上記と同じ、隠れ層、即ち神経層の興奮の度合いに基づいて、出力層、即ち脳皮層は最大興奮自己テスト値を見つける、この自己テスト値を最終的な予測値として出力する。

予測が失敗した場合に、出力層、即ち脳皮層は実際の株データを使用して、ファジィパラメータによって設定されたさまざまなファクタを評価することができ。ファジィパラメータを自動的または手動で調整して、予測エフェクトの最高精度を実現でき。

纏めて言うと、人工知能超深層学習の株予測の方法は、その特徴が予測に関連するすべての情報、または数学的予測モデルの計算結果を、無教教師機械学習の処理による、その結果を超深度学習の入力層の各ノードに送る、さらに、入力層の各ノード情報から、無教教師機械学習によって予測値と脳神経のトリガーのしきい値が算出され、出力層、即ち脳皮層に送る、出力層、即ち脳皮層は予測値に応じて予測範囲を生成し、自己テスト値を選ぶ、また、隠れ層、即ち神経層の各ノードに送る、隠れ層、即ち神経層の興奮の度合いに基づいて、出力層、即ち脳皮層は最大興奮自己テスト値を見つける、この自己テスト値を最終的な予測値として出力する。

上述により提出された人工知能超深層学習モデルは産業ロボットにとって高い精度の視覚認識、音声認識を応用することができる、特に本発明提出した無教師機械学習モデルは分散機械学習システムを構築する可能になったため、産業工作機械、自動車運転、などシステムの各々部分に対して、それぞれ複数な無教師機械学習を混在しても可能であるので、従来の深層学習と比べる飛躍的に進化することができる。

人工知能超深層学習モデルの構成図 実際の人工知能超深層学習モデルの概略図 音声認識向けの超深層学習のモデルの構成図 音声認識向けの超深層学習のモデル構造の概略図 確率尺度に基づいた自己組織の処理流れ図 超深層学習を導入した株予測プラットフォームの概略図

Claims (8)

1. 人工知能超深層学習モデルの構築方法であって、
   複数の入力情報を、第１の無教師機械学習により学習してから、各々最大確率の特徴値として、入力層の各ノードに入力すること；
   入力層の各ノードに対応した複数回で入力し学習された最大確率の特徴値を、第２の無教師機械学習により学習してから、それぞれの最大確率の特徴値、最大確率尺度、最大ファジィ事象確率測度を含めて少なくとも一つの学習値を得てから、トリガーされた神経信号として、隠れ層の各ノードに出力する；
   出力層、即ち脳皮層は、前記すべての隠れ層、即ち神経層の出力最大確率尺度により、興奮レベルを決める確率尺度に基づいた自己組織アルゴリズムを備えることを特徴とする人工知能超深層学習モデルの構築方法。
2. 前記、無教師機械学習とは、確率尺度、若しくはファジィ事象確率測度に基づいて、繰返して処理することにより、新しい確率尺度、或はファジィ事象確率測度、或は最大確率の特徴値を得る確率尺度に基づいた自己組織アルゴリズムを特徴とする請求項１に記載の人工知能超深層学習モデルの構築方法。
3. 前記、確率尺度とは、確率分布に属するデータにおいて必ず１つの尺度を備える、この尺度は、与えたデータの中で最大確率分布を計ることができる値を特徴とする請求項１に記載の人工知能超深層学習モデルの構築方法。
4. 前記、ファジィ事象確率測度とは、確率情報と、曖昧な情報に属するデータにおいて必ず１つの尺度を備える、この尺度は、与えたデータの中で最大ファジィ事象確率測度を計ることができる値を特徴とする請求項１に記載の人工知能超深層学習モデルの構築方法。
5. 確率尺度、或はファジィ事象確率測度を、超深層学習モデルにおいて、脳の神経トリガーのしきい値とすることを特徴とする請求項１に記載の人工知能超深層学習モデルの構築方法。
6. 人工知能超深層学習モデルの装置であって、
   複数の入力情報を、第１の無教師機械学習により学習してから、各々最大確率の特徴値をとして、入力層の各ノードに入力するモジュール；
   さらに、入力層の各ノードに対応した複数回で入力し学習された最大確率特徴値を、第２の無教師機械学習により学習してから、それぞれの最大確率特徴値、最大確率尺度、最大ファジィ事象確率測度を含めて少なくとも一つの学習値を得てから、トリガーされた神経信号として、隠れ層の各ノードに出力するモジュール；
   出力層、即ち脳皮層は、隠れ層、即ち神経層からトリガーされた神経信号の数によって、脳の興奮の程度を決定し、最終の結果を決める確率尺度に基づいた自己組織アルゴリズムを搭載したモジュールを備えることを特徴とする人工知能超深層学習装置。
7. 入力情報と入力層の各ノードとの間、入力層と隠れ層、即ち神経層との各ノードとの間で、それぞれ無教師機械学習モデルに搭載されたモジュールと相互に接続すること；
   入力情報から無教師機械学習により最大確率の特徴情報を抽出し、入力層に入力する
   前記の無教師機械学習により学習してから、それぞれ最大確率特徴値、確率尺度、或はファジィ事象確率測度を含む、少なくとも一つの解を求める確率尺度に基づいた自己組織アルゴリズムとすること；
   前記のアルゴリズムが搭載された汎用モバイル端末を備えることを特徴とする人工知能超深層学習モデルが搭載された汎用モバイル端末装置。
8. 入力情報と入力層の各ノードとの間、入力層と隠れ層、即ち神経層との各ノードとの間で、それぞれ無教師機械学習モデルに搭載されたモジュールと相互に接続すること；
   前記の無教師機械学習により、最大確率特徴値、確率尺度、或はファジィ事象確率測度を含む、少なくとも一つの解を求める確率尺度に基づいた自己組織アルゴリズムとすること；
   前記のアルゴリズムが作成されるプログラムを備えることを特徴とする人工知能超深層学習モデルのプログラム。

Images