JP7057580B2 - 新しい機械学習のモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム - Google Patents
新しい機械学習のモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム Download PDFInfo
- Publication number
- JP7057580B2 JP7057580B2 JP2018047265A JP2018047265A JP7057580B2 JP 7057580 B2 JP7057580 B2 JP 7057580B2 JP 2018047265 A JP2018047265 A JP 2018047265A JP 2018047265 A JP2018047265 A JP 2018047265A JP 7057580 B2 JP7057580 B2 JP 7057580B2
- Authority
- JP
- Japan
- Prior art keywords
- probability
- scale
- machine learning
- space
- new machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 98
- 238000009826 distribution Methods 0.000 claims description 181
- 238000000034 method Methods 0.000 claims description 66
- 238000012545 processing Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 36
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000001537 neural effect Effects 0.000 claims description 19
- 230000002860 competitive effect Effects 0.000 claims description 6
- 230000002500 effect on skin Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000012417 linear regression Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 210000005036 nerve Anatomy 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000002490 cerebral effect Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008520 organization Effects 0.000 description 5
- 241000196324 Embryophyta Species 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000000611 regression analysis Methods 0.000 description 3
- 238000009412 basement excavation Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000011423 initialization method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Computational Mathematics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
従来のニューラルネットワークモデルの重み値W、及びしき値Tの定義方法は従来の数学しか使っていないため、結果的に脳のトリガー信号の原理とまったく異なっている。人間の脳の神経は従来のニューラルネットワークモデルとまったく別のメカニズムを判明した。
このような方法を用いて、本当に処理の能力が深くなることができるか、疑問がある。隠れ層の数と処理の能力との間の関係があることを理論的に証明できない。
以上の原因により、その結果は計算の複雑度がもっと高くなるしか見えない。
以上述べたように、深層学習モデルとしては、工業的に広く応用することは期待できない。
また、この手法は、データマークの位置、或は方向を表すためのアンカマークは情報記述ができるデータマークより大きい、または異なる形を用いているが、情報を埋込む結果は、秘匿な形になることが困難である。
以下、本出願で、関連専門用語を定義する、以下のような定義の内容が発明の範囲に属する。
ソ連の数学者Andrey Kolmogorovの「確率理論は測度理論を基礎とすることである」理論に基づいて、いわゆる確率空間とは、可測空間(S,M)に確率測度μ(S)=1を入れた測度空間(S,M,μ)と言う。
確率変数の各々の値に対して、その起こりやすさを記述するものである。
確率空間における任意の確率分布において、1つの確率尺度が存在しなければならず、確率分布の程度を計れる尺度である。
確率密度(Probability Density):
与えられた領域における確率分布関数の積分値
確率空間を含むユークリッド空間Sにおいて、μA(x)をメンバーシップ関数とし、P(x)が可加法性のような確率測度の性質を満たす場合、また、μA(x)も可加法性のようなファジー測度を満たす場合、ファジィ事象確率測度の集合Aの測度P(A)は、
確定的なアルゴリズムに基づいて、システムを構築することである。また、1つのアルゴリズムに基づいて、ある目的関数を達成することであり、その処理の結果は確定的なシステムである。
人工知能とは単にコンピュータを使用することにより、人間の脳の機能を達成することである。つまり、コンピュータを介し、人間の頭脳処理の効果を達成しようことである。即ち不確実な問題を解決すること、或は事前に予測不可能な問題を解決する複雑系の問題とする。
事前に与えた範囲内に対し、ユークリッドの空間尺度に基づいて、データ集合を非自律的に求めること。
確率空間の尺度に基づいて、データを自律に高確率の方向に転移することができ、または公式化のモデルに基づいて、繰り返し処理を行うことにより、公式化のモデルより超えた結果を得られるアルゴリズムである。
コンピュータが事前のデータから、自律的に規則を獲得できるモデル。
Gを確率空間内の確率分布の集合とし、gfを集合に属するデータとすると:
従来の統計的予測の結果を超えること、母体に最も近づいた予測の確率値である。
ユークリッド空間に含まれた確率空間で、vj∈V(j=1,2,…,n)を確率分布の要素とし、確率分布の最大確率尺度をMjとし、rj∈Rをユークリッド空間にある集合Rの要素とすると、ユークリッド空間の集合Rから確率空間の集合Vまでの距離G(R,V)は、以下のように定義することができる。
感知層と、神経層と、及び脳皮層からなる新しいニューラルネットワークモデルが構成されたことである。入力情報と感知層、感知層と神経層、および神経層の脳皮層の間での接点が、確率尺度に基づいた自己組織という教師なし機械学習によって接続されている、確率情報が伝達されることである。また、脳の機能を模擬することが可能である。
前記課題を解決するために、請求1に係れる発明は、新しい機械学習のモデルの構築方法であって、
(1)プロセッサ、メモリを含むハードウェアに、ユークリッド空間と確率空間が統一された距離、ユークリッド空間と確率空間が統一されたファジィ事象確率測度、確率尺度に基づいた自己組織を含む少なくとも一つのソフトウェアが搭載されている新しい機械学習システム;
(2)上述の新しい機械学習システムは、入力層と出力層の間で、少なくとも一つの神経層を持っている;又、入力層と神経層の間、或いは神経層と脳皮層の間で確率尺度に基づいた自己組織の機械学習を稼動することが可能である;
(3)上述の新しい機械学習システムはハードウェアとソフトウェアを協働することにより、ランダム性に関する情報、或は曖昧性に関する情報を持っているデータの確率空間距離においての最適な分類、或いは識別対象になる特徴ベクトルは、どの確率空間における特徴ベクトルデータに属するかを判断する機能を備えることを特徴とする新しい機械学習のモデルの構築方法。
1)プロセッサ、メモリを含むハードウェアに、ユークリッド空間と確率空間が統一された距離、ユークリッド空間と確率空間が統一されたファジィ事象確率測度、確率尺度に基づいた自己組織を含む少なくとも一つのソフトウェアが搭載されている新しい機械学習システム;
(2)上述の新しい機械学習システムは、入力層と出力層の間で、少なくとも一つの神経層を持っている;又、入力層と神経層の間、或いは神経層と脳皮層の間で確率尺度に基づいた自己組織の機械学習を稼動することが可能である;
(3)上述の新しい機械学習システムはハードウェアとソフトウェアを協働することにより、ランダム性に関する情報、或は曖昧性に関する情報を持っているデータの確率空間距離においての最適な分類、或いは識別対象になる特徴ベクトルは、どの確率空間における特徴ベクトルデータに属するかを判断する機能を備えることを特徴とする新しい機械学習のモデルの構築装置。
図1では、複数の確率空間を含むユークリッド空間に対し、各々確率空間において確率分布の値により、確率分布の目盛り値を求めることができる。ここで、確率分布の中心値を(102)とし、一番目の目盛り値を(103)とし、この間の領域を(106)とする。次は二番目の目盛り値を(104)とし、この間の領域を(107)とする。さらに三番目の目盛り値を(105)とし、この間の領域を(108)とすると、複数の領域における確率分布の目盛り値を多確率尺度と呼ばれる。
また、非確率空間として、多確率尺度を、ユークリッド空間の距離(Euclidean Distance)の尺度、マンハッタン距離(Manhattan Distance)の尺度、パフヌティ-チェビシェフ距離(Chebyshev Distance)の尺度、ミンコフスキー距離(Minkowski Distance)の尺度、マルピーギ距離(Mahalanobis Distance)の尺度、コサイン(Cosine)の尺度、W距離(Wasserstein Distance)の尺度、KL距離(Kullback-Leibler Distance)の尺度、PEの距離(Pearson Distance)尺度を含む、少なくとも一種類の尺度からなることとしてもいい。
ここで、図2に示すように、自己組織の機械学習処理の流れは次のようになる、ここで、目的関数に対して確率分布の目盛りの位置、該当領域の最大確率分布値を求めることである。
ここで、初期の確率尺度をM(0)、及び初期中心値を(x0,y0)(0)とする、ここで、初期中心値を初期特徴値と称する。
多確率尺度に基づいた自己組織は、2つの処理方法がある。第1の方法は、確率分布の外から真ん中へ、多確率尺度に基づいた自己組織を行う、第2の方法は、逆に確率分布の真ん中から外へ、多確率尺度に基づいた自己組織を行う。
この場合に初期化の多確率尺度M(0)’を該当確率分布に対し一番大きい目盛りとする、そのために、確率尺度をM(0)’>M(0)とする、一般的に3倍くらいになる。
ここで、M(0)’=M(0)とし、また、M(0)値に対して、厳密な設定を行う必要がない、人工的に予測してもよい。また、最大確率尺度M(0)を半径値として、初期確率尺度M(0)と中心値(x0,y0)(0)により円形領域、或は矩形領域を自己組織の領域とする。最大確率尺度M(0)ができればすくなくとも、学習した最終結果M(n)の一部分を含んだ方がいい、初期化確率尺度のM(0)’は大きすぎなると、計算の時間が長くなるが、逆に小さすぎになると、正確な結果が得られない可能性がある。
ここで、dm (n)(xi,yj)∈D(x,y),n=n+1,MN=MN-1。すなわちこのステップで、目的関数データdm (n)(xi,yj)に対し、それぞれ、1つずつの新しい目的関数を生成したことにより、少しずつ、最大確率方向へ近付けることが可能である。
の条件を満たすとすれば、多確率尺度のm番目の確率尺度に基づいた自己組織が終了する、この場合にS4ステップへ、もしそうではなければ、S2ステップへ移行する。続けて多確率尺度に基づいた自己組織の処理を行う。
次に、第2の確率尺度に基づいた自己組織方法に対し、多確率尺度は最小目盛から始める場合に、多確率尺度を正規分布からなることとし、以降の確率尺度の目盛りは一番目の最大確率尺度目盛値を同じとすると、多確率尺度に基づいた自己組織の処理の必要はない。一番目の最大確率尺度の間隔を他の目盛りの間隔と同様とする。また、確率分布表から推算することも可能である。この場合に、確率尺度に基づいた自己組織の処理方法とする、m=0、また次の多確率尺度に基づいた自己組織が終了判断ステップS5へ続ける。
戻すステップS6:最終的に終了し、メインプログラムへ戻す。
図3ユークリッド空間と確率空間が統一された距離の定義を示す図である。
図3に示すように(301)を確率空間に含むユークリッド空間とし、(302)を確率空間での確率分布の中心点wj∈Wとし、(303)を確率空間での確率分布の多確率尺度の一番目の目盛M1とし、(304)を確率空間での確率分布の多確率尺度の二番目の目盛M2とし、(305)を確率空間での確率分布の多確率尺度の三番目の目盛M3とし、(309)をユークリッド空間での点vj∈Vとする。集合Vから確率空間に属する集合Wまでの距離を求める。
そこで、確率空間に属する集合Wにおける一点(302)をwj∈Wとし、集合Vにおける一点(309)をvj∈Vとする。また、(j=1,2,…,n)を特徴値のカウンター値とする場合に、特徴値のカウンター値jに対し、(302)と(303)の間隔をD1j (wj)=M2j-M1jとし、この領域にある確率分布値をp1j (wj)とする。(303)と(304)の間隔をD2j (wj)=M3j-M2jとし、この領域にある確率分布値をp2j (wj)とする。(304)と(305)の間隔をD3j (wj)=M4j-M3jとし、この領域にある確率分布値をp3j (wj)とする。図3に示すように、VからWまでwjに属する確率分布の三つの目盛の領域に対し、目盛りの数がmj (wj)=3となる。(309)から(302)までの間でユークリッド空間と確率空間が統一された距離G(V,W)は次のように定義することが可能である。
新しい機械学習において、図4に示すように:(4100)と(4200)を確率尺度に基づいた自己組織の処理により最大確率になった2つの特徴ベクトルデータfv1j∈FV1とfv2j∈FV2とし、(4000)を認識対象の特徴ベクトルSVに属する特徴要素svj∈SV(i=1、2、…e)とする。また、(4001)をsv1とし、(4002)をsv2とし、(4003)をsv3とし、…、(400e)をsveする。
ここで、F>1になると、識別対象になる特徴ベクトルSVは特徴ベクトルデータFV2に属する、逆にF<1になると、識別対象になる特徴ベクトルSVは特徴ベクトルデータFV1に属する。
図5に示したように:(501)を、確率空間が含まれたユークリッド空間とする。また、ユークリッド空間(501)の中には、2つの確率空間の確率分布(520)と(530)がある。さらに、(502)を確率分布(520)の中心値とする。(503)を確率分布(520)の一番目の目盛とし、(504)を確率分布(520)の二番目の目盛とし、(505)を確率分布(520)の三番目の目盛とする。次に、(506)を確率分布(520)の一番目の目盛領域とし、この領域の確率分布値をp1j (520)とする。また、(507)を確率分布(520)の二番目の目盛領域とし、この領域の確率分布値をp2j (520)とする。さらに、(508)を確率分布(520)の三番目の目盛領域とし、この領域の確率分布値をp3j (520)とする。
数6により、確率空間(530)に属する集合Vと確率空間(520)に属する集合Wとの間で、ユークリッド空間と確率空間が統一された厳密な距離の表現公式は次のようになる。
また、
ここで、rjから確率分布の中心wjまでの距離の定式と、rjから確率分布の中心vjまでの距離の定式を加えて、確率分布(530)の中心vjから確率分布(520)の中心wjまでの距離の定式になることを考えていると、二つの確率分布の値に関係するべきである。そのため、(Δj (vj)+Δj (wj))を、確率空間の中で、ユークリッド距離と、確率空間の距離と間での誤差とする。さらに、(Δj (vj)+Δj (wj))を、修正値として修正すれば、ユークリッド空間距離と確率空間が統一された厳密な距離を正確的に得ることが可能になる。上記の数5-8の距離の定義は従来の距離尺度条件の対称性と三角不等式を満たさない。これに比べると、数12は距離の対称性と三角不等式を含め、すべての距離の尺度条件が満たされた、ユークリッド空間と確率空間が統一された距離に対して最も大きな問題を解決した。
上述数8と同様に、rj∈Rと確率分布(530)中心値vj∈Vとの間のファジィ事象確率測度を考える時に、もしrj∈Rが(530)の確率分布の領域にある場合に、その領域の確率分布値をpfj (vj)とする。また、wj∈Wが偶然に(530)確率分布の領域にある場合に、その領域の確率分布値をphj (vj)とする。上記の確率空間の距離の対称性により、もしvj∈Vも偶然に(520)確率分布の領域にある場合に、その領域の確率分布値をphj (wj)とする。(二つの確率分布がほぼ重なった特殊場合とする)。
また、
ここで、数12により、数13と数14に対し、対称性及び三角不等式を含むすべての距離の尺度条件が満すことにより、この距離に基づいたファジィ事象確率測度も対称性及び三角不等式などすべての尺度条件を満たすことが可能になった。
S1の初期化ステップでは、確率尺度に基づいた自己組織の初期化の内容は図2のS1の初期化ステップと同様である。まず、確率尺度の目盛りの数をmj (wj)及びmj (vj)とする。例えばmj (wj)=mj (vj)=3、また、データの登録空間を設定し、その他必要な初期化処理内容を設定する。
また、
に属する、逆の場合に別の確率分布(530)に属する。
新しい機械学習の効果は、ユークリッド空間と確率空間が統一された厳密な距離に基づいてファジィ事象確率測度を導入し、wj∈W、vj∈V及びrj∈Rのデータ間で、ミクロレベルでの曖昧性に関する情報とミクロレベルでの不確実なランダム性に関する情報を利用して、マイクロレベルで、互いに競合させる、積分計算により、マクロレベル上で最適化されたデータ間での類似関係情報を得ることが可能になった。
S8戻るステップでは、メインプログラムに戻るステップに移行する。
画像認識を例として新しい機械学習のニューラルネットワークの構成について述べる。図7に示しているように、(801)が感知の対象画像の空間写像を示している。新しい機械学習のニューラルネットワークは画像の情報の抽出を重視している。画像認識の精度を極力に高めるため、認識を対象とする元画像に対して、様々な画像の空間写像を行う。例えば画像の週波数空間写像、画像の色空間写像、画像のパワー空間写像、画像のエッジの空間写像などがある。(802)と(803)はそれぞれ2種類の画像の空間写像を例として示されている。
(804)を画像(801)の局所領域とする、ここで、携帯電話向け画像識別の場合に、360度の任意の角度で、正確に識別ができるために、リンク状画像の分割の方法を導入している。このリンク状の領域のサイズを決定する方法について、大きければ大きいほど、計算速度が速くなる、しかし、認識精度に影響がある、逆に、領域が小さければ小さいほど、認識精度が高くなるが、計算速度は比較的に遅い。各領域の画素数や面積が実際のアプリケーションに応じてうまくバランスを取るべきである。
(806)を、新しいニューラルネットワークの感知層とする。
し、深層発掘機能を持つ。さらに、目的関数の確率分布の情報も得ることが可能である。すべての学習したデータが(809)データベースとして登録される。
皮層により最終的な認識結果を得ることができる、これは脳機能を模倣する処理方法である。
図8に示すように、印刷画像色をCMYKによる構成された色空間とし、電子画像色を、RGBによる構成された色空間とする、電子画像と印刷画像との二つの色空間はほとんど重なっているが、相互に重なっていない部分もある、このような特性を利用して、携帯電話で贋商品を認識する仕組みを作ることが可能である。
ただし、いくつかの修正方法により、スキャンで複写した印刷画像は、元の印刷画像に近いようにすることができる。特に肉眼、および従来の光学識別器などにより、原始画像をはっきり区別するのは困難である。どれが複写した画像なのかを判断しにくい、これは現在の全社会で解決できない難しい商品の偽造防止問題である。
取った印刷画像に対し、偽造品かどうかを決める。
図9に示すように、超深層線形回帰分析学習の処理流れは、次のような6ステップになる:
初期化ステップS1:まず、超深層線形回帰分析学習の対象データを、i番目の処理領域a(i)にあるデータ集合RD(i)に属する各々データ(xj (i),yj (i))∈RD(i)(j=1,2,…,q;i=1,2,…,Nmax-1)とし、i番目の処理領域a(i)におけるデータ密度をDns (i)とする。ここで、iを超深層線形回帰分析学習の回数のカウンター値とし、Nmaxを超深層線形回帰分析学習最大の回数とする。初期値は(xj (0),yj (0))∈RD(0)、Dns (0)、及び処理効果判断値Veff、初期処理領域a(0)である。
新しい領域の生成ステップS4、上記ステップにより、確率尺度に基づいた自己組織の処理を行った最大確率値M(i)に基づいて、i回の線形回帰分析を行った回帰斜線を中心線として、両側に最大確率値以内のデータを保留し、最大確率値以外のデータを除去すると、新しい領域a(i+1)にある新しい超深層線形回帰分析学習の対象データ集合RD(i+1)が生成される。
ここで、i番目の処理領域a(i)におけるデータ密度をDns (i)とは、該当処理領域にあるデータの密度であり、例は、20*30画素の領域における300個画素の画像がある、データ
θ=M(i+1)-M(i)とすると,処理領域の増加する量、或は減少する量θの値は、黄金分割探索方法により決定すれば、最小繰り返し回数として超深層線形回帰分析学習の処理を行うことが可能である。
また、
102 確率分布の中心値
103 一番目の目盛り値
104 二番目の目盛り値
105 三番目の目盛り値
106 一番目の目盛り値103の領域
107 二番目の目盛り値103と104の間の領域
108 三番目の目盛り値104と105の間の領域
302 確率空間における確率分布の中心点wj
303 確率空間における確率分布の多確率尺度の一番目の目盛M1
304 確率空間における確率分布の多確率尺度の二番目の目盛M2
305 確率空間における確率分布の多確率尺度の三番目の目盛M3
309 ユークリッド空間にある要素vj
310 ユークリッド空間にある要素vj∈Vから確率分布の中心値wj∈Wまでの間で任意の
要素rj∈R(j=1,2,…,n)
4000 識別対象ベクトル
4001 識別画像の特徴sv1要素
4002 識別画像の特徴sv2要素
4003 識別画像の特徴sv3要素
400e 識別画像の特徴sve要素
4100 多確率尺度に基づいた自己組織化した特徴ベクトルデータFV1
4200 多確率尺度に基づいた自己組織化した特徴ベクトルデータFV2
4110 fv11の中心値
4111 特徴ベクトル集合FV1に属する要素fv11の一番目の目盛
4112 fv11の二番目の目盛
4113 fv11の三番目の目盛
4120 fv12の中心値
4121 fv12の一番目の目盛
4122 fv12の二番目の目盛
4123 fv12の三番目の目盛
4130 fv13の中心値
4231 fv13の一番目の目盛
4232 fv13の二番目の目盛
4233 fv13の三番目の目盛
41e0 fv1eの中心値
41e1 fv1eの一番目の目盛
41e2 fv1eの二番目の目盛
41e3 fv1eの三番目の目盛
4210 fv21の中心値
4211 特徴ベクトル集合FV2に属するfv21の一番目の目盛
4212 fv21の二番目の目盛
4213 fvの三番目の目盛
4220 fv22の中心値
4221 fv22の一番目の目盛
4222 fv22の二番目の目盛
4223 fv22の三番目の目盛
4230 fv23の中心値
4231 fv23の一番目の目盛
4232 fv23の二番目の目盛
4233 fv23の三番目の目盛
42e0 fv2eの中心値
42e1 fv2eの一番目の目盛
42e2 fv2eの二番目の目盛
42e3 fv2eの三番目の目盛
500 502と510の2つの確率分布の中心が接続された直線上にある要素rj∈R(j=1,2,…,n)
501 確率空間を含むユークリッド空間
502 確率分布520の中心値
503 確率分布520の一番目の目盛
504 確率分布520の二番目の目盛
505 確率分布520の三番目の目盛
506 確率分布520の一番目の目盛領域にある確率分布値をp1j
507 確率分布520の一番目の目盛領域にある確率分布値をp2j
508 確率分布520の一番目の目盛領域にある確率分布値をp3j
510 確率分布530の中心値
511 確率分布530の一番目の目盛
512 確率分布530の二番目の目盛り
513 確率分布530の三番目の目盛
514 確率分布530の一番目の目盛領域にある確率分布値p1j
515 確率分布530の二番目の目盛領域にある確率分布値をp2j
516 確率分布530の三番目の目盛領域にある確率分布値をp3j
501 520と530確率空間を含むユークリッド空間
500 502と510との2つの確率分布の中心が接続された直線上にある要素
rj∈R(j=1,2,…,n)
801 感知対象になった画像の空間写像
802と803 それぞれ2種類の画像の空間写像
804 画像801の局所領域
805 感知対象と感知層との間に接続された多確率尺度に基づいた自己組織という
機械学習ユニット
806 新しいニューラルネットワークの感知層
807 新しいニューラルの感知層の接点
808 感知層と神経層の間で接続された機械学習能力を持つ確率尺度に
基づいた自己組織の機械学習ユニット
809 データベース
810 新しいニューラルの神経層
811 感知層の各々接点に対応した新しいニューラルネットワークの神経層の接点
812 脳皮層と神経層との間では接続された確率尺度に基づいた自己組織という
機械学習ユニット
813 脳皮層神経層との間のデータベース
814 新しいニューラルの脳皮層
815 脳皮層接点
1101 元画像の色
1102 スキャンした後の画像の色
Claims (9)
- 新しい機械学習のモデルの構築方法であって、
(1)プロセッサ、メモリを含むハードウェアに、ユークリッド空間と確率空間が統一された距離、ユークリッド空間と確率空間が統一されたファジィ事象確率測度、確率尺度に基づいた自己組織を含む少なくとも一つのソフトウェアが搭載されている新しい機械学習システム;
(2)上述の新しい機械学習システムは、入力層と出力層の間で、少なくとも一つの神経層を持っている;又、入力層と神経層の間、或いは神経層と脳皮層の間で確率尺度に基づいた自己組織の機械学習を稼動することが可能である;
(3)上述の新しい機械学習システムはハードウェアとソフトウェアを協働することにより、ランダム性に関する情報、或は曖昧性に関する情報を持っているデータの確率空間距離においての最適な分類、或いは識別対象になる特徴ベクトルは、どの確率空間における特徴ベクトルデータに属するかを判断する機能を備えることを特徴とする新しい機械学習のモデルの構築方法。 - 前記のユークリッド空間と確率空間が統一された距離は、ユークリッド空間の距離式によって得られた距離値と、確率空間の実際の距離値との間の誤差値を補正された距離からなることを特徴とする請求項1に記載の新しい機械学習のモデルの構築方法。
- 前記のユークリッド空間と確率空間が統一されたファジィ事象確率測度は、データ集合に属された各々個別のデータにより持つミクロレベルでの曖昧性に関する情報、或いはミクロレベルでのランダム性に関する情報を含む不確実な情報から、数列の和の解により、データ集合の全体のデータを含むマクロレベルで確実な情報を得ることを特徴とする請求項1に記載の新しい機械学習のモデルの構築方法。
- 前記ユークリッド空間と確率空間が統一されたファジィ事象確率測度に基づいて、ランダム性に関する情報、或は曖昧性に関する情報を持っているデータは確率分布情報を持つ複数のベクトルデータ間で、競合学習を行うことにより、曖昧性に関する情報と、ランダム性に関する情報とを利用することを特徴とする請求項1に記載の新しい機械学習のモデルの構築方法。
- 前記の確率尺度に基づいた自己組織の処理は、確率尺度に基づいた自己組織の機械学習モジュールにより処理することを特徴とする請求項1に記載の新しい機械学習のモデルの構築方法。
- 前記の機械学習システムは、新しい機械学習のニューラルネットワークを含んでいることを特徴とする請求項1に記載の新しい機械学習のモデルの構築方法。
- 新しい機械学習のモデルの構築装置であって、
1)プロセッサ、メモリを含むハードウェアに、ユークリッド空間と確率空間が統一された距離、ユークリッド空間と確率空間が統一されたファジィ事象確率測度、確率尺度に基づいた自己組織を含む少なくとも一つのソフトウェアが搭載されている新しい機械学習システム;
(2)上述の新しい機械学習システムは、入力層と出力層の間で、少なくとも一つの神経層を持っている;又、入力層と神経層の間、或いは神経層と脳皮層の間で確率尺度に基づいた自己組織の機械学習を稼動することが可能である;
(3)上述の新しい機械学習システムはハードウェアとソフトウェアを協働することにより、ランダム性に関する情報、或は曖昧性に関する情報を持っているデータの確率空間距離においての最適な分類、或いは識別対象になる特徴ベクトルは、どの確率空間における特徴ベクトルデータに属するかを判断する機能を備えることを特徴とする新しい機械学習のモデルの構築装置。 - 請求項1~6のいずれ1項に記載された方法をプロセッサに実行させるためのプログラム。
- 請求項8に記載されたプログラムが搭載された汎用モバイル端末装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710123105.X | 2017-02-27 | ||
CN201710123105.XA CN108510057A (zh) | 2017-02-27 | 2017-02-27 | 一种超深度对抗学习的神经网络模型的构成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018142323A JP2018142323A (ja) | 2018-09-13 |
JP7057580B2 true JP7057580B2 (ja) | 2022-04-20 |
Family
ID=63245768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018047265A Active JP7057580B2 (ja) | 2017-02-27 | 2018-02-27 | 新しい機械学習のモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US10789508B2 (ja) |
JP (1) | JP7057580B2 (ja) |
CN (1) | CN108510057A (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107704888B (zh) * | 2017-10-23 | 2021-04-16 | 大国创新智能科技(东莞)有限公司 | 一种基于联合聚类深度学习神经网络的数据识别方法 |
CN111045422A (zh) * | 2018-10-11 | 2020-04-21 | 顾泽苍 | 一种自动驾驶导入“机智获得”模型的控制方法 |
CN111038521A (zh) * | 2018-10-11 | 2020-04-21 | 顾泽苍 | 一种自动驾驶“意识决定”模型的构成方法 |
CN111046710A (zh) * | 2018-10-11 | 2020-04-21 | 顾泽苍 | 一种导入sdl模型的图像抽出的方法 |
CN110175998A (zh) * | 2019-05-30 | 2019-08-27 | 沈闯 | 基于多尺度深度学习的乳腺癌图像识别方法、装置及介质 |
US11417087B2 (en) | 2019-07-17 | 2022-08-16 | Harris Geospatial Solutions, Inc. | Image processing system including iteratively biased training model probability distribution function and related methods |
US11068748B2 (en) | 2019-07-17 | 2021-07-20 | Harris Geospatial Solutions, Inc. | Image processing system including training model based upon iteratively biased loss function and related methods |
US10984507B2 (en) | 2019-07-17 | 2021-04-20 | Harris Geospatial Solutions, Inc. | Image processing system including training model based upon iterative blurring of geospatial images and related methods |
US11669729B2 (en) | 2019-09-27 | 2023-06-06 | Canon Medical Systems Corporation | Model training method and apparatus |
CN110889496B (zh) * | 2019-12-11 | 2023-06-06 | 北京工业大学 | 一种基于对抗生成网络的人脑效应连接识别方法 |
CN111458471B (zh) * | 2019-12-19 | 2023-04-07 | 中国科学院合肥物质科学研究院 | 一种基于图神经网络的水域检测预警方法 |
CN111460426B (zh) * | 2020-04-02 | 2023-06-20 | 武汉大学 | 基于对抗演化框架的抗深度学习文本验证码生成系统及方法 |
CN111767907B (zh) * | 2020-09-03 | 2020-12-15 | 江苏铨铨信息科技有限公司 | 一种基于ga与vgg网络的多源数据火灾检测系统的方法 |
US20220172073A1 (en) * | 2020-11-26 | 2022-06-02 | Zecang Gu | Simulated deep learning method based on sdl model |
CN113934766B (zh) * | 2021-10-11 | 2023-04-14 | 网易有道信息技术(江苏)有限公司 | 围棋定式对弈方法、装置、电子设备及存储介质 |
CN114818839B (zh) * | 2022-07-01 | 2022-09-16 | 之江实验室 | 一种基于深度学习的光纤传感水声信号识别方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015057687A (ja) | 2013-08-12 | 2015-03-26 | 株式会社アポロジャパン | 画像情報のコード変換装置、画像情報のコード変換方法、画像コードを用いた画像関連情報提供システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5544257A (en) * | 1992-01-08 | 1996-08-06 | International Business Machines Corporation | Continuous parameter hidden Markov model approach to automatic handwriting recognition |
AU2001249805A1 (en) * | 2000-04-03 | 2001-10-15 | 3-Dimensional Pharmaceuticals, Inc. | Method, system, and computer program product for representing object relationships in a multidimensional space |
US20030065632A1 (en) * | 2001-05-30 | 2003-04-03 | Haci-Murat Hubey | Scalable, parallelizable, fuzzy logic, boolean algebra, and multiplicative neural network based classifier, datamining, association rule finder and visualization software tool |
US7853432B2 (en) * | 2007-10-02 | 2010-12-14 | The Regents Of The University Of Michigan | Method and apparatus for clustering and visualization of multicolor cytometry data |
WO2012097336A1 (en) * | 2011-01-13 | 2012-07-19 | Rutgers, The State University Of New Jersey | Enhanced multi-protocol analysis via intelligent supervised embedding (empravise) for multimodal data fusion |
US11348016B2 (en) * | 2016-09-21 | 2022-05-31 | Scianta Analytics, LLC | Cognitive modeling apparatus for assessing values qualitatively across a multiple dimension terrain |
US20180081855A1 (en) * | 2016-09-21 | 2018-03-22 | Scianta Analytics, LLC | Cognitive modeling system including repeat processing elements and on-demand elements |
-
2017
- 2017-02-27 CN CN201710123105.XA patent/CN108510057A/zh active Pending
-
2018
- 2018-02-26 US US15/904,766 patent/US10789508B2/en active Active
- 2018-02-27 JP JP2018047265A patent/JP7057580B2/ja active Active
-
2020
- 2020-09-18 US US17/025,762 patent/US20210027096A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015057687A (ja) | 2013-08-12 | 2015-03-26 | 株式会社アポロジャパン | 画像情報のコード変換装置、画像情報のコード変換方法、画像コードを用いた画像関連情報提供システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体 |
Non-Patent Citations (1)
Title |
---|
麻生英樹,多層ニューラルネットワークによる深層表現の学習,人工知能学会誌 ,日本,(一社)人工知能学会,2013年07月,第28巻 第4号,pp.649-659 |
Also Published As
Publication number | Publication date |
---|---|
JP2018142323A (ja) | 2018-09-13 |
US20180247159A1 (en) | 2018-08-30 |
US20210027096A1 (en) | 2021-01-28 |
US10789508B2 (en) | 2020-09-29 |
CN108510057A (zh) | 2018-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7057580B2 (ja) | 新しい機械学習のモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム | |
JP6998560B2 (ja) | 異なる空間における距離のモデルの構築方法、その装置、及びそのプログラム、及びそのモデルを構成したプログラムが搭載された汎用モバイル端末装置 | |
JP6998561B2 (ja) | 超深層回帰分析の機械学習モデルの構築方法、その装置、及びそのプログラム、及びそのプログラムが搭載された汎用モバイル端末装置 | |
US10451712B1 (en) | Radar data collection and labeling for machine learning | |
Kumar et al. | Performance evaluation of classifiers for the recognition of offline handwritten Gurmukhi characters and numerals: a study | |
Fukumi et al. | Rotation-invariant neural pattern recognition system estimating a rotation angle | |
Liu et al. | Computational and statistical methods for analysing big data with applications | |
CN110909618A (zh) | 一种宠物身份的识别方法及装置 | |
CN107704859A (zh) | 一种基于深度学习训练框架的文字识别方法 | |
JP6998562B2 (ja) | 異なる空間におけるファジィ事象確率測度のモデルの構築方法、その装置、及びそのプログラム、及びそのブログラムが搭載された汎用モバイル端末装置 | |
WO2020108808A1 (en) | Method and system for classification of data | |
CN116580322A (zh) | 一种地面背景下无人机红外小目标检测方法 | |
CN114973031A (zh) | 一种无人机视角下的可见光-热红外图像目标检测方法 | |
Sharifi et al. | A new deep learning approach for classification of hyperspectral images: Feature and decision level fusion of spectral and spatial features in multiscale CNN | |
CN112949500A (zh) | 一种基于空间特征编码改进的YOLOv3车道线检测方法 | |
CN109271833A (zh) | 基于栈式稀疏自编码器的目标识别方法、装置及电子设备 | |
Yogaswara et al. | Comparison of supervised learning image classification algorithms for food and non-food objects | |
CN108510079B (zh) | 一种用于机器学习的多概率尺度的构成方法 | |
Barshan et al. | Comparative analysis of different approaches to target differentiation and localization with sonar | |
US11562184B2 (en) | Image-based vehicle classification | |
Lakhili et al. | Rigid and non-rigid 3D shape classification based on 3D Hahn moments neural networks model | |
US11676391B2 (en) | Robust correlation of vehicle extents and locations when given noisy detections and limited field-of-view image frames | |
Sap et al. | Hybrid self organizing map for overlapping clusters | |
Mahenge et al. | Robust deep representation learning for road crack detection | |
Gressmann et al. | Pedestrian localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7057580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |