JP4943146B2 - 学習および表現の機能を有するニューラルネットワーク - Google Patents
学習および表現の機能を有するニューラルネットワーク Download PDFInfo
- Publication number
- JP4943146B2 JP4943146B2 JP2006516581A JP2006516581A JP4943146B2 JP 4943146 B2 JP4943146 B2 JP 4943146B2 JP 2006516581 A JP2006516581 A JP 2006516581A JP 2006516581 A JP2006516581 A JP 2006516581A JP 4943146 B2 JP4943146 B2 JP 4943146B2
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- neurons
- neural network
- association
- activation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 113
- 230000006870 function Effects 0.000 title description 15
- 210000002569 neuron Anatomy 0.000 claims description 678
- 230000004913 activation Effects 0.000 claims description 62
- 230000015654 memory Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 19
- 230000000946 synaptic effect Effects 0.000 claims description 15
- 238000010304 firing Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 8
- 241000700605 Viruses Species 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 230000027455 binding Effects 0.000 claims description 2
- 238000009739 binding Methods 0.000 claims description 2
- 238000013144 data compression Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 3
- 238000012544 monitoring process Methods 0.000 claims 2
- 238000001994 activation Methods 0.000 description 48
- 230000001537 neural effect Effects 0.000 description 41
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 25
- 210000004556 brain Anatomy 0.000 description 16
- 210000001044 sensory neuron Anatomy 0.000 description 14
- 210000002161 motor neuron Anatomy 0.000 description 13
- 210000004205 output neuron Anatomy 0.000 description 12
- 238000012549 training Methods 0.000 description 12
- 210000000225 synapse Anatomy 0.000 description 10
- 210000002364 input neuron Anatomy 0.000 description 7
- 230000001953 sensory effect Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 206010011469 Crying Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 108020003175 receptors Proteins 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 208000003098 Ganglion Cysts Diseases 0.000 description 2
- 208000005400 Synovial Cyst Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004118 muscle contraction Effects 0.000 description 2
- 230000001242 postsynaptic effect Effects 0.000 description 2
- 210000005215 presynaptic neuron Anatomy 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 150000001413 amino acids Chemical class 0.000 description 1
- 210000003926 auditory cortex Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000478 neocortex Anatomy 0.000 description 1
- 210000000929 nociceptor Anatomy 0.000 description 1
- 108091008700 nociceptors Proteins 0.000 description 1
- 210000000608 photoreceptor cell Anatomy 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000008786 sensory perception of smell Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Description
1.所定のまたは所望の出力目標に基づく事前トレーニングが必要である、すなわち、学習しない。
2.トレーニングで用いられた入力状態とよく似た入力状態(オブジェクト)しか認識できない。
3.計算が高度であるため、低速である。
4.計算上の制約から、比較的少数のニューロンしか表すことができない。
6.別のオブジェクトを認識するためには再トレーニングが必要である。
7.出力ニューロンに刺激を与えて入力オブジェクトを表現または再現することができない。
8.すべての入力ニューロンが同時に刺激されることが前提である。
9.創造的でなく、イベントを表現または再現することができない。トレーニングで用いられたイベントしか識別/認識できない。
10.同時に発火するか、短い間隔で連続して発火するニューロンがシナプスでリンクされることを前提としているが、個々のニューロン、またはニューロンの発火順序を識別しない。
11.隠れ層の各ニューロンが複数の入力ニューロンからの入力を同時に受信する可能性がある。
1.要素ニューロン。これは、要素刺激、感覚ニューロンまたは運動ニューロン、または必要に応じてそのような要素データを表すことが可能である。これらは、ニューラルネットワークを構築する基になる要素ニューロンまたはルートニューロンである。表される経験、イベントまたは情報のタイプに応じて、様々なタイプの要素ニューロンを定義することが可能である。たとえば、聴覚皮質を表す場合、要素ニューロンは、個々の異なる音を表すことになりうる。要素ニューロンは、いくつかの異なるタイプの要素ニューロンを組み込むことが可能である。そのようなものとしては、たとえば、音のエネルギーまたは音の強度(ボリューム)を表すセットや、音の周波数を表す別のセットなどがある。
(a)16ビットのポインタアドレスアーキテクチャは、216個のニューロンまで可能である。これは、6.4×103個のニューロンである。
(b)32ビットのポインタアドレスアーキテクチャは、232個のニューロンまで可能である。これは、4.1×109個のニューロンである。
(c)48ビットのポインタアドレスアーキテクチャは、248個のニューロンまで可能である。これは、2.7×1014個のニューロンである。
(d)64ビットのポインタアドレスアーキテクチャは、264個のニューロンまで可能である。これは、1.8×1019個のニューロンである。
P1−起動ニューロン(すなわち、ニューロンA)へのポインタ
P2−関連付けの形成に参加する他方のニューロン(すなわち、ニューロンB)へのポインタ
P3−ニューロンCを起動ニューロンとする、より深いレベルのニューロンのリストへのポインタ(LsC)(ニューロンCの、後続ニューロンへのポインタ)
P4−ニューロンAを起動ニューロンとする、次のニューロンへのポインタ(LA)(ニューロンAの「次の後続ニューロンへの」ポインタ)
P5−ニューロンCを被関連付けニューロンとする、より深いレベルのニューロンのリストへのポインタ(LpC)(先行ニューロンへのポインタ)
P6−ニューロンBを被関連付けニューロンとする、リスト内の次のニューロンへのポインタ(LB)(「次の先行ニューロンへの」ポインタ)
1.アルファベットの大文字の26個の文字。
2.アルファベットの小文字の26個の文字。
3.10個の数字
4.標準的な英数字キーボードにおける32個の区切り文字および同様の文字
5.必要になる可能性がある、他の任意の特殊文字(たとえば、ギリシャ文字など)
「TH」、「E^」、「CA」、「T^」、「SA」、「ON」、および「MA」
その他の結合も可能である。たとえば、次の結合が可能である。
「TH」、「HE」、「E^」、「CA」、「AT」、「T^」、「ON」、「N^」、および「MA」
1,024 レベル0
512 レベル1
256 レベル2
128 レベル3
64 レベル4
32 レベル5
16 レベル6
8 レベル7
4 レベル8
2 レベル9
1 レベル10
要素イベントの全シーケンスが表される。
LUCY^IS^CRYING^UNDER^THE^TABLE^.
JOHN^IS^PLAYING^IN^THE^PARK^.
PETER^IS^READING^IN^THE^CHAIR^.
MARY^IS^SLEEPING^UNDER^THE^TREE^.
JOHN^IS^RUNNING^IN^THE^RACE^.
PETER^IS^PLAYING^ON^THE^SWING^.
MARY^IS^TALKING^ON^THE^PHONE^.
IS CRYING
IS RUNNING
IS READING
IS SLEEPING
IS PLAYING
IS TALKING
UNDER THE TABLE
UNDER THE TREE
IN THE PARK
IN THE CHAIR
IN THE RACE
ON THE SWING
ON THE PHONE
LUCY IS CRYING
LUCY IS RUNNING
LUCY IS READING
LUCY IS SLEEPING
LUCY IS PLAYING
LUCY IS TALKING
LUCY IS IS CRYING
JOHN IS IS RUNNING
MARY IS IS READING
LUCY IS IS SLEEPING
PETER IS IS PLAYING
IS TALKING
ON THE THE TABLE
IN THE THE PARK
UNDER THE THE CHAIR
THE TREE
THE RACE
THE SWING
THE PHONE
これらは、すべてが構文としては正しいが、意味論的にはすべてが正しいとは言えない性質の21(3×7)個の句/節を生成する可能性を与える。
{*} IS {*} (*) THE {*}.
・学習が可能である。
・表現機能がある。
・データではなく関連付けを格納する。
・コンピュータのメモリおよびストレージの空間を効率よく使用する。
・計算効率がよい。
Claims (22)
- 複数のニューロンを含むニューラルネットワークであって、前記複数のニューロンそれぞれがメモリを備える処理装置であると共に配列をなし、前記複数のニューロンが、複数の要素ニューロンと複数の構造ニューロンとを含み、すべての要素ニューロンおよび構造ニューロンが、活性結合を介して構造ニューロンと関連付けられることが可能であり、すべての要素ニューロンが、それぞれの要素値を格納して出力することによってそれぞれの要素値を表現することが可能であり、すべての構造ニューロンが、ニューロンのペアを示す情報を格納して出力することによって関連付けられるニューロンのペアを表現することが可能であるニューラルネットワーク。
- 前記複数のニューロンのうちの任意の1つのニューロンと、前記複数のニューロンのうちの別のニューロンとが、前記複数のニューロンのうちのさらに別の構造ニューロンとの活性結合を介して関連付けられることが可能であり、前記さらに別の構造ニューロンが、前記複数のニューロンのうちの任意の1つのニューロンと前記別のニューロンとの両方より深いレベルにある、請求項1に記載のニューラルネットワーク。
- 前記複数のニューロンのうちの任意の1つのニューロンと前記別のニューロンとが、同じレベル又は異なるレベルにある、請求項2に記載のニューラルネットワーク。
- 各要素ニューロンが、要素値の入力および出力の両方に使用可能である、請求項1〜3のいずれか一項に記載のニューラルネットワーク。
- 各構造ニューロンが、ニューロンのペアによって表される、結合された情報または記憶を表し、前記構造ニューロンがニューロンの前記ペアから入力を受け取り、各要素ニューロンが、要素刺激と、定義済み要素パターンと、定義済み要素データ要素と、基本入力刺激と、処理中の情報の出力刺激とからなる群から選択される少なくとも1つを表す、請求項1〜4のいずれか一項に記載のニューラルネットワーク。
- 関連付けが、要素ニューロンとの要素ニューロンの関連付けと、構造ニューロンとの要素ニューロンの関連付けと、要素ニューロンとの構造ニューロンの関連付けと、構造ニューロンとの構造ニューロンの関連付けとからなる群から選択される少なくとも1つである、請求項1〜5のいずれか一項に記載のニューラルネットワーク。
- 前記複数の要素ニューロンのそれぞれが、起動ニューロンと、被関連付けニューロンとからなる群から1つ以上選択され、前記複数の構造ニューロンのそれぞれが、起動ニューロンと、被関連付けニューロンと、関連付けニューロンとからなる群から1つ以上選択される、請求項1〜6のいずれか一項に記載のニューラルネットワーク。
- 起動ニューロンが、前記起動ニューロンと前記関連付けニューロンとの間の活性結合及び前記被関連付けニューロンと前記関連付けニューロンとの間の活性結合によって、被関連付けニューロンに関連付けられる、請求項7に記載のニューラルネットワーク。
- 前記起動ニューロンと、前記被関連付けニューロンとの両方が、時間と空間と強度と規模と相対位置とのうちの少なくとも1つである近接特性に基づいて、前記関連付けニューロンと活性結合される、請求項8に記載のニューラルネットワーク。
- 構造ニューロンが、情報および記憶のうちの少なくとも1つを表す請求項1〜9のいずれか一項に記載のニューラルネットワーク。
- 前記複数のニューロンのうちの前記1つのニューロンが起動ニューロンであり、前記複数のニューロンのうちの前記別のニューロンが被関連付けニューロンであり、前記さらに別のニューロンが関連付けニューロンであって、前記ニューラルネットワークが、前記起動ニューロンが活性化または発火した場合に前記関連付けニューロンが増強され、前記被関連付けニューロンが活性化または発火した場合に前記関連付けニューロンがさらに増強されて活性化し、発火可能になる構造である、請求項1〜6のいずれか一項に記載のニューラルネットワーク。
- 前記被関連付けニューロンが、前記起動ニューロンと同時に活性化または発火する、請求項11に記載のニューラルネットワーク。
- 前記被関連付けニューロンが、前記関連付けニューロンを基準とすると前記起動ニューロンより後に活性化または発火する、請求項11に記載のニューラルネットワーク。
- 前記起動ニューロンおよび前記被関連付けニューロンの近接活性化または近接発火によって、前記起動ニューロンと前記関連付けニューロンとの間と、前記被関連付けニューロンと前記関連付けニューロンとの間とで、新しいシナプス結合が作成されるか、既存のシナプス結合が強化される、請求項11〜13のいずれか一項に記載のニューラルネットワーク。
- 前記関連付けニューロンが、前記起動ニューロンおよび前記被関連付けニューロンの連結表現を表し、前記連結表現が、前記起動ニューロンおよび前記被関連付けニューロンの経験の組み合わせと、イベントの近接と、イベントのシーケンスとからなる群から選択される1つ以上のものを含む、請求項11〜14のいずれか一項に記載のニューラルネットワーク。
- すべての要素ニューロンが、前記ニューラルネットワークのルートレベルにおいて表される、請求項1〜15のいずれか一項に記載のニューラルネットワーク。
- 前記関連付けニューロンがいったん活性化して所望の結果を表すと、前記所望の結果が別のニューロンにおいて再作成される必要がない、請求項11〜16のいずれか一項に記載のニューラルネットワーク。
- すべてのニューロンが固定長のニューロンである、請求項1〜17のいずれか一項に記載のニューラルネットワーク。
- 双方向性であって、構造ニューロンが入力イベントから導出される順方向モードと、入力イベントが構造ニューロンから導出される逆方向モードとで動作可能な請求項1〜18のいずれか一項に記載のニューラルネットワーク。
- 前記ニューラルネットワークの構造ニューロンが要素値ではなく関連付けを表す、請求項1〜19のいずれか一項に記載のニューラルネットワーク。
- 前記ニューラルネットワークが、関連付けのパターンの中でパターンを認識する、請求項20に記載のニューラルネットワーク。
- 株価動向の監視および予測、インターネットの監視、インターネットセキュリティ、コンピュータウィルスの検出、コンピュータスパムの検出、音声およびテキスト内の句の認識、音声およびテキスト内の節の認識、盗用の検出、バイオインフォマティクス(生物情報学)、視覚認識、セマンティクス解析、データオントロジの表現、ロボット工学、およびデータ圧縮のうちの1つまたは複数に用いられる、請求項20または21に記載のニューラルネットワーク。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
MYPI20032400A MY138544A (en) | 2003-06-26 | 2003-06-26 | Neural networks with learning and expression capability |
MYPI20032400 | 2003-06-26 | ||
PCT/IB2004/002119 WO2004114145A1 (en) | 2003-06-26 | 2004-06-21 | Neural networks with learning and expression capability |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009253296A Division JP5165664B2 (ja) | 2003-06-26 | 2009-11-04 | 学習および表現の機能を有するニューラルネットワーク |
JP2011067438A Division JP5430597B2 (ja) | 2003-06-26 | 2011-03-25 | 学習および表現の機能を有するニューラルネットワーク |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007520780A JP2007520780A (ja) | 2007-07-26 |
JP4943146B2 true JP4943146B2 (ja) | 2012-05-30 |
Family
ID=33536493
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006516581A Expired - Fee Related JP4943146B2 (ja) | 2003-06-26 | 2004-06-21 | 学習および表現の機能を有するニューラルネットワーク |
JP2009253296A Active JP5165664B2 (ja) | 2003-06-26 | 2009-11-04 | 学習および表現の機能を有するニューラルネットワーク |
JP2011067438A Active JP5430597B2 (ja) | 2003-06-26 | 2011-03-25 | 学習および表現の機能を有するニューラルネットワーク |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009253296A Active JP5165664B2 (ja) | 2003-06-26 | 2009-11-04 | 学習および表現の機能を有するニューラルネットワーク |
JP2011067438A Active JP5430597B2 (ja) | 2003-06-26 | 2011-03-25 | 学習および表現の機能を有するニューラルネットワーク |
Country Status (9)
Country | Link |
---|---|
US (2) | US7412426B2 (ja) |
EP (6) | EP2472443A3 (ja) |
JP (3) | JP4943146B2 (ja) |
CN (2) | CN101470813B (ja) |
AU (2) | AU2004250403C1 (ja) |
IL (2) | IL172201A (ja) |
MY (1) | MY138544A (ja) |
SG (1) | SG153700A1 (ja) |
WO (1) | WO2004114145A1 (ja) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7925492B2 (en) | 2004-01-06 | 2011-04-12 | Neuric Technologies, L.L.C. | Method for determining relationships through use of an ordered list between processing nodes in an emulated human brain |
US7089218B1 (en) * | 2004-01-06 | 2006-08-08 | Neuric Technologies, Llc | Method for inclusion of psychological temperament in an electronic emulation of the human brain |
MY138544A (en) * | 2003-06-26 | 2009-06-30 | Neuramatix Sdn Bhd | Neural networks with learning and expression capability |
US8473449B2 (en) * | 2005-01-06 | 2013-06-25 | Neuric Technologies, Llc | Process of dialogue and discussion |
US7475072B1 (en) | 2005-09-26 | 2009-01-06 | Quintura, Inc. | Context-based search visualization and context management using neural networks |
US7620607B1 (en) | 2005-09-26 | 2009-11-17 | Quintura Inc. | System and method for using a bidirectional neural network to identify sentences for use as document annotations |
US7437370B1 (en) * | 2007-02-19 | 2008-10-14 | Quintura, Inc. | Search engine graphical interface using maps and images |
US8112372B2 (en) * | 2007-11-20 | 2012-02-07 | Christopher D. Fiorello | Prediction by single neurons and networks |
US8190543B2 (en) | 2008-03-08 | 2012-05-29 | Tokyo Electron Limited | Autonomous biologically based learning tool |
US8396582B2 (en) | 2008-03-08 | 2013-03-12 | Tokyo Electron Limited | Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool |
US8725667B2 (en) * | 2008-03-08 | 2014-05-13 | Tokyo Electron Limited | Method and system for detection of tool performance degradation and mismatch |
US8180754B1 (en) * | 2008-04-01 | 2012-05-15 | Dranias Development Llc | Semantic neural network for aggregating query searches |
US8219539B2 (en) * | 2009-04-07 | 2012-07-10 | Microsoft Corporation | Search queries with shifting intent |
EP2531959B1 (en) | 2010-02-05 | 2017-07-26 | Ecole Polytechnique Fédérale de Lausanne (EPFL) | Organizing neural networks |
US11651277B2 (en) | 2010-03-15 | 2023-05-16 | Numenta, Inc. | Sparse distributed representation for networked processing in predictive system |
EP2548096B1 (en) * | 2010-03-15 | 2017-10-25 | Numenta, Inc. | Temporal memory using sparse distributed representation |
US8676734B2 (en) * | 2010-07-07 | 2014-03-18 | Qualcomm, Incorporated | Methods and systems for replaceable synaptic weight storage in neuro-processors |
US20130346150A1 (en) * | 2012-06-21 | 2013-12-26 | Data Ventures, Inc. | System, method, and computer program product for forecasting sales |
EP3028201A4 (en) * | 2013-08-02 | 2017-03-22 | Auckland Uniservices Limited | System for neurobehavioural animation |
US10339447B2 (en) | 2014-01-23 | 2019-07-02 | Qualcomm Incorporated | Configuring sparse neuronal networks |
US9484022B2 (en) | 2014-05-23 | 2016-11-01 | Google Inc. | Training multiple neural networks with different accuracy |
KR102445468B1 (ko) | 2014-09-26 | 2022-09-19 | 삼성전자주식회사 | 부스트 풀링 뉴럴 네트워크 기반의 데이터 분류 장치 및 그 데이터 분류 장치를 위한 뉴럴 네트워크 학습 방법 |
CN105894086A (zh) * | 2014-12-23 | 2016-08-24 | 中国传媒大学 | 一种大规模大脑模拟中神经元链接的表示方法 |
CN106485321B (zh) * | 2015-10-08 | 2019-02-12 | 上海兆芯集成电路有限公司 | 具有架构神经网络执行单元的处理器 |
CN106372721B (zh) * | 2016-08-29 | 2018-08-21 | 中国传媒大学 | 大规模神经网络的3d可视化方法 |
US11615285B2 (en) * | 2017-01-06 | 2023-03-28 | Ecole Polytechnique Federale De Lausanne (Epfl) | Generating and identifying functional subnetworks within structural networks |
CN108009636B (zh) * | 2017-11-16 | 2021-12-07 | 华南师范大学 | 深度学习神经网络进化方法、装置、介质和计算机设备 |
US11468024B2 (en) * | 2018-03-27 | 2022-10-11 | Sap Se | Structural data matching using neural network encoders |
US11893471B2 (en) | 2018-06-11 | 2024-02-06 | Inait Sa | Encoding and decoding information and artificial neural networks |
US11663478B2 (en) | 2018-06-11 | 2023-05-30 | Inait Sa | Characterizing activity in a recurrent artificial neural network |
RU2699396C1 (ru) * | 2018-11-19 | 2019-09-05 | Общество С Ограниченной Ответственностью "Инвек" | Нейронная сеть для интерпретирования предложений на естественном языке |
US11551093B2 (en) * | 2019-01-22 | 2023-01-10 | Adobe Inc. | Resource-aware training for neural networks |
US11569978B2 (en) | 2019-03-18 | 2023-01-31 | Inait Sa | Encrypting and decrypting information |
US11652603B2 (en) | 2019-03-18 | 2023-05-16 | Inait Sa | Homomorphic encryption |
US11681922B2 (en) | 2019-11-26 | 2023-06-20 | Numenta, Inc. | Performing inference and training using sparse neural network |
US11816553B2 (en) | 2019-12-11 | 2023-11-14 | Inait Sa | Output from a recurrent neural network |
US11797827B2 (en) | 2019-12-11 | 2023-10-24 | Inait Sa | Input into a neural network |
US11651210B2 (en) | 2019-12-11 | 2023-05-16 | Inait Sa | Interpreting and improving the processing results of recurrent neural networks |
US11580401B2 (en) | 2019-12-11 | 2023-02-14 | Inait Sa | Distance metrics and clustering in recurrent neural networks |
US11568267B2 (en) | 2020-03-12 | 2023-01-31 | International Business Machines Corporation | Inducing creativity in an artificial neural network |
CN117688969A (zh) * | 2022-09-02 | 2024-03-12 | 深圳忆海原识科技有限公司 | 端口模型对象组织方法、系统、平台、智能装置及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05165799A (ja) * | 1991-12-16 | 1993-07-02 | G D S:Kk | 空間情報の再配置装置 |
EP1073012A1 (en) * | 1999-07-30 | 2001-01-31 | Eidgenössische Technische Hochschule Zürich | A method and circuit for neuron-like processing of data |
WO2001069410A1 (en) * | 2000-03-16 | 2001-09-20 | Yuan Yan Chen | Apparatus and method for fuzzy analysis of statistical evidence |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0634236B2 (ja) * | 1985-11-02 | 1994-05-02 | 日本放送協会 | 階層型情報処理方法 |
CA1294119C (en) | 1985-11-04 | 1992-01-14 | The Procter & Gamble Company | Absorbent article having an expanding overwrap |
DE3853488T2 (de) | 1987-01-20 | 1995-11-09 | At & T Corp | Assoziatives Rechnernetzwerk. |
US5093899A (en) | 1988-09-17 | 1992-03-03 | Sony Corporation | Neural network with normalized learning constant for high-speed stable learning |
JP2703010B2 (ja) * | 1988-12-23 | 1998-01-26 | 株式会社日立製作所 | ニユーラルネツト信号処理プロセツサ |
JPH0738186B2 (ja) * | 1989-03-13 | 1995-04-26 | シャープ株式会社 | 自己拡張形ニユーラル・ネットワーク |
GB8929146D0 (en) | 1989-12-22 | 1990-02-28 | British Telecomm | Neural networks |
JPH03288258A (ja) | 1990-04-04 | 1991-12-18 | Takayama:Kk | データ処理装置の学習方法 |
JPH03288285A (ja) | 1990-04-04 | 1991-12-18 | Takayama:Kk | データ処理装置の学習方法 |
DE69120854T2 (de) | 1990-04-24 | 1996-11-21 | Yozan Inc | Lernverfahren fÜr Datenverarbeitungssystem |
KR950001601B1 (ko) * | 1990-07-09 | 1995-02-27 | 니폰 덴신 덴와 가부시끼가시야 | 뉴-럴 네트워크 회로 |
US5182794A (en) * | 1990-07-12 | 1993-01-26 | Allen-Bradley Company, Inc. | Recurrent neural networks teaching system |
US5065040A (en) * | 1990-08-03 | 1991-11-12 | Motorola Inc. | Reverse flow neuron |
US5671335A (en) * | 1991-05-23 | 1997-09-23 | Allen-Bradley Company, Inc. | Process optimization using a neural network |
JPH05274288A (ja) * | 1992-03-26 | 1993-10-22 | Sony Corp | 学習機能を有する外部信号処理装置 |
US5438629A (en) | 1992-06-19 | 1995-08-01 | United Parcel Service Of America, Inc. | Method and apparatus for input classification using non-spherical neurons |
DE69328596T2 (de) | 1992-08-11 | 2001-01-04 | Hitachi Europ Ltd | Optimierung eines Neuralnetzwerks mit Vorwärtskopplung |
JP2737583B2 (ja) * | 1992-11-26 | 1998-04-08 | 松下電器産業株式会社 | ニューラルネットワーク回路 |
GB9226192D0 (en) * | 1992-12-16 | 1993-02-10 | Univ London | Neural network architecture |
EP0602717B1 (fr) | 1992-12-16 | 1997-10-01 | Laboratoires D'electronique Philips S.A.S. | Dispositif neuronal et procédé pour le construire |
DE4307026C2 (de) * | 1993-03-05 | 1995-08-03 | Siemens Ag | Speicherorientiertes neuronales Netz |
DE4307027C2 (de) * | 1993-03-05 | 1995-07-20 | Siemens Ag | Speicherorientiertes neuronales Netz |
US5446829A (en) * | 1993-06-24 | 1995-08-29 | The United States Of America As Represented By The Department Of Health And Human Services | Artificial network for temporal sequence processing |
JPH07129535A (ja) * | 1993-11-08 | 1995-05-19 | Mitsubishi Electric Corp | 学習制御方法 |
US5712953A (en) | 1995-06-28 | 1998-01-27 | Electronic Data Systems Corporation | System and method for classification of audio or audio/video signals based on musical content |
US5845271A (en) * | 1996-01-26 | 1998-12-01 | Thaler; Stephen L. | Non-algorithmically implemented artificial neural networks and components thereof |
US6018728A (en) | 1996-02-09 | 2000-01-25 | Sarnoff Corporation | Method and apparatus for training a neural network to learn hierarchical representations of objects and to detect and classify objects with uncertain training data |
JPH09231189A (ja) * | 1996-02-26 | 1997-09-05 | Fuji Xerox Co Ltd | 連想記憶装置および連想記憶方法 |
US6324532B1 (en) | 1997-02-07 | 2001-11-27 | Sarnoff Corporation | Method and apparatus for training a neural network to detect objects in an image |
US6052679A (en) * | 1997-09-11 | 2000-04-18 | International Business Machines Corporation | Artificial neural networks including Boolean-complete compartments |
US6195622B1 (en) | 1998-01-15 | 2001-02-27 | Microsoft Corporation | Methods and apparatus for building attribute transition probability models for use in pre-fetching resources |
US6826556B1 (en) * | 1998-10-02 | 2004-11-30 | Ncr Corporation | Techniques for deploying analytic models in a parallel |
US6442286B1 (en) * | 1998-12-22 | 2002-08-27 | Stmicroelectronics, Inc. | High security flash memory and method |
US6456993B1 (en) | 1999-02-09 | 2002-09-24 | At&T Corp. | Alternating tree-based classifiers and methods for learning them |
US6751343B1 (en) | 1999-09-20 | 2004-06-15 | Ut-Battelle, Llc | Method for indexing and retrieving manufacturing-specific digital imagery based on image content |
US6468069B2 (en) | 1999-10-25 | 2002-10-22 | Jerome H. Lemelson | Automatically optimized combustion control |
US6581049B1 (en) * | 1999-11-08 | 2003-06-17 | Saffron Technology, Inc. | Artificial neurons including power series of weights and counts that represent prior and next association |
NZ503882A (en) | 2000-04-10 | 2002-11-26 | Univ Otago | Artificial intelligence system comprising a neural network with an adaptive component arranged to aggregate rule nodes |
AU2001283397A1 (en) | 2000-08-16 | 2002-02-25 | Research Foundation Of State University Of New York | Neural network device for evolving appropriate connections |
ES2169009B1 (es) | 2000-12-14 | 2003-11-01 | Alma Bioinformatics S L | Algoritmo auto-organizativo de datos de expresion genica |
US6801655B2 (en) * | 2001-05-10 | 2004-10-05 | The United States Of America As Represented By The Secretary Of The Navy | Spatial image processor |
US7095875B2 (en) * | 2001-05-15 | 2006-08-22 | Lockheed Martin Corporation | Method and system for address result arbitration |
EP1415273B1 (en) * | 2001-08-10 | 2013-12-18 | Saffron Technology, Inc. | Artificial neurons including weights that define maximal projections |
AU2002356946A1 (en) * | 2001-11-16 | 2003-06-10 | Joseph Chen | Pausible neural network with supervised and unsupervised cluster analysis |
DE10201018B4 (de) * | 2002-01-11 | 2004-08-05 | Eads Deutschland Gmbh | Neuronales Netz, Opimierungsverfahren zur Einstellung der Verbindungsgewichte eines neuronalen Netzes sowie Analyseverfahren zur Überwachung eines Optimierungsverfahrens |
US7364846B2 (en) * | 2002-10-11 | 2008-04-29 | Molecular Devices Corporation | Gene expression profiling from FFPE samples |
MY138544A (en) * | 2003-06-26 | 2009-06-30 | Neuramatix Sdn Bhd | Neural networks with learning and expression capability |
JP3987013B2 (ja) | 2003-09-01 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
US20060184462A1 (en) | 2004-12-10 | 2006-08-17 | Hawkins Jeffrey C | Methods, architecture, and apparatus for implementing machine intelligence and hierarchical memory systems |
US7454435B2 (en) * | 2005-05-03 | 2008-11-18 | Microsoft Corporation | Systems and methods for granular changes within a data storage system |
US7739208B2 (en) | 2005-06-06 | 2010-06-15 | Numenta, Inc. | Trainable hierarchical memory system and method |
-
2003
- 2003-06-26 MY MYPI20032400A patent/MY138544A/en unknown
-
2004
- 2004-06-21 EP EP12156406A patent/EP2472443A3/en not_active Withdrawn
- 2004-06-21 EP EP04737088.7A patent/EP1639494B1/en active Active
- 2004-06-21 US US10/560,666 patent/US7412426B2/en active Active
- 2004-06-21 JP JP2006516581A patent/JP4943146B2/ja not_active Expired - Fee Related
- 2004-06-21 SG SG200719019-2A patent/SG153700A1/en unknown
- 2004-06-21 EP EP12156393.6A patent/EP2472441B1/en active Active
- 2004-06-21 EP EP12156467.8A patent/EP2472444B1/en active Active
- 2004-06-21 CN CN2009100015129A patent/CN101470813B/zh active Active
- 2004-06-21 CN CN200480017847A patent/CN100576197C/zh active Active
- 2004-06-21 WO PCT/IB2004/002119 patent/WO2004114145A1/en active Application Filing
- 2004-06-21 EP EP12156468.6A patent/EP2472445B1/en active Active
- 2004-06-21 EP EP12156398.5A patent/EP2472442B1/en active Active
- 2004-06-21 AU AU2004250403A patent/AU2004250403C1/en not_active Ceased
-
2005
- 2005-11-27 IL IL172201A patent/IL172201A/en not_active IP Right Cessation
-
2008
- 2008-07-09 US US12/170,335 patent/US7778946B2/en not_active Expired - Fee Related
- 2008-11-30 IL IL195610A patent/IL195610A/en not_active IP Right Cessation
-
2009
- 2009-06-25 AU AU2009202547A patent/AU2009202547B2/en not_active Ceased
- 2009-11-04 JP JP2009253296A patent/JP5165664B2/ja active Active
-
2011
- 2011-03-25 JP JP2011067438A patent/JP5430597B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05165799A (ja) * | 1991-12-16 | 1993-07-02 | G D S:Kk | 空間情報の再配置装置 |
EP1073012A1 (en) * | 1999-07-30 | 2001-01-31 | Eidgenössische Technische Hochschule Zürich | A method and circuit for neuron-like processing of data |
WO2001069410A1 (en) * | 2000-03-16 | 2001-09-20 | Yuan Yan Chen | Apparatus and method for fuzzy analysis of statistical evidence |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4943146B2 (ja) | 学習および表現の機能を有するニューラルネットワーク | |
Tienson | Introduction to connectionism | |
Flusberg et al. | Connectionism and the emergence of mind | |
Oudeyer | The self-organization of combinatoriality and phonotactics in vocalization systems | |
Wright et al. | The connectionist simulation of aphasic naming | |
Gong et al. | Computational modeling on language emergence: A coevolution model of lexicon, syntax and social structure | |
Barrow | Connectionism and neural networks | |
JP2005032216A (ja) | 相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラム | |
Bouissac | Syntactic iconicity and connectionist models of language and cognition | |
Lisovskaya et al. | Processing of Neural System Information with the Use of Artificial Spiking Neural Networks | |
Routh | Cortical thought theory: a working model of the human Gestalt mechanism | |
Abidi | Neural networks and child language development: a simulation using a modular neural network architecture | |
Nyamapfene | Unsupervised multimodal neural networks | |
Hawkins | An Investigation of Adaptive Behavior Towards a Theory of Neocortical Function | |
Donaldson | Predictive learning and cognitive momentum: a foundation for intelligent, autonomous systems | |
Veale et al. | Semantic memory in a computer: A synthetic model proposal | |
Graesser et al. | and Susan R. Goldman | |
Molnar | The Replicator Theory of Knowledge: A Restatement and Extension |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091104 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20091104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100928 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101227 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110104 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110107 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110325 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111207 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20111212 |
|
TRDD | Decision of grant or rejection written | ||
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111213 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4943146 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150309 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |