JP7391212B2 - ニューラル記号コンピューティング - Google Patents
ニューラル記号コンピューティング Download PDFInfo
- Publication number
- JP7391212B2 JP7391212B2 JP2022529036A JP2022529036A JP7391212B2 JP 7391212 B2 JP7391212 B2 JP 7391212B2 JP 2022529036 A JP2022529036 A JP 2022529036A JP 2022529036 A JP2022529036 A JP 2022529036A JP 7391212 B2 JP7391212 B2 JP 7391212B2
- Authority
- JP
- Japan
- Prior art keywords
- neural
- machine learning
- gradient
- based machine
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001537 neural effect Effects 0.000 title claims description 85
- 238000010801 machine learning Methods 0.000 claims description 92
- 238000013528 artificial neural network Methods 0.000 claims description 61
- 230000006870 function Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 15
- 238000007620 mathematical function Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 description 28
- 230000015654 memory Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 238000013461 design Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007786 learning performance Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Description
本出願は、その開示の全体が参照により本明細書に組み込まれる、2020年3月10日に出願した米国仮特許出願第62/987,687号、表題「Numeric architecture for neural-symbolic computing」に対して米国特許法第119条に基づく優先権を主張する。
ロジット変換は、勾配の消失を軽減するためにニューラル記号コンピューティングにおいて適用される数学演算とすることができる。単純なロジット変換を使用することができる。Logit(x)=log(x)-log(1-x)。全ての実数はこの変換の範囲内にある。真値の積は、ロジットの和に変換される。和の各項は、どれだけ多くの更なる項が加算されるかに関わらずその導関数を保持するため、データに対する制限が取り除かれる。
¬|1=-|1
および
l1∧l2=logit(t1・t2)=logt1+logt2-log(l-t1・t2)
特殊な事例は、時として、上記の数学的近似対ロジット変換式全体を使用する。ロジット変換の近似は以下とすることができる。
l1*l2~-ln(e-l1+e-l2)
(∀x,y)(friends(x,y)→friends(y,x))
(∀x,y)((smokes(x)∧friends(x,y))→smokes(y))
(∀x)(smokes(x)→hasCancer(x))
xおよびyベクトルがルールにおいて変化するとき、それらのルールの解釈は変化する。
学習アルゴリズムモジュールと連携する言語モジュールは、追加の制約を強制し、重要な部分問題に集中することによって性能を改善するのではなく、生成された機械学習モデルに対する制約を緩和するために、供給された知識表現が、生成された機械学習モデルにおける検討からの知識表現に基づいて論理的に可能でない可能性を除去および/または補正するための安定したフィルタとして用いられる、構成要素ネットワークに逆伝播する情報を制限する生成された勾配ベースの機械学習モデル内のサイドルール構成要素の生成を引き起こすことができる。
図5におけるネットワーク構造は、ネットワーク構造のボトムからネットワーク構造のトップレベルまで複数の中間レベルを有する。ニューラルネットワークは、i)述語および関数の関係分類器、ii)主語の分類器、およびiii)目的語分類器、の3つの個々のネットワーク構造(各々がいくつかのレベルから構成される)を組み合わせ、これらは次に知識表現および推論における論理結合子を通じて連結され、特定の人が特定のバイクである/に乗ることができるか否かのトップレベルの結果までの複数の中間レベルを有する単一の深層ネットワークに組み立てられる。ニューラル記号コンピューティングエンジン100は、スケーリングするためのロジット技法を使用して、より大きなデータセットに適用し、より良好な解決(トレーニングにおける誤差がより少ない)になるようにトレーニングする。この影響は、第1に元の0-1表現の下で、第2にロジット表現下で所与のトレーニングデータセットで所与のニューラルネットワークをトレーニングし、結果を比較することによって、直接測定することができる。結果は、機械学習タスクにおける性能(正確性)を増大させる。ロジット変換およびサイドルールを学習におけるフレキシブルゲートとして使用することは、より高速な学習、より正確な学習、およびより大きなデータセットを用いて作業する能力の利点を有する。
図6は、ニューラル記号コンピューティングエンジンの一実施形態によるネットワーク環境において互いに通信するいくつかの電子システムおよびデバイスの図を示す。ネットワーク環境800は、通信ネットワーク820を有する。ネットワーク820は、光ネットワーク、セルラネットワーク、インターネット、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、衛星ネットワーク、ファイバネットワーク、ケーブルネットワーク、およびその組合せから選択される1または複数のネットワークを含み得る。一実施形態において、通信ネットワーク820は、インターネットである。図示するように、多数のサーバコンピューティングシステムと、通信ネットワーク820を介して互いに接続された多数のクライアントコンピューティングシステムとが存在し得る。しかしながら、例えば、単一クライアントコンピューティングシステムはまた単一サーバコンピューティングシステムに接続され得ることを理解されたい。したがって、サーバコンピューティングシステムおよびクライアントコンピューティングシステムの任意の組合せが、通信ネットワーク820を介して互いに接続し得る。
図7は、本明細書で論じられるニューラル記号コンピューティングエンジンに関連付けられたシステムの一部とすることができる1または複数のコンピューティングデバイスの一実施形態の図を示す。コンピューティングデバイス900は、命令を実行するための1または複数のプロセッサまたは処理ユニット920、情報を記憶するための1または複数のメモリ930~932、コンピューティングデバイス900のユーザからデータ入力を受け付けるための1または複数のデータ入力構成要素960~963、管理モジュールを含む1または複数のモジュール、コンピューティングデバイス外部の他のコンピューティングデバイスと通信するための通信リンクを確立するためのネットワークインターフェース通信回路970、センサからの出力が特定のトリガ条件を検知してこれに応じて1または複数の事前にプログラムされたアクションを生成するために使用される、1または複数のセンサ、1または複数のメモリ930~932および他の構成要素に記憶された情報の少なくとも一部を表示するための表示画面991を含み得る。ソフトウェア944、945、946に実装されたこのシステムの部分は、1または複数のメモリ930~932に記憶されてもよく、1または複数のプロセッサ920によって実行されることに留意されたい。
Claims (19)
- i)知識表現、およびii)課題を解決するための推論、に対し機械学習を使用する1または複数の勾配ベースの機械学習モデルを作成するために互いに連携するように構成された2以上のモジュールを有するニューラル記号コンピューティングエンジンを備え、前記ニューラル記号コンピューティングエンジンにおけるモデル表現モジュールは、前記ニューラル記号コンピューティングエンジンの言語モジュールから供給された1次論理要素からの真値に、少なくともロジット変換を含む1または複数の数学関数を適用するように構成され、
前記ニューラル記号コンピューティングエンジンにおける学習者アルゴリズムモジュールは、前記知識表現が、固定ルールとして用いられる前記1次論理を使用して第1の勾配ベースの機械学習モデルのフレームワーク内のフレキシブルゲートとしての役割を果たすためのアーキテクチャを提供するように構成されたサイドルール構成要素を有し、いくつかの状況において、前記サイドルール構成要素は、前記第1の勾配ベースの機械学習モデルにおける学習に影響を及ぼすように、これらの固定ルールの適用を変更する、装置。 - 前記2以上のモジュールは、人によって前記ニューラル記号コンピューティングエンジンの理論モジュールに対し供給された情報から、前記知識表現および前記推論の、第1の勾配ベースの機械学習モデルへのエンコードを引き起こすように更に連携する、請求項1に記載の装置。
- 前記ニューラル記号コンピューティングエンジンにおける理論表現モジュールは、勾配ベースの学習を受ける第1の勾配ベースの機械学習モデルとしてニューラルネットワークをコンパイルするように構成される、請求項1に記載の装置。
- 勾配ベースの学習を受ける前記第1の勾配ベースの機械学習モデルは、ルールを可能な限り真にする解釈を得るために、i)制約として機能する前記ルールのセットの異なる定数に関連付けられたベクトルを適応させ、ii)異なる関数および述語に関連付けられたネットワークのパラメータのベクトルを適応させるように構成される、請求項3に記載の装置。
- 前記モデル表現モジュールは、第1の勾配ベースの機械学習モデルにおけるネットワークの真値を乗算する結果として得られる勾配の消失を回避するために、前記真値の前記ロジット変換を使用する前記第1の勾配ベースの機械学習モデルを作成するように更に構成される、請求項1に記載の装置。
- 前記真値は、前記ネットワーク構造のボトムから前記ネットワーク構造のトップレベルまでの複数の中間レベルを有する前記ネットワークにおけるネットワーク構造に由来する、請求項5に記載の装置。
- 機械学習を使用する前記1または複数の勾配ベースの機械学習モデルは、1または複数のニューラルネットワークであり、前記ニューラル記号コンピューティングエンジンは、前記1次論理における前記知識表現および前記推論を表すように構成され、前記知識表現および前記推論の用語集を構成する関係および関数は、任意のネットワーク構造を有することができる前記1または複数のニューラルネットワークにおいてその後実装され、前記知識表現および前記推論における論理結合子は、前記ネットワーク構造のボトムから前記ネットワーク構造のトップレベルまでの複数の中間レベルを有する単一の深層ネットワークへと組み立てられ、これは、前記知識表現および前記推論の真実性の程度を最大にするようにトレーニングされる、請求項1に記載の装置。
- 前記ニューラル記号コンピューティングエンジンにおける前記モデル表現モジュールは、前記1次論理要素からの真値に前記ロジット変換を適用するように更に構成され、それによって、第1の勾配ベースの機械学習モデルは、課題を全体として学習し、解決しながら、特徴の任意の量の結合を検討することができ、解決されているその課題の部分をより小さな部分問題に分解する必要がない、請求項1に記載の装置。
- 1または複数のプロセッサにより実行されると、ニューラル記号コンピューティングシステムに、以下の動作、すなわち、
i)知識表現、およびii)課題を解決するための推論、に対し機械学習を使用する1または複数の勾配ベースの機械学習モデルを作成することと、
少なくともロジット変換を含む1または複数の数学関数を1次論理要素からの真値に適用することと、
前記知識表現が、固定ルールとして用いられる前記1次論理を使用して第1の勾配ベースの機械学習モデルのフレームワーク内のフレキシブルゲートとしての役割を果たすためのアーキテクチャを提供するためのサイドルールを構成することであって、いくつかの状況において、前記サイドルールは、前記第1の勾配ベースの機械学習モデルにおける学習に影響を及ぼすように、これらの固定ルールの適用を変更する、ことと、
を含む動作を実行させる実行可能命令を含む、非一時的コンピュータ可読媒体。 - ニューラル記号コンピューティングのための方法であって、
i)知識表現、およびii)課題を解決するための推論、に対し機械学習を使用する1または複数の勾配ベースの機械学習モデルを作成するようにニューラル記号コンピューティングエンジンを構成することであって、前記ニューラル記号コンピューティングエンジンは、少なくともロジット変換を含む1または複数の数学関数を1次論理要素からの真値に適用する、ことと、
前記知識表現が、固定ルールとして用いられる前記1次論理を使用して第1の勾配ベースの機械学習モデルのフレームワーク内のフレキシブルゲートとしての役割を果たすためのアーキテクチャを提供するためのサイドルールを構成することであって、いくつかの状況において、前記サイドルールは、前記第1の勾配ベースの機械学習モデルにおける学習に影響を及ぼすように、これらの固定ルールの適用を変更する、ことと、を含む方法。 - 人によって前記ニューラル記号コンピューティングエンジンに対し供給された情報から、前記知識表現および前記推論の、第1の勾配ベースの機械学習モデルへのエンコードを引き起こすことを更に含む、請求項10に記載の方法。
- 前記ニューラル記号コンピューティングエンジンは、勾配ベースの学習を受ける第1の勾配ベースの機械学習モデルとしてニューラルネットワークをコンパイルするように構成される、請求項10に記載の方法。
- ルールを可能な限り真にする解釈を得るために、i)制約として機能する前記ルールのセットの異なる定数に関連付けられたベクトルを適応させ、ii)異なる関数および述語に関連付けられたネットワークのパラメータのベクトルを適応させるように、勾配ベースの学習を受ける前記第1の勾配ベースの機械学習モデルを構成することを更に含む、請求項12に記載の方法。
- 第1の勾配ベースの機械学習モデルにおけるネットワークの真値を乗算する結果として得られる勾配の消失を回避するために、前記真値の前記ロジット変換を使用する前記第1の勾配ベースの機械学習モデルを作成することを更に含む、請求項10に記載の方法。
- 前記真値は、前記ネットワーク構造のボトムから前記ネットワーク構造のトップレベルまでの複数の中間レベルを有する前記ネットワークにおけるネットワーク構造に由来する、請求項14に記載の方法。
- 機械学習を使用する前記1または複数の勾配ベースの機械学習モデルは、1または複数のニューラルネットワークであり、前記ニューラル記号コンピューティングエンジンは、前記1次論理における前記知識表現および前記推論を表すように構成され、前記知識表現および前記推論の用語集を構成する関係および関数は、任意のネットワーク構造を有することができる前記1または複数のニューラルネットワークにおいてその後実装され、前記知識表現および前記推論における論理結合子は、前記ネットワーク構造のボトムから前記ネットワーク構造のトップレベルまでの複数の中間レベルを有する単一の深層ネットワークへと組み立てられ、これは、前記知識表現および前記推論の真実性の程度を最大にするようにトレーニングされる、請求項10に記載の方法。
- 前記1次論理要素からの真値に前記ロジット変換を適用するように前記ニューラル記号コンピューティングエンジンを構成し、それにより、第1の勾配ベースの機械学習モデルが、前記課題を全体として学習および解決しながら、特徴の任意の量の結合を検討することが可能になり、各々が特徴の結合の独自のサブセットを有する、より小さな部分問題になるように、その解決されている課題の部分を分解する必要がなく、これらの部分問題のうちの各1つを個々に学習およびトレーニングして解決する必要がなく、その後、前記部分問題の組み合わされた出力を使用して前記課題を全体として解決するようにトレーニングする必要がない、ことを更に含む、請求項10に記載の方法。
- 1または複数のプロセッサにより実行されると、ニューラル記号コンピューティングシステムに、以下の動作、すなわち、
i)知識表現、およびii)課題を解決するための推論、に対し機械学習を使用する1または複数の勾配ベースの機械学習モデルを作成することと、
少なくともロジット変換を含む1または複数の数学関数を1次論理要素からの真値に適用することと、
前記1次論理を使用して、第1の勾配ベースの機械学習モデルにおける学習を誘導する固定ルールを作成するように前記ニューラル記号コンピューティングエンジンを構成することと、
前記第1の勾配ベースの機械学習モデルにおける学習に影響を及ぼす前記固定ルールに対する指定の状況における指定の情報をマスキングするようにサイドルールを構成することと、
を含む動作を実行させる実行可能命令を含む、非一時的コンピュータ可読媒体。 - ニューラル記号コンピューティングのための方法であって、
i)知識表現、およびii)課題を解決するための推論、に対し機械学習を使用する1または複数の勾配ベースの機械学習モデルを作成するようにニューラル記号コンピューティングエンジンを構成することであって、前記ニューラル記号コンピューティングエンジンは、少なくともロジット変換を含む1または複数の数学関数を1次論理要素からの真値に適用する、ことと、
前記1次論理を使用して、第1の勾配ベースの機械学習モデルにおける学習を誘導する固定ルールを作成するように前記ニューラル記号コンピューティングエンジンを構成することと、
前記第1の勾配ベースの機械学習モデルにおける学習に影響を及ぼす前記固定ルールに対する指定の状況における指定の情報をマスキングするようにサイドルールを構成することと、を含む方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023175823A JP2023179657A (ja) | 2020-03-10 | 2023-10-11 | ニューラル記号コンピューティング |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062987687P | 2020-03-10 | 2020-03-10 | |
PCT/US2021/022401 WO2021184013A1 (en) | 2020-03-10 | 2021-03-15 | Neural-symbolic computing |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023175823A Division JP2023179657A (ja) | 2020-03-10 | 2023-10-11 | ニューラル記号コンピューティング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023510462A JP2023510462A (ja) | 2023-03-14 |
JP7391212B2 true JP7391212B2 (ja) | 2023-12-04 |
Family
ID=77672064
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022529036A Active JP7391212B2 (ja) | 2020-03-10 | 2021-03-15 | ニューラル記号コンピューティング |
JP2023175823A Abandoned JP2023179657A (ja) | 2020-03-10 | 2023-10-11 | ニューラル記号コンピューティング |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023175823A Abandoned JP2023179657A (ja) | 2020-03-10 | 2023-10-11 | ニューラル記号コンピューティング |
Country Status (4)
Country | Link |
---|---|
US (1) | US11694061B2 (ja) |
EP (1) | EP4046076A4 (ja) |
JP (2) | JP7391212B2 (ja) |
WO (1) | WO2021184013A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220180166A1 (en) * | 2020-12-03 | 2022-06-09 | International Business Machines Corporation | Neuro-symbolic next state prediction based on multiple potential causes |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070239632A1 (en) | 2006-03-17 | 2007-10-11 | Microsoft Corporation | Efficiency of training for ranking systems |
US20120158685A1 (en) | 2010-12-16 | 2012-06-21 | Microsoft Corporation | Modeling Intent and Ranking Search Results Using Activity-based Context |
JP2018041445A (ja) | 2016-09-05 | 2018-03-15 | 富士通株式会社 | 畳み込みニューラル・ネットワークからの知識抽出 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7218144B2 (en) | 2004-02-25 | 2007-05-15 | Ternarylogic Llc | Single and composite binary and multi-valued logic functions from gates and inverters |
US8788701B1 (en) | 2006-08-25 | 2014-07-22 | Fair Isaac Corporation | Systems and methods for real-time determination of the semantics of a data stream |
US7689526B2 (en) | 2007-01-25 | 2010-03-30 | Fair Isaac Corporation | Knowledge base with clustered data objects |
US9916538B2 (en) * | 2012-09-15 | 2018-03-13 | Z Advanced Computing, Inc. | Method and system for feature detection |
US10372815B2 (en) | 2013-07-12 | 2019-08-06 | Microsoft Technology Licensing, Llc | Interactive concept editing in computer-human interactive learning |
US10521747B2 (en) | 2014-04-08 | 2019-12-31 | Northrop Grumman Systems Corporation | System and method for providing a scalable semantic mechanism for policy-driven assessment and effective action taking on dynamically changing data |
US10509814B2 (en) | 2014-12-19 | 2019-12-17 | Universidad Nacional De Educacion A Distancia (Uned) | System and method for the indexing and retrieval of semantically annotated data using an ontology-based information retrieval model |
RU2641447C1 (ru) | 2016-12-27 | 2018-01-17 | Общество с ограниченной ответственностью "ВижнЛабс" | Способ обучения глубоких нейронных сетей на основе распределений попарных мер схожести |
WO2018208813A1 (en) * | 2017-05-09 | 2018-11-15 | Sri International | Deep adaptive semantic logic network |
US10853724B2 (en) | 2017-06-02 | 2020-12-01 | Xerox Corporation | Symbolic priors for recurrent neural network based semantic parsing |
US10956310B2 (en) | 2018-08-30 | 2021-03-23 | International Business Machines Corporation | Automated test case generation for deep neural networks and other model-based artificial intelligence systems |
-
2021
- 2021-03-15 EP EP21768909.0A patent/EP4046076A4/en active Pending
- 2021-03-15 US US17/283,502 patent/US11694061B2/en active Active
- 2021-03-15 JP JP2022529036A patent/JP7391212B2/ja active Active
- 2021-03-15 WO PCT/US2021/022401 patent/WO2021184013A1/en unknown
-
2023
- 2023-10-11 JP JP2023175823A patent/JP2023179657A/ja not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070239632A1 (en) | 2006-03-17 | 2007-10-11 | Microsoft Corporation | Efficiency of training for ranking systems |
US20120158685A1 (en) | 2010-12-16 | 2012-06-21 | Microsoft Corporation | Modeling Intent and Ranking Search Results Using Activity-based Context |
JP2018041445A (ja) | 2016-09-05 | 2018-03-15 | 富士通株式会社 | 畳み込みニューラル・ネットワークからの知識抽出 |
Non-Patent Citations (1)
Title |
---|
SIKKA, Karan et al.,Deep Adaptive Semantic Logic (DASL): Compiling Declarative Knowledge into Deep Neural Networks,arXiv [online],2020年03月16日,https://arxiv.org/abs/2003.07344v1 [2023年4月4日検索] |
Also Published As
Publication number | Publication date |
---|---|
WO2021184013A1 (en) | 2021-09-16 |
US20230122497A1 (en) | 2023-04-20 |
JP2023179657A (ja) | 2023-12-19 |
EP4046076A4 (en) | 2023-11-29 |
EP4046076A1 (en) | 2022-08-24 |
US11694061B2 (en) | 2023-07-04 |
JP2023510462A (ja) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11842172B2 (en) | Graphical user interface to an artificial intelligence engine utilized to generate one or more trained artificial intelligence models | |
Zaccone et al. | Deep Learning with TensorFlow: Explore neural networks and build intelligent systems with Python | |
JP7162015B2 (ja) | 深層適応的意味論論理ネットワーク | |
US11836650B2 (en) | Artificial intelligence engine for mixing and enhancing features from one or more trained pre-existing machine-learning models | |
López-Chau et al. | Sentiment analysis of Twitter data through machine learning techniques | |
JP2023179657A (ja) | ニューラル記号コンピューティング | |
Lande et al. | GPT Semantic Networking: A Dream of the Semantic Web–The Time is Now | |
Cao et al. | Relmkg: reasoning with pre-trained language models and knowledge graphs for complex question answering | |
Khorashadizadeh et al. | Exploring in-context learning capabilities of foundation models for generating knowledge graphs from text | |
CN117296058A (zh) | 作为简单有效的对抗攻击方法的变体不一致攻击(via) | |
Jana et al. | The evolution and impact of large language model systems: A comprehensive analysis | |
Deng et al. | Convergence of two-layer regression with nonlinear units | |
Sur | CRUR: coupled-recurrent unit for unification, conceptualization and context capture for language representation-a generalization of bi directional LSTM | |
Zhang | Get rid of suspended animation problem: deep diffusive neural network on graph semi-supervised classification | |
Potapov et al. | Cognitive module networks for grounded reasoning | |
Cvejoski et al. | Recurrent point review models | |
Alyoubi et al. | Deep Recurrent Neural Model for Multi Domain Sentiment Analysis with Attention Mechanism | |
Xie et al. | A green pipeline for out-of-domain public sentiment analysis | |
Park et al. | An integrated approach to Bayesian weight regulations and multitasking learning methods for generating emotion-based content in the metaverse | |
Kozlovsky et al. | An Approach for Making a Conversation with an Intelligent Assistant | |
Liu et al. | Multi-perspective Feature Fusion for Event-Event Relation Extraction | |
Gui et al. | Design and Implementation of a Natural Language Interface for Controlling the Web of Things Devices | |
Kural Arasu Venkatesh | DIPLOMA THESIS ASSIGNMENT | |
Zhang | Unraveling Text Generation in LLMs: A Stochastic Differential Equation Approach | |
Lande et al. | GPT Semantic Networking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220707 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220518 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221006 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221006 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20220707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230412 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230710 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7391212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20240308 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |