JP7391212B2 - ニューラル記号コンピューティング - Google Patents

Description

相互参照
本出願は、その開示の全体が参照により本明細書に組み込まれる、２０２０年３月１０日に出願した米国仮特許出願第６２／９８７，６８７号、表題「Ｎｕｍｅｒｉｃ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ｎｅｕｒａｌ－ｓｙｍｂｏｌｉｃ ｃｏｍｐｕｔｉｎｇ」に対して米国特許法第１１９条に基づく優先権を主張する。

本明細書における概念の一実施形態は、ニューラル記号コンピューティング(neural-symbolic computing)における技法およびツールに関する。

深層ニューラルネットワークは、単独では、強力な一般化、例えば、新たな規則性、不規則性等を発見し、次にトレーニングセットを越えて外挿する能力が欠如している可能性がある。深層ニューラルネットワークは、既に既知であることを補間し、近似しているため、本質的に創造的になり得ず、取り込んだデータにおいて変動する、創造的に見える作業を生じることができるが、人間ができる意味での新たな発見を行うことができない。ニューラルネットワークは、通例、タスクの達成に個々に組み込まれた全ての部分問題をトレーニングし、次に全ての部分問題を組み合わせて全体として解決されるようにするための非常に長いトレーニング時間も有し得る。

機械学習は更なる問題を有する。例えば、多数の入力を有する勾配は、大きな誤差勾配が蓄積し、トレーニング中のニューラルネットワークモデルの重みにおける不正確性につながるときに問題である。問題は、ニューラルネットワークにおける構造を構成するネットワーク層を通じて真値を繰り返し乗算することによる成長により、ゼロ（「０」）に向かう限界において全ての勾配情報が本質的に除去され、それによって学習の勾配が非常に僅かとなることを通じて生じる。これは、結果として得られるモデルが不安定であり、トレーニングデータから学習することが不可能であるという影響を有する。

また、古典的ＡＩおよびニューラル記号コンピューティングの双方の知識表現は、計算複雑性を低減するために、１次論理の言語を多くの場合に制約する（例えば固定ルール）。

人工知能ベースの推論エンジンのための様々な方法、装置およびシステム、ならびにその推論プロセスの説明が本明細書に提供される。

ニューラル記号コンピューティングエンジンが、ｉ）知識表現、およびｉｉ）課題を解決するための推論、に対し機械学習を使用する１または複数の勾配ベースの機械学習モデルを作成するために互いに連携する２以上のモジュールを有する。ニューラル記号コンピューティングエンジンにおけるモデル表現モジュールが、少なくともロジット変換を含む１または複数の数学関数を、ニューラル記号コンピューティングエンジンの言語モジュールから供給された１次論理要素からの真値に適用することができる。

これらのおよび多数の他の実施形態が論じられる。

ｉ）知識表現、およびｉｉ）課題を解決するための推論、に対し機械学習を使用する１または複数の勾配ベースの機械学習モデルを作成するために互いに連携するように構成された２以上のモジュールを有する例示的なニューラル記号コンピューティングエンジンの一実施形態のブロック図である。

クエリサポートモジュールを有する例示的なニューラル記号コンピューティングエンジンの一実施形態であり、クエリサポートモジュールは、クエリ結果に説明可能性を与えるために、クエリされるコンパイルされた機械学習モデルが、機械学習モデル内のニューラルネットワークによってどのように決定が行われるかを表すことを可能にする、一実施形態の図である。

理論モジュールによってエンコードされ、勾配ベースの学習を受ける勾配ベースの機械学習モデルにおいて実施されるネットワークパラメータに関連付けられた例示的な定数および関数および述語のブロック図の一実施形態を示す図である。

ｉ）理論モジュールを介して専門知識から提供された表現および推論における知識アサーションと、ｉｉ）データでの反復トレーニングから導出された機械学習アサーションとの両方でトレーニングされている深層適応的意味論論理ネットワークの概念の一実施形態の図をグラフィックで示す図である。ステートメントのセットは、機械学習モデルの構造を作成するならびに表現および理由を最初に検査するためのルールのセットを作成する。

勾配ベースの機械学習モデルにおける学習に影響を及ぼすように固定ルールに対し指定の状況において指定の情報をマスキングするためのフレキシブルゲートとして機能するように構成されたサイドルール構成要素を有する例示的なニューラル記号コンピューティングエンジンの一実施形態のブロック図である。

ニューラル記号コンピューティングエンジンの一実施形態によるネットワーク環境において互いに通信するいくつかの電子システムおよびデバイスの図である。

本明細書で論じられるニューラル記号コンピューティングエンジンと連携する説明エンジンに関連付けられたシステムの一部とすることができる１または複数のコンピューティングデバイスの一実施形態の図である。

設計には、様々な修正形態、同等物、および代替形式があり得るが、その特定の実施形態が、例として図に示されており、ここで詳細に説明されることになる。設計は、開示される特定の実施形態に限定されず、反対に、特定の実施形態を用いる全ての修正形態、同等物、および代替形式を包含することが意図されていることを理解されたい。

以下の説明では、本設計の完全な理解を提供するために、特定のデータ信号、言及された構成要素、モデル数の例等の、多数の特定の詳細が記載され得る。しかしながら、当業者には、これらの特定の詳細がなくても本設計を実施することができることが明白となろう。他の事例として、本設計を不必要に不明瞭にすることを防ぐために、よく知られている構成要素または方法は詳細には記載されておらず、むしろブロック図に示されている。さらに、第１のサーバ等の特定の数に言及する可能性がある。しかしながら、数に関する特定の言及を、文字通りの順序として解釈すべきではなく、むしろ、第１のサーバは第２のサーバとは異なると解釈すべきである。このように、記載された特定の詳細は、単なる例であり得る。それらの特定の詳細は、本設計の趣旨および範囲から変動する可能性があるが、それでも、本設計の趣旨および範囲内に含まれることを企図することができる。用語「結合された」は、その構成要素に直接に接続されていること、または別の構成要素を介してその構成要素に間接的に接続されていることを意味すると定義される。

図１は、ｉ）知識表現（knowledge representation）、およびｉｉ）課題（issue）（例えば、タスク、問題（problem）または他の課題）を解決するための推論（reasoning）、に対し適応的意味論学習(adaptive semantic learning)等の機械学習を使用する、ニューラルネットワーク等の１または複数の勾配ベースの機械学習モデルを作成するために互いに連携するように構成された２以上のモジュールを有する例示的なニューラル記号コンピューティングエンジン（neural-symbolic computing engine）（深層適応的意味論論理（ＤＡＳＬ）等）の一実施形態のブロック図を示す。例示的なニューラル記号コンピューティングエンジン１００は、以下の例示的なモジュール、すなわち、理論モジュール、言語モジュール、モデル表現モジュール、理論表現モジュールおよび学習者アルゴリズムモジュールを含むことができる。ニューラル記号コンピューティングエンジン１００は、記号的推論をニューラルネットワーク技法と組み合わせて、各技法が単独で用いられるときに有する制限を克服する。

ニューラル記号コンピューティングエンジン１００は、互いに連携して、理論モジュールからの知識表現および推論を、専門家等の人によってニューラル記号コンピューティングエンジン１００の理論モジュールに供給された論理仕様等の情報から理論表現モジュールにおいてコンパイル（compile）された勾配ベースの機械学習モデルにエンコードさせる、２以上のモジュールを有する。

理論モジュールは、ユーザが仕様を供給するための入力、ならびに機械学習および推論によって解決される課題に関する他の問題固有の入力を有する。理論モジュールは、ｉ）問題に関する領域に固有の既知の用語、ならびにｉｉ）問題に関するその領域内の既知の規則および関係、の領域固有のデータベースと連携し、これを参照することもできる。このため、理論モジュールは、専門知識データベースおよび／または個別の専門用語の直接ユーザ入力を含む１または複数のソースから、人間が述べる知識表現および推論の入力を可能にする。表現および推論は、科学者がシステムを説明および理解することを可能にする用語集を提供するための構造体の定性的および定量的要素にラベルを付けるために導入される。

理論モジュールは、作成されている例示的なニューラルネットワークが、問題／課題を解決する方式を学習するために、他のモジュールと協働して、このユーザが提供した専門知識を、トレーニングデータと統合する。理論モジュールは、アサーションと、述語、関数および定数／エンティティの原子論理式とをエンコードし、パーサーモジュールを介して言語モジュールに送るように構成される。

言語モジュールは、他のモジュールと連携して機械学習を使用し、専門用語に関連する意味の分散型ベクトル表現を発見することによって、フォーマル科学言語を計算アルゴリズムに理解可能にさせるために、１次論理要素を使用する。言語モジュールによって使用される１次論理要素は、ルールが１次論理、例えば、次の３つ：ｉ）オントロジまたは知識基盤、ｉｉ）ＯＷＬ、ＫＩＦ、ＳＷＲＬ、および、ｉｉｉ）形式化することができる構造化された知識（例えば、フローチャート）のうちのいずれか、において表現可能なように、論理定数、述語、関数、およびエンティティを含むことができる。言語モジュールはまた、専門家のステートメントから導出され、パーサーモジュールによって解析された、全ての記号、定数、関数および述語のインベントリを含むように構成される。

ニューラル記号コンピューティングアーキテクチャにおけるモデル表現モジュール（例えば、人工知能エンジン）は、ニューラル記号コンピューティングエンジン１００の言語モジュールから供給された、述語、シンボル、関数およびエンティティ等の１次論理要素からの真値に、数学関数（ロジット変換、固定微分関数、算術演算等）を適用することができる。モデル表現モジュールは、言語モジュールからのステートメントにおける全てのシンボルを取り込み、次に、それらの各々を、勾配ベースの機械学習モデルの独自のサブグラフ／ネットワーク構造に関連付けることができる。モデル表現モジュールはまた、ステートメント内の全ての定数を取り込み、それらを勾配ベースの機械学習モデルのサブグラフへの入力として意味論的ベクトルにマッピングするように構成される。モデル表現モジュールはまた、供給されたステートメント内の全ての述語を取り込み、それらをニューラルネットワークのサブグラフにマッピングするように構成される（例えば、図３を参照）。

モデル表現モジュールは、式内の言語モジュールから、∧および→等の論理記号を組み込むことができ、∧および→はそれぞれ、「論理積」と「論理包含」とを指すことができる。

ニューラル記号コンピューティングエンジン１００は、言語モジュール内の１次論理における知識表現および推論を表すことができる。知識表現および推論の用語集を形成する関係および関数は、次に、機械推論ツリー等の任意のネットワーク構造を有することができる１または複数のニューラルネットワークにおいて実施される。知識表現および推論における論理結合子は、任意選択で、ネットワーク構造のボトムからネットワーク構造のトップレベルまでの複数の中間レベルを有する単一の深層ネットワークになるように組み立てられ、これは知識表現および推論の真実性の程度を最大にするようにトレーニングされる。

このため、モデル表現モジュールは、勾配ベースの機械学習モデルにおけるネットワークの真値を乗算する結果として得られる勾配の消失を回避するために、真値のロジット変換を使用する勾配ベースの機械学習モデルを作成することができる。真値は「０」～「１」の範囲を取り、ネットワーク構造のボトムからネットワーク構造のトップレベルまでの複数の中間レベルを有するネットワークにおける深層ネットワーク構造に由来する。逆伝播（backpropagation）をサポートする微分可能関数を生成するために、本明細書における手法は、真および偽のための「０」および「１」の純粋なブール値を、「０」～「１」の連続値と置き換える。

モデル表現モジュールは、結果として得られる勾配ベースの機械学習モデル内のネットワークにおける真値に適用することができる多くの異なる数学関数を有することができる。最新技術の下で、真の測定値は、結合の真の測定値を計算するために乗算される。０．０１の５つの真値を所与として、この積は、ｔ＝（０．０１）^５＝１０^－１０である。１－ｔは、標準的な４バイト算術において厳密に１として表される。真値が全て０．０２まで増大された場合、積はｔ＝（０．０２）^５＝３２＊１０^－１０となるが、１－ｔはここでも厳密に１として表される。このため、１－ｔがトレーニングのための損失関数の一部である場合、真値の増大は検出可能でない。これが「勾配消失」問題である。本発明の一実施形態において、真値に対するロジット変換は、真の測定値０．０１をｌｏｇ（０．０１／０．９９）＝－４．６として表す。５つの値の結合は（概ね）それらの和であり、－２３．０である。真の測定値が０．０２まで増大する場合、ロジット表現はｌｏｇ（０．０２／０．９８）＝－３．９であり、それらの５つを合算すると－１９．５になる。これらの数は、１．０に加えられるとき、丸め誤差につながらないため、勾配が容易に検出可能であり、学習を行うことができる。これにより、生成された勾配ベースの機械学習モデルが、問題を全体として学習および解決しながら、特徴／要因の更なる（より大量の）結合を検討することが可能になり、各々が特徴の結合の小さなセットを有する、より小さな部分問題になるように、その解決されている課題の部分を分解する必要がなく、これらの部分問題のうちの各１つを個々に学習およびトレーニングして解決する必要がなく、その後、部分問題の組み合わされた出力を使用して課題を全体として解決するようにトレーニングする必要がない。したがって、ニューラル記号コンピューティングエンジン１００におけるモデル表現モジュールは、１次論理要素からの真値にロジット変換を適用することができ、それによって、勾配ベースの機械学習モデルは、課題を全体として学習し、解決しながら、特徴の任意の量の結合を検討することができる。これによって、機械学習モデルのトレーニングデータ要件全体が低減し、問題／タスクを解決するようにトレーニングされる必要があるニューラルネットワークの量が大幅に低減される。これにより、トレーニング時間の全体量が大幅に低減される。例えば、互いに供給し合ういくつかのネットワーク構造から構成されたニューラルネットワークは、同じトレーニングセッション中に共にトレーニングすることができる（例えば、図５を参照）。

ニューラル記号コンピューティングエンジン１００のモジュールは、知識表現および推論からエンコードされたルールのセットを解釈するように構成される。また、ニューラル記号コンピューティングエンジン１００は、ルールの初期セットの異なる定数に関連付けられたベクトルを変更することによって、エンコードされたルールの初期セットの解釈を変更する。モデル表現モジュールは、ルールを可能な限り真にする、より最適な解釈を得るために、ｉ）制約として機能するルールのそのセットに対し、異なる定数に関連付けられたベクトルを適応させ、ｉｉ）異なる関数および述語に関連付けられたネットワークのパラメータのベクトルを適応させる、ことができる勾配ベースの学習を受ける勾配ベースの機械学習モデルをサポートする。真値は、ルールを可能な限り真にする最適な解釈を反映する。個々の真値が「１．０」により近いことは、より真であるとみなされ、「０．０」に値がより近いことは、より偽であるとみなされる。

ニューラル記号コンピューティングエンジン１００は、例えば、この課題を解決するためのニューラルネットワークをコンパイルすることができる。理論表現モジュールは、例えば、１次論理において表される知識から、領域固有のニューラル構成要素と共に深層ニューラルネットワークをコンパイルする。この例示的な深層ニューラルネットワークは、データおよび宣言型知識に対し同時にモデルを当てはめることによって、逆伝播を用いてトレーニングすることができる。ここで、ニューラル記号コンピューティングエンジン１００は、常識的な知識を課題（例えば、問題、タスク等）、例えば視覚関係検出タスクに適用する。

理論表現モジュールは、学習者アルゴリズムモジュールによって誘導された勾配ベースの学習を受ける勾配ベースの機械学習モデルとしてニューラルネットワークをコンパイルすることができる。

学習者アルゴリズムモジュールは、トレーニング中、ルールおよびサイドルールを使用することができる。

ここでもまた、言語モジュールは、知識アサーションを、学習されるネットワークを誘導する１次論理（例えば、固定論理）として配置し、これらを、背景知識アサーションに一致する挙動を学習するように制限することができる。しかしながら、このニューラル記号コンピューティングエンジン１００は、いくつかの知識アサーションがトレーニングデータを用いて学習するときにネットワークを誘導するための単なる安定したルールと対照的に、１次論理を変更および／または変形するフレキシブルゲートとしての役割を果たすサイドルールが供給されることも可能にする。ニューラル記号コンピューティングエンジン１００における学習者アルゴリズムモジュールは、知識表現が、学習中、ニューラルネットワークの「上」の固定ルールとして用いられる１次論理を使用して、勾配ベースの機械学習モデルのフレームワーク内のフレキシブルゲートとしての役割を果たすためのアーキテクチャを提供し、これらを、この背景知識と一致する挙動を学習するように制限するように構成された、サイドルール構成要素を有する。（図５を参照。）ルールは、単独では、独立して評価される構成要素ネットワークの性能を最適化するために良好に機能するが、ハイブリッド学習および推論システムを構築する観点において必ずしも制約的でないため、このシステムはサイドルール構成要素も使用することができる。

いくつかの状況において、サイドルール構成要素を用いる学習者アルゴリズムモジュールは、これらの固定ルールの適用を変更して、第１の勾配ベースの機械学習モデルにおける学習に影響を及ぼし、重要なタスクに集中することによって性能を改善する。

ルールのセットは制約として機能し、ベクトルを適応させるためにトレーニングデータから導出される、統計的に駆動された結論を使用する機械学習モデルのネットワークにグラフ化される。サイドルールは、これらの制約のためのフレキシブルゲートとして機能する。知識表現および推論を表すエンコードされたルールの解釈を機械学習モデルにおいて利用することができる。

図２は、クエリサポートモジュールを有する例示的なニューラル記号コンピューティングエンジンの一実施形態であり、クエリサポートモジュールは、クエリ結果に説明可能性を与えるために、クエリされるコンパイルされた機械学習モデルが、機械学習モデル内のニューラルネットワークによってどのように決定が行われるかを表すことを可能にする。

例示的なニューラル記号コンピューティングエンジン１００は、理論モジュール、言語モジュール、モデル表現モデル、理論表現モジュール、学習者アルゴリズムモジュール、クエリサポートモジュール等の類似のモジュールを含むことができる。

例示的な理論モジュールは、ｉ）機械学習モデルをトレーニングするために使用されるデータ内で発見された意味論的に類似の専門用語がモジュールによって論理的に関連付けられることを可能にすることと、ｉｉ）ユーザによって供給された意味論的に類似の用語のリストがニューラル記号コンピューティングエンジン１００のモジュールによって論理的に関連付けられることを可能にすることと、ｉｉｉ）意味論的に類似の専門用語を論理的に関連付けるためにモジュールによって使用されることになるこれらの２つの任意の組合せとによって、エンコードされたルールの初期セットを変更するように構成することができることに留意されたい。

パーサーモジュールの例示的な実施形態が、理論モジュールと別個であるが、依然として、各ステートメントを解析してそのステートメント内の定数、記号、述語および／または関数のカテゴリへの解析ストリームを生み出すように構成される。また、パーサーモジュールは、各ステートメントを独自の木構造のノードに、次にそのステートメント内の各述語および／または関数のノードのレイヤに向けるために、ノードモジュールの理論有向アクリルグラフ（theory directed acrylic graph）（理論ＤＡＧ）と連携して各ステートメントを経由するように構成される。

理論表現モジュールは、ニューラルネットワーク等の勾配ベースの機械学習モデルをアセンブルして、コンパイルする。コンパイルすることができるニューラルネットワークの例示的なタイプは、フィードフォワードニューラルネットワーク、深層ニューラルネットワーク、放射基底関数ニューラルネットワーク、コホーネン自己組織化ニューラルネットワーク、リカレントニューラルネットワーク、畳込みニューラルネットワーク等およびこれらの組合せを含むことができる。同様に、ニューラル記号コンピューティングエンジン１００は、１または複数のニューラルネットワークにおいて実施される特定のニューラル記号コンピューティングエンジンではなく、任意の人工知能ベースの微分可能な論理エンジンとして実施することができる。

一実施形態において、例示的な推論エンジンが、ユーザの問題の記述を、機械ベースの推論プロセスの階層アーキテクチャを構成する層に変換する方式に関する更なる詳細を、参照により本明細書に組み込まれる、２０２０年６月１８日に公開された米国特許出願公開第２０２０／０１９３２８６号である、表題「ＤＥＥＰ ＡＤＡＰＴＩＶＥ ＳＥＭＡＮＴＩＣ ＬＯＧＩＣ ＮＥＴＷＯＲＫ」の２０１９年１１月５日に出願された米国特許出願第１６／６１１，１７７号に見ることができる。

理論表現モジュールは、開発者が、領域知識を機械学習システムの設計およびトレーニングに組み込むことを可能にする。システムは、結果として、より少ないデータからより良好な性能を学習することができる。勾配ベースの機械学習モデルは、所与のアサーションがより真であるか（「１」により近いことによって表される）またはより偽であるか（「０」により近いことによって表される）を計算するように学習することができる。ニューラル記号コンピューティングエンジン１００によって作成されるニューラルネットワークは、推論の中間レベルのために「０」と「１」との間の複数の値を使用してアサーションされた知識が真になるようにトレーニングすることができる。一実施形態において、ニューラル記号コンピューティングエンジン１００が、課題が解決されるには、いくつかの要素しか必要とされないと判断すると、ニューラル記号コンピューティングエンジン１００は、ロジット変換を用いないニューラルネットワークをコンパイルすることができる。僅かな量のレベルの推論を用いて作成されたニューラルネットワークにおいて、ネットワークは以下のようにトレーニングすることができる。システム全体をトレーニングするために、従来のシステムについて論じたように、「０」と「１」との間の真値は、大域真値を得るように数学的に乗算される。例えば、事実Ａについて５０％確信があり、事実Ｂについて５０％確信があり、かつ事実Ｃについて５０％確信がある場合、３つ全ての事実についてどれだけ確信があるか？答えは、５０％×５０％×５０％＝１２．５％である。これらのシステムがデータに関するアサーションを行うとき、各ステートメントはデータ点ごとに真でなくてはならない。上記で論じたように、乗算される値の数は、データのサイズと共に増大する。論じたように、共に乗算される、「０」と「１」との間の多数の実数の数学的積は「０」に近づき、その導関数についても同様である。導関数が「０」に近づくとき、学習はノイズを受けるようになり、極度に低速に行われるかまたは全く行われなくなる。このため、単に真値を乗算して学習する技法を用いる従来のシステムは、そのニューラルネットワークによって検討される大きなデータセット／大量の特徴と共に機能することができなかった。しかしながら、図１に論じられるように、ニューラル記号コンピューティングエンジン１００は、より大きな課題を解決するニューラルネットワークを作成するようにロジット変換を使用することができる。

例えば、深層ネットワーク構造は、ニューラルネットワークにおける課題（例えば、タスク、問題）を解決するために、例えば、構造のボトムから構造のトップまで向かう、例えば５つを超えるレベルを有する決定木とすることができる。

ここでもまた、これらの深層ネットワーク構造の場合、モデル表現モジュールは、勾配ベースの機械学習モデルにおいて検討されている特徴の２以上の結合からの真値の表現に対しロジット変換（確率のオッズの対数）を適用して、タスク／問題／課題を解決することができ、これによって、大規模な勾配情報の評価が可能になり、推論構造において複数の中間レベルを有する勾配ベースの機械学習モデルにおける学習がそのトップレベルの結果に到達することを可能にすることができる。一実施形態において、ニューラルネットワークにおける勾配は、正しい方向および正しい量でネットワークの重みを更新するために使用されるニューラルネットワークのトレーニング中に計算される方向および大きさを示す誤差勾配であり得る。

使用することができる例示的なロジット変換
ロジット変換は、勾配の消失を軽減するためにニューラル記号コンピューティングにおいて適用される数学演算とすることができる。単純なロジット変換を使用することができる。Ｌｏｇｉｔ（ｘ）＝ｌｏｇ（ｘ）－ｌｏｇ（１－ｘ）。全ての実数はこの変換の範囲内にある。真値の積は、ロジットの和に変換される。和の各項は、どれだけ多くの更なる項が加算されるかに関わらずその導関数を保持するため、データに対する制限が取り除かれる。

特徴結合に対し更に複雑なロジット変換を適用することができる。真値ｔ１およびｔ２ならびに対応するロジットＩ１およびＩ２について、否定演算子（￢）および連結演算子（∧）を以下のように定義する。
￢｜１＝－｜１
および
ｌ１∧ｌ２＝ｌｏｇｉｔ（ｔ１・ｔ２）＝ｌｏｇｔ１＋ｌｏｇｔ２－ｌｏｇ（ｌ－ｔ１・ｔ２）

ロジット変換の例示的な近似
特殊な事例は、時として、上記の数学的近似対ロジット変換式全体を使用する。ロジット変換の近似は以下とすることができる。
ｌ１^＊ｌ２～－ｌｎ（ｅ^－ｌ１＋ｅ^－ｌ２）

近似は、検討されている特徴の積（ｔ１・ｔ２）が「１」であるかまたは「１」に近いときに使用され得る。

ニューラル記号コンピューティングエンジン１００は、限定ではないが、トレーニングデータからの学習を改善するためにユーザが提供した形式知識を組み込むニューラルネットワークを含む、勾配ベースの機械学習モデルの生成を自動化するためのフレームワークを提供する。ニューラル記号コンピューティングエンジン１００は、１次論理に捕捉された知識表現を使用することができ、この知識表現は、無限領域からの有限サンプリングを使用し、正しい真値に収束することができる。ニューラル記号コンピューティングエンジン１００は、勾配の消失を回避するためにロジット変換に適用する能力を加えることによって、従来のニューラル記号の機能を改善し、タスク／課題／問題を解決するときにより多くの特徴を計算に入れるようにより深い論理構造を作成することを可能にし、知識と学習構成要素との間のより豊富なインタラクションを可能にする。

ニューラル記号コンピューティングエンジン１００は、より最適な解釈を伝達するための確信度スコアによって示される、表現および推論のアサーションを可能な限り真にすること、および機械学習モデルをトレーニングするために使用されるデータと一致することを目標として、定数に関連付けられたベクトル値を適応させ、ニューラルネットワークのパラメータを適応させる。より高い確信度スコアは、推論が真であり、第１の機械学習モデルをトレーニングするために用いられるデータと一致していることを伝達する。

ニューラル記号コンピューティングエンジン１００は、サイドルールを適用する能力を加えることによって、従来のニューラル記号の機能を改善する。

一実施形態において、ニューラル記号コンピューティングエンジン１００は、知識表現および推論のために適応的セマンティック学習を使用する１または複数の勾配ベースの機械学習モデルを作成するために、２以上のモジュールを互いに連携させる。

図３は、理論モジュールによってエンコードされ、勾配ベースの学習を受ける勾配ベースの機械学習モデルにおいて実施されるネットワークパラメータに関連付けられた例示的な定数および関数および述語のブロック図の一実施形態を示す。

言語モジュールからの例示的なルールの初期セットは以下とすることができる：
（∀ｘ，ｙ）（ｆｒｉｅｎｄｓ（ｘ，ｙ）→ｆｒｉｅｎｄｓ（ｙ，ｘ））
（∀ｘ，ｙ）（（ｓｍｏｋｅｓ（ｘ）∧ｆｒｉｅｎｄｓ（ｘ，ｙ））→ｓｍｏｋｅｓ（ｙ））
（∀ｘ）（ｓｍｏｋｅｓ（ｘ）→ｈａｓＣａｎｃｅｒ（ｘ））
ｘおよびｙベクトルがルールにおいて変化するとき、それらのルールの解釈は変化する。

加えて、ステートメントからの、ボブ、ピーター、ヒューイ、またはルイ等の各定数は、ステートメントから、癌である、喫煙する、友達である等の述語および／または関数を有することができる。例示的述語は、癌である、喫煙する、友達である等を含む。

言語モジュールは、ボブ、ピーター、ルイ等の各人／定数をパラメータ化されたベクトルにマッピングする。言語モジュールは、各述語を、パラメータ化されたネットワーク／論理推論構造にマッピングする。モジュール表現モジュールは、公式解析木から各パラメータ化されたネットワークの完全なネットワークを構築する。例示的な論理推論構造は特徴の４つの結合を有する。ここで、ニューラルネットワークは合成的（ｃｏｍｐｏｓｉｔｉｏｎａｌ）であるため、言語モジュールは、モジュール表現モジュールと連携して、機能ごとに独立したネットワークを構築する。次に、モジュール表現モジュールは、解析木に基づいて、これらを単一のネットワークに組み立てる。これにより、ニューラル記号コンピューティングエンジン１００は合成的になり、ここで、例えば、深層ニューラルネットワークは、ユーザによって供給された理論に基づいてオンザフライで組み立てられる。

このため、モデル表現モジュール（例えば、タルスキーモデル）および／または言語モジュールは、全ての定数をステートメントに取り込み、これらをニューラルネットワークのサブグラフへの入力として意味論的ベクトルにマッピングすることができる。また、モジュールは全ての述語を供給されたステートメントに取り込み、これらをニューラルネットワークのサブグラフにマッピングし、次にステートメントの解析木から完全なニューラルネットワークを構築する。

ニューラル記号コンピューティングエンジン１００は、勾配の消失を回避し、勾配ベースの機械学習モデルにおけるより深層の構造上の論理構造の作成を可能にすることによって更に機能し、これにより、知識と学習構成要素との間のより豊富なインタラクションが可能になる。論理推論構造において、データは下から上にネットワークを流れ、出力が生成されてネットワークのトップから出る。ニューラル記号コンピューティングエンジン１００は、損失を最小限にしてモデルパラメータを学習するために、解析木を通じた逆伝搬も用いる。

図４は、ｉ）理論モジュールを介して専門知識から提供された表現および推論における知識アサーションと、ｉｉ）データでの反復トレーニングから導出された機械学習アサーションとの両方でトレーニングされている深層適応的意味論論理ネットワークの概念の一実施形態をグラフィックで示す。ステートメントのセットは、機械学習モデルの構造を作成し、表現および理由を最初に検査するためのルールのセットを作成する。続いて、トレーニングされているデータが、ルールのセットの現在の解釈を作成するために、そのルールのセットで使用される言語／専門用語の理解を訂正するためのフィードバックとして使用される。このため、１次論理は、第１の勾配ベースの機械学習モデルにおける学習を誘導する固定ルールを作成し、サイドルール構成要素は、第１の勾配ベースの機械学習モデルにおける学習に影響を及ぼすように、固定ルールに対し逆伝播された指定の状況において指定の情報をマスキングする。

図５は、勾配ベースの機械学習モデルにおける学習に影響を及ぼすように固定ルールに対し指定の状況において指定の情報をマスキングするためのフレキシブルゲートとして機能するように構成されたサイドルール構成要素を有する例示的なニューラル記号コンピューティングエンジンの一実施形態のブロック図を示す。

図５を参照すると、論じたように、専門知識をニューラル記号コンピューティングエンジンに供給することができる。専門知識表現は、例えば以下であり得る。１．人→バイクに乗ることができる；２．バイク→乗ることができる状態にある；３．人「Ａ」→バイク「Ｂ」に乗ることができ、このため乗っている。示すように、ニューラル記号コンピューティングエンジン１００は上記の特徴を解析し、検討されている特徴の２以上の結合を用いて計算解析木をコンパイルする。ニューラル記号コンピューティングエンジン１００は、自身のモジュールに、損失関数；データタイプ－ブール、実数インデックス；述語および関数；ならびにシンボルを含む論理演算子を調べさせる。サイドルールは、このモデルにおける学習を制御するフレキシブルゲートとして用いることができる。

ラベル付けされたトレーニングサンプルから学習することに加えて、この例におけるニューラル記号コンピューティングエンジン１００は、専門家からの知識表現を組み込む。表された知識表現「ＣａｎＲｉｄｅ」は、「ｒｉｄｉｎｇ」に対する関係を有する。常識的な知識表現は、予測関係が「Ｒｉｄｉｎｇ」であるとき、（１）主語は乗ることが可能でなくてはならず、（２）目的語は乗ることができなくてはならず、（３）主語は目的語の上になくてはならない。このため、ルールＲｉｄｉｎｇ（ｌ）→ＣａｎＲｉｄｅ（ｓ）は、乗ることができる主語のインデックスにおいてＴｒｕｅである複数の真値（例えば、０；０；１；：：：；０；１；０ｉ）のベクトルとしてＣａｎＲｉｄｅを定義することによって予測器とインタラクトすることができる。そのような知識表現をルールとして組み込む結果として、トレーニングデータにおける一般化を改善する、例えば新規の例を認識するための高レベルの意味論を用いるより頑健なモデルが得られる。これを達成することは、ニューラルネットワークにおける連続表現と、専門知識を定式化するのに使用される不連続表現との融合を必要とする。ニューラル記号コンピューティングエンジン１００のフレームワークは、専門知識（１次論理によって表される）を解析して連続関数の解析木に入れることによってこれを達成する。そして次に、ネットワーク構造（例えば、解析木）を通じた結果の逆伝播／フィードバックによって、機械学習モデルがモデルパラメータを共同でトレーニングし、データおよび専門知識を整合させる。サイドルール構成要素は、学習に影響を及ぼす固定ルールに対する指定の状況における指定の情報をマスキングするためのフレキシブルゲートとして機能する。機械学習は、ｉ）述語および関数のための関係分類器、ｉｉ）主語の分類器、およびｉｉｉ）知識表現および推論において論理結合を通じて結合された目的語分類器、の３つの個々のネットワーク構造を組み合わせるニューラルネットワークにおいて達成可能であり、これらは、ネットワーク構造のボトムから、ネットワーク構造のトップレベルまでの複数の中間レベルを有する単一の深層ネットワークになるように組み立てられ、これは知識表現および推論の真実性の程度を最大にするようにトレーニングされる。

バイクの例では、例示的なネットワークは、例えば、ニューラル記号コンピューティングエンジン１００によって作成された画像分類ネットワーク構成要素の組み立てを通じて設定された単純なルールを実施する。

ニューラル記号コンピューティングエンジン１００は、この乗る課題を解決するためのニューラルネットワークを構築する。図５に示す課題は、主語および目的語を含むバウンディングボックス間の関係を予測する。ラベル付けされたトレーニングサンプルから学習することに加えて、ニューラルネットワークは、予測される関係が「Ｒｉｄｉｎｇ」である場合、主語は乗ることが可能でなくてはならず、目的語（例えば、バイク）は乗ることができなくてはならず、主語は目的語の上になくてはならないという常識的知識を組み込む。そのような知識表現を組み込む結果として、一般化を改善し、少ない数の例から学習する、高レベルの意味論を用いるより頑健なモデルが得られる。ニューラル記号コンピューティングエンジン１００は、知識のアサーションからニューラルネットワークをコンパイルし、構成要素ネットワークにおける領域の用語集の基礎となることによって、このニューラルネットワークにおける連続表現と、知識表現のために一般的に用いられる離散表現との統合を達成し、モデルパラメータの勾配ベースの学習を可能にする。

ニューラル記号コンピューティングエンジン１００は、データに関するラベル状のアサーションを扱い、知識とデータとの間の任意の区別を取り除く。これによって、教師あり、半教師あり、教師なし、および遠隔教師あり学習を、単一のトレーニング体制下で単一のネットワークにおいて同時に行うことができるメカニズムが提供される。

サイドルール構成要素
学習アルゴリズムモジュールと連携する言語モジュールは、追加の制約を強制し、重要な部分問題に集中することによって性能を改善するのではなく、生成された機械学習モデルに対する制約を緩和するために、供給された知識表現が、生成された機械学習モデルにおける検討からの知識表現に基づいて論理的に可能でない可能性を除去および／または補正するための安定したフィルタとして用いられる、構成要素ネットワークに逆伝播する情報を制限する生成された勾配ベースの機械学習モデル内のサイドルール構成要素の生成を引き起こすことができる。

言語モジュールは、情報が特定の状況において流れることを可能にし、他の状況においてその流れをブロックするフレキシブルゲートとして動作するサイドルールを作成するために、理論モジュールからの、例えば「ｂｅｓｉｄｅｓ」の宣言型知識をサポートすることができる。ここでもまた、ニューラル記号コンピューティングエンジン１００は、１次論理を使用して、ニューラルネットワークの学習等の勾配ベースの機械学習モデルにおける学習を誘導する固定ルールを作成する。サイドルール構成要素は、勾配ベースの機械学習モデルにおける学習に影響を及ぼす固定ルールに対する指定の状況における指定の情報をマスキングするためのフレキシブルゲートとして機能する。サイドルール構成要素は、１次論理制約に違反することなく述語および関数に対する制限された定量化を可能にする構文拡張を提供する。単に特定の状況をマスキング除去する副知識は、システムの全体学習性能を改善する。サイドルールは、状況の第１のセットにおけるいくつかの可能性をフィルタリング除去し、かつ／または分析されている特徴の同じセットについて状況の第２のセットにおける可能性を補正することができる。このため、サイドルール構成要素はゲートとして動作し、情報が特定の状況において流れることを可能にし、他の状況においてその情報の流れをブロックする。これを使用して、ネットワークが学習することができるものを単に制限するのではなく、現在未知の関係および情報を学習するための更なる自由度をニューラルネットワークに与えることができる。ニューラルネットワークは、その出力がいくつかの状況において無視されることにより、もはやこれらの状況に対処する必要がないため、更なる自由度を有する。これにより、ニューラルネットワークが、タスクの最も重要な態様を最も良好に学習するために自身の限られたリソースを自由に配分できるようにしておく。状況のセットにおけるフレキシブルゲートとしての役割を果たすサイドルールは、既存の安定したルールを変更して、領域において知られている知識と、ユーザによって供給される情報と、学習構成要素との間のより豊富なインタラクションを可能にする。サイドルール構成要素は、学習の性能（正確性）を改善するために、ユーザおよび／または領域固有のデータベースが、例えば、常識的知識の第１の状況を追加して、固定ルールを変更し、かつ／またはニューラルネットワークの出力を無視することを可能にすることができる。ネットワークは、その出力がいくつかの状況において無視されることにより、もはやこれらの状況に対処する必要がないため、更なる自由度を有する。これにより、ネットワークが、タスクの最も重要な態様を最も良好に学習するために自身の限られたリソースを自由に配分できるようにしておく。

複数の中間レベルを有するネットワーク構造
図５におけるネットワーク構造は、ネットワーク構造のボトムからネットワーク構造のトップレベルまで複数の中間レベルを有する。ニューラルネットワークは、ｉ）述語および関数の関係分類器、ｉｉ）主語の分類器、およびｉｉｉ）目的語分類器、の３つの個々のネットワーク構造（各々がいくつかのレベルから構成される）を組み合わせ、これらは次に知識表現および推論における論理結合子を通じて連結され、特定の人が特定のバイクである／に乗ることができるか否かのトップレベルの結果までの複数の中間レベルを有する単一の深層ネットワークに組み立てられる。ニューラル記号コンピューティングエンジン１００は、スケーリングするためのロジット技法を使用して、より大きなデータセットに適用し、より良好な解決（トレーニングにおける誤差がより少ない）になるようにトレーニングする。この影響は、第１に元の０－１表現の下で、第２にロジット表現下で所与のトレーニングデータセットで所与のニューラルネットワークをトレーニングし、結果を比較することによって、直接測定することができる。結果は、機械学習タスクにおける性能（正確性）を増大させる。ロジット変換およびサイドルールを学習におけるフレキシブルゲートとして使用することは、より高速な学習、より正確な学習、およびより大きなデータセットを用いて作業する能力の利点を有する。

ネットワーク
図６は、ニューラル記号コンピューティングエンジンの一実施形態によるネットワーク環境において互いに通信するいくつかの電子システムおよびデバイスの図を示す。ネットワーク環境８００は、通信ネットワーク８２０を有する。ネットワーク８２０は、光ネットワーク、セルラネットワーク、インターネット、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、衛星ネットワーク、ファイバネットワーク、ケーブルネットワーク、およびその組合せから選択される１または複数のネットワークを含み得る。一実施形態において、通信ネットワーク８２０は、インターネットである。図示するように、多数のサーバコンピューティングシステムと、通信ネットワーク８２０を介して互いに接続された多数のクライアントコンピューティングシステムとが存在し得る。しかしながら、例えば、単一クライアントコンピューティングシステムはまた単一サーバコンピューティングシステムに接続され得ることを理解されたい。したがって、サーバコンピューティングシステムおよびクライアントコンピューティングシステムの任意の組合せが、通信ネットワーク８２０を介して互いに接続し得る。

ニューラル記号コンピューティングエンジンは、このようなネットワークを使用して、ニューラルネットワークを作成およびトレーニングするためのトレーニングデータを供給することができる。ニューラル記号コンピューティングエンジンは、このネットワーク環境、例えば、サーバ８０４Ａおよびデータベース８０６Ａのクラウドプラットフォーム、ローカルサーバ８０４Ｂおよびデータベース８０６Ｂ、ラップトップ８０２Ｄ等のデバイス上、スマート自動車８０２Ｄ等のスマートシステム、および他の類似のプラットフォームに存在し、これらにおいて実装することもできる。

通信ネットワーク８２０は、少なくとも第１のサーバコンピューティングシステム８０４Ａおよび第２のサーバコンピューティングシステム８０４Ｂから選択された１または複数のサーバコンピューティングシステムを、互いに、そして更に少なくとも１または複数のクライアントコンピューティングシステムに接続することができる。サーバコンピューティングシステム８０４Ａは、例えば、１または複数のサーバシステム２２０であってもよい。サーバコンピューティングシステム８０４Ａおよび８０４Ｂは、データベース８０６Ａおよび８０６Ｂ等の系統的なデータ構造体を任意選択で各々含むことができる。１または複数のサーバコンピューティングシステムの各々は、１または複数の仮想サーバコンピューティングシステムを有することができ、複数の仮想サーバコンピューティングシステムは、設計によって実装され得る。１または複数のサーバコンピューティングシステムの各々は、データ完全性を保護するために、１または複数のファイヤーウォールを有することができる。

少なくとも１または複数のクライアントコンピューティングシステムは、第１のモバイルコンピューティングデバイス８０２Ａ（例えば、アンドロイドベースのオペレーティングシステムを有するスマートフォン）、第２のモバイルコンピューティングデバイス８０２Ｅ（例えば、ｉＯＳベースのオペレーティングシステムを有するスマートフォン）、第１のウェアラブル電子デバイス８０２Ｃ（例えば、スマートウォッチ）、第１のポータブルコンピュータ８０２Ｂ（例えば、ラップトップコンピュータ）、第３のモバイルコンピューティングデバイスまたは第２のポータブルコンピュータ８０２Ｆ（例えば、アンドロイドまたはｉＯＳベースのオペレーティングシステムを有するタブレット）、第１のスマート自動車８０２Ｄに組み込まれたスマートデバイスまたはシステム、第１のスマート自転車に組み込まれたスマートデバイスまたはシステム、第１のスマートテレビジョン８０２Ｈ、第１の仮想現実または拡張現実ヘッドセット８０４Ｃ等から選択することができる。クライアントコンピューティングシステム８０２Ｂは、例えば、１または複数のクライアントシステム２１０のうちの１つであってもよく、他のクライアントコンピューティングシステム（例えば、８０２Ａ、８０２Ｃ、８０２Ｄ、８０２Ｅ、８０２Ｆ、８０２Ｇ、８０２Ｈ、および／または８０４Ｃ）のうちの任意の１または複数は、例えば、ソフトウェアアプリケーション、または人工知能のトレーニングをその中で行いかつ／またはその中に配備することができるハードウェアベースのシステムを含むことができる。１または複数のクライアントコンピューティングシステムの各々は、データ完全性を保護するための１または複数のファイヤーウォールを有することができる。

「クライアントコンピューティングシステム」および「サーバコンピューティングシステム」という用語の使用は、一般に通信を開始するシステムおよび一般に通信に応答するシステムを示すことが意図されていることを理解されたい。例えば、クライアントコンピューティングシステムは、一般に通信を開始することができ、サーバコンピューティングシステムは、一般に通信に応答する。明示的に記述されていない限り、階層は暗示されていない。両方の機能は、単一通信システムまたはデバイス内でもよく、その場合、クライアント－サーバおよびサーバ－クライアントの関係はピアツーピアとしてみることができる。したがって、第１のポータブルコンピュータ８０２Ｂ（例えば、クライアントコンピューティングシステム）およびサーバコンピューティングシステム８０４Ａが両方とも通信を開始し、これに応答することができる場合、それらの通信は、ピアツーピアと見ることができる。加えて、サーバコンピューティングシステム８０４Ａおよび８０４Ｂは、ネットワーク８２０を通して互いに通信することを可能にする回路およびソフトウェアを含む。サーバ８０４Ｂは、例えば、シミュレータデータをサーバ８０４Ａに送ることができる。

サーバコンピューティングシステムの任意の１または複数をクラウドプロバイダとすることができる。クラウドプロバイダは、クラウド（例えば、インターネット等のネットワーク８２０）内にアプリケーションソフトウェアをインストールし、動作させることができ、クラウドユーザは、クライアントコンピューティングシステムのうちの１または複数からアプリケーションソフトウェアにアクセスすることができる。一般に、クラウド内にクラウドベースのサイトを有するクラウドユーザは、アプリケーションソフトウェアが実行されるクラウドインフラストラクチャまたはプラットフォームを１人で管理することはできない。したがって、サーバコンピューティングシステムおよびその系統的なデータ構造体は、共用リソースでもよく、各クラウドユーザは、共用リソースの或る特定の量の専用使用を与えられる。各クラウドユーザのクラウドベースのサイトは、クラウド内の仮想量の専用空間および帯域幅を与えられ得る。クラウドアプリケーションは、変化する作業需要を満たすために実行時間に複数の仮想機械にタスクをコピーすることによって達成することができる、拡張可能性で他のアプリケーションとは異なり得る。ロードバランサは、仮想機械のセットで作業を分散する。このプロセスは、単一アクセスポイントのみを見るクラウドユーザに対して透過的である。

クラウドベースのリモートアクセスは、クライアントコンピューティングシステムに常駐するウェブブラウザアプリケーション等のクライアントコンピューティングシステム上のアプリケーションとの要求および応答周期に従事するためにハイパーテキスト転送プロトコル（「ＨＴＴＰ」）等のプロトコルを利用するためにコード化することができる。クラウドベースのリモートアクセスは、いつでもおよび／またはどこでも、スマートフォン、デスクトップコンピュータ、タブレット、または任意の他のクライアントコンピューティングシステムによってアクセスされ得る。クラウドベースのリモートアクセスは、１）全てのウェブブラウザベースのアプリケーションからの要求および応答周期と、３）専用オンラインサーバからの要求および応答周期と、４）クライアントデバイス上に常駐するネイティブアプリケーションと、別のクライアントコンピューティングシステムへのクラウドベースのリモートアクセスとの間の直接の要求および応答周期と、５）これらの組合せとに従事するようにエンコードされる。

一実施形態において、サーバコンピューティングシステム８０４Ａは、サーバエンジン、ウェブページ管理構成要素または直接アプリケーション構成要素、コンテンツ管理構成要素、およびデータベース管理構成要素を含み得る。サーバエンジンは、基本の処理およびオペレーティングシステムレベルのタスクを実行することができる。ウェブページ管理構成要素は、ブラウザを介して、デジタルコンテンツおよびデジタル広告の受信および提供に関連するウェブページまたは画面の作成および表示またはルーティングを処理することができる。同様に、直接アプリケーション構成要素は、ユーザのデバイスに常駐するクライアントアプリと連動することができる。ユーザ（例えば、クラウドユーザ）は、それに関連するユニフォームリソースロケータ（「ＵＲＬ」）を用いてサーバコンピューティングシステムのうちの１または複数にアクセスすることができる。コンテンツ管理構成要素は、本明細書に記載の実施形態において機能のほとんどを処理することができる。データベース管理構成要素は、データベースに関する記憶および取得タスクと、データベースへのクエリと、データの記憶とを含み得る。

一実施形態において、サーバコンピューティングシステムは、ウインドウ、ウェブページ等に情報を表示するように構成され得る。任意のプログラムモジュール、アプリケーション、サービス、プロセス、および、他の類似の実行可能なソフトウェアを含むアプリケーションは、例えばサーバコンピューティングシステム８０４Ａで実行されると、サーバコンピューティングシステム８０４Ａに表示画面空間の一部においてウインドウおよびユーザインターフェース画面を表示させることができる。

各アプリケーションは、所望の情報の詳細を取得するためのフィールドの提示等、実行するためにソフトウェア構成要素がコード化される機能を実行するために記述されたコードを有する。例えばサーバコンピューティングシステム８０４Ａ内の、アルゴリズム、ルーチン、およびエンジンは、提示フィールドから情報を取得し、データベース（例えば、データベース８０６Ａ）等の適切な記憶媒体にその情報を配置することができる。比較ウィザードは、データベースを参照するために記述することができ、そのようなデータを活用することができる。アプリケーションは、例えば、サーバコンピューティングシステム８０４Ａでホストされてもよく、例えば、クライアントコンピューティングシステム８０２Ｂの、特定のアプリケーションまたはブラウザに供されてもよい。アプリケーションは、そのとき、詳細の入力を可能にするウインドウまたはページを供する。

コンピューティングシステム
図７は、本明細書で論じられるニューラル記号コンピューティングエンジンに関連付けられたシステムの一部とすることができる１または複数のコンピューティングデバイスの一実施形態の図を示す。コンピューティングデバイス９００は、命令を実行するための１または複数のプロセッサまたは処理ユニット９２０、情報を記憶するための１または複数のメモリ９３０～９３２、コンピューティングデバイス９００のユーザからデータ入力を受け付けるための１または複数のデータ入力構成要素９６０～９６３、管理モジュールを含む１または複数のモジュール、コンピューティングデバイス外部の他のコンピューティングデバイスと通信するための通信リンクを確立するためのネットワークインターフェース通信回路９７０、センサからの出力が特定のトリガ条件を検知してこれに応じて１または複数の事前にプログラムされたアクションを生成するために使用される、１または複数のセンサ、１または複数のメモリ９３０～９３２および他の構成要素に記憶された情報の少なくとも一部を表示するための表示画面９９１を含み得る。ソフトウェア９４４、９４５、９４６に実装されたこのシステムの部分は、１または複数のメモリ９３０～９３２に記憶されてもよく、１または複数のプロセッサ９２０によって実行されることに留意されたい。

システムメモリ９３０は、読み取り専用メモリ（ＲＯＭ）９３１およびランダムアクセスメモリ（ＲＡＭ）９３２等の揮発性および／または不揮発性メモリの形でコンピュータ記憶媒体を含む。これらのコンピューティング機械可読媒体は、コンピューティングシステム９００によってアクセスされ得る任意の入手可能な媒体でもよい。限定ではなく例として、コンピューティング機械可読媒体の用途は、コンピュータ可読命令、データ構造体、他の実行可能ソフトウェア、または他のデータ等の情報の記憶を含む。コンピュータ記憶媒体は、限定ではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または、所望の情報を記憶するために使用することができ、コンピューティングデバイス９００によってアクセスすることができる任意の他の有形媒体を含む。ワイヤレスチャネル等の一時的媒体は、機械可読媒体に含まれない。通信媒体は、通常は、コンピュータ可読命令、データ構造体、他の実行可能ソフトウェア、または他の移送機構を実施し、任意の情報配信媒体を含む。

システムは、起動中等、コンピューティングシステム９００内の要素間での情報の転送を助ける基本ルーチンを含み、通常はＲＯＭ９３１に記憶される、基本入力／出力システム９３３（ＢＩＯＳ）を更に含む。ＲＡＭ９３２は、通常は、処理ユニット９２０に直ちにアクセス可能なおよび／または処理ユニット９２０によって現在動作させられているデータおよび／またはソフトウェアを含む。限定ではなく例として、ＲＡＭ９３２は、オペレーティングシステム９３４の一部分、アプリケーションプログラム９３５、他の実行可能ソフトウェア９３６、およびプログラムデータ９３７を含み得る。

コンピューティングシステム９００はまた、他の取り外し可能な／取り外し不可能な揮発性／不揮発性コンピュータ記憶媒体も含み得る。単に一例として、システムは、ソリッドステートメモリ９４１を有する。ソリッドステートメモリ９４１は通常は、インターフェース９４０等の取り外し不可能なメモリインターフェースを介してシステムバス９２１に接続され、ＵＳＢドライブ９５１は通常は、インターフェース９５０等の取り外し可能なメモリインターフェースによってシステムバス９２１に接続される。

ユーザは、キーボード、タッチ画面、またはソフトウェアもしくはハードウェア入力ボタン９６２、マイクロフォン９６３、マウス、トラックボールもしくはタッチバッド等のポインティングデバイスおよび／またはスクロール入力構成要素等の入力デバイスを介してコンピューティングシステム９００にコマンドおよび情報を入力することができる。これらのおよび他の入力デバイスは、多くの場合、システムバス９２１に連結されたユーザ入力インターフェース９６０を介して処理ユニット９２０に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）等の他のインターフェースおよびバス構造体によって接続することができる。表示モニタ９９１または他のタイプの表示画面デバイスはまた、表示インターフェース９９０等のインターフェースを介してシステムバス９２１に接続される。モニタ９９１に加えて、コンピューティングデバイスはまた、出力周辺インターフェース９９５を介して接続され得る、スピーカ９９７、振動器９９９、および他の出力デバイス等の他の周辺出力デバイスを含み得る。

コンピューティングシステム９００は、リモートコンピューティングシステム９８０等の１または複数のリモートコンピュータ／クライアントデバイスへの論理接続を使用するネットワーク化された環境において動作することができる。リモートコンピューティングシステム９８０は、パーソナルコンピュータ、モバイルコンピューティングデバイス、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたは他の共通ネットワークノードでもよく、通常は、コンピューティングシステム９００に関連して前述した要素の多数または全てを含む。論理接続は、パーソナルエリアネットワーク（ＰＡＮ）９７２（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））、ローカルエリアネットワーク（ＬＡＮ）９７１（例えば、Ｗｉ－Ｆｉ）、およびワイドエリアネットワーク（ＷＡＮ）９７３（例えば、セルラネットワーク）を含むことができるが、パーソナルエリアネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））等の他のネットワークも含み得る。そのようなネットワーク環境は、オフィス、企業規模のコンピュータネットワーク、イントラネットおよびインターネットでは普通に存在する。ブラウザアプリケーションは、コンピューティングデバイスにおいて共振し得、メモリに記憶され得る。

ＬＡＮネットワーク環境において使用されるとき、コンピューティングシステム９００は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉアダプタであり得る、ネットワークインターフェース９７０を介してＬＡＮ９７１に接続される。ＷＡＮネットワーク環境（例えば、インターネット）において使用されるとき、コンピューティングシステム９００は通常、ＷＡＮ９７３を介する通信を確立するための何らかの手段を含む。モバイル電気通信技術に関して、例えば、内部または外部であり得る無線インターフェースは、ネットワークインターフェース９７０、または他の適切な機構を介して、システムバス９２１に接続され得る。ネットワーク化された環境では、コンピューティングシステム９００に関連して図示された他のソフトウェア、またはその部分は、リモートメモリストレージデバイスに記憶され得る。限定ではなく例として、システムは、リモートコンピューティングデバイス９８０に常駐するものとしてリモートアプリケーションプログラム９８５を有する。図示されたネットワーク接続は、使用され得るコンピューティングデバイス間の通信リンクの確立の例および他の手段であることが理解されよう。

論じられたように、コンピューティングシステム９００は、処理ユニット９２０、メモリ（例えば、ＲＯＭ９３１、ＲＡＭ９３２等）、コンピューティングデバイスに電力を供給するための内蔵型バッテリ、バッテリを充電するためのＡＣ電源入力、表示画面、ネットワークに接続されたリモートコンピューティングデバイスとワイヤレスで通信するための内蔵型Ｗｉ－Ｆｉ回路を有するモバイルデバイスを含み得る。

本設計は、本明細書に示されることに関して記述されたもの等のコンピューティングシステムで実施され得ることに留意されたい。しかしながら、本設計は、サーバ、メッセージ処理専用のコンピューティングデバイス、または本設計の異なる部分が分散型コンピューティングシステムの異なる部分で実施される分散型システムで実施することができる。

いくつかの実施形態では、本明細書において論じられるアルゴリズムを円滑化するために使用されるソフトウェアは、非一時的機械可読媒体に組み込まれ得る。機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形で情報を記憶する任意の機構を含む。例えば、非一時的機械可読媒体は、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、デジタル多用途ディスク（ＤＶＤの）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気もしくは光カード、または、電子命令の記憶に適した任意のタイプの媒体を含み得る。

本明細書に記載のアプリケーションは、限定ではないが、ソフトウェアアプリケーション、モバイルアプリケーション、およびオペレーティングシステムアプリケーションの一部であるプログラムを含むことに留意されたい。本明細書のいくらかの部分は、コンピュータメモリ内のデータビットでの動作のアルゴリズムおよび象徴表現に関して提示される。これらのアルゴリズム的記述および表現は、データ処理技術の当業者によって他の当業者に彼らの作業の要旨を最も効果的に伝達するために使用される手段である。アルゴリズムは、ここでは、そして一般に、所望の結果をもたらすステップの自己矛盾のないシーケンスであると考えられている。ステップは、物理量の物理的操作を必要とするものである。通常は、ただし必ずではなく、これらの物理量は、記憶、転送、結合、比較、および他の方法で操作することができる電気または磁気信号の形をとる。それは、主に共通使用を理由として、これらの信号をビット、値、要素、記号、文字、用語、数等として参照することが、時には便利であると証明した。これらのアルゴリズムは、Ｃ、Ｃ＋＋、ＨＴＴＰ、Ｊａｖａ、Ｐｙｔｈｏｎ、または他の類似の言語等のいくつかの異なるソフトウェアプログラミング言語で書かれ得る。また、アルゴリズムは、ソフトウェア内のコードライン、ソフトウェア内の構成された論理ゲート、またはその両方の組合せにおいて実装され得る。一実施形態において、論理は、ブール論理のルールに従う電子回路、命令のパターンを含むソフトウェア、またはその両方の任意の組合せから成る。ソフトウェアに実装されるアルゴリズムの任意の部分が、メモリの一部において実行可能なフォーマットで記憶され得、１または複数のプロセッサによって実行される。

しかしながら、これらのおよび類似の用語の全ては、適切な物理量に関連付けられることになり、これらの物理量に適用される単なる便宜的ラベルであることに留意されたい。具体的に別段の指示のない限り、前述の論考から明らかなように、本明細書全体を通して、「処理」または「計算」または「算出」または「決定」または「表示」等の用語を利用する論考は、コンピュータシステムまたはコンピュータシステムのレジスタおよびメモリ内の物理（電子）物理量として表されたデータを操作し、コンピュータシステムメモリもしくはレジスタまたは他のそのような情報記憶、伝送もしくは表示デバイス内の物理量として同様に表される他のデータに変換する、類似の電子コンピューティングデバイスのアクションおよびプロセスを参照することが理解されよう。

電子ハードウェア構成要素によって実行される多数の機能は、ソフトウェアエミュレーションによって重複して行われ得る。したがって、それらの同じ機能を達成するために書かれたソフトウェアプログラムは、入力－出力回路内のハードウェア構成要素の機能をエミュレートすることができる。したがって、前述のシステムのコンピューティングデバイス上の１または複数のプロセッサによって実行されるときに、本明細書に記載のように概説される動作をコンピューティングデバイスに実行させる、命令およびデータを記憶するように構成された１または複数の非一時的機械可読媒体が、本明細書では提供される。

本明細書における「実施形態」、「例」等の参照は、記載された実施形態または例が特定の特徴、構造、または特性を含み得ることを示すが、あらゆる実施形態が特定の特徴、構造、または特性を必ずしも含まなくてもよい。そのような語句は、必ずしも同じ実施形態を参照していなくてもよい。さらに、特定の特徴、構造、または特性が一実施形態に関して記載されるとき、それは、明示的に指示されていてもいなくても、他の実施形態に関するそのような特徴、構造、または特性に影響を及ぼすことが当業者の知識内にあると考えられる。

前述の設計およびその実施形態は、かなり詳細に提供されているが、本明細書で提供される設計および実施形態についての本出願の意図は限定することではない。追加の適応および／または修正形態が可能であり、そして、より広い側面では、これらの適応および／または修正形態もまた包含される。したがって、以下の特許請求の範囲によって与えられる範囲を逸脱せずに前述の設計および実施形態からの逸脱が行われ得、その範囲は、適切に解釈されるとき、特許請求の範囲によってのみ限定される。

Claims (19)

1. ｉ）知識表現、およびｉｉ）課題を解決するための推論、に対し機械学習を使用する１または複数の勾配ベースの機械学習モデルを作成するために互いに連携するように構成された２以上のモジュールを有するニューラル記号コンピューティングエンジンを備え、前記ニューラル記号コンピューティングエンジンにおけるモデル表現モジュールは、前記ニューラル記号コンピューティングエンジンの言語モジュールから供給された１次論理要素からの真値に、少なくともロジット変換を含む１または複数の数学関数を適用するように構成され、
   前記ニューラル記号コンピューティングエンジンにおける学習者アルゴリズムモジュールは、前記知識表現が、固定ルールとして用いられる前記１次論理を使用して第１の勾配ベースの機械学習モデルのフレームワーク内のフレキシブルゲートとしての役割を果たすためのアーキテクチャを提供するように構成されたサイドルール構成要素を有し、いくつかの状況において、前記サイドルール構成要素は、前記第１の勾配ベースの機械学習モデルにおける学習に影響を及ぼすように、これらの固定ルールの適用を変更する、装置。
2. 前記２以上のモジュールは、人によって前記ニューラル記号コンピューティングエンジンの理論モジュールに対し供給された情報から、前記知識表現および前記推論の、第１の勾配ベースの機械学習モデルへのエンコードを引き起こすように更に連携する、請求項１に記載の装置。
3. 前記ニューラル記号コンピューティングエンジンにおける理論表現モジュールは、勾配ベースの学習を受ける第１の勾配ベースの機械学習モデルとしてニューラルネットワークをコンパイルするように構成される、請求項１に記載の装置。
4. 勾配ベースの学習を受ける前記第１の勾配ベースの機械学習モデルは、ルールを可能な限り真にする解釈を得るために、ｉ）制約として機能する前記ルールのセットの異なる定数に関連付けられたベクトルを適応させ、ｉｉ）異なる関数および述語に関連付けられたネットワークのパラメータのベクトルを適応させるように構成される、請求項３に記載の装置。
5. 前記モデル表現モジュールは、第１の勾配ベースの機械学習モデルにおけるネットワークの真値を乗算する結果として得られる勾配の消失を回避するために、前記真値の前記ロジット変換を使用する前記第１の勾配ベースの機械学習モデルを作成するように更に構成される、請求項１に記載の装置。
6. 前記真値は、前記ネットワーク構造のボトムから前記ネットワーク構造のトップレベルまでの複数の中間レベルを有する前記ネットワークにおけるネットワーク構造に由来する、請求項５に記載の装置。
7. 機械学習を使用する前記１または複数の勾配ベースの機械学習モデルは、１または複数のニューラルネットワークであり、前記ニューラル記号コンピューティングエンジンは、前記１次論理における前記知識表現および前記推論を表すように構成され、前記知識表現および前記推論の用語集を構成する関係および関数は、任意のネットワーク構造を有することができる前記１または複数のニューラルネットワークにおいてその後実装され、前記知識表現および前記推論における論理結合子は、前記ネットワーク構造のボトムから前記ネットワーク構造のトップレベルまでの複数の中間レベルを有する単一の深層ネットワークへと組み立てられ、これは、前記知識表現および前記推論の真実性の程度を最大にするようにトレーニングされる、請求項１に記載の装置。
8. 前記ニューラル記号コンピューティングエンジンにおける前記モデル表現モジュールは、前記１次論理要素からの真値に前記ロジット変換を適用するように更に構成され、それによって、第１の勾配ベースの機械学習モデルは、課題を全体として学習し、解決しながら、特徴の任意の量の結合を検討することができ、解決されているその課題の部分をより小さな部分問題に分解する必要がない、請求項１に記載の装置。
9. １または複数のプロセッサにより実行されると、ニューラル記号コンピューティングシステムに、以下の動作、すなわち、
   ｉ）知識表現、およびｉｉ）課題を解決するための推論、に対し機械学習を使用する１または複数の勾配ベースの機械学習モデルを作成することと、
   少なくともロジット変換を含む１または複数の数学関数を１次論理要素からの真値に適用することと、
   前記知識表現が、固定ルールとして用いられる前記１次論理を使用して第１の勾配ベースの機械学習モデルのフレームワーク内のフレキシブルゲートとしての役割を果たすためのアーキテクチャを提供するためのサイドルールを構成することであって、いくつかの状況において、前記サイドルールは、前記第１の勾配ベースの機械学習モデルにおける学習に影響を及ぼすように、これらの固定ルールの適用を変更する、ことと、
   を含む動作を実行させる実行可能命令を含む、非一時的コンピュータ可読媒体。
10. ニューラル記号コンピューティングのための方法であって、
    ｉ）知識表現、およびｉｉ）課題を解決するための推論、に対し機械学習を使用する１または複数の勾配ベースの機械学習モデルを作成するようにニューラル記号コンピューティングエンジンを構成することであって、前記ニューラル記号コンピューティングエンジンは、少なくともロジット変換を含む１または複数の数学関数を１次論理要素からの真値に適用する、ことと、
    前記知識表現が、固定ルールとして用いられる前記１次論理を使用して第１の勾配ベースの機械学習モデルのフレームワーク内のフレキシブルゲートとしての役割を果たすためのアーキテクチャを提供するためのサイドルールを構成することであって、いくつかの状況において、前記サイドルールは、前記第１の勾配ベースの機械学習モデルにおける学習に影響を及ぼすように、これらの固定ルールの適用を変更する、ことと、を含む方法。
11. 人によって前記ニューラル記号コンピューティングエンジンに対し供給された情報から、前記知識表現および前記推論の、第１の勾配ベースの機械学習モデルへのエンコードを引き起こすことを更に含む、請求項１０に記載の方法。
12. 前記ニューラル記号コンピューティングエンジンは、勾配ベースの学習を受ける第１の勾配ベースの機械学習モデルとしてニューラルネットワークをコンパイルするように構成される、請求項１０に記載の方法。
13. ルールを可能な限り真にする解釈を得るために、ｉ）制約として機能する前記ルールのセットの異なる定数に関連付けられたベクトルを適応させ、ｉｉ）異なる関数および述語に関連付けられたネットワークのパラメータのベクトルを適応させるように、勾配ベースの学習を受ける前記第１の勾配ベースの機械学習モデルを構成することを更に含む、請求項１２に記載の方法。
14. 第１の勾配ベースの機械学習モデルにおけるネットワークの真値を乗算する結果として得られる勾配の消失を回避するために、前記真値の前記ロジット変換を使用する前記第１の勾配ベースの機械学習モデルを作成することを更に含む、請求項１０に記載の方法。
15. 前記真値は、前記ネットワーク構造のボトムから前記ネットワーク構造のトップレベルまでの複数の中間レベルを有する前記ネットワークにおけるネットワーク構造に由来する、請求項１４に記載の方法。
16. 機械学習を使用する前記１または複数の勾配ベースの機械学習モデルは、１または複数のニューラルネットワークであり、前記ニューラル記号コンピューティングエンジンは、前記１次論理における前記知識表現および前記推論を表すように構成され、前記知識表現および前記推論の用語集を構成する関係および関数は、任意のネットワーク構造を有することができる前記１または複数のニューラルネットワークにおいてその後実装され、前記知識表現および前記推論における論理結合子は、前記ネットワーク構造のボトムから前記ネットワーク構造のトップレベルまでの複数の中間レベルを有する単一の深層ネットワークへと組み立てられ、これは、前記知識表現および前記推論の真実性の程度を最大にするようにトレーニングされる、請求項１０に記載の方法。
17. 前記１次論理要素からの真値に前記ロジット変換を適用するように前記ニューラル記号コンピューティングエンジンを構成し、それにより、第１の勾配ベースの機械学習モデルが、前記課題を全体として学習および解決しながら、特徴の任意の量の結合を検討することが可能になり、各々が特徴の結合の独自のサブセットを有する、より小さな部分問題になるように、その解決されている課題の部分を分解する必要がなく、これらの部分問題のうちの各１つを個々に学習およびトレーニングして解決する必要がなく、その後、前記部分問題の組み合わされた出力を使用して前記課題を全体として解決するようにトレーニングする必要がない、ことを更に含む、請求項１０に記載の方法。
18. １または複数のプロセッサにより実行されると、ニューラル記号コンピューティングシステムに、以下の動作、すなわち、
    ｉ）知識表現、およびｉｉ）課題を解決するための推論、に対し機械学習を使用する１または複数の勾配ベースの機械学習モデルを作成することと、
    少なくともロジット変換を含む１または複数の数学関数を１次論理要素からの真値に適用することと、
    前記１次論理を使用して、第１の勾配ベースの機械学習モデルにおける学習を誘導する固定ルールを作成するように前記ニューラル記号コンピューティングエンジンを構成することと、
    前記第１の勾配ベースの機械学習モデルにおける学習に影響を及ぼす前記固定ルールに対する指定の状況における指定の情報をマスキングするようにサイドルールを構成することと、
    を含む動作を実行させる実行可能命令を含む、非一時的コンピュータ可読媒体。
19. ニューラル記号コンピューティングのための方法であって、
    ｉ）知識表現、およびｉｉ）課題を解決するための推論、に対し機械学習を使用する１または複数の勾配ベースの機械学習モデルを作成するようにニューラル記号コンピューティングエンジンを構成することであって、前記ニューラル記号コンピューティングエンジンは、少なくともロジット変換を含む１または複数の数学関数を１次論理要素からの真値に適用する、ことと、
    前記１次論理を使用して、第１の勾配ベースの機械学習モデルにおける学習を誘導する固定ルールを作成するように前記ニューラル記号コンピューティングエンジンを構成することと、
    前記第１の勾配ベースの機械学習モデルにおける学習に影響を及ぼす前記固定ルールに対する指定の状況における指定の情報をマスキングするようにサイドルールを構成することと、を含む方法。