JP2023525740A - 重み付き実数値論理の容量及び学習の最適化 - Google Patents

Abstract

重み付き実数値論理ゲートを実装するニューラルネットワークのニューロンへの最大入力重みと最小入力重みと間の比を表す最大表現力を受け取ることができる。ニューロンに関連付けられた演算子アリティを受け取ることができる。ニューロンへの入力に関連付けられた重み、真の閾値、及び活性化についてのニューロン閾値に関して、重み付き実数値論理ゲートに関連付けられた論理制約を定義することができる。論理制約に基づいて定式化された活性化最適化を解くことに基づいて、ニューロンの活性化関数に用いられるパラメータとして真の閾値を決定することができ、活性化最適化は、所与の演算子アリティ及び最大表現力について、ニューロンへの入力重みの分布幅を表す表現力とニューロンに対する勾配クオリティとの積を最大化する。ニューロンにおける活性化関数を使用して論理ニューロンのニューラルネットワークを訓練することができ、活性化関数は、決定された真の閾値を使用する。

Description

本発明は、一般にコンピュータ及びコンピュータ・アプリケーションに関し、より詳細には、ニューラルネットワーク及びニューロシンボリック（neuro-symbolic）ネットワークに関する。

人工知能の方法論は、様々な形式論理のシステムのいずれかを用いた原理的演繹的推論と、データ駆動型勾配最適化ニューラルネットワークとを含む。どちらのパラダイムにも、多くの長所と短所とがある。例えば、形式論理は解釈可能かつ検証可能であり、広く一般化できるが、計算量が多く、広範な領域のエキスパートの入力が必要であり、矛盾によって脱線することがある。一方、ニューラルネットワークは、未処理データもしくはノイズの多いデータ又はその両方に対しても良好な性能を発揮し、人間による設定をほとんど必要とせず、効率的に並列実行することができる。しかし、ニューラルネットワークは、大量の訓練データセットを必要とする場合があり、敵対的攻撃に弱い場合があり、解釈不能なブラックボックス特性を有することがある。

論理ニューロンのニューラルネットワークに実装された重み付き実数値論理を学習する方法は、一態様において、重み付き実数値論理ゲートを実装するニューラルネットワークのニューロンへの最大入力重みと最小入力重みとの間の比を表す最大表現力を受け取ることを含むことができる。本方法はまた、ニューロンに関連付けられた演算子のアリティを受け取ることを含むことができる。本方法は、ニューロンへの入力に関連付けられた重み、真の閾値、及び活性化についてのニューロン閾値に関して、重み付き実数値論理ゲートに関連付けられた論理制約を定義することをさらに含むことができる。本方法はまた、論理制約に基づいて定式化された活性化最適化を解くことに基づいて、ニューロンの活性化関数において使用されるパラメータとして真の閾値を決定することを含むことができる。活性化最適化は、所与の演算子アリティ及び最大表現力について、ニューロンへの入力重みの分布幅を表す表現力と、ニューロンに対する勾配クオリティとの積を最大化する。本方法はまた、ニューロンにおける活性化関数を使用して論理ニューロンのニューラルネットを訓練することを含むことができ、活性化関数は、決定された真の閾値を使用する。

システムは、一態様において、ハードウェアプロセッサを含むことができる。ハードウェアプロセッサにメモリデバイスを結合することができる。ハードウェアプロセッサは、重み付き実数値論理ゲートを実装するニューラルネットワークのニューロンへの最大入力重みと最小入力重みと間の比を表す最大表現力を受け取るように構成することができる。ハードウェアプロセッサはまた、ニューロンに関連付けられた演算子アリティを受け取るように構成することができる。ハードウェアプロセッサはまた、ニューロンへの入力に関連付けられた重み、真の閾値、及び活性化についてのニューロン閾値に関して、重み付き実数値論理ゲートに関連する論理制約を定義するように構成することができる。ハードウェアプロセッサはまた、活性化最適化を解くことに基づいて、ニューロンの活性化関数に用いられるパラメータとして真の閾値を決定するように構成することができる。活性化最適化は、論理制約に基づいて定式化することができる。活性化最適化は、所与の演算子アリティ及び最大表現力について、ニューロンへの入力重みの分布幅を表す表現力と、ニューロンに対する勾配クオリティとの積を最大化する。ハードウェアプロセッサはまた、ニューロンにおける活性化関数を使用して論理ニューロンのニューラルネットワークを訓練するように構成することができ、活性化関数は、決定された真の閾値を使用する。

本明細書に記載された１つ又は複数の方法を実行するために機械によって実行可能な命令のプログラムを格納したコンピュータ可読ストレージ媒体もまた提供することができる。

さらなる特徴、ならびに様々な実施形態の構造及び動作を、添付の図面を参照して以下に詳細に説明する。図中、同様の参照番号は、同一又は機能的に類似の要素を示す。

実施形態におけるニューロンのネットワーク内のニューロンを示す。 実施形態における論理ニューロンのネットワークの一例を示す。 実施形態における論理ニューロンのネットワークの一例を示す。 重み付き実数値論理の容量及び学習の最適化を提供することができる一実施形態におけるシステムの構成要素を示す図である。 実施形態における方法を示すフロー図である。 実施形態における真の閾値の例を示す図である。 実施形態におけるα保存シグモイド活性化関数を示す。 一実施形態における重み分布を示す。 一実施形態によるシステムを実装することができる例示的なコンピュータ又は処理システムの概略図である。 実施形態における例示的なユーザインターフェースの可視化を示す。

機械学習モデル、例えばニューラルネットワークを最適化するための様々なパラメータを決定することができるシステム、方法、及び技術が提示される。方法は、例えば、所与の最大表現力（maximum expressivity）（例えば、最大入力重みと最小入力重みとの間の比によって定義される）及び演算子のサイズ又はアリティ（オペランドの数）に対して活性化関数の関数勾配を最適化するために、論理ニューロン（例えば、重み付きオフセットＬｕｋａｓｉｅｗｉｃｚ実数値強連言もしくは選言演算子又はその両方）などの重み付き実数値論理演算子の真の閾値(threshold-of-truth)（アルファ）、活性化関数及び論理制約（例えば、凸最適化線形プログラム）を決定することができる。一態様において、本システム、方法及び技術の実施形態によって決定される機械学習のための様々なパラメータは、機械学習における消失勾配問題、例えば、機械学習を困難にする小さすぎる勾配を有することに対処することが可能である。

人工ニューラルネットワーク（ＡＮＮ）又はニューラルネットワーク（ＮＮ）は、機械学習モデルであり、入力データを予測又は分類するようにこれを訓練することができる。人工ニューラルネットワークは、連続的なニューロンの層を含むことができ、これらは、１つの層のニューロンの出力信号が重み付けされて次の層のニューロンに伝達されるように相互接続されている。所与の層のニューロンＮｉは、次の層の１つ又は複数のニューロンＮｊに接続することができ、ＮｉからＮｊに伝送される信号に重み付けするために、各ニューロン－ニューロン接続Ｎｉ－Ｎｊに異なる重みｗｉｊを関連付けることができる。ニューロンＮｊは、その蓄積された入力に依存する出力信号を生成し、重み付けされた信号は、入力から出力ニューロン層までネットワークの連続する層にわたって伝搬され得る。人工ニューラルネットワーク機械学習モデルは、それぞれのニューロン層に関連付けられる重みのセットが決定される訓練段階を経験することができる。ネットワークは、ネットワークが訓練データから「学習」するにつれて重みが繰り返し更新される反復学習スキームで、訓練データのセットに供される。訓練動作を経て定められた重みを有する訓練済みモデルを適用して、新規データに基づいてタスクを実行することができる。

ニューラルネットワークの一例は、再帰型ニューラルネットワークであり、これは、時系列データ又は言語におけるセンテンスなどのシーケンスベースのデータを扱うことができる。再帰型ニューラルネットワークモデルは、一連のニューラルネットワークセルを有することができ、これらは、系列のデータとともに、以前の時間ステップにおける以前のニューラルネットワークからの活性化情報を入力として受け取る。

ファジィ論理は、古典論理のブール演算子を［０；１］の範囲の実数に対して作用する関数で置き換えた論理システムである。様々な式の真理値をその部分式（subformula）に基づいて評価する手段を超えて、ファジィ論理は、それ自体にファジィ真理値が割り当てられた、公理の知識ベース（理論）と共に、命題（又は述語）の真理値を互いに推論できるような算法を提供することを目指している。

重み付きファジィ論理では、論理式もしくはその構成要素又はその両方が、重要度、影響度、又はいくつかの関連する概念を表す実数値の重みを持つ。このような論理のシステムは、命題（一階論理に拡張した場合は述語）間の関係をより柔軟に表現することを可能にする。重み付きファジィ論理は、所与の式における各オペランドの効果を調整する連続的手段を与えるので、自動学習に適している。

例えば、Ｌｕｋａｓｉｅｗｉｃｚ論理は、実数値論理又は多値論理であり、センテンスに対して０又は１のみならず、その中間の任意の実数（例えば０．３）を真理値として割り当てることができる。Ｌｕｋａｓｉｅｗｉｃｚ論理の命題結合記号は、

ならびに命題定数０及び１を含む。

ニューロシンボリック表現は、古典論理（又はファジー論理）と等価に動作するように制約されることができる、ニューラルネットワーク形式の重み付けされた実数値論理である。実施形態において、本システム及び方法は、例えば活性化関数に類似した古典論理関数を評価するニューロンを含むニューロシンボリック表現のための様々なパラメータを決定することができる。

例えば、一実施形態におけるニューラルネットワークは、論理ニューロンを含む。論理ニューロンは、ＡＮＤ、ＯＲ、ＩＭＰＬＩＥＳ、ＮＯＴ、もしくはその他又はそれらの組合せなどの論理ゲートをエミュレートすることができる。論理ニューロンのニューラルネットワークは、論理規則を実装して論理的推論を実行するように訓練されることができる。論理ニューロンは、ニューラルネットワークにおいて使用されるいずれかのシグモイドニューロンと類似しているが、以下の性質が異なり得る。論理ニューロンの重みは、その出力が古典論理において行われる演算、例えばＡＮＤ、ＯＲ、及びＩＭＰＬＩＥＳの挙動を反映するように制約される。論理ニューロンの入力及び出力は、真理値の境界であると理解される。真理値は、０から１の範囲であるが、これは、ある（例えば、定義された）閾値を上回る又は１を下回るように境界付けられているならば、例えば閾値αを上回る又は１－αを下回るならば、古典的に解釈することができる。これらは、通常どおりに評価することができ、又は、各入力の境界が出力及び他の入力の既知の境界に基づいて計算される、モーダスポネンスを実行するために使用することができる。モーダスポネンスとは、条件文（「ｐならばｑ」）が受け入れられ、かつ前件（ｐ）が成立するならば、結論（ｑ）を推論することができるという論理法則を指す。

ロジスティック関数Ｓ（ｘ）＝（１＋ｅｘｐ（－ｘ））^－１及び選択された真の閾値０．５＜α＜１が与えられたならば、スケーリング及びオフセットされたα保存シグモイド(α-preserving sigmoid）

を定義することは有用である。

その定義どおり、この関数は、Ｓ_α（α）＝αかつＳ_α（１－α）＝１－αという性質を有する。このとき、ｊ∈Ｎでインデックス付けされた論理ニューロンについて、通常の計算は

であり、真理値入力ｘ_ｉ、入力重みｗ_ｉ，ｊ、活性化閾値θ_ｊ及び活性化出力ａ_ｊである。論理ニューロンへの入力は、他の論理ニューロンの出力、又は命題に関連した特殊ニューロンの出力とすることができる。演算を論理式でモデル化した結果として、入力セットI_ｊのサイズは非常に小さくなり得、例えば２項演算の場合はわずか２であるが、結合演算子（associative operator）はより多くの入力を有することができる。別の態様において、Ｉ_ｊはより大きいが、ほとんどの重みｗ_ｉは０に等しいと考えることができる。

各ニューロンの活性化関数は、そのニューロン又はノードの出力を計算することができ、特定の論理演算又は演算のファミリーを表すように選択されることができる。ネットワーク内の各ノードは、その真理値の上界及び下界の値を出力として計算することができる。これらの上界及び下界の真理値は、各ノードにおいて連続変数であり、ネットワークを巡って渡される。これらの有界の真理値変数は、予測時又は推論時にノードにおいて計算され、これらは、入力に基づいて計算され、かつ、学習された重要度の重みにそれぞれ対応して計算される。

論理ニューロンに対する制約（例えば、論理制約）は、それらがモデル化しようとする演算の真理値表から、及び、「真」及び「偽」の値に対して確立された範囲から導出することができる。ある態様において、連続的な真理値は、その下界が少なくともαならば真とみなされ、その上界が高々１－αであれば偽とみなされる。α保存シグモイドを用いると、その線形引数の結果がこうした妥当な閾値の上又は下にあるように制約するだけで十分である。図６は、α保存シグモイド活性化関数を示す。

例として、例えば２値ＡＮＤの真理値表は、所与の制約のセットを示す。

ここで、θは閾値、ｗは重みを表す。

例えば、制約を導出する際に、偽の論理値（０）は（１－α）として表され、真の論理値（１）はαとして表される。

より一般的には、（正の入力の）ｎ項の連言は、以下の形式の制約を有し、

一方、ｎ項の選言は、以下の形式の制約を有する。

例えば、（３）は、その入力のすべてが真であれば連言が真を返すことを要求し、（４）は、いずれかの入力が偽であれば、他の入力がすべて１であっても連言が偽を返すこと、すなわち、選言では真ならば逆に最大限に真を返すことを要求する。￢ｐ＝１－ｐとして定義された否定が与えられると、古典的恒等式ｐ→ｑ＝￢ｐ∨ｑは、含意が選言と同じ制約を使用することを許す。上記の２つの制約セットはド・モルガン（ＤｅＭｏｒｇａｎ）の法則の下で等価であり、例えば、ｐ∨ｑ＝￢（￢ｐ∧￢ｑ）である。

この制約の結果、論理ニューロンの通常の評価は、すべての入力が真及び偽の確立された範囲内にあれば、その範囲内の結果を与えることが保証される。

連言に対する形式

、及び選言に対する形式

の活性化線形入力について、制約は上記と等価であり、それぞれ、

である。これは、形式

の制約を示唆する。

ある態様において、真理値の境界に関して推論することで、ニューラルネットワークに論理推論を実装する際に固有の多くの課題が軽減される。境界は、推論中に真理値が取り得る４つの状態、すなわち、未知、既知の真、既知の偽、既知の矛盾、を表現するエレガントかつ直感的な機構を提供する。境界は、モーダスポネンスが非結果（nonresult）を返すことができる機構を提供する。境界に関する推論は、同じ命題に対する複数の証明を集約する能力を促進する。

ある入力の重みを０まで減少させることによって、これを効果的にＩから除去することが望ましい場合がある。これを可能にするために、各重みに対してスラック変数（ｓ）を導入して、重みが０になったときに（４）又は（５）のそれぞれの制約に違反することを可能にすることができる。

ｓ_ｋ＝０又はｗ_ｋ＝０のいずれかの場合、これらは元の制約と一致する。最適化は、ｓ_ｋｗ_ｋでスケーリングするペナルティ項を含むように訓練損失関数を更新することによって、このようなパラメータ化を選択することを含むことができる。このペナルティ項の係数は、学習された演算がどの程度古典的であるかを制御し、最適化によってペナルティ項が０まで削減され場合、まさに古典的挙動が復元される。

図１は、実施形態における論理ニューロンのネットワーク内のニューロン又は論理ニューロンを示す。ニューロンへの重み付き入力は、ニューロンの活性化関数１０４に結果を入力する前に、ニューロン１０２の内部で重み付き和又は線形結合を通じて組み合わされる。図示の例では、範囲［０，１］の論理的真理値のベクトルｘに対する論理的連言（ＡＮＤ）演算に対応する論理ニューロン１０２は、以下のようなニューロン活性化関数ｆへの引数として、Ｌｕｋａｓｉｅｗｉｃｚファジーｔ－ノルム（三角ノルム）の形式で定義することができる。

論理ニューロンは、１つ又は複数の入力オペランドｘ_０，ｘ_１，．.，ｘ_ｉ，．．，ｘ_ｎを受け取り、各オペランドは重要度を表すそれぞれの割り当てられた又は計算された重みｗ_０，ｗ_１，．．，ｗ_ｉ，．．，ｗ_ｎを有する。入力値は、定義された式ｔ－Σｗ（１－ｘ）に従って組み合わされ、ニューロン活性化関数ｆに入力される。「ｔ」は、ニューロン活性化に対して期待される最大入力を表し、これは論理連言の出力が完全に真になる場合に相当する。

例として、連言（＆、ＡＮＤとも）ニューロンは、
＆（ｘ）＝ｆ（ｔ－ｗ・（１－ｘ））
として定義することができる。連言ニューロンに対する制約又は論理制約は、以下のように定義できる。

実施形態において、システムは、論理ニューロンにおける活性化関数への引数において計算される、活性化関数への期待入力分布に対する表現力及び勾配クオリティ（gradient quality）の積を最大化するパラメータ化された活性化ｆについて、真の閾値及び活性化閾値を含むパラメータ値を決定する。実施形態において、制約付きニューロンにおいて：１．ｆは、奇の、単調増加、範囲［０，１］、アルファ（α）保存である； ２．閾値化の真の度合い（degree of truth）を定義する：例えば、０．５＜α≦１；３．スラックｓ_ｉは入力の除去を可能にする；４．例えば、論理連言（ＡＮＤ）ニューロンへの１つの偽入力は、その出力を偽にする。

ニューロシンボリック表現は、論理式を形成する複数の論理ニューロンで形成されるニューラルネットワークを有することができる。図２Ａ及び図２Ｂは、実施形態における論理ニューロンのネットワークの一例を示す図である。論理推論の一例は、「ひげ∧尾∧（レーザポインタ→追いかけ）），→猫」（ひげ ＡＮＤ 尾 ＡＮＤ （レーザポインタ ＩＭＰＬＩＥＳ 追いかけ） ＩＭＰＬＩＥＳ 猫）とすることができる。論理的推論の他の例は、「（猫∨犬）→ペット」（（猫 ＯＲ 犬） ＩＭＰＬＩＥＳ ペット）とすることができる。任意の命題又は式に対する既知の真理値を、ニューラルネット最適化におけるグラウンドトゥルース（ground truth）として使用することができる。

図２Ａは、実施形態における論理ニューロンを有するニューラルネットワークのユースケース例を示す論理ネットワークツリー構造である。図２Ｂは、図２Ａのニューラルネットワークのユースケース例の論理ネットワークツリー構造における後ろ向き推論計算を示す。

図２Ａは、実施形態における本明細書の方法に従って形成された、論理ニューロンを含むニューラルネットワーク（「ネット」又は「ＮＮ」）２００のユースケースである。一般に、ニューラルネットワークは、一階論理に関して説明されるが、以下のユースケースでは、まず命題論理の範囲に限定してニューラルネットワークを説明する。

図２Ａに示すように、論理結合記号又はエッジ２１２ごとに１つのニューロン２１０が存在し、命題／述語２０２ごとに１つのニューロン２２０が存在する。生成された各ニューロン２１０は、論理式２０５、２０８のシステムとの１対１対応を有し、そこで評価は論理的推論と等価である。論理ニューラルネットワークを生成するために、コンピューティング・システムは、任意のニューロン、例えば、クエリ式に関連するニューロンにおいて真理値（上界及び下界によって表される）を出力するのに使用するための入力、例えば、知識グラフ／予測入力データ／事実を受け取る。ニューロン２１０は、式構文ツリーに一致するように配置され、命題／述語ニューロン２２０は、証明された真理値を提供するとともに再帰的に集約する。一般に、否定（及び一階限定記号）は、パラメータを持たないパススルーノードである。示されるように、特定のニューロン２１０は、０と１の間の値の不確定性境界２１３を与える。各ニューロン２１０は、その計算が真理値の境界をもたらす、調整された活性化関数２１１を有する。双方向推論のさらなる方法が使用される。

図２Ａに示すように、例示的なユースケース論理ネットワーク（ネット）２００は、ＮＮモデル作成時における論理式２０５に対応するように構築された、記号論理推論で示される、構文ツリーグラフ構造２０４を含む。論理ネットワークは、対応する論理式のシステムの構文ツリーの一部として、論理結合記号及び述語をノード及びエッジとして有する。図２Ａには、同様にモデル作成時の入力論理式２０８に対応するように構築された第２の構文ツリー構造２０７が示されている。入力論理式２０５、２０８は、世界に関する規則であり、エキスパートによって作成されてもよく、又は、行き当たりばったり式（aphazard way）に生成されてもよく、例えば整数線形プログラミング（ＩＬＰ）又は自然言語プログラミング（ＮＬＰ）装置によって抽出されてもよい。式２０５、２０８は、既知の式又はその一部、すなわち部分式であってもよく、モデル作成時もしくは、予測もしくは推論時、又はその両方において修正を受けるか又は微調整されることができる。すなわち、式への特定の入力又は部分式への入力（例えばオペランド）は、その重要度に基づいて重み付けされ、その結果として、ＮＮの構造の一部となる重要度重みを割り当てることができる。このように、式の各結合記号の各オペランドに、重要度重みが割り当てられているか、又は割り当てることができ、最適化されない限り、各式又は重みの修正を可能にする。

ユースケース例では、サブグラフ２１８について、「猫」ノードは、「犬」の２倍重要であるとして重み付けすることができ、したがって、式において「猫」が「犬」よりも影響力を有するという意味で結果を歪める、選言「ＯＲ」結合記号の修正バージョンである。

それぞれの式についての構文ツリーグラフ２０４、２０７の各々は、式中に存在する「ひげ」２０２Ａ、「尾」２０２Ｂ、「レーザポインタ」２０２Ｃ、「追いかけ」２０２Ｄ、「猫」２０２Ｅ１、２０２Ｅ２、「犬」２０２Ｆ、及び「ペット」２０２Ｇを含む、定義された真理値（例えば、真又は偽）を有する入力命題２０２の初期リストに基づいて構築される。あるいは、これらの入力は、述語、例えば、その真理値が１つより多くの変数に依存するステートメントであってもよい。それぞれの推論又は含意の評価（例えば、「ひげ∧尾∧（レーザポインタ→追いかけ）），→猫」）及び推論又は含意の評価（例えば、「猫∨犬）→ペット」）をもたらす論理式２０５、２０８が適用される。図２Ａでは、部分式は、対応する部分グラフ２１８として示されている（例えば、「猫∨犬」）。推論ルールは描かれていないが、特定の選択された論理、例えば、Ｌｕｋａｓｉｅｗｉｃｚ論理に基づいて、特定のノード２１０に存在する活性化関数２１１が描かれている。活性化関数２１１は、式２０５、２０８の中に存在する特定の論理結合記号、例えば、ノード２１０Ａ、２１０Ｂ、２１０Ｃに対応して示される。例示的な古典的命題論理結合記号は、ブール演算を使用し、例えば、ＡＮＤ、ＯＲ、含意、否定、及び論理的等値を含み、１又は０として真理値を使用する。

図２Ａに示す例示的なＮＮ２００に対応する、再帰的（双方向）後ろ向き推論（逆行経路）の例を図２Ｂに示す。システムが収束していない間、論理ネットワークの逆行トラバースが行われ、様々な命題の真理値を更新する。ＮＮにおいて、ルートノード２１５からすべてのリーフまでのすべての経路をトラバースして、下向き方向の各ノードにおいて逆推論規則を評価する。ガイダンスのない実施形態において、各式に対する構文ツリーのルートからリーフへの経路を掃引して、深さ優先のトラバースが行われる。例えば、最初に評価される経路は、知識「猫」に基づいて連言を反証しようとするモーダストレンス・エッジ２４２であり、次いで、もし連言が偽であれば「ひげ」を反証しようとする連言の三段論法エッジ２４２Ａである。そして、エッジ２４２Ｂにおいて次の連言三段論法評価を行うことができ、次いで、エッジ２４２Ｃにおいて、ノード２１０Ｂの部分表現（sub-expression）「レーザーポイントは追いかけを含意する」について評価を行うことができる、等である。

実施形態において、情報を以下の逆行経路に沿ってバックプロパゲーションして、ツリー２０４における逆関数計算を更新する。すなわち、連言ニューロン２１０Ａにおける逆活性化関数計算によって「ひげ」述語２０２Ａの真理値（上界及び下界）が更新される、矢印２４２、２４２Ａによって示される経路；連言ニューロン２１０Ａにおける逆活性化関数計算によって「尾」述語２０２Ｂの真理値（上界及び下界）が更新される、矢印２４２、２４２Ｂで示される経路；連言ニューロン２１０Ａ及び含意ニューロン２１０Ｂにおける逆活性化関数計算によってレーザポインタ述語２０２Ｃの真理値（上界及び下界）が更新される、矢印２４２、２４２Ｃ、２４２Ｄによって示される経路；連言ニューロン２１０Ａ及び含意ニューロン２１０Ｂにおける逆活性化関数計算によって「追いかけ」述語２０２Ｄの真理値（上界及び下界）が更新される、矢印２４２、２４２Ｃ、２４２Ｅで示される経路；及び含意ニューロン２１５における逆活性化関数計算によって「猫」述語２０２Ｅ１の真理値（上界及び下界）が更新される、矢印２４３で示される経路。同様に、以下の逆行経路をトラバースして、構文ツリー２０７における逆関数計算を行う。すなわち、選言ニューロン２１０Ｃにおける逆活性化関数計算によって「猫」述語２０２Ｅ２の真理値（上界及び下界）が更新される、矢印２７２、２７２Ａで示される経路；選言ニューロン２１０Ｃにおける逆活性化関数計算によって「犬」述語２０２Ｆの真理値（上界及び下界）が更新される、矢印２７２、２７２Ｂで示される経路；及び含意ニューロン２２５における逆活性化関数計算によって「ペット」述語２０２Ｇの真理値（上界及び下界）が更新される、矢印２７３で示される経路。

一態様において、０と１との間の範囲の真理値の確率を提供する、すなわち０と１との間の値が真と偽との間のあいまいな混合である、ファジー論理が使用される。一実施形態において、アルファαは、例えば、０．５＜α≦１の間の範囲の真の閾値として定義される。したがって、評価される任意の真理値は、αより大きい値が「真」とみなされ、量１－αより小さいあらゆる真理値が「偽」とみなされるように制約される。

活性化関数２１１は、各ニューロン２１０における、そのニューロンの出力を計算するための特定の関数であり、特定の論理演算を表すように選択されるか、又は特定の論理スキーム、例えば、Ｌｕｋａｓｉｅｗｉｃｚ論理と一致する論理演算を表す活性化関数のファミリーが選択される。例えば、部分式２１８に示すように、活性化関数は、入力の加算（和）として評価される選言関数である。図２Ａに描かれた「重み付けなし」の場合の例では、ノード２１０Ｃにおける選言活性化関数は、値０又は１となるようにクランプされた出力を提供する。

実施形態において、実数値論理結合記号に対して、例示的な活性化関数は、以下のような制約に従って真理値を計算する。

連言（ＡＮＤ）の場合：

ここでｐ及びｑはオペランドであり、制約は、２つのオペランド値入力の和から１を引いて、０によって下にクランプされたものである。

選言（ＯＲ）の場合：

すなわち、２つのオペランド入力値の和であって、１によって上にクランプされたものである。

含意（→）の場合：

すなわち、選言に類似しているが、入力の１つが否定された（１－ｐ）である。一例として、ノード２１０Ａで示されるように、活性化関数は、連言関数である。図２Ａに描かれた「重み付けなし」の場合の例では、Ｌｕｋａｓｉｅｗｉｃｚ論理に従う連言関数である活性化関数は、入力の加算（和）から要素の数を引き、１を加えたものとして評価される。

他の論理スキームに従う他の活性化関数を実施形態において使用することができる。さらに、ＮＮの異なる部分において、異なるロジスティック関数を活性化関数として使用することができる。例えば、論理結合記号に対して「重み付き」Ｌｕｋａｓｉｅｗｉｃｚ論理スキームが使用され、ここで活性化関数は以下のように真理値を計算する。
ＡＮＤに対応するニューロンの活性化関数に対して、重み付きＬｕｋａｓｉｅｗｉｃｚのｔ－ノルムは以下のように定義される。

そして、選言の場合（ＯＲ）、以下の関連付けられた重み付きｔ－コノルムを使用することができる。

含意（→）の場合：

上記の各制約において、βは演算を確立するバイアス項であり、重みｗは重要度を表し、ｗ_ｐは入力オペランドｐの重みであり、ｗ_ｑは入力オペランドｑの重みである。バイアス項βは、１とすることができるが、他の値であってもよい。クランプの内部は超平面の表現又は式、すなわち重み（入力）ベクトル間のドット積＋オフセットである。

実施形態におけるシステム及び方法は、このような上述したニューラルネットワークを訓練する際に使用される様々なパラメータを決定することができる。方法は、例えば実施形態において、特殊な人工ニューロンを用いて論理を実装及び学習することができ、例えば、観察から論理を見いだす問題、論理プログラムを修正する問題、及び論理的推論をニューラルネットワーク及び微分可能な学習システムに統合する問題に対処することができる。本方法は、ニューロン活性化関数を近似して、非ゼロ勾配を提供することができる。本方法はまた、相対的な勾配の大きさを定量化することもできる。本方法はまた、ニューロン入力重みの表現力を定義することもできる。本方法はまた、勾配クオリティと表現力との間のトレードオフを最適化することもできる。本方法はまた、論理ニューロンに対して最適な活性化関数と論理制約のセットとを定義することもできる。

勾配クオリティ（gradient quality）は、ニューロンの活性化関数の動作範囲における非ゼロもしくは比較的小さくない又はその両方の勾配の利用可能性に関するものであり、高い勾配クオリティは、ニューロンパラメータの変化に対して、真理値出力において非ゼロの比較的小さくない変化があることを保証する。勾配クオリティは、例えば、勾配降下を通じて学習が起こり得るように、すべての条件下で誤差勾配を計算する能力を保証することに関連する。実施形態において、勾配クオリティは、相対的スカラー尺度であり、比率平均されたフランク勾配を含む平均勾配である比率平均フランク勾配（ratio-averaged flanks gradient）に関して表すことができる。活性化関数（ニューロンの活性化関数）を最適化する際に、勾配クオリティ尺度を相対的に使用することができ、例えば、新しい最適条件における勾配クオリティが以前の最適条件おける勾配クオリティよりも高くなる最適化方向を選択する。比率平均フランク勾配が高い活性化関数は、比率平均フランク勾配が低い活性化関数よりも高いクオリティを有するとみなされる。表現力（expressivity）とは、ニューロンの最大入力重みに対する最小入力重みの比のことを意味し、論理ニューロンへの入力重みの分布幅に関係する。

真の閾値（threshold-of-truth）とは、それを上回ると実数値の真理値が真とみなされる限界を意味し、古典的な真／偽の真理値に関連した外部解釈（external interpretation）に使用することができる。実施形態において、真の閾値は、活性化関数の学習可能なパラメータとすることができる。真の閾値を表すための表記は「α」とすることができる。連続的な真理値は、その下界が少なくともαであれば真とみなされ、その上界が高々最大で１－αであれば偽とみなされる。図５は、実施形態における真の閾値（又は真の度合い）の一例を示す。実施形態では、最適化処理は、論理ニューロンのニューラルネットワークにおける機械学習のための真の閾値を決定する。実施形態において、論理ニューロンの制約は、それらがモデル化しようとする演算の真理値表から、及び、「真」及び「偽」の値に対して確立された範囲から導出することができる。連続した真理値は、その下界が少なくともαであれば真とみなされ、その上界が高々１－αであれば偽とみなされる。

ユーザ指定のアリティとユーザ指定の最大表現力とを有する演算子において、一実施形態における方法は、ユーザ指定の最大表現力における表現力と勾配クオリティとの積を最大化するアルファ（α）を計算する。一態様において、アルファは、古典的な真／偽の意味での真理値の外部解釈に使用できる真の閾値であり、これを１より小さく設定することによって、非ゼロ勾配を可能にする。例えば、非ゼロ勾配は、例えばバックプロパゲーションにおける機械訓練を容易にし、勾配消失の問題を軽減又は緩和することができる。

本明細書では、以下の表記も使用される。

アリティ（arity）とは、入力毎に重みパラメータが関連付けられて乗算される、ニューロンへの入力接続の数を意味する。

最大表現力（maximum expressivity）とは、ニューロン入力（ニューロンへの入力）の重み付けによって表現できる入力重要度における最大差を意味し、論理ニューロンによってサポートできる入力重みの差に対して保証を与える。

「ｔ＿ｍａｘ」は、ニューロン活性化に対して期待される最大入力の上界を意味し、これは論理ニューロン式の閾値の上界に対応する。それは、所与の制約下で論理ニューロン式の閾値を設定することができる最大値である。

「ｔ」は、ニューロン活性化に対して期待される最大入力を意味し、これは論理連言の出力が完全に真となるところに対応する。

「ｔ－ｓｕｍ（ｗ）」（ｔからニューロンのｗの和を引いたもの、ここでｗは入力に関連付けられた重みを表す）は、論理ニューロンの活性化関数に対する最小期待入力を意味し、完全に偽の出力を有する論理連言に対応する。

本方法は、一実施形態において、ニューロン閾値の上界であるｔ＿ｍａｘを計算し、制約付き線形プログラム（更新されたニューロンパラメータを算出する）におけるニューロン閾値であるｔの上界をｔ＿ｍａｘに無期限に設定する。ｔ＿ｍａｘは、演算子（例えば、ＡＮＤ演算子）の真理値表から導出される論理制約に基づいて計算することができる。システムが、アルファ＜１に設定する真の閾値を有する場合（これは、ニューロンの動作範囲全体にわたって非ゼロ勾配を提供するので、通常の場合であり得る）、これは、ｔ－ｓｕｍ（ｗ）（１－アルファ）＞＝アルファの所与の制約を通じてニューロン入力重みのサイズ及び和も制約する。このことは、ニューロン入力重みの表現力又はバリエーションを所望のレベルで提供しながら、許容されるニューロン入力重みパラメータ領域を最小化し、最小凸領域は、最適化段階における大きな急峻なパラメータステップを低減するのに役立つ場合がある。

実施形態において、アリティ、最大表現力、アルファ、ｔ＿ｍａｘは、論理ニューロンの初期化段階で決定され、その後のすべての将来のニューロン重みパラメータ更新の間（例えば、学習の間）、固定されたまま保持される。実施形態において、学習方法は、現在の表現力における勾配クオリティを最適化するために、重み間の特定の重み差比までをサポートする現在の重み表現力に基づいて、論理ニューロンに関連付けられた真の閾値アルファを変更することを視野に入れることもできる。このアルファの変更は、現在の表現力が変化したとき、すなわち、ニューロン入力の重み比が変化したとき、例えば、最小重みに対する最大重みの比が変化したときに行うことができる。

実施形態において、すべての演算子は、それ自体の３区分（3-piece）ｌｅａｋｙ正規化線形ユニット（ＲｅＬＵ）活性化関数を保持することができ、それは、すべてのパラメータ更新後にｔ及びｔ－ｓｕｍ（ｗ）において飽和するように更新される。定義された活性化関数目標（activation function objective）に従うと、３区分ｌｅａｋｙ ＲｅＬＵは最適であり得る。簡単に言えば、ＲｅＬＵは活性化関数の一種であり、ニューラルネットワークで使用することができる。ｌｅａｋｙ ＲｅＬＵでは、ｘ＜０のとき、ｌｅａｋｙ ＲｅＬＵは、関数がゼロになる代わりに、小さな負の傾き（例えば、０．０１、又はその程度）を有することができる。

アリティと、表現力と、アルファとの間の関係に基づいて、観察を行うことができる。例えば、アリティの増加は、勾配クオリティを低下させ得る。この観察に基づいて、実施形態において、本明細書の方法は、最大許容アリティを設定し、合成及び結合性を利用して、小さなアリティゲートから大きなアリティゲートを構築することができる。

実施形態において、アルファの最適条件は、表現力と学習（勾配）の質との間のトレードオフを最大化するように決定される。最大重みと最小重みとの間の比を記述する表現力に加えて、スラック変数を導入することができる。スラックは、より高い表現力を必要とすることなく、それでもなお、（例えば、重み（ｗ）をゼロに設定すること（例えば、ｗ＝０）によって）入力を完全に除去することを可能にする。例えば、学習段階中に各重みに対して制約付きスラック変数を導入して、さもなければ論理制約に違反するために実行不能であった重み値を、制約付き線形プログラムが設定することを（スラック変数を通じて）可能にすることができる。入力が減少した場合、有効アリティを、アルファ及びｔ＿ｍａｘとともに再計算することができる。

本明細書における方法は、所与の最大表現力（例えば、最大入力重みと最小入力重みとの間の比によって定義される）及び演算子のサイズ又はアリティに対して活性化関数の関数勾配を最適化するために、論理ニューロンなどの重み付き実数値論理演算子（例えば、重み付きオフセットＬｕｋａｓｉｅｗｉｃｚ実数値強連言又は選言演算子）の真の閾値（アルファ）、活性化関数及び論理制約（例えば、凸最適化線形プログラム）を決定する。実数値論理とは、真理値が連続的な範囲を含む多値論理のことを意味する。

実施形態における方法は、論理制約に緩和を導入し、そこより上では真理値が古典論理の真値のように挙動する不確定性である真の閾値（アルファ）と、そこより下では値が古典的な偽のように挙動する偽の閾値（１－アルファ）とを定義することによって、表現力及び機械学習の改善を可能にすることができる。

実施形態における方法は、所与の真の閾値について、その動作領域のそれぞれ真の閾値及び偽の閾値の上及び下の部分に対してのみ比率平均勾配を得ることによって、論理ニューロンの活性化関数に対する勾配クオリティの尺度を計算することができる。実施形態において、勾配クオリティは、相対的スカラー尺度であり、比率平均フランク勾配に関して測定することができる。

実施形態における方法は、最小重み及び表現力のみが与えられると重みの和を決定できるように重み分布をモデル化することによって、論理演算子の表現力又は容量をその論理制約に組み込んで表現力と真の閾値との間の関係を確立することができる。

図７は、一実施形態における重み分布を示す。実施形態において、表現力は、論理ニューロンへの最小入力重みに対する最大入力重みの比として決定される。例えば、表現力λ＝Ｗ_ｍａｘ／Ｗ_ｍｉｎである。例えば、Ｗ_ｍａｘ＝λＷ_ｍｉｎである。重みの和は、

と表すことができ、ここでｎは入力重みの数又はアリティを表す。

実施形態において、一様分布及び正規分布のような対称重み分布に加えて、本方法は非対称重み分布も許容することができ、許容可能な表現力と真の閾値との間の関係を決定することができる。実施形態は、区間ごとの事象の量を記述するポアソン分布（逆もまた同様）に従って、入力重みをモデル化することができる。例えば、電子メール（ｅメール）に関係する例示的なユースケースにおいて、本方法の実施形態は、区間ごとの事象の量を記述するポアソン分布（逆もまた同様）に従って、例えば、不要な又は不適切なｅメールをフィルタリングする論理フィルタにおいて所与の入力ｅメール（又はｅメール受信ボックス）に対して１日に受信する又は作成される返信の数に従って、入力重みをモデル化することができる。ｅメールプロバイダの論理フィルタがｅメールユーザ／受信ボックスの各々について受信するｅメールのアクティビティ／カウントを解析するとき、論理規則は、これらの受信ボックスの各々において疑わしいｅメールの受信（ブール条件）を入力として取り込み、疑わしいｅメールが不要なｅメールであるとみなされる場合に真、それ以外は偽である実数値論理出力を決定する。論理フィルタは、内部論理処理に基づくｅメールの分類又はラベリングを提供することができる。例えば、ｅメールプロバイダは、その登録ユーザのために、ｅメールの保存、送信、受信、及びアクセスサービスをホストする。そのｅメールが評判の良い送信元から来たものかどうかといったラベル又は分類を提供するために、論理フィルタが、ユーザの受信ボックスに届くすべてのｅメールに対して自動的に適用される。論理フィルタは、例えば、ｅメール送信者アドレスドメインが送信ｅメールサーバードメインと同じであるかどうかといった、ｅメール又はユーザに関する外部条件に関連付けられた真理値を入力として取得する、１つ又は複数の論理規則に基づく内部処理を有することができる。開示された方法は、入力命題及びｅメールの特徴に基づいて、あるｅメールがどの程度疑わしいかを示すといったように、論理フィルタから実単位区間［０，１］真理値を生成することが可能である。ある入力ｅメールが疑いのあるｅメールを受け取ったかどうかを命題とする論理演算子への入力重みは、このようにして、入力の影響を増大又は減少させることができる関連情報を取り込むことができる。例えば、論理演算子活性化を伴うニューロンのネットワークが多数の着信ｅメールを受信した場合、疑わしいｅメールが予期され、その入力は重み付けを下げられ、すなわち、その入力（又はニューロン）の重みが低減される。例えば、論理フィルタが、通常は疑わしいｅメールを受信しない多くの受信ボックスがすべて同じｅメールを受信したことを観察した場合、このことは、このｅメールが疑わしいことのより強い兆候である。一方、通常多くのｅメールを受信する受信ボックスが疑わしいｅメールも受信した場合、受信するｅメールの数がはるかに少ない別の受信ボックスよりも、そのｅメールを疑うための票としての重みが小さくなるであろう。

実施形態において、最小重みの下界は、表現力、演算子アリティ、及び真の閾値に関連して決定される。一様な表現力のみが所望される場合、システム全体にわたって表現力を１に設定することによって、計算を簡略化することができる。

実施形態における方法は、例えば、動作範囲最小（operating range minimum）において偽であり、偽の閾値入力に対して偽の閾値にあり、真の閾値入力に対して真の閾値にあり、動作範囲最大（operating range maximum）において真である区分的線形関数を形成することによって、論理動作範囲にわたって活性化関数の勾配を最適化するために所与の真の閾値について活性化関数を構築し及び継続的に更新することができる。実施形態において、偽の動作範囲は［０，１－アルファ］である。実施形態において、真の動作範囲は［アルファ，１］である。

実施形態における方法は、真の閾値を、表現力と最大表現力における勾配クオリティとの積を最大化する同じ値に、無期限に設定することができる。真の閾値は、現在の表現力に基づいて更新することができる。例えば、重みが学習され変更されるのに伴い、表現力を変更することができる。変更された表現力に基づいて、真の閾値を再計算又は更新することができる。

実施形態において、方法は、真の閾値を決定し、及び更新することを含むことができる。本方法はまた、ユーザ値選択のセットに基づいて実数値論理演算子の様々な局面及び特性を計算し、更新し、及び視覚化する、ユーザインターフェースを提供することを含むことができる。表現力及びアリティの関連する値を、実数値論理の様々な局面及び特性に基づいて決定することができる。例えば、本方法は、論理決定表面（logical decision surface）及び動作領域を視覚化し、それに対する表現力及びアリティの影響を分析し、また、表現力の下界を保証する実行可能なパラメータ領域を決定することができる。図９は、実施形態におけるユーザインターフェースの視覚化の一例を示す。視覚化は、活性化目標（activation objective）プロット９０２を提供する。このような活性化目標プロット９０２によって、ユーザは、ユーザが最大表現力又はアルファ値を設定するためにどのｘ値又はｙ値を望むかを決定することが可能になる。例えば、プロット又はグラフにおいて、ｙ軸は表現力の設定を表し、ｘ軸はアルファ値の設定を表す。プロット内の様々な点は、最大表現力及びアルファ値の異なる値に対する活性化を示している。このような視覚化は、限定されないが、シグモイド関数及びＲｅＬＵ関数（例えば、３区分ｌｅａｋｙ ＲｅＬＵ）などの異なる活性化関数について示すことができる。アリティ（演算子又は入力の数）の異なる値に対して、最大表現力対アルファ値の異なるプロットを示すことができる。

実施形態における方法は、入力を完全に除去することを可能にするために、定義された表現力の値の対応する変化を必要とすることなく、論理制約にスラックを導入して、入力がゼロ重みを受け取ることを可能にすることができる。

実施形態における方法は、真の閾値、アリティ、及び表現力を入力として取得する指定された式が与えられると、最大論理オフセット（例えば、重み付きオフセットＬｕｋａｓｉｅｗｉｃｚ実数値強連言又は選言演算子に対する）及び論理制約における対応するオフセット上界を無期限に同じ値に設定することができる。

実施形態において、本方法は、活性化関数の学習可能なパラメータとして真の閾値を指定する。実施形態において、活性化関数の最適化は、論理機能を保証するための詳細を指定する。

真理値の境界に関して明示的に推論することで、ニューラルネットワークに論理推論を実装することに固有の多くの課題が軽減される。境界は、推論中に真理値が取り得る４つの状態、すなわち、未知、既知の真、既知の偽、既知の矛盾、を表現するエレガントかつ直観的な機構を提供する。境界は、モーダスポネンスが非結果を返すことができる機構を提供する。境界に関する推論は、同じ命題に対する複数の証明を集約する能力を促進する。

以下、ＡＮＤ演算又はゲートを実装する重み付き実数値論理演算子又は論理ニューロンの真の閾値（アルファ）、活性化関数及び論理制約（例えば凸最適化線形プログラム）を決定することを説明する。本システム及び方法は、他の論理ゲート又は演算に適用することも可能である。

実施形態において、範囲［０，１］の論理的真理値のベクトルｘに対する論理連言又はＡＮＤ演算に対応する論理ニューロンは、以下のようなニューロン活性化関数ｆへの引数であるＬｕｋａｓｉｅｗｉｃｚファジーｔ－ノルム（三角ノルム）の形式で定義することができる。

以下、実施形態において表現力及び真の閾値アルファを定義することを説明する。式中、以下の表記を用いる。

ｔは、ニューロン閾値又はバイアスを表し、これはニューロン活性化関数への最大入力に対応する。

ｗは、論理ニューロンへの各入力に関連付けられた学習可能な重みパラメータのベクトルを表す。

αは、ニューロンの真の閾値を表し、それを上回る真理値（０と１の間）を古典的真であると解釈することができる。

ｎは、論理ニューロンのアリティ又は入力の数を表す。

λは、表現力、すなわち最小入力重みに対する最大入力重みの比を表す。

ｔ＿ｍｉｎは、ニューロン閾値の下界を表し、これはニューロン論理制約を満たしつつニューロン閾値を設定できる最小値に対応する。

ｗ＿ｍｉｎは、論理ニューロンへの入力重みのセットのうち、最小の入力重みを表す。

ｓは、スラック変数のベクトルを表し、論理ニューロンへの入力重みパラメータの各々に関連付けられるものである。これらのスラック変数は、制約充足の判断及び損失項の計算に使用されるが、それ以外の用途、例えば論理ニューロンの推論段階などでは使用されない。

ｓ＿ｉは、整数ｉでインデックス付けされたニューロン入力に関連付けられた特定のスラック変数を表す。

ｘ＿ｍｉｎは、論理ニューロンの動作範囲内の最小点を表し、これは論理ニューロンの活性化関数への期待される最小入力に対応する。

ｔ＿ｍａｘはニューロン閾値の上界を表し、これはニューロン論理制約を満たしつつニューロン閾値を設定できる最大値に対応する。

実施形態において、以下は、ｔの下界を定義する。

実施形態において、以下は、ｔの上界を定義する。

実施形態において、ｔの上界であるｔ_ｍａｘは、ｉに対する制約を選択することによって計算され、ここでｗ_ｉはｔが可能な最大値になるように選択され、すなわちｗ_ｉ＝ｗ_ｍｉｎである。ここで使用されるアルファ値は、他の制約及びアルファに依存するすべての導出値の計算で使用される同じアルファ値とすることができる。実施形態において、所与の論理ニューロンに対して１つのアルファ値が存在し得る。他の論理ニューロンに対して、異なるアルファ値が存在し得る。

実施形態において、以下は、論理ニューロンの活性化関数への期待される最小入力であり、ニューロンの動作範囲の最小点であるｘの下界を定義する。

実施形態において、以下は、ｗ_ｍｉｎの下界を定義する。

実施形態において、以下は、論理ニューロンの活性化関数の動作範囲の幅である論理帯域幅を定義する。論理帯域幅が大きいと必然的に勾配クオリティが小さくなり、一方、論理帯域幅が小さいと表現力が小さくなることを意味する。したがって、論理的帯域幅は、システムの最適化において、勾配クオリティと表現力とのバランスを取るための尺度となる。

実施形態において、以下は、λ（表現力）の上界を定義する。

上記で定義したｔの下界、ｔの上界、ｘの下界、ｗ_ｍｉｎの下界、論理帯域幅、λの上界は、活性化最適化関数を定式化する際に使用される。

以下は、実施形態における活性化最適化を示す。最適化は、比率平均フランク勾配（ｇとして表される）及び表現力（λとして表される）を最大化する（活性化最適化）。

ｇは勾配を表す。

以下は、上記の活性化最適化における比率平均フランク勾配を示す。実施形態において、比率平均フランク勾配は、比率平均された２つのフランク勾配を含む平均勾配である。実施形態において、区分的線形活性化関数は、ｘ_ｍｉｎからｔ_ｍａｘの領域及び０から１までの範囲にわたる、３つの接続された線形ラインを含む。ｘ_ｍｉｎから１－αまでの左の線形区分は、偽の出力に関連付けられ、１－αからαまでの中央の線形区分はファジー出力に関連付けられ、αからｔ_ｍａｘまで右の線形区分は真の出力に対応する。左の線形区分の勾配（左フランク）は、範囲１－αを領域幅１－α－ｘ_ｍｉｎで割ったものである。右の線形区分（右フランク）の勾配は、範囲１－αを領域幅ｔ_ｍａｘ－αで割ったものである。

左及び右の線形区分の和に対する左の線形区分の領域幅比は、１－α－ｘ_ｍｉｎを１－α－ｘ_ｍｉｎとｔ_ｍａｘ－αの和で割ったものである。同様に、左及び右の線形区分の和に対する右の線形区分の領域幅比は、ｔ_ｍａｘ－αを１－α－ｘ_ｍｉｎとｔ_ｍａｘ－αとの和で割ったものである。

このとき、比率平均フランク勾配は、左フランクの勾配（１－α）／（１－α－ｘ_ｍｉｎ）と左フランクの領域幅比との積に、右フランクの勾配（１－α）／（ｔ_ｍａｘ－α）と右フランクの領域幅比との積を加えたものとなる。

導出された最適化関数

は、関数ｇを最大化することを組み入れたものであり、表現力値λに関して関数を最大化する真の閾値αについて解かれる。この最適化関数において、ｘ_ｍｉｎ、ｔ_ｍａｘは既知であるか、所与であるか、又は上述のように計算される。

ニューロンのアリティ及び表現力ラムダ（λ）は、ユーザが指定することができる。別の態様では、ニューロンのアリティ及び表現力ラムダ（λ）は、予め定義することができる。このとき、開示されたシステムもしくは方法又はその両方が、活性化目標を介してアルファを自動的に最適化することができる。アリティ、ラムダ（λ）及びアルファ（α）が既知になると、論理ニューロンは完全にインスタンス化され、重みの学習の準備ができた状態となる。重みが経時的に適応するにつれて、表現力ラムダ（λ）を現在の重みに必要な高い表現力に適合するように再計算することができ、ラムダ（λ）が変化したとき（ラムダ（λ）の変化に応答して）、アルファ（α）を再最適化することができる。

上式は、実数値論理回路又はゲートの容量及び機械学習（勾配）を最適化する。関数ｇは、３区分線形正規化活性化関数の表現力と比率平均フランク勾配という２つの注目すべき値を結合したものである。実施形態において、関数ｇは、表現力λと勾配クオリティとの間の乗算とすることができる。比率平均フランク勾配は、勾配に、３区分線形正規化活性化関数の全動作範囲に対する各フランク区間幅の比を乗じて、薄いフランク区間が勾配クオリティ尺度に寄与することが少ない比率平均化を得たものである。次いで、表現力と勾配クオリティとの積を最大化する活性化関数ｆを上式によって決定し、これにより、異なる大きさの重みを表現力λまでサポートしつつ、論理ニューロンの全動作範囲において比較的小さくない勾配も与える活性化関数を、論理ニューロンに提供する。

実施形態において、上記活性化目標は、ラムダ（λ）、アルファ（α）及びアリティのみで記述することができる。活性化目標スカラー出力は、ラムダ（λ）、アルファ（α）及びアリティが与えられると計算することができ、これは表現力及び勾配クオリティの相対数を示す。アリティは論理ニューロン設計のために予め指定することができ、ユーザが論理ニューロンによってサポートされることを望む最大表現力ラムダ（λ）もまた指定することができる。ラムダ（λ）及びアリティが与えられると、活性化目標を最大化するために選択できる従属パラメータとして真の閾値アルファ（α）が残され、この選択は自動的に決定することができる。

別の態様において、例えば、所与のアリティについてのラムダ対アルファの２次元（２Ｄ）プロットなどを提供又は視覚化し、活性化目標を最大化するラムダとアルファとの組み合わせを選択することができる、ユーザインターフェース（例えば、図９に示す）などのインターフェースを提供することができる。図９は、例えば、軸及び単一アリティの選択を介して指定される入力トリプレット（アリティ、ラムダ、アルファ）に対して計算される、活性化目標スカラー出力値の等高線プロットを示す。同様のプロットを、より高い値のアリティの選択を有するように生成することができる。グラフィカルユーザインターフェースは、このようなプロットを視覚化して、ユーザが活性化目標を最大化するラムダとアルファとの組み合わせを選択することを可能にすることができる。

図３は、重み付き実数値論理の容量及び学習の最適化を提供することができる一実施形態におけるシステムの構成要素を示す図である。中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、及び／又は別のプロセッサといった１つ又は複数のハードウェアプロセッサ３０２をメモリデバイス３０４に結合することができる。メモリデバイス３０４は、ランダム・アクセス・メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）又は別のメモリデバイスを含むことができ、本明細書に記載される方法もしくはシステム又はその両方に関連する様々な機能を実装するためのデータもしくはプロセッサ命令又はその両方を格納することができる。１つ又は複数のプロセッサ３０２は、メモリ３０４に格納された、又は別のコンピュータデバイスもしくは媒体から受け取ったコンピュータ命令を実行することができる。メモリデバイス３０４は、例えば、１つ又は複数のハードウェアプロセッサ３０２の機能のための命令もしくはデータ又はその両方を格納することができ、オペレーティングシステム及び他の命令もしくはデータ又はその両方のプログラムを含むことができる。例えば、少なくとも１つのハードウェアプロセッサ３０２は、所与の最大表現力（例えば、最大入力重みと最小入力重みとの間の比によって定義される）及び演算子のサイズ又はアリティに対して活性化関数の関数勾配を最適化するために、重み付き実数値論理演算子もしくは論理ニューロン（例えば、重み付きオフセットＬｕｋａｓｉｅｗｉｃｚ実数値強連言又は選言演算子）又はその両方の真の閾値（アルファ）、活性化関数及び論理制約（例えば凸最適化線形プログラム）を決定することができる。一態様において、入力データは、ストレージ・デバイス３０６に格納することができ、又は遠隔デバイスからネットワーク・インターフェース３０８を介して受け取ることができ、重み付き実数値論理の容量及び学習を最適化するためにメモリデバイス３０４に一時的にロードすることができる。学習された重み付き実数値論理は、例えば予測又は推論を行うために、メモリデバイス３０４に格納することができる。１つ又は複数のハードウェアプロセッサ３０２は、例えばネットワークを介して遠隔システムと通信するためのネットワーク・インターフェース３０８、及びキーボード、マウス、ディスプレイ、もしくはその他又はそれらの組合せなどの入力デバイスもしくは出力デバイス又はその両方のデバイスと通信するための入力／出力インターフェース３１０などのインターフェースデバイスと結合されてもよい。

図４は、一実施形態における方法を示すフロー図である。１つ又は複数のプロセッサ、例えばハードウェアプロセッサが、本明細書に記載された方法を実行する又は走らせることができる。本方法は、論理ニューロンのニューラルネットワークに実装された重み付き実数値論理を学習することができる。４０２において、本方法は、重み付き実数値論理ゲートを実装するニューラルネットワークのニューロンへの最大入力重みと最小入力重みとの間の比を表す最大表現力を受け取ることを含むことができる。４０４において、本方法は、ニューロンに関連付けられた演算子アリティを受け取ることを含むことができる。

４０６において、本方法は、ニューロンへの入力に関連付けられた重み、真の閾値、及び活性化についてのニューロン閾値に関して、重み付き実数値論理ゲートに関連付けられた論理制約を定義することを含むことができる。４０８において、本方法は、ニューロンの活性化関数に用いられるパラメータとして真の閾値を決定することを含むことができる。真の閾値は、論理制約に基づいて定式化された活性化最適化を解くことによって決定することができる。活性化最適化は、所与の演算子アリティ及び最大表現力について、ニューロンへの入力重みの分布幅を表す表現力と、ニューロンに対する勾配クオリティとの積を最大化する。実施形態において、勾配クオリティは、相対的スカラー尺度であり、比率平均フランク勾配で表すことができる。比率平均フランク勾配は、上述したように決定することができる。４１０において、本方法は、ニューロンにおける活性化関数を使用して論理ニューロンのニューラルネットを訓練することを含むことができ、活性化関数は、決定された真の閾値を使用する。

実施形態において、活性化関数は、シグモイド関数とすることができる。別の実施形態において、活性化関数は、３区分ｌｅａｋｙ正規化線形ユニット（ＲｅＬＵ）とすることができる。他の活性化関数を使用又は選択することができる。

実施形態において、本方法は、定義された論理制約を使用して、ニューロン閾値の下界と、ニューロン閾値の上界と、ニューロンの動作範囲の最小点を表す、ニューロンの入力の下界と、表現力、演算子アリティ及び真の閾値に関しての最小入力重みの下界と、ニューロンの活性化関数の動作範囲の幅を表す論理帯域幅と、表現力の上界とを定義する又は導出することを含むことができる。活性化最適化は、ニューロン閾値の下界、ニューロン閾値の上界、ニューロンの入力の下界、最小入力重みの下界、論理帯域幅、及び表現力の上界に基づいて定式化することが可能である。活性化最適化は、表現力、真の閾値、ニューロンの入力の下界、ニューロン活性化に期待される最大入力の上界に関して導出することができる。

本方法は、また、動作範囲最小において偽であり、偽の閾値入力に対して偽の閾値にあり、真の閾値入力に対して真の閾値にあり、動作範囲最大において真である区分的線形関数を形成することによって、論理動作範囲にわたって活性化関数の勾配を最適化するために、真の閾値について活性化関数を継続的に更新することを含むこともできる。

本方法は、また、より高い表現力を必要とすることなくニューロンの入力を除去することを可能にするために、ニューロンの入力に関連付けられたスラック変数を導入することを含むこともできる。実施形態において、ニューロンへの入力重みの和は、最小重み及び表現力のみが与えられると決定することができる。実施形態において、真の閾値は、現在の表現力に基づいて更新することができる。実施形態において、本方法は、また、重み付き実数値論理ゲートの特性を視覚化することを含むこともできる。

図８は、一実施形態においてシステムを実装することができる例示的なコンピュータ又は処理システムの概略図を示す。このコンピュータ・システムは、適切な処理システムの一例に過ぎず、本明細書に記載される方法の実施形態の使用範囲又は機能に関するいかなる限定の示唆も意図するものではない。示される処理システムは、多数の他の汎用コンピューティング・システム又は特定用途向けコンピューティング・システム環境もしくは構成で動作可能であり得る。図８に示される処理システムでの使用に適切であり得る周知のコンピューティング・システム、環境もしくは構成、又はそれらの組み合わせの例としては、これらに限定されるものではないが、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、手持ち式又はラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、セット・トップ・ボックス、プログラマブル家電製品、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、及び上記のシステム又はデバイスのいずれかを含む分散型クラウド・コンピューティング環境などを含むことができる。

コンピュータ・システムは、コンピュータ・システムによって実行される、プログラム・モジュールなどのコンピュータ・システム実行可能命令の一般的な文脈で説明することができる。一般的に、プログラム・モジュールは、特定のタスクを実施するか、特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造などを含むことができる。コンピュータ・システムは、通信ネットワークを介してリンクされる遠隔処理デバイスによってタスクが実施される分散型クラウド・コンピューティング環境で実施することができる。分散型クラウド・コンピューティング環境では、プログラム・モジュールは、メモリ・ストレージ・デバイスを含むローカル・コンピュータ・システム・ストレージ媒体及び遠隔コンピュータ・システム・ストレージ媒体の両方に配置することができる。

コンピュータ・システムのコンポーネントは、これらに限定されるものではないが、１又は複数のプロセッサもしくは処理ユニット１２と、システム・メモリ１６と、システム・メモリ１６を含む様々なシステム・コンポーネントをプロセッサ１２に結合するバス１４とを含むことができる。プロセッサ１２は、本明細書に記載される方法を実施するモジュール３０を含むことができる。モジュール３０は、プロセッサ１２の集積回路にプログラムすること、メモリ１６、ストレージ・デバイス１８、もしくはネットワーク２４、からロードすること、又はその組み合わせが可能である。

バス１４は、メモリ・バス又はメモリ・コントローラ、周辺バス、アクセラレーテッド・グラフィックス・ポート、及び種々のバス・アーキテクチャのいずれかを用いるプロセッサ又はローカル・バスを含む、幾つかのタイプのバス構造のうちのいずれかの１つ又は複数を表すことができる。限定ではなく例としては、このようなアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ：Industry Standard Architecture）バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ：Micro Channel Architecture）バス、Ｅｎｈａｎｃｅｄ ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカル・バス、及びＰｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスを含む。

コンピュータ・システムは、種々のコンピュータ・システム可読媒体を含むことができる。このような媒体は、コンピュータ・システムによりアクセス可能ないずれかの利用可能媒体とすることができ、揮発性媒体及び不揮発性媒体の両方と、取り外し可能媒体及び取り外し不能媒体の両方とを含むことができる。

システム・メモリ１６は、ランダム・アクセス・メモリ（ＲＡＭ）もしくはキャッシュ・メモリ又はその両方など、揮発性メモリの形のコンピュータ・システム可読媒体を含むことができる。コンピュータ・システムは、他の取り外し可能／取り外し不能、揮発性／不揮発性のコンピュータ・システム・ストレージ媒体をさらに含むことができる。単なる例として、取り外し不能の不揮発性磁気媒体（例えば「ハード・ドライブ」）との間の読み出し及び書き込みのために、ストレージ・システム１８を設けることができる。図示されていないが、取り外し可能な不揮発性磁気ディスク（例えば、「フロッピー・ディスク」）との間の読み出し及び書き込みのための磁気ディスク・ドライブと、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ又は他の光媒体などの取り外し可能な不揮発性光ディスクとの間の読み出し及び書き込みのための光ディスク・ドライブとを設けることができる。このような例においては、それぞれを、１つ又は複数のデータ媒体インターフェースによって、バス１４に接続することができる。

コンピュータ・システムは、キーボード、ポインティング・デバイス、ディスプレイ２８等のような１つ又は複数の外部デバイス２６、ユーザがコンピュータ・システムと対話することを可能にする１つ又は複数のデバイス、もしくはコンピュータ・システムが１つ又は複数の他のコンピューティング・デバイスと通信することを可能にする任意のデバイス（例えば、ネットワーク・カード、モデム等）又はその両方と通信することもできる。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース２０を介して行うことができる。

さらにまた、コンピュータ・システムは、ネットワーク・アダプタ２２を介して、ローカル・エリア・ネットワーク（ＬＡＮ）、汎用広域ネットワーク（ＷＡＮ）もしくは公衆ネットワーク（例えば、インターネット）又はそれらの組み合わせなどの１つ又は複数のネットワーク２４と通信することもできる。示されるように、ネットワーク・アダプタ２２は、バス１４を介して、コンピュータ・システムの他のコンポーネントと通信する。図示されないが、コンピュータ・システムと共に他のハードウェア・コンポーネントもしくはソフトウェア・コンポーネント又はその両方を使用できることを理解されたい。例として、これらに限定されるものではないが、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、及びデータ・アーカイブ・ストレージ・システム等が含まれる。

本発明は、システム、方法もしくはコンピュータ・プログラム製品又はそれらの組み合わせを、いずれかの可能な技術的詳細レベルで統合したものとすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読ストレージ媒体（単数又は複数）を含むことができる。

コンピュータ可読ストレージ媒体は、命令実行デバイスにより使用される命令を保持及び格納できる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限定されるものではないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁気ストレージ・デバイス、半導体ストレージ・デバイス、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストとして、以下のもの、すなわち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、パンチカードもしくは命令がそこに記録された溝内の隆起構造のような機械的にエンコードされたデバイス、及び上記のいずれかの適切な組み合わせが挙げられる。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、電波、又は他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体を通じて伝搬する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、又はワイヤを通って送られる電気信号などの、一時的信号自体として解釈されない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスに、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワークもしくは無線ネットワーク、又はそれらの組み合わせなどのネットワークを介して、外部コンピュータ又は外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバ、又はそれらの組み合わせを含むことができる。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体内に格納する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、又は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの手続き型プログラミング言語を含む１つ又は複数のプログラミング言語の任意の組み合わせで記述されるソース・コード又はオブジェクト・コードとすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータもしくはサーバ上で実行される場合もある。後者のシナリオにおいて、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続がなされる場合もある（例えば、インターネットサービスプロバイダを用いたインターネットを通じて）。幾つかの実施形態において、例えば、プログラム可能論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して、電子回路を個別化することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム製品のフローチャート図もしくはブロック図又はその両方を参照して説明される。フローチャート図もしくはブロック図又はその両方の各ブロック、ならびにフローチャート図もしくはブロック図又はその両方におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されるであろう。

これらのコンピュータ可読プログラム命令を、コンピュータのプロセッサ、又は他のプログラム可能データ処理装置に与えて機械を製造し、それにより、コンピュータのプロセッサ又は他のプログラム可能データ処理装置によって実行される命令が、フローチャートもしくはブロック図又はその両方の１つ又は複数のブロック内で指定された機能／動作を実施するための手段を作り出すようにすることができる。これらのコンピュータ・プログラム命令を、特定の方式で機能するように、コンピュータ、プログラム可能データ処理装置もしくは他のデバイス又はその組み合わせに指示することができるコンピュータ可読媒体内に格納し、それにより、そこに命令が格納されたコンピュータ可読ストレージ媒体が、フローチャートもしくはブロック図又はその両方の１つ又は複数のブロックにおいて指定された機能／動作の態様を実施する命令を含む製品を含むようにすることもできる。

コンピュータ可読プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で行わせてコンピュータ実施のプロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置、又は他のデバイス上で実行される命令が、フローチャートもしくはブロック図又は両方の１つ又は複数のブロックにおいて指定された機能／動作を実施するようにすることもできる。

図面内のフローチャート及びブロック図は、本発明の様々な実施形態による、システム、方法、及びコンピュータ・プログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又は命令の一部を表すことができる。幾つかの代替的な実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で生じることがある。例えば、関与する機能に応じて、連続して示される２つのブロックが実際には同時に、実質的に同時に、部分的又は全体に時間的に重複する方法で実行されることもあり、又はこれらのブロックが場合によって逆順で実行されることもある。ブロック図もしくはフローチャート図又は両方の各ブロック、及びブロック図もしくはフローチャート図又はその両方におけるブロックの組み合わせは、指定された機能又は動作を実行する、又は、専用ハードウェアとコンピュータ命令との組み合わせを実行する特定用途向けハードウェア・ベースのシステムによって実装できることにも留意されたい。

本明細書で用いられる用語は、特定の実施形態を説明することのみを目的とし、本発明を限定することを意図したものではない。本明細書で用いられる場合、単数形「１つの（a）」、「１つの（an）」及び「その（the）」は、文脈がそうでないことを明確に示していない限り、複数形も含むことを意図している。本明細書で用いられる場合、用語「又は（or）」は、包含的演算子であり、文脈がそうでないことを明白又は明確には示していない限り、「及び／又は」を意味し得る。さらに、本明細書で使用される場合、用語「含む（comprise）」、「含む（comprises）」、「含んでいる（comprising）」、「含む（include）」、「含む（includes）」、「including」もしくは「有している（having）」、又はそれらの組み合わせは、記載される特徴、整数、ステップ、動作、要素もしくはコンポーネント又はそれらの組み合わせの存在を指定するが、１つ又は複数の他の特徴、整数、ステップ、動作、要素、コンポーネントもしくはグループ又はそれらの組み合わせの存在も又は追加も排除しないことが理解されるであろう。

以下の特許請求の範囲における「手段又はステップと機能との組み合わせ（ミーンズ又はステップ・プラス・ファンクション）」要素の対応する構造、材料、動作及び均等物は、明確に特許請求された他の請求された要素と共に機能を実行するための任意の構造、材料、又は行為を含むことを意図したものである。本発明の説明は、例証及び説明のためだけに提示されたものであり、網羅的であること又は本発明を開示した形態に限定することを意図したものではない。当業者には、本発明の範囲から逸脱しない多くの修正及び変形が明らかになるであろう。実施形態は、本発明の原理及び実際の用途を最もよく説明するため、及び、当業者が、企図した特定の用途に適するように種々の修正を有する種々の実施形態に関して本発明を理解することができるように、選択され記述された。

Claims (20)

1. 論理ニューロンのニューラルネットワークに実装された重み付き実数値論理を学習する方法であって、
   重み付き実数値論理ゲートを実装するニューラルネットワークのニューロンへの最大入力重みと最小入力重みと間の比を表す最大表現力を受け取ることと、
   前記ニューロンに関連付けられた演算子アリティを受け取ることと、
   前記ニューロンへの入力に関連付けられた重み、真の閾値、及び活性化についてのニューロン閾値に関して、前記重み付き実数値論理ゲートに関連付けられた論理制約を定義することと、
   前記論理制約に基づいて定式化された活性化最適化を解くことに基づいて、前記ニューロンの活性化関数に用いられるパラメータとして前記真の閾値を決定することであって、前記活性化最適化は、所与の前記演算子アリティ及び前記最大表現力について、前記ニューロンへの入力重みの分布幅を表す表現力と、前記ニューロンに対する勾配クオリティとの積を最大化する、決定することと、
   前記ニューロンにおける前記活性化関数を使用して前記論理ニューロンのニューラルネットワークを訓練することであって、前記活性化関数は、決定された前記真の閾値を使用する、訓練することと、
   を含む方法。
2. 前記活性化関数は、シグモイド関数を含む、請求項１に記載の方法。
3. 前記活性化関数は、３区分ｌｅａｋｙ正規化線形ユニット（ＲｅＬＵ）を含む、請求項１に記載の方法。
4. 定義された前記論理制約に基づいて、
   前記ニューロン閾値の下界を定義することと、
   前記ニューロン閾値の上界を定義することと、
   前記ニューロンの動作範囲の最小点を表す、前記ニューロンの入力の下界を定義することと、
   前記表現力、前記演算子アリティ、及び前記真の閾値に関して、最小入力重みの下界を定義することと、
   前記ニューロンの前記活性化関数の前記動作範囲の幅を表す論理帯域幅を定義することと、
   前記表現力の上界を定義することと、
   をさらに含み、
   前記活性化最適化は、前記ニューロン閾値の前記下界、前記ニューロン閾値の前記上界、前記ニューロンの入力の前記下界、前記最小入力重みの前記下界、前記論理帯域幅、及び前記表現力の前記上界に基づいて定式化される、請求項１に記載の方法。
5. 前記活性化最適化は、前記表現力、前記真の閾値、前記ニューロンの入力の前記下界、及びニューロン活性化に期待される最大入力の上界に関して導出される、請求項４に記載の方法。
6. 動作範囲最小において偽であり、偽の閾値入力に対して偽の閾値にあり、真の閾値入力に対して真の閾値にあり、動作範囲最大において真である区分的線形関数を形成することによって、論理動作範囲にわたって前記活性化関数の勾配を最適化するために、前記真の閾値について前記活性化関数を継続的に更新することをさらに含む、請求項１に記載の方法。
7. より高い表現力を必要とすることなく前記ニューロンの入力を除去することを可能にするために、前記ニューロンの入力に関連付けられたスラック変数を導入することをさらに含む、請求項１に記載の方法。
8. 前記ニューロンへの前記入力重みの和は、最小重み及び前記表現力のみが与えられると決定される、請求項１に記載の方法。
9. 前記真の閾値は、現在の表現力に基づいて更新される、請求項１に記載の方法。
10. 前記重み付き実数値論理ゲートの特性を可視化することをさらに含む、請求項１に記載の方法。
11. 具体化されたプログラム命令をその中に有するコンピュータ可読ストレージ媒体を含むコンピュータ・プログラム製品であって、前記プログラム命令は、デバイスによって実行可能であって、前記デバイスに、
    重み付き実数値論理ゲートを実装するニューラルネットワークのニューロンへの最大入力重みと最小入力重みと間の比を表す最大表現力を受け取ることと、
    前記ニューロンに関連付けられた演算子アリティを受け取ることと、
    前記ニューロンへの入力に関連付けられた重み、真の閾値、及び活性化についてのニューロン閾値に関して、前記重み付き実数値論理ゲートに関連付けられた論理制約を定義することと、
    前記論理制約に基づいて定式化された活性化最適化を解くことに基づいて、前記ニューロンの活性化関数に用いられるパラメータとして前記真の閾値を決定することであって、前記活性化最適化は、所与の前記演算子アリティ及び前記最大表現力について、前記ニューロンへの入力重みの分布幅を表す表現力と、前記ニューロンに対する勾配クオリティとの積を最大化する、決定することと、
    前記ニューロンにおける前記活性化関数を使用して前記論理ニューロンのニューラルネットワークを訓練することであって、前記活性化関数は、決定された前記真の閾値を使用する、訓練することと、
    を行わせる、コンピュータ・プログラム製品。
12. 前記活性化関数は、シグモイド関数を含む、請求項１１に記載のコンピュータ・プログラム製品。
13. 前記活性化関数は、３区分ｌｅａｋｙ正規化線形ユニット（ＲｅＬＵ）を含む、請求項１１に記載のコンピュータ・プログラム製品。
14. 前記デバイスに、定義された前記論理制約に基づいて、
    前記ニューロン閾値の下界を定義することと、
    前記ニューロン閾値の上界を定義することと、
    前記ニューロンの動作範囲の最小点を表す、前記ニューロンの入力の下界を定義することと、
    前記表現力、前記演算子アリティ、及び前記真の閾値に関して、最小入力重みの下界を定義することと、
    前記ニューロンの前記活性化関数の前記動作範囲の幅を表す論理帯域幅を定義することと、
    前記表現力の上界を定義することと、
    を行わせ、
    前記活性化最適化は、前記ニューロン閾値の前記下界、前記ニューロン閾値の前記上界、前記ニューロンの入力の前記下界、前記最小入力重みの前記下界、前記論理帯域幅、及び前記表現力の前記上界に基づいて定式化される、請求項１１に記載のコンピュータ・プログラム製品。
15. 前記活性化最適化は、前記表現力、前記真の閾値、前記ニューロンの入力の前記下界、及びニューロン活性化に期待される最大入力の上界に関して導出される、請求項１４に記載のコンピュータ・プログラム製品。
16. 前記デバイスに、動作範囲最小において偽であり、偽の閾値入力に対して偽の閾値にあり、真の閾値入力に対して真の閾値にあり、動作範囲最大において真である区分的線形関数を形成することによって、論理動作範囲にわたって前記活性化関数の勾配を最適化するために、前記真の閾値について前記活性化関数を継続的に更新することをさらに行わせる、請求項１１に記載のコンピュータ・プログラム製品。
17. 前記デバイスに、より高い表現力を必要とすることなく前記ニューロンの入力を除去することを可能にするために、前記ニューロンの入力に関連付けられたスラック変数を導入することをさらに行わせる、請求項１１に記載のコンピュータ・プログラム製品。
18. 前記ニューロンへの前記入力重みの和は、最小重み及び前記表現力のみが与えられると決定される、請求項１１に記載のコンピュータ・プログラム製品。
19. 前記真の閾値は、現在の表現力に基づいて更新される、請求項１１に記載のコンピュータ・プログラム製品。
20. ハードウェアプロセッサと、
    前記ハードウェアプロセッサに結合されたメモリデバイスと
    を含むシステムであって、
    前記ハードウェアプロセッサは、少なくとも
    重み付き実数値論理ゲートを実装するニューラルネットワークのニューロンへの最大入力重みと最小入力重みと間の比を表す最大表現力を受け取ることと、
    前記ニューロンに関連付けられた演算子アリティを受け取ることと、
    前記ニューロンへの入力に関連付けられた重み、真の閾値、及び活性化についてのニューロン閾値に関して、前記重み付き実数値論理ゲートに関連付けられた論理制約を定義することと、
    前記論理制約に基づいて定式化された活性化最適化を解くことに基づいて、前記ニューロンの活性化関数に用いられるパラメータとして前記真の閾値を決定することであって、前記活性化最適化は、所与の前記演算子アリティ及び前記最大表現力について、前記ニューロンへの入力重みの分布幅を表す表現力と、前記ニューロンに対する勾配クオリティとの積を最大化する、決定することと、
    前記ニューロンにおける前記活性化関数を使用して前記論理ニューロンのニューラルネットワークを訓練することであって、前記活性化関数は、決定された前記真の閾値を使用する、訓練することと、
    を行うように構成される、システム。

Images