JP7375250B1 - ニューラルネットワーク変換方法、電子デバイス及び記憶媒体 - Google Patents

ニューラルネットワーク変換方法、電子デバイス及び記憶媒体 Download PDF

Info

Publication number
JP7375250B1
JP7375250B1 JP2023097307A JP2023097307A JP7375250B1 JP 7375250 B1 JP7375250 B1 JP 7375250B1 JP 2023097307 A JP2023097307 A JP 2023097307A JP 2023097307 A JP2023097307 A JP 2023097307A JP 7375250 B1 JP7375250 B1 JP 7375250B1
Authority
JP
Japan
Prior art keywords
neural network
decision tree
electronic device
layer
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023097307A
Other languages
English (en)
Other versions
JP2024056120A (ja
Inventor
アイテキンカグラル
Original Assignee
エーエーシー テクノロジーズ ピーティーイー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エーエーシー テクノロジーズ ピーティーイー リミテッド filed Critical エーエーシー テクノロジーズ ピーティーイー リミテッド
Application granted granted Critical
Publication of JP7375250B1 publication Critical patent/JP7375250B1/ja
Publication of JP2024056120A publication Critical patent/JP2024056120A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】ニューラルネットワークの決定を説明するニューラルネットワーク変換方法、電子デバイス及び記憶媒体を提供する。【解決手段】方法は、決定木を初期化し、決定木のルートを設定することと、ニューラルネットワークの有効フィルタを決定ルールとし、決定木のルートから葉分岐を行い、決定木がニューラルネットワークの全ての有効フィルタをカバーするまで葉分岐を行うこととを含む。ニューラルネットワークは、区分的線形活性化を有するニューラルネットワークである。【効果】ニューラルネットワークを決定木に変換し、決定木に基づいてニューラルネットワークを解釈することで、ニューラルネットワークのブラックボックス問題を解決することができる。また、ニューラルネットワークに等価の決定木は、メモリ要求の増加によるニューラルネットワークの計算コストを有効に減少することができる。【選択図】図１

Description

本発明は、コンピュータ技術分野に関し、特にニューラルネットワーク変換方法、電子デバイス及び記憶媒体に関する。
コンピュータ技術の分野では、ニューラルネットワークの利用がますます広まっている。しかし、ニューラルネットワークによる予測はブラックボックスな性質があるため、安全衛生分野など多くの産業において、より広く、より信頼性の高い応用が妨げられている。このため、解釈可能な人工知能（ＸＡＩ）と呼ばれるニューラルネットワークの判断を解釈する方法の構築が求められている。ニューラルネットワークの判断を解釈するための成果は、特徴マップとニューラルネットワークを解釈可能な方法で接続することに分けられる。
特徴マップは、ニューラルネットワークが予測に使用する入力領域を強調して表示する方法である。先行研究［８］では、入力に対するニューラルネットワーク出力の勾配を用いて、ネットワーク全体における特定の入力の線形化を可視化した。当該方法で得られた特徴マップは、通常ノイズがあり、決定されたことを明確に理解することができない。
他のトラッキング方法では、通常は完全接続層の前に、ニューラルネットワークを利用して活性化のための導関数を出力する。このようなトラッキング方法で得られた特徴マップは、予測類に関連する領域を強調して表示する意味では、より明確である。しかし、決定のサポート領域が妥当かどうかをチェックするといった目的には役に立つが、そのような決定が下された理由についての詳細な論理の推論は依然として不足する。
そのため、ニューラルネットワークの決定を説明する方法が必要である。
[発明の内容]
[発明が解決しようとする課題]
従来技術におけるニューラルネットワークの決定を如何に解釈するかという問題を解決するために、本発明は、ニューラルネットワークの変換方法、電子デバイス及びコンピュータ読み取り可能な記憶媒体を提供する。
本発明の実施例は、以下の技術策を利用する。
第１観点では、本発明は、端末デバイスに適用されるニューラルネットワーク変換の方法であって、決定木を初期化し、前記決定木のルートを設定することと、ニューラルネットワークのフィルタを決定ルールとし、前記決定木のルートから葉分岐を行い、前記決定木が前記ニューラルネットワークの全てのフィルタをカバーするまで前記葉分岐を行うこととを含み、前記ニューラルネットワークは、区分的線形活性化を有するニューラルネットワークである、ことを特徴とするニューラルネットワークの変換方法を提供する。
第１観点の実現形態において、前記決定木のルートから葉分岐を行うことは、
前回分岐されたノードに対して毎回前記葉分岐を行い、各前記葉分岐は１つのフィルタに対応し、前記フィルタの対応順序は、前記ニューラルネットワークの同一層のフィルタの順番及び前記ニューラルネットワークの異なる層の順番に従うことを含む。
第１観点の実現形態において、全結合層において、有効行列を前記決定ルールとする。
第１観点の実現形態において、スキップ接続層において、残差有効行列を前記決定ルールとする。
第１観点の実現形態において、正規化層において、前記正規化層は、活性化前又は活性化後の正規化の後又は前の線形層にそれぞれ埋め込まれる。
第１観点の実現形態において、畳み込み層において、有効畳み込みを前記決定ルールとする。
第１観点の実現形態において、前記方法は、更に、前記決定木の違反ルール及び／又は冗長ルールに基づいて、前記決定木に対して無損失剪定を行うこと、及び／または、前記ニューラルネットワークのトレーニング期間に実現したカテゴリに基づいて、前記決定木に対して無損失剪定を行うことを含む。
第２観点では、本発明は、端末デバイスに適用されるニューラルネットワークの計算方法であって、計算に用いられるニューラルネットワークを取得することと、第１観点の方法に基づいて、前記ニューラルネットワークを決定木に変換することと、前記決定木を用いて計算することとを含むニューラルネットワークの計算方法を提供する。
第三観点では、本発明は、コンピュータプログラム命令を格納するためのメモリ及びコンピュータプログラム命令を実行するためのプロセッサを含み、前記コンピュータプログラム命令が前記プロセッサによって実行されると、前記電子デバイスをトリガして第１観点の方法ステップを実行する電子デバイスを提供する。
第４観点では、本発明は、コンピュータプログラム命令を格納するためのメモリ及びコンピュータプログラム命令を実行するためのプロセッサを含み、
前記コンピュータプログラム命令が前記プロセッサによって実行されると、前記電子デバイスをトリガして第２観点の方法ステップを実行する電子デバイスを提供する。
第５観点では、本発明は、コンピュータプログラムが格納され、コンピュータで実行されると、コンピュータが第１観点又は第２観点の方法を実行するコンピュータ読み取り可能な記憶媒体を提供する。
[発明の効果]
本発明の実施例に係る上記の技術策より、少なくとも以下の技術的効果を実現することができる。
本発明の実施例の方法によると、ニューラルネットワークを決定木に変換し、決定木に基づいてニューラルネットワークを解釈することで、ニューラルネットワークのブラックボックス問題を解決する。また、ニューラルネットワークに等価の決定木は、メモリ要求の増加によるニューラルネットワークの計算コストを有効に減少することができる。
本発明の一実施例に係る方法のフローチャートである。 本発明の一実施例に係る決定木の概念図である。 本発明の一実施例に係る決定木の概念図である。 本発明の一実施例に係る決定木の概念図である。 本発明の一実施例に係るモデル応答の概念図である。 本発明の一実施例に係る決定木の概念図である。 本発明の一実施例に係る決定木の概念図である。 本発明の一実施例に係るニューラルネットワークの計算フローチャートである。 本発明の一実施例に係る電子デバイスのハードウェア構造概念図である。
本発明の目的、技術の解決策及び利点をより明白かつ理解しやすくするために、以下、本願の実施形態及び添付図面を参照して本発明を明確かつ詳細に説明する。明らかに、以下に説明する実施例は、すべての実施形態ではなく、本発明の実施例の一部にすぎない。本発明の実施例に基づいて、当業者が創造のな努力をすることなく得た他のすべての実施例は、本発明の保護範囲に属する。
本発明の実施形態で使用される用語は、本発明の特定の具体的に実施例を説明するためにのみ使用され、本発明を限定することを意図するものではない。
従来技術において、ニューラルネットワークの決定を如何に解釈するかという問題について、本発明は、ニューラルネットワークの変換方法を提供する。区分的線形活性化を有するニューラルネットワークを等価の決定木表現に変換する。誘導木の出力は、ニューラルネットワークと同一であり、神経構造を何ら制限したり変更したりする必要はない。ニューラルネットワークの各決定は、決定木により解釈される。
本発明の一実施例では、ニューラルネットワークを決定木に変換するプロセスにおいて、ニューラルネットワークの各層の有効なフィルタ（フィルタ）を決定木の対応層の決定ルールとして使用する。
具体的に、図１は、本発明の一実施例に係る方法フローチャートである。電子デバイスは、図１に示すプロセスを実行することで、区分的線形活性化のニューラルネットワークを決定木に変換する。
Ｓ１００、決定木を初期化し、決定木のルートを設定する。
Ｓ１１０、決定木のルートから葉分岐を開始し、決定ルールは、ニューラルネットワークのフィルタである。
具体的に、Ｓ１１０において、決定木のルートから分岐されたノードより、前回分岐したノードに対して毎回葉分岐を行い、各葉分岐は１つのフィルタに対応する。フィルタの対応する順序は、同一層フィルタの順序及び異なる層の順序に従う。
例えば、決定木のルートから第１回目の葉分岐（例えば、ｋ個のノードに分岐）を行い、決定ルールは、ニューラルネットワークの第１層の１個目のフィルタである。
具体的に、ｋは、使用した活性化関数の区分的線形領域の数に対応する。
１回目の葉分岐の結果（例えば、ｋ個のノード）の各ノードに対して２回目の葉分岐を行い、決定ルールは、ニューラルネットワークの第１層の１個目のフィルタである。
ニューラルネットワークの第１層の全てのフィルタがカバーされるまで葉分岐を継続して行う。
葉分岐を継続して行い、決定ルールは、ニューラルネットワークの第２層の１個目のフィルタである。ニューラルネットワークの全ての層の全てのフィルタがカバーされるまで葉分岐を継続して行う。
具体的に、一実施例において、Ｓ１１０は、以下のプロセスを含む。
Ｓ１１１、決定木の第ｓ層の各決定木ノードに対して葉分岐を行い、決定木の第ｓ＋１層の決定木ノード取得し、葉分岐の決定ルールは、ニューラルネットワークの第ｉ層の第ｍ個のフィルタである。
Ｓ１１１において、ｓ、ｉ、ｍの初期値は１であり、決定木の第１層の決定木ノードが決定木のルートである。
Ｓ１１２、ニューラルネットワークの第ｉ層のフィルタが全部カバーされているか判断する。
ニューラルネットワークの第ｉ層のフィルタが全部カバーされている場合、Ｓ１１３を実行する。
Ｓ１１３、ニューラルネットワークの全ての層が全部カバーされているか判断する。
ニューラルネットワークの全ての層が全部カバーされている場合、Ｓ１１４を実行する。
Ｓ１１４、決定木に戻り、葉分岐を終了する。
ニューラルネットワークの全ての層が全部カバーされていない場合、Ｓ１１５を実行する。
Ｓ１１５、ｉの値に１を加算し、ｍの値を１にする。
ニューラルネットワークの第ｉ層のフィルタが全部カバーされていない場合、Ｓ１１６を実行する。
Ｓ１１６、ｍの値に１を加算する。
Ｓ１１５又はＳ１１６の後に、Ｓ１１７を実行する。
Ｓ１１７、ｓの値に１を加算する。
Ｓ１１７の後に、Ｓ１１１に戻る。
以下において、それぞれ異なる構造の区分的線形活性化のニューラルネットワークについて、ニューラルネットワークを等価の決定木表現に変換するプロセスについて説明する。
（一）全結合ネットワーク（全結合層）
Ｗｉをニューラルネットワークの第ｉ層の重み行列と仮定する。σを任意の区分的線形活性化関数とし、且つをニューラルネットワークの入力とする。その後、フィードフォワードニューラルネットワークの出力と中間特徴は、以下のように表すことができる。
式２は、改めて以下のように整理することができる。
式３を利用し、式１を以下のように書き換えることができる
式５から、第ｉ層の有効行列は、前の層からの分類ベクトルのみに依存することがわかる。これは、次の分類を行うフィルタの計算は、前の分類のみに依存することを意味する。
そのため、層ｉは、ｋｍｉ路分類に表示され、ここで、ｍｉは、各層ｉのフィルタの数であり、且つｋは、活性化中の線形領域の総数である。従って、層ｉのこのような分類は、深さがｍｉの木で表示可能であり、任意の深さのノードは、ｋ個の分類に分岐される。
以上から、本発明の一実施例によると、全結合ニューラルネットワークを決定木に変換するプロセスにおいて、全結合ニューラルネットワークの各層の有効行列をＳ１１０で用いられるフィルタとし、有効行列を決定木の対応層の決定ルール（分類ルール）として使用する。具体的に、式５に基づいて全結合ニューラルネットワークの有効行列を計算することで、決定木の決定ルールを確定する。
更に、一実施例において、整流化線形ユニット（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ，ＲｅＬＵ）を活性化関数とし、ＲｅＬＵニューラルネットワークについて、以下のアルゴリズムフローを利用して全結合ニューラルネットワークを決定木に変換することができる。
アルゴリズム１の第４～８行は、決定木の１つのノードに対応し、当該ノードにおいて、簡単なはい／いいえの決定をする。
（三）正規化層
ニューラルネットワークの正規化層は線形であるため、且つトレーニング後、これらはそれぞれ活性化前又は活性化後の正規化後又は前の線形層に埋め込まれることができる。そのため、一実施例において、ニューラルネットワークを決定木表現に変換する過程において、正規化層については、個別の変換をする必要がない。
ｃは、以前の各層全ての関連領域のカスケード分類結果に定義される。式１１において、有効畳み込みは、活性化からの分類のみに依存するため、木等の等価が全結合ネットワーク対する分析に類似する。全結合層の場合との違いは、畳み込み層の多くの決定は、Ｘ０全体ではなく一部の入力領域に対して行われるものである。
更に、図２は、本発明の一実施例に係る決定木の概念図である。二層ＲｅＬＵニューラルネットワークから変換された決定木を図２に示す。
決定木の最終層の木の分岐の総数（決定木のカテゴリー総数）は２ｄである。ニューラルネットワークのフィルタ数の増加に伴い、決定木の最終層の木の分岐の総数は、指数関数的に増加する。例えば、ニューラルネットワークの第１層が６４個のフィルタを含む場合、決定木においては少なくとも２６４個の分岐が存在する。
決定木のカテゴリ総数を制御するために、一実施例おいて、ニューラルネットワークの等价決定木の違反ルール及び冗長ルールに基づいて、ニューラルネットワークの等价決定木に対して無損失剪定を行う。
例えば、ニューラルネットワークをｙ＝ｘ２方程式に当てはめる。ニューラルネットワークは、３つの密な層を有し、第１層及び第２層はそれぞれ２つのフィルタを有し、最終層は１つのフィルタを有する。ネットワーク在之后使用ｌｅａｋｙ－ＲｅＬＵ活性化，除了最終層没有活性化。ネットワークは、活性化していない最終層を除いて、全結合層の後にｌｅａｋｙ－ＲｅＬＵを使用して活性化する。
図３は、本発明の一実施例に係る決定木の概念図である。ｙ＝ｘ２回帰ニューラルネットワークが変換された決定木を図３示す。
決定木において、３０１領域の各矩形ブロックは決定ルールを表し、ブロックの左サブブロックは決定ルールが成立しないことを表し、右サブブロックは決定ルールが成立することを表す。
決定木の多くのルールは、冗長であるため、決定木の一部のパスが無効になる。
例えば、冗長ルールについて、ｘ＜－１．１６ルールが成立した後にｘ＜０．３２をチェックする実現方法がある。これは当該ノードに対して無効な右サブノードを直接作成する。そのため、この場合、右サブブロックを削除し、分類ルールをより厳密なルールに合併することで木をクリーンアップすることができる：特定の場合は、ｘ＜－１．１６。
図４は、本発明の一実施例に係る決定木の概念図である。
図３に示す決定木をクリーンアップすることで、図４に示す決定木を取得することができ、図４に示す決定木は、１６個ではなく、５つのカテゴリ（４０１～４０５）を含む。
図５は、本発明の一実施例に係るモデル応答概念図である。図４に示す決定木のモデル応答を図５に示す。
図４に示す決定木に基づき、ニューラルネットワークは以下のように解釈される：決定木表現によって境界が決定された各領域について、ネットワークは線形方程式によって非線形非線性ｙ＝ｘ２方程式を近似する。
決定木から明確な解釈と推論を行うことができ、その一部を以下の通りである。ニューラルネットワークは、決定境界が非対称であるという事実から明らかなように、回帰問題の対称性を把握することはできない。－１．１６以下及び１以上の領域は境界がないため、ｘがこれらの境界を超えると、ニューラル決定の精度が失われる。
更に、カテゴリの数がトレーニングデータよりも多い可能性があるため、ニューラルネットワークのトレーニング期間には全てのカテゴリを実現する可能性は非常に低い。そのため、これらのカテゴリも、アプリケーションに基づいて剪定することができる。ニューラルネットワークのトレーニング期間に実現されるカテゴリにより、決定木に対して無損失剪定を行う。
具体的に、アプリケーションが許可する場合、これらのカテゴリに属するデータは無効であると見なすことができる。
例えば、半月分類問題の場合である。最終層にｓｉｇｍｏｉｄ活性化を有する以外、ｌｅａｋｙ－ＲｅＬＵ活性化を有する３層の全結合のニューラルネットワークをトレーニングする。最終層が１つのフィルタを有する以外、各層は２つのフィルタを有する。
図６は、本発明の一実施例に係る決定木の概念図である。図６に示す決定木は、ある半月分類ニューラルネットワークに対応する分類木である。
図６に示すように、トレーニングされたネットワークによるクリーンアップ決定木である。決定木は、その境界が木内のルールによって確定される多くのカテゴリを見つけ、各カテゴリにはクラスが割り当てられている。
図７は、本発明の一実施例に係る半月データセットに使用される決定木によって実行される分類の概念図である。
図７において、異なるグレースケールで異なるカテゴリを表す。決定木からいくつかの推論を行うことができる。例えば、一部の領域は非常に明確であり、且つこれらが実行する分類トレーニングデータとは完全に一致するため、これらの領域は非常に信頼性が高い。境界がないカテゴリが存在し、これは正確な分類の境界を得るのに役立つが、トレーニングデータのコンパクトな表現を提供できず、これらはニューラル決定が行う不正確な推論に対応する可能性がある。訓練データが属していないカテゴリも表示される。
本発明の実施例の方法によると、ニューラルネットワークを決定木に変換し、決定木に基づいてニューラルネットワークを解釈することで、ニューラルネットワークのブラックボックス問題を解決する。
更に、本発明の実施例によるニューラルネットワーク変換方法に基づいて、本発明の一実施例は、更に、ニューラルネットワークの計算方法を提供する。
図８は、本発明の一実施例に係るニューラルネットワークの計算フローチャートである。電子デバイスは、図８に示す以下のプロセスを実行することで、ニューラルネットワーク計算を実現する。
Ｓ８００、計算待ちデータを取得する。
Ｓ８１０、計算待ちデータを計算するための第１ニューラルネットワークを取得する。
Ｓ８２０、本発明の実施例によるニューラルネットワーク変換方法に基づいて、第１ニューラルネットワークを第１決定木に変換する。
Ｓ８３０、第１決定木を使用して計算待ちデータを計算し、計算結果を取得する。
決定木表現は、ニューラルネットワークよりもいくつかの計算上の利点がある。
表１は、あるゲーム問題の計算及びメモリ分析結果のデータを示すものである。
本発明の実施例において、プロセスの各ステップは、機能によって様々なモジュールに分割して実現することができ、各モジュールの分割は論理的な機能の分割に過ぎず、本発明の実施例を実施する時に、各モジュールの機能を同一または複数のソフトウェアおよび／またはハードウェアで実現することができる。
具体的に、本発明の実施例により提供される装置は、実際に実現する際に、全部又は部分的に単一の物理的実体に統合してもよく、物理的に分離してもよい。且つこれらのモジュールは、全部ソフトウェアで処理素子を介して呼び出される形態で実現してもよく、全部ハードウェアの形態で実現してもよく、一部のモジュールがソフトウェアで処理素子を介して呼び出される形態で実現してもよく、一部のモジュールがハードウェアの形態で実現してもよい。例えば、検出モジュールは、独立した処理素子であってもよく、電子デバイスのあるチップに統合されて実現されてもよい。その他のモジュールの実現も同様である。そして、これらのモジュールは全部又は部分的に統合してもよいく、個別に実現してもよい。実現過程において、上記方法の各ステップ又は上記の各モジュールは、プロセッサ素子のハードウェアの集積論理回路又はソフトウェア形態の命令によって完成することができる。
例えば、上記のモジュールは、上記の方法を実現するために配置された１つ又は複数の集積回路、例えば：１つ又は複数の特定集成回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）又は１つ又は複数のデジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｎｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）又は１つ又は複数のフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）等である。また、これらのモジュールを統合し、チップオンデバイス（Ｓｙｓｔｅｍ－Ｏｎ－ａ－Ｃｈｉｐ、ＳＯＣ）の形態で実現することができる。
実際の適用において、本明細書に記載されている実施例のプロセスは、電子デバイスに取り付けられた電子チップにより実現することができる。そのため、本発明の一実施例は、電子チップを提供する。例えば、電子チップは、電子デバイスに取り付けられ、電子チップは、プロセッサを含み、当該プロセッサは、メモリに格納されたコンピュータプログラム命令を実行するために用いられ、当該コンピュータプログラム命令が当該プロセッサによって実行されると、電子チップがトリガされて本発明の実施例に記載の方法ステップを実行する。
本発明の一実施例は、電子デバイスを提供する。
図９の本発明の一実施例に係る電子デバイスの構造概念図である。
電子デバイス９００は、コンピュータプログラム命令を記憶するためにメモリ９１０及びプログラム命令を実行するためのプロセッサ９２０を含み、当該コンピュータプログラム命令が当該プロセッサによって実行されると、電子チップがトリガされて本発明の実施例に記載の方法ステップを実行する。
具体的に、本発明の一実施例において、上記の１つ又は複数のコンピュータプログラムは、上記のメモリに格納され、上記の１つ又は複数のコンピュータプログラムは命令を含み、上記の命令が上記のデバイスにより実行されると、上記のデバイスが本発明の実施例に記載方法ステップを実行する。
具体的に、本発明の一実施例において、電子デバイスのプロセッサは、チップオンデバイスＳＯＣであってもよく、当該プロセッサは、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）を含んでもよく、更に、その他のタイプのプロセッサを含んでもよい。具体的に、本発明の一実施例において、電子デバイスのプロセッサはＰＷＭ制御チップであってもよい。
具体的に、本発明の一実施例において、関連するプロセッサは、例えば、ＣＰＵ、ＤＳＰ、マイクロコントローラ又はデジタル信号プロセッサを含んでもよく、更に、ＧＰＵ、組み込みニューラルネットワークプロセッサ（Ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓ Ｕｎｉｔｓ，ＮＰＵ）及び画像信号プロセッサ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ＩＳＰ）を含んでよい。当該プロセッサは、更に、必要なハードウェアアクセラレータ又は論理処理ハードウェア回路（例えばＡＳＩＣ）又は１つ又は複数の本発明の技術的解決策のプログラムの実行のための集積回路等を含んでもよい。また、プロセッサは、１つ又は複数のソフトウェアプログラムを操作する機能を有し、ソフトウェアプログラムは、記憶媒体に格納されてもよい。
具体的に、本発明の一実施例において、電子デバイスのメモリは、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ，ＲＯＭ）、静的情報および命令を記憶できる他のタイプの静的記憶装置、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ，ＲＡＭ）又は情報および命令を格納できる他のタイプの動的記憶装置であってもよく、電気的に消去・プログラムが可能な不揮発性メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ，ＥＥＰＲＯＭ）、コンパクトディスク読み取り専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ，ＣＤ－ＲＯＭ）又はその他の光ディスク記憶装置、光ディスク ストレージ（コンパクトディスク、レーザーディスク、光ディスク、デジタル多目的ディスク、ブルーレイディスク等を含む）、磁気ディスク記憶媒体又はその他の磁気ストレージデバイスであってもよく、又は命令またはデータ構造の形態で所望のプログラムコードを携帯または記憶可能であり、コンピュータでアクセスことができるいずれのコンピュータ読み取り可能な媒体であってもよい。
具体的に、本発明の一実施例において、プロセッサとメモリを組み合わせて処理装置にしてもよく、より一般的には、これらは互いに独立した構成要素であり、プロセッサでメモリに格納されたプログラムコードを実行して本発明の実施例に記載の方法を実現する。具体的に実現する際に、当該メモリプロセッサに統合されてもよく、プロセッサとは別体であってもよい。
更に、本発明の実施例によるデバイス、装置、モジュールは、具体的に、コンピュータチップ又は実体で実現されてもよく、又は特定機能を有する製品によって実現されてもよい。
当業者は、本発明の実施例は、方法、装置、コンピュータプログラム製品として提供され得ることを理解すべきである。そのため、本発明は、完全ハードウェア実施例、完全ソフトウェア実施例、又はソフトウェア及びハードウェアを組み合わせた実施例の形態にすることができる。また、本発明は、その中にコンピュータ使用可能なプログラムコードを含む１つまたは複数のコンピュータ使用可能な記憶媒体上で実施されるコンピュータプログラム製品の形態をとることができる。
本発明により提供されるいくつかの実施例において、いずれかの機能がソフトウェア機能ユニットの形態で実現され、独立した製品として販売または使用される場合、それはコンピュータ読み取り可能な記憶媒体に記憶することができる。この理解に基づいて、本発明の技術的解決策は、本質的に又は先行技術に寄与する部分又は当該技術的解決策の一部をソフトウェア製品の形態で具現化することができ、当該コンピュータソフトウェア製品は 記憶媒体に格納され、コンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイス等）に、本発明の各実施例に記載の方法における全部又は一部のステップを実行させるためのいくつかの命令を含む。
具体的に、本発明の一実施例は、コンピュータ読み取り可能な記憶媒体を提供し、当該コンピュータ読み取り可能な記憶媒体には、コンピュータプログラムが格納され、コンピュータで実行さると、コンピュータが本発明の実施例により提供される方法を実行する。
本発明一実施例は、更に、コンピュータプログラム製品を提供し、当該コンピュータプログラム製品は、コンピュータプログラムを含み、コンピュータで実行されると、コンピュータが本発明の実施例により提供される方法を実行する。
本発明中の実施例は、本発明の実施例の方法、デバイス（装置）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明した。フローチャートおよび／またはブロック図における各フローおよび／またはブロック、ならびにフローチャートおよび／またはブロック図におけるフローおよび／またはブロックの組み合わせは、コンピュータプログラム命令によって実現できることを理解されたい。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、組み込み式プロセッサ、又は他のプログラム可能なデータ処理装置のプロセッサに提供し、コンピュータまたは他のプログラム可能なデータ処理デバイスのプロセッサによって実行される命令が、フローチャートの１つまたは複数のプロセスおよび／またはブロック図の１つまたは複数のブロックで指定される機能を実現するためのデバイスを生成するような機器を生成してもよい。
これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置を特定の方法で動作させることができるコンピュータ読み取り可能なメモリに格納されてもよく、中，当該コンピュータ読み取り可能なメモリに格納された命令が命令装置を含む製造品を生成し、当該命令装置は、フローチャートにおける１つフロー又は複数のフロー及び／又はブロックにおける１つのブロック又は複数のブロックで指定される機能を実現する。
これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能なデータ処理デバイスにインストールされてもよく、コンピュータ又は他のプログラム可能なデータ処理デバイスにおいて一連の操作を行い、コンピュータで実行される処理を生成することで、コンピュータ又は他のプログラム可能なデータ処理デバイスで実行される命令が、フローチャートにおける１つフロー又は複数のフロー及び／又はブロック図における１つのブロック又は複数のブロックで指定される機能を実現するためのステップを提供する。
なお、本発明の実施例において、「少なくとも１つ」は１つ以上を指し、「複数」は２つ以上を指す。「および／または」は、関連付けられたオブジェクトの関連関係を意味し、３種類の関係が存在可能であることを意味する。例えば、Ａおよび／またはＢは、Ａが単独で存在する場合、ＡとＢが同時に存在する場合、またはＢが単独で存在する場合を表す。ここで、Ａ、Ｂは単数でも複数でもよい。「／」は、通常前後関連するオブジェクトが「又は」の関係を表す。「以下の少なくとも一項」及びそれを類似する表現は、これらの項の任意の組み合わせを意味し、単一項又は複数項の任意の組み合わせを含む。例えば、ａ、ｂ及びｃの少なくとも一項は、ａ、ｂ、ｃ、ａ及びｂ、ａ及びｃ、ｂ及びｃ又はａ及びｂ及びｃを意味することができ、ａ、ｂ、ｃは、１つ又は複数であってもよい。
本発明の実施例において、用語「備える」、「含む」又はその他の変形は、非排他的に含めることを意図し、一連の要素を含むプロセス、方法、物品又は装置が、それらの要素だけでなく、明示的に記載されていない他の要素を含むとともに、これらのプロセス、方法、物品又は装置が固有する要素も含む。さらなる限定が場合、「．．．．．．を含む」によって定義される要素は、当該要素を含むプロセス、方法、物品又は装置における追加の同一要素の存在を排除するものではない。
本発明は、プログラムモジュールのようなコンピュータによって実行されるコンピュータ実行可能命令の一般的な文脈で説明され得る。一般に、プログラムモジュールは、特定のタスクを実行又は特定の抽象データ類型を実現するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。また、分散式コンピューティング環境で本発明を実現することができる。これらの分散式コンピューティング環境において、通信ネットワークを介して接続された遠隔処理装置によってタスクが実行される。分散式コンピューティング環境において、プログラムモジュールは、ストレージデバイスを含むローカルおよびリモートのコンピュータ記憶媒体に格納されていてもよい。
本発明の各実施例は漸進的に説明され、各実施例は、各実施例が他の実施例と異なる点に着目して順次説明されており、各実施形態の同一・類似部分については、互いに参照すれば十分であることに留意されたい。製品実施形態については、方法類の実施例と類似しているため説明が簡略化されており、関連する部分は方法実施例を参照すればよい。
当業者は、本発明の実施例で説明する各ユニットおよびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、および電子ハードウェアの組み合わせによって実現可能であることを理解することができる。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、技術的解決策の特定の用途と設計上の制約に依存する。専門技術者は、特定のアプリケーションごとに説明されている機能を実現するためにさまざまな方法を使用することができるが、そのような実現は、本発明の範囲を超えていると見なされるべきではない。
当業者は、説明の便宜および簡潔さのために、上記のデバイスおよびユニットの具体的動作プロセスが、上記の方法および実施例における対応するプロセスを参照することができ、ここでは説明を繰り返されない。
上記は、本発明の特定の具体的実施形態にすぎず、当業者であれば、本発明の技術的範囲内で変更または置換を容易に想到することができ、これらも本発明の保護範囲に包含されるべきである。 本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

Claims (11)

  1. ニューラルネットワークの変換方法であって、前記方法は、端末デバイスに適用され、
    決定木を初期化し、前記決定木のルートを設定することと、
    ニューラルネットワークのフィルタを決定ルールとし、前記決定木のルートから葉分岐を行い、前記決定木が前記ニューラルネットワークの全てのフィルタをカバーするまで前記葉分岐を行うこととを含み、
    前記ニューラルネットワークは、区分的線形活性化を有するニューラルネットワークである、ことを特徴とするニューラルネットワークの変換方法。
  2. 前記決定木のルートから葉分岐を行うことは、
    前回分岐されたノードに対して毎回前記葉分岐を行い、各前記葉分岐は１つのフィルタに対応し、前記フィルタの対応順序は、前記ニューラルネットワークの同一層のフィルタの順番及び前記ニューラルネットワークの異なる層の順番に従うことを含む、ことを特徴とする請求項１に記載の方法。
  3. 全結合層において、有効行列を前記決定ルールとする、ことを特徴とする請求項１に記載の方法。
  4. スキップ接続層において、残差有効行列を前記決定ルールとする、ことを特徴とする請求項１に記載の方法。
  5. 正規化層において、前記正規化層は、活性化前又は活性化後の正規化の後又は前の線形層にそれぞれ埋め込まれる、ことを特徴とする請求項１に記載の方法。
  6. 畳み込み層において、有効畳み込みを前記決定ルールとする、ことを特徴とする請求項１に記載の方法。
  7. 前記方法は、更に、
    前記決定木の違反ルール及び／又は冗長ルールに基づいて、前記決定木に対して無損失剪定を行うこと、
    及び／または
    前記ニューラルネットワークのトレーニング期間に実現したカテゴリに基づいて、前記決定木に対して無損失剪定を行うことを含む、ことを特徴とする請求項１～６のいずれか一項に記載のニューラルネットワークの変換方法。
  8. ニューラルネットワークの計算方法であって、前記方法は、端末デバイスに適用され、
    計算に用いられるニューラルネットワークを取得することと、
    請求項１～６のいずれか一項に記載の方法に基づいて、前記ニューラルネットワークを決定木に変換することと、
    前記決定木を用いて計算することとを含む、ことを特徴とするニューラルネットワークの計算方法。
  9. 電子デバイスであって、
    前記電子デバイスは、コンピュータプログラム命令を格納するためのメモリ及びコンピュータプログラム命令を実行するためのプロセッサを含み、
    前記コンピュータプログラム命令が前記プロセッサによって実行されると、前記電子デバイスをトリガして請求項１～６のいずれか一項に記載の方法ステップを実行する、ことを特徴とする電子デバイス。
  10. 電子デバイスであって、
    前記電子デバイスは、コンピュータプログラム命令を格納するためのメモリ及びコンピュータプログラム命令を実行するためのプロセッサを含み、
    前記コンピュータプログラム命令が前記プロセッサによって実行されると、前記電子デバイスをトリガして請求項８に記載の方法ステップを実行する、ことを特徴とする電子デバイス。
  11. コンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが格納され、コンピュータで実行されると、コンピュータが請求項１～６のいずれか一項に記載の方法を実行する、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2023097307A 2022-10-10 2023-06-13 ニューラルネットワーク変換方法、電子デバイス及び記憶媒体 Active JP7375250B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/962,559 US20240119288A1 (en) 2022-10-10 2022-10-10 Method for converting neural network, electronic device and storage medium
US17/962,559 2022-10-10

Publications (2)

Publication Number Publication Date
JP7375250B1 true JP7375250B1 (ja) 2023-11-07
JP2024056120A JP2024056120A (ja) 2024-04-22

Family

ID=86780279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023097307A Active JP7375250B1 (ja) 2022-10-10 2023-06-13 ニューラルネットワーク変換方法、電子デバイス及び記憶媒体

Country Status (4)

Country Link
US (1) US20240119288A1 (ja)
JP (1) JP7375250B1 (ja)
CN (1) CN116306876A (ja)
WO (1) WO2024077651A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210019635A1 (en) 2019-07-15 2021-01-21 Ramot At Tel Aviv University Group specific decision tree

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201810736D0 (en) * 2018-06-29 2018-08-15 Microsoft Technology Licensing Llc Neural trees
CN110784760B (zh) * 2019-09-16 2020-08-21 清华大学 一种视频播放方法、视频播放器及计算机存储介质
CN111898692A (zh) * 2020-08-05 2020-11-06 清华大学 神经网络到决策树的转换方法、存储介质及电子设备
CN113489751B (zh) * 2021-09-07 2021-12-10 浙江大学 一种基于深度学习的网络流量过滤规则转化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210019635A1 (en) 2019-07-15 2021-01-21 Ramot At Tel Aviv University Group specific decision tree

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佐々木 駿也 ほか，多分木によるニューラルネットワークのホワイトボックス化，電子情報通信学会技術研究報告 Ｖｏｌ．１１９ Ｎｏ．３２８，日本，一般社団法人電子情報通信学会，2019年11月29日，79～84頁

Also Published As

Publication number Publication date
JP2024056120A (ja) 2024-04-22
US20240119288A1 (en) 2024-04-11
CN116306876A (zh) 2023-06-23
WO2024077651A1 (zh) 2024-04-18

Similar Documents

Publication Publication Date Title
Giap et al. Dynamic structural neural network
Shingi A federated learning based approach for loan defaults prediction
Talei et al. Influence of lag time on event-based rainfall–runoff modeling using the data driven approach
Melin et al. A hybrid modular neural network architecture with fuzzy Sugeno integration for time series forecasting
Sierra-Sosa et al. Tensorflow quantum: Impacts of quantum state preparation on quantum machine learning performance
Kaushik et al. COCOMO estimates using neural networks
CN108537328A (zh) 用于可视化构建神经网络的方法
Azzeh et al. Fuzzy Model Tree for early effort estimation
CN113841159A (zh) 由电子装置在神经网络中的特定层执行卷积运算的方法及其电子装置
Papageorgiou et al. A web-based tool for Fuzzy Cognitive Map Modeling
Zhang et al. Takagi-sugeno-kang fuzzy systems with dynamic rule weights
JP7375250B1 (ja) ニューラルネットワーク変換方法、電子デバイス及び記憶媒体
Ojugo et al. Modeling mobility pattern for the corona-virus epidemic spread propagation and death rate in Nigeria using the movement-interaction-return model
Kaushik et al. Radial basis function network using intuitionistic fuzzy C means for software cost estimation
CN111859785B (zh) 流体特征提取方法、系统、计算机可读存储介质及设备
Dikopoulou et al. From undirected structures to directed graphical lasso fuzzy cognitive maps using ranking-based approaches
Sharma et al. Software effort estimation using neuro fuzzy inference system: Past and present
CN115409262A (zh) 铁路数据中心关键性能指标趋势预测方法、异常识别方法
US20160110641A1 (en) Determining a level of risk for making a change using a neuro fuzzy expert system
CN114900435A (zh) 一种连接关系预测方法及相关设备
CN110853754A (zh) 一种在非确定性和非完整性条件下的决策支持系统方法
Marimuthu et al. Projection of COVID-19 Pandemic-A Deep Learning Approach
Shakhovska et al. Visualization of the Epidemics Forecasting Results.
Poczeta et al. Structure optimization and learning of fuzzy cognitive map with the use of evolutionary algorithm and graph theory metrics
Samantaray et al. Feature selection techniques to predict the religion of a country from its flag

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230613

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231025

R150 Certificate of patent or registration of utility model

Ref document number: 7375250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150