JP7319905B2 - ニューラルネットワーク最適化システム、ニューラルネットワーク最適化方法、及び電子機器 - Google Patents

ニューラルネットワーク最適化システム、ニューラルネットワーク最適化方法、及び電子機器 Download PDF

Info

Publication number
JP7319905B2
JP7319905B2 JP2019226142A JP2019226142A JP7319905B2 JP 7319905 B2 JP7319905 B2 JP 7319905B2 JP 2019226142 A JP2019226142 A JP 2019226142A JP 2019226142 A JP2019226142 A JP 2019226142A JP 7319905 B2 JP7319905 B2 JP 7319905B2
Authority
JP
Japan
Prior art keywords
neural network
node
unit
learned
definition data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019226142A
Other languages
English (en)
Other versions
JP2021096553A (ja
Inventor
忠信 鳥羽
巧 上薗
健一 新保
宏章 井辻
のぞみ 笠原
裕 植松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019226142A priority Critical patent/JP7319905B2/ja
Priority to US17/642,972 priority patent/US20220405581A1/en
Priority to PCT/JP2020/045418 priority patent/WO2021124947A1/ja
Publication of JP2021096553A publication Critical patent/JP2021096553A/ja
Application granted granted Critical
Publication of JP7319905B2 publication Critical patent/JP7319905B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Hardware Redundancy (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Description

本発明は、ニューラルネットワーク最適化システム、ニューラルネットワーク最適化方法、及び電子機器に関する。
様々な分野において人工頭脳（以下、ＡＩ(Artificial Intelligence)と称する）の実用化が進められている。一般的に、ＡＩは、汎用プロセッサ、ＧＰＵ(Graphics Processing Unit)、ＦＰＧＡ(Field-Programmable Gate Array)等のコンピュータに、ニューラルネットワークを実装することにより実現される。
ニューラルネットワークに関しては、例えば、特許文献１に「学習入力データと第１の多値教師信号とを用いて学習した学習済みニューラルネットワークと該ニューラルネットワークの出力層ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段とからなる第１の多値出力ニューラルネットワーク手段と、該第１の多値教師信号を変換し得られた第２の多値教師信号と該学習入力データとを用いて学習した学習済みニューラルネットワークと該ニューラルネットワークの出力層ユニットの出力信号を多値変換し多値出力信号を送出する多値スレショルド手段と該第２の多値教師信号から該第１の多値教師信号への逆変換機能を有し入力された該多値スレショルド手段からの該多値出力信号を逆変換し新たな多値出力信号を送出する教師信号逆変換手段とからなる第２の多値出力ニューラルネットワーク手段とを、入力に対して並列接続し、該第１及び該第２の多値出力ニューラルネットワーク手段とからの該多値出力信号を比較し比較結果を送出する比較手段と、該比較手段からの該比較結果を用いて、該第１及び該第２の多値出力ニューラルネットワーク手段とからの該多値出力信号の正誤答判定を行ない、該多値出力信号の何れかを選択し送出すると共に選択送出された該多値出力信号の正誤答判定情報を送出する出力選択処理手段とを少なくとも具備し構成することを特徴とするニューラルネットワーク手段」が記載されている。
特開２００１－５１９６９号公報
特許文献１に記載のニューラルネットワーク手段によれば、学習入力データやテスト入力データ以外の未知入力データが入力された場合に、その出力の誤りを検出することができる。しかしながら、ニューラルネットワーク自身の異常を検出することはできない。また、該ニューラルネットワーク手段は、規模が元のサイズから２倍以上に冗長化してしまう。
本発明は、上記の点に鑑みてなされたものであって、規模の冗長化を抑止しつつ、自身の異常を検出可能なニューラルネットワークを実現することを目的とする。
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。
上記課題を解決するため、本発明の一態様に係るニューラルネットワーク最適化システムは、学習済ニューラルネットワーク定義データを解析する定義データ解析部と、前記学習済ニューラルネットワーク定義データの解析結果に基づき、前記学習済ニューラルネットワーク定義データによって定義された学習済ニューラルネットワークにおけるノード間の依存度を表す依存度情報を生成するノード間依存度解析部と、前記依存度情報に基づき、前記学習済ニューラルネットワークにおけるセンシティブノードを抽出するセンシティブノード抽出部と、を備えることを特徴とする。
本発明によれば、規模の冗長化を抑止しつつ、自身の異常を検出可能なニューラルネットワークを実現することができる。
上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
図１は、本発明の第１の実施形態に係るニューラルネットワーク最適化システムの構成例を示す図である。 図２は、ニューラルネットワーク最適化処理の一例を説明するフローチャートである。 図３は、ニューラルネットワーク最適化システムの変形例を示す図である。 図４は、ノード間依存度解析部の第１の構成例を示す図である。 図５は、図４のノード間依存度解析部によるノード間依存度解析処理の一例を説明するフローチャートである。 図６は、ノード間依存度解析部の第２の構成例を示す図である。 図７は、図６のノード間依存度解析部によるノード間依存度解析処理の一例を説明するフローチャートである。 図８は、学習済ニューラルネットワークの一例を示す図である。 図９は、自己診断機能付学習済ニューラルネットワークを表す論理回路の一例を示す図である。 図１０は、診断回路付加処理の一例を説明するフローチャートである。 図１１は、本発明の第２の実施形態に係る電子機器の構成例を示す図である。 図１２は、本発明の第３の実施形態に係る電子機器の構成例を示す図である。 図１３は、本発明の第４の実施形態に係る電子機器の構成例を示す図である。
以下、本発明の複数の実施形態について図面を参照して説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。
＜ニューラルネットワーク最適化システム１０の構成例＞
図１は、本発明の第１の実施形態に係るニューラルネットワーク最適化システム１０の構成例を示している。以下、ニューラルネットワーク最適化システム１０をＮＮ最適化システム１０と略称する。同様に、ニューラルネットワークをＮＮと略称する。
ＮＮ最適化システム１０は、入力される学習済ＮＮ定義データ１を最適化し、その結果得られる自己診断機能付学習済ＮＮ定義データ２を出力するものである。ＮＮ最適化システム１０は、ＣＰＵ(Central Processing Unit)、メモリ、ストレージ、入力デバイス、出力デバイス、通信モジュール等を備えるＰＣ（Personal Computer）等の一般的なコンピュータ、または、電子機器に搭載されているツール（例えば、専用ＬＳＩ(Large Scale Integration)等）によって実現される。
学習済ＮＮ定義データ１は、例えば、ＡＩ処理を実行するための学習済ＮＮの構成を定義したデータ（例えば、論理回路記述言語で記述された論理情報、ＧＰＵ(Graphical Processing Unit)や汎用プロセッサの動作を記述したプログラム等）である。以下、学習済ＮＮ定義データ１に対応するＮＮを学習済ＮＮ１’と称する。
自己診断機能付学習済ＮＮ定義データ２は、学習済ＮＮ１’におけるセンシティブノード（詳細後述）に対して異常を検出するための診断回路を付加した構成を定義したデータである。以下、自己診断機能付学習済ＮＮ定義データ２に対応するＮＮを自己診断機能付学習済ＮＮ２’と称する。
ＮＮ最適化システム１０は、定義データ解析部１１、ノード間依存度解析部１２、センシティブノード抽出部１３、診断回路付加部１４、及び診断回路格納部１５を備える。定義データ解析部１１、ノード間依存度解析部１２、センシティブノード抽出部１３、診断回路付加部１４、及び診断回路格納部１５は、ＮＮ最適化システム１０をなすコンピュータのＣＰＵが所定のプログラムを実行することによって実現される。
定義データ解析部１１は、入力される学習済ＮＮ定義データ１を解析し、学習済ＮＮ１’を構成するノードの接続関係、各ノードにおける重み係数、バイアス値等のパラメータ情報を抽出し、ＮＮ解析情報としてノード間依存度解析部１２に出力する。
ノード間依存度解析部１２は、学習済ＮＮ定義データ１及びその解析結果であるＮＮ解析情報に基づき、学習済ＮＮ１’におけるノード間の依存度、及び異常状態によるデータビット反転の伝搬範囲を表す依存度情報を生成してセンシティブノード抽出部１３に出力する。なお、学習済ＮＮ定義データ１を用いることなく、依存度情報を生成してもよい。
センシティブノード抽出部１３は、依存度情報に基づき、学習済ＮＮ１’におけるセンシティブノードを抽出し、その位置アドレスを表すセンシティブノードデータ情報を診断回路付加部１４に出力する。ここで、センシティブノードとは、発生した異常の伝搬が到達するノード、多数のノードに影響を与えるノード等、感度の高いノードを指す。
診断回路付加部１４は、センシティブノード情報に基づき、学習済ＮＮ１’におけるセンシティブノードに対し、診断回路格納部１５から取得する診断回路を付加することにより、自己診断機能付学習済ＮＮ定義データ２を生成、出力する。
センシティブノードに付加される診断回路は、対応するノードの異常を検出し、異常を検出した時刻、異常を検出したノードを特定するための異常ノード特定情報（例えば、ノード位置アドレス、パラメータ格納アドレス等）を保持、出力することができる。これにより、異常が発生したノードを上位システムに伝えることができる。これにより、学習済ＮＮ１’の異常状態を上位システムにて収集することが可能となり、当該情報を使用して、重篤性の判定、修理指示、修理スケジュール立案等のメンテナンスサービスを実現できる。
診断回路格納部１５には、学習済ＮＮ１’における各ノードに付加するための診断回路（のプログラム）が格納されている。診断回路格納部１５は、ＮＮ最適化システム１０をなすコンピュータのストレージに相当する。
＜ＮＮ最適化システム１０によるＮＮ最適化処理＞
次に、図２は、ＮＮ最適化システム１０によるＮＮ最適化処理の一例を説明するフローチャートである。
このＮＮ最適化処理は、例えば、ＮＮ最適化システム１０に対して学習済ＮＮ定義データ１が入力され、ユーザから所定の開始指示が行われたことに応じて開始される。
はじめに、定義データ解析部１１が、入力された学習済ＮＮ定義データ１を解析し、解析結果を表すＮＮ解析情報をノード間依存度解析部１２に出力する（ステップＳ１）。
次に、ノード間依存度解析部１２が、ＮＮ解析情報に基づき、依存度情報を生成してセンシティブノード抽出部１３に出力する（ステップＳ２）。
次に、センシティブノード抽出部１３が、依存度情報に基づき、センシティブノード情報を生成して診断回路付加部１４に出力する（ステップＳ３）。
次に、診断回路付加部１４が、センシティブノード情報に基づき、学習済ＮＮ１’におけるセンシティブノードに対して診断回路を付加し（ステップＳ４）、自己診断機能付学習済ＮＮ定義データ２として出力する（ステップＳ５）。
以上に説明したＮＮ最適化処理によれば、学習済ＮＮ１’を構成するノードのうち、センシティブノードに対してだけ診断回路を付加するので、学習済ＮＮ１’を構成する全てのノードに対して診断回路を付加する場合に比べて、自己診断機能付学習済ＮＮ２’の規模の冗長化を抑止できる。自己診断機能付学習済ＮＮ２’は、全てのノードに対して診断回路が付加されているＮＮに比べて、演算量、消費電力、部品重量等の各種コストを削減することができる。
＜ＮＮ最適化システム１０の変形例＞
次に、図３は、ＮＮ最適化システム１０の変形例を示している。
該変形例は、図１の構成例から診断回路付加部１４、及び診断回路格納部１５を省略したものである。なお、該変形例と図１の構成例との間で共通する構成要素には同一の符号を付してその説明を省略する。以降の図面においても同様とする。
該変形例におけるセンシティブノード抽出部１３は、学習済ＮＮ１’におけるセンシティブノードの位置アドレスを表すセンシティブノードデータ情報２１をＰＣ等の外部装置２２に出力する。
外部装置２２では、オペレータ等の人手により、センシティブノードデータ情報２１に基づいて学習済ＮＮ１’のセンシティブノードに診断回路を付加し、自己診断機能付学習済ＮＮ定義データ２を生成することができる。
＜ノード間依存度解析部１２の第１の構成例＞
次に、図４は、ＮＮ最適化システム１０におけるノード間依存度解析部１２の第１の構成例を示している。
ノード間依存度解析部１２の第１の構成例は、エラーインジェクション処理部３１、及び比較判定部３２を有する。
エラーインジェクション処理部３１には、学習済ＮＮ定義データ１、その解析結果であるＮＮ解析情報、及びテストパターン３３が入力される。テストパターン３３は、例えば、学習済ＮＮ１’の学習時に用いられたデータ（画像データ等）を用いてもよいし、学習時のデータとは異なるデータを用いてもよい。
エラーインジェクション処理部３１は、学習済ＮＮ定義データ１によって定義される学習済ＮＮ１’に対してテストパターン３３を入力することにより、認識、判断等のＡＩ処理の結果を取得して、比較判定部３２に出力する。この際、エラーインジェクション処理部３１は、ＮＮ解析情報に基づき、学習済ＮＮ１’のノード間で受け渡されるデータ、重み係数、バイアス値等のパラメータにエラーデータを書き込んで、学習済ＮＮ１’にＡＩ処理を実行させる。なお、エラーインジェクション処理部３１によるエラーデータの書き込みについては、図８を参照して後述する。
比較判定部３２には、エラーインジェクション処理部３１の出力、及び期待値パターン３４が入力される。期待値パターン３４は、エラーデータを書き込んでいない学習済ＮＮ１’にテストパターン３３を入力して得られる出力である。比較判定部３２は、エラーインジェクション処理部３１の出力と期待値パターン３４とを比較し、比較結果に基づき、学習済ＮＮ１’におけるノード間の依存度、及び異常状態によるデータビット反転の伝搬範囲を表す依存度情報を生成してセンシティブノード抽出部１３に出力する。
次に、図５は、ノード間依存度解析部１２の第１の構成例によるノード間依存度解析処理の一例を説明するフローチャートである。
はじめに、エラーインジェクション処理部３１が、ＮＮ解析情報に基づき、学習済ＮＮ１’のノードにおける重み係数、バイアス値等のパラメータ、ノードからの出力にエラーデータを順次書き込み、学習済ＮＮ１’にテストパターン３３を入力してＡＩ処理を実行させる。（ステップＳ１１）。なお、学習済ＮＮ１’の構成要素に一次記憶変数が含まれる場合、該一時記憶変数にエラーデータを書き込んでもよい。また、エラーの影響範囲が明らかになっている学習済ＮＮ１’の場合、上述の重み係数、バイアス値等のパラメータ、ノードからの出力のすべてにエラーデータを書き込まなくてもよい場合がある。
次に、比較判定部３２が、エラーインジェクション処理部３１の出力と、期待値パターン３４と比較する（ステップＳ１２）。次に、比較判定部３２が、該比較結果に基づいて、学習済ＮＮ１’におけるノード間の依存度、及び異常状態によるデータビット反転の伝搬範囲を表す依存度情報を生成してセンシティブノード抽出部１３に出力する（ステップＳ１３）。次に、エラーインジェクション処理部３１が、エラーデータの書き込みの対象とする全てのノードに対するエラーデータの書き込み（エラーインジェクション）が完了したか否かを判定し（ステップＳ１４）、エラーインジェクションが完了していないと判定した場合（ステップＳ１４でＮｏ）、処理をステップＳ１１に戻して、それ以降を繰り返す。その後、エラーインジェクション処理部３１が、エラーインジェクションが完了したと判定した場合（ステップＳ１４でＹｅｓ）、該ノード間依存度解析処理は終了される。
ノード間依存度解析部１２の第１の構成例によるノード間依存度解析処理によれば、テストパターン３３として学習時のデータを用いるので、高い精度の依存度情報を生成することができる。
＜ノード間依存度解析部１２の第２の構成例＞
次に、図６は、ＮＮ最適化システム１０におけるノード間依存度解析部１２の第２の構成例を示している。
ノード間依存度解析部１２の第２の構成例は、第１の構成例（図４）に対して、ノード間相関解析部４１、影響ノード領域格納部４２、縮約部４３、及び縮約テストパターン格納部４４を追加した構成を有する。
ノード間相関解析部４１は、定義データ解析部１１が出力するＮＮ解析情報を解析することにより、学習済ＮＮ１’における結び付き度合が小さいノード領域を特定し、該ノード領域を表す情報を影響ノード領域格納部４２に格納する。具体的には、例えば、重み係数が所定の閾値より大きいノード、すなわち、出力が発火し易いノードを検出し、学習済ＮＮ１’から、出力が発火し易いノードを除外することにより、結び付き度合が小さいノード領域を特定する。なお、結び付き度合が小さいノード領域を表す情報の代わりに、出力が発火し易いノード領域を表す情報を影響ノード領域格納部４２に格納するようにしてもよい。
縮約部４３は、影響ノード領域格納部４２に格納されている、結び付き度合が小さいノード領域を表す情報に基づき、テストパターン３３から、学習済ＮＮ１’の全てのノードのうち、結び付き度合が小さいノード領域に入力されるデータを省いた縮約テストパターンを生成して縮約テストパターン格納部４４に格納する。
第２の構成例におけるエラーインジェクション処理部３１は、エラーを書き込んだ学習済ＮＮ１’に対して縮約テストパターンを入力することにより、認識、判断等のＡＩ処理の結果を取得して、比較判定部３２に出力する。
次に、図７は、ノード間依存度解析部１２の第２の構成例によるノード間依存度解析処理の一例を説明するフローチャートである。
はじめに、ノード間相関解析部４１が、定義データ解析部１１が出力するＮＮ解析情報を解析することにより、学習済ＮＮ１’における結び付き度合が小さいノード領域を特定し、該ノード領域を表す情報を影響ノード領域格納部４２に格納する（ステップＳ２１）。
次に、縮約部４３が、影響ノード領域格納部４２に格納されている、結び付き度合が小さいノード領域を表す情報に基づき、テストパターン３３から、学習済ＮＮ１’の全てのノードのうち、結び付き度合が小さいノード領域に入力されるデータを省いた縮約テストパターンを生成して縮約テストパターン格納部４４に格納する（ステップＳ２２）。
次に、エラーインジェクション処理部３１が、ＮＮ解析情報に基づき、学習済ＮＮ１’のノードにおける重み係数、バイアス値等のパラメータ、ノードからの出力にエラーデータを順次書き込み、学習済ＮＮ１’に縮約テストパターンを入力してＡＩ処理を実行させる。（ステップＳ２３）。なお、学習済ＮＮ１’の構成要素に一次記憶変数が含まれる場合、該一時記憶変数にエラーデータを書き込んでもよい。また、エラーの影響範囲が明らかになっている学習済ＮＮ１’の場合、上述の重み係数、バイアス値等のパラメータ、ノードからの出力のすべてにエラーデータを書き込まなくてもよい場合がある。
次に、比較判定部３２が、エラーインジェクション処理部３１の出力と、期待値パターン３４と比較する（ステップＳ２４）。次に、比較判定部３２が、該比較結果に基づいて、学習済ＮＮ１’におけるノード間の依存度、及び異常状態によるデータビット反転の伝搬範囲を表す依存度情報を生成してセンシティブノード抽出部１３に出力する（ステップＳ２５）。次に、エラーインジェクション処理部３１が、エラーデータの書き込みの対象とする全てのノードに対するエラーデータの書き込み（エラーインジェクション）が完了したか否かを判定し（ステップＳ２６）、エラーインジェクションが完了していないと判定した場合（ステップＳ２６でＮｏ）、処理をステップＳ２３に戻して、それ以降を繰り返す。その後、エラーインジェクション処理部３１が、エラーインジェクションが完了したと判定した場合（ステップＳ２６でＹｅｓ）、該ノード間依存度解析処理は終了される。
ノード間依存度解析部１２の第２の構成例によるノード間依存度解析処理によれば、第１の構成例によるノード間依存度解析処理と同様の効果を得られることに加えて、テストパターン３３が縮約されることにより、第１の構成例に比べて、学習済ＮＮ１’によるＡＩ処理の時間を短縮できる。よって、より早く依存度情報を生成することが可能となる。
＜学習済ＮＮ１’の一例＞
次に、図８は、学習済ＮＮ１’の一例を示している。学習済ＮＮ１’は、入力層５１、隠れ層５２、及び出力層５３からなる。
同図の場合、入力層５１においては、各ノードに対する入力値ｘｉに対して、例えば、重み係数Ｗｉｊが乗算され、さらにバイアス値ｂｉが加算され、演算結果ａｉｊが隠れ層５２に出力される。隠れ層５２では、入力層５１による演算結果ａｉｊが入力値ｘｉとされて、入力層５１のノードと同様に所定の演算が行われ、その最終的な演算結果が出力層５３に出力される。
エラーインジェクション処理部３１は、各層のノードにおける重み係数Ｗｉｊ、バイアス値ｂｉ、演算結果ａｉｊにエラーデータを書き込む。演算結果ａｉｊは次段のノードにおける入力値ｘｉとなる。
＜自己診断機能付学習済ＮＮ２’の論理回路の一例＞
次に、図９は、自己診断機能付学習済ＮＮ２’の論理回路の一例を示している。
自己診断機能付学習済ＮＮ２’は、学習済ＮＮ１’のセンシティブノードに対して診断回路７０を付加したものである。
学習済ＮＮ１’は、入力データを一時的に保持する複数の入力データバッファ６１、各ノードにおけるパラメータ（重み係数Ｗｉｊ，バイアス値ｂｉ）を保持する複数のメモリ６２、及び複数の演算器６３を備える。同図の場合、演算器６３は、入力データバッファ６１から取得した入力データに対して、メモリ６２に保持されている重み係数Ｗｉｊを乗算し、バイアス値ｂｉを加算する積和演算回路である。
診断回路７０は、演算器７１、及び比較器７２を有する。演算器７１は、学習済ＮＮ１’のセンシティブノードにおける演算器６３と同一の積和演算回路であり、該演算器６３と並列に配置される。比較器７２は、学習済ＮＮ１’のセンシティブノードにおける演算器６３の出力と、演算器７１の出力とを比較し、両値一致しない場合、異常と判定して、異常検出の旨と、異常検出時刻、異常検出ノード特定情報（例えば、ノード位置アドレス、パラメータ格納アドレス等）を上位システムに出力する。
＜ＧＰＵに実装するための学習済ＮＮ１’に対して診断回路を付加する診断回路付加処理＞
次に、図１０は、ＧＰＵに実装するための学習済ＮＮ１’に対して診断回路を付加する診断回路付加処理の一例を説明するフローチャートである。
はじめに、ＧＰＵ用コンパイラに対して、学習済ＮＮ定義データ１を入力する（ステップＳ３１）。次に、ＧＰＵ用コンパイラにより、学習済ＮＮ定義データ１を、ＧＰＵのハードウエア構造に非依存の低レベル実行コードに変換する（ステップＳ３２）。ここで、非依存とは、ＧＰＵ内のプロセッサ、レジスタ、演算器等の構成要素は記述されているが、実装するＧＰＵ固有のハードウエア要素とマッピングしていないものである。
次に、例えば、図３に示されたＮＮ最適化システム１０の変形例から出力されるセンシティブノードデータ情報２１に基づき、オペレータ等の人手により、低レベル実行コードに対して診断処理プログラムを付加することにより、低レベル実行コード(診断回路付)を生成する（ステップＳ３３）。
次に、ターゲットコンパイラにより、実装するＧＰＵのハードウエア要素に低レベル実行コード(診断回路付)をマッピングした、実装デバイス専用のターゲットコードを生成する（ステップＳ３４）。以上で、診断回路付加処理は終了される。
＜本発明の第２の実施形態に係る電子機器８０の構成例＞
次に、図１１は、本発明の第２の実施形態に係る電子機器８０の構成例を示している。該電子機器８０は、例えば、複数のＥＣＵ(Electronic Control Unit)８１に自己診断機能付学習済ＮＮ２’が搭載されている自動車である。ＥＣＵ８１は、本発明のＡＩ処理部に相当する。
該電子機器８０によれば、各ＥＣＵ８１において、自己診断機能付学習済ＮＮ２’によるＡＩ処理が可能となるので、例えば、自動車の安全性能の向上、重量の削減、エネルギ効率の向上等が可能となる。
なお、電子機器８０の具体例は、自動車に限らず、船舶、航空機、ロボット等であってもよい。
＜本発明の第３の実施形態に係る電子機器１００の構成例＞
次に、図１２は、本発明の第３の実施形態に係る電子機器１００の構成例を示している。電子機器１００は、例えば、自動車、船舶、航空機、ロボット等である。電子機器１００は、図１に示されたＮＮ最適化システム１０を有する。さらに、電子機器１００は、認識制御部１０１、状態観測部１０２、選択部１０３、及びＮＮ実装部１０４を有する。認識制御部１０１、状態観測部１０２、選択部１０３、及びＮＮ実装部１０４は、ＮＮ最適化システム１０を実現するコンピュータと同一のコンピュータ、または、他のコンピュータによって実現される。
電子機器１００におけるＮＮ最適化システム１０は、ＮＮ実装部１０４に実装されている学習済ＮＮ１’に対して診断回路を付加し、自己診断機能付学習済ＮＮ２’としてＮＮ実装部１０４に戻すことができる。さらに、ＮＮ最適化システム１０は、ＮＮ実装部１０４にて再度学習された自己診断機能付学習済ＮＮ２’を最適化（診断回路の削除と再付加）を行うことができる。すなわち、自律的で高効率な診断回路を付加し直すことができる。
認識制御部１０１は、選択部１０３を制御し、状態観測部１０２からの状態情報、または学習データ１０５をＮＮ実装部１０４に出力させることにより、ＮＮ実装部１０４に対して、実装されている自己診断機能付学習済ＮＮ２’による認識等のＡＩ処理、または自己診断機能付学習済ＮＮ２’の再学習を実行させる。また、認識制御部１０１は、ＮＮ最適化システム１０を制御し、ＮＮ実装部１０４に実装されている再学習された自己診断機能付学習済ＮＮ２’に対する最適化処理を実行させる。
状態観測部１０２は、例えば、カメラ、レーダ等の各種センサの出力を状態情報として選択部１０３に出力する。選択部１０３は、認識制御部１０１からの制御に従い、状態観測部１０２からの状態情報、または学習データ１０５をＮＮ実装部１０４に出力する。
ＮＮ実装部１０４は、選択部１０３を介して入力される状態観測部１０２からの状態情報を入力として、実装されている自己診断機能付学習済ＮＮ２’により、認識、判断のＡＩ処理を行うことができる。また、ＮＮ実装部１０４は、選択部１０３を介して入力される学習データ１０５に基づき、実装されている自己診断機能付学習済ＮＮ２’を再学習することができる。
＜本発明の第４の実施形態に係る電子機器１１０の構成例＞
次に、図１３は、本発明の第４の実施形態に係る電子機器１１０の構成例を示している。電子機器１１０は、例えば、自動車、船舶、航空機、ロボット等である。電子機器１１０は、電子機器１００（図１２）におけるＮＮ最適化システム１０をクラウド上のサーバ等に移動し、通信部１１１を追加したものである。通信部１１１は、ネットワークＮを介してＮＮ最適化システム１０に接続することができる。ネットワークＮは、例えば、インターネットに代表される双方向通信網である。
電子機器１１０によれば、電子機器１００と同様の効果、作用に加えて、電子機器１１０側の規模、処理工程を削減することができる。さらに、電子機器１１０によれば、ＮＮに異常が検出された場合、その検出時刻、位置アドレス等を外部システム（例えば、ＮＮ最適化システム１０の移動先のサーバ）に送信することができる。該外部システムでは、送信された情報を収集、分析し、重篤性の判定、修理指示、修理スケジュール立案等のメンテナンスサービスを実現することができる。
本発明は、上述した実施形態に限定されるものではなく、様々な変形が可能である。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えたり、追加したりすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウエアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ(Solid State Drive)等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１・・・学習済ＮＮ定義データ、１’・・・学習済ＮＮ、２・・・自己診断機能付学習済ＮＮ定義データ、２’・・・自己診断機能付学習済ＮＮ、１０・・・ＮＮ最適化システム、１１・・・定義データ解析部、１２・・・ノード間依存度解析部、１３・・・センシティブノード抽出部、１４・・・診断回路付加部、１５・・・診断回路格納部、２１・・・センシティブノードデータ情報、２２・・・外部装置、３１・・・エラーインジェクション処理部、３２・・・比較判定部、３３・・・テストパターン、３４・・・期待値パターン、４１・・・ノード間相関解析部、４２・・・影響ノード領域格納部、４３・・・縮約部、４４・・・縮約テストパターン格納部、５１・・・入力層、５２・・・隠れ層、５３・・・出力層、６１・・・入力データバッファ、６２・・・メモリ、６３・・・演算器、７０・・・診断回路、７１・・・演算器、７２・・・比較器、８０・・・電子機器、１００・・・電子機器、１０１・・・認識制御部、１０２・・・状態観測部、１０３・・・選択部、１０４・・・ＮＮ実装部、１０５・・・学習データ、１１０・・・電子機器、１１１・・・通信部、Ｎ・・・ネットワーク

Claims (11)

  1. 学習済ニューラルネットワーク定義データを解析する定義データ解析部と、
    前記学習済ニューラルネットワーク定義データの解析結果に基づき、前記学習済ニューラルネットワーク定義データによって定義された学習済ニューラルネットワークにおけるノード間の依存度を表す依存度情報を生成するノード間依存度解析部と、
    前記依存度情報に基づき、前記学習済ニューラルネットワークにおけるセンシティブノードを抽出するセンシティブノード抽出部と、
    前記学習済ニューラルネットワークにおける全てのノードのうち、抽出された前記センシティブノードに診断回路を付加する診断回路付加部と、
    を備えることを特徴とするニューラルネットワーク最適化システム。
  2. 請求項１に記載のニューラルネットワーク最適化システムであって、
    前記診断回路付加部は、
    前記センシティブノードと同一の演算を行い、前記センシティブノードと同一の前記演算の結果と前記センシティブノードの出力とを比較する前記診断回路、
    を前記センシティブノードに付加する
    ことを特徴とするニューラルネットワーク最適化システム。
  3. 請求項２に記載のニューラルネットワーク最適化システムであって、
    前記診断回路は、前記センシティブノードと同一の前記演算の結果と前記センシティブノードの出力とが異なる場合に異常と判定し、異常検出ノード特定情報を出力する
    ことを特徴とするニューラルネットワーク最適化システム。
  4. 請求項１に記載のニューラルネットワーク最適化システムであって、
    前記ノード間依存度解析部は、
    前記学習済ニューラルネットワーク定義データの解析結果に基づき、前記学習済ニューラルネットワークのノード間で受け渡されるデータ、及び各ノードにおけるパラメータの少なくとも一方にエラーデータを書き込んだ後、前記学習済ニューラルネットワークにテストパターンを入力するエラーインジェクション処理部と、
    前記エラーデータが書き込まれた前記学習済ニューラルネットワークに前記テストパターンを入力して得られた出力と、前記テストパターンに対応する期待値パターンとを比較し、比較結果に基づいて前記依存度情報を生成する比較判定部と、を有する
    ことを特徴とするニューラルネットワーク最適化システム。
  5. 請求項４に記載のニューラルネットワーク最適化システムであって、
    前記ノード間依存度解析部は、
    前記学習済ニューラルネットワーク定義データの解析結果に基づき、前記学習済ニューラルネットワークにおける結び付き度合いが小さいノード領域を特定するノード間相関解析部と、
    前記テストパターンのうち、前記結び付き度合いが小さいノード領域に入力するデータを省いた縮約テストパターンを生成する縮約部と、を有し、
    前記エラーインジェクション処理部は、前記エラーデータを書き込んだ後、前記学習済ニューラルネットワークに前記縮約テストパターンを入力する
    ことを特徴とするニューラルネットワーク最適化システム。
  6. ニューラルネットワーク最適化システムによるニューラルネットワーク最適化方法であって、
    学習済ニューラルネットワーク定義データを解析する定義データ解析ステップと、
    前記学習済ニューラルネットワーク定義データの解析結果に基づき、前記学習済ニューラルネットワーク定義データによって定義された学習済ニューラルネットワークにおけるノード間の依存度を表す依存度情報を生成するノード間依存度解析ステップと、
    前記依存度情報に基づき、前記学習済ニューラルネットワークにおけるセンシティブノードを抽出するセンシティブノード抽出ステップと、
    前記学習済ニューラルネットワークにおける全てのノードのうち、抽出された前記センシティブノードに診断回路を付加する診断回路付加ステップと、
    を含むことを特徴とするニューラルネットワーク最適化方法。
  7. 学習済ニューラルネットワーク定義データを解析する定義データ解析部と、
    前記学習済ニューラルネットワーク定義データの解析結果に基づき、前記学習済ニューラルネットワーク定義データによって定義された学習済ニューラルネットワークにおけるノード間の依存度を表す依存度情報を生成するノード間依存度解析部と、
    前記依存度情報に基づき、前記学習済ニューラルネットワークにおけるセンシティブノードを抽出するセンシティブノード抽出部と、
    前記学習済ニューラルネットワークにおける全てのノードのうち、抽出された前記センシティブノードに診断回路を付加する診断回路付加部と、を有するニューラルネットワーク最適化システムによって前記診断回路が付加された学習済ニューラルネットワークが実装されたＡＩ処理部、
    を備えることを特徴とする電子機器。
  8. 学習済ニューラルネットワークを実装し、ＡＩ処理を行うニューラルネットワーク実装部と、
    前記ニューラルネットワーク実装部に実装された前記学習済ニューラルネットワークを最適化するニューラルネットワーク最適化システムと、
    を備え、
    前記ニューラルネットワーク最適化システムは、
    学習済ニューラルネットワーク定義データを解析する定義データ解析部と、
    前記学習済ニューラルネットワーク定義データの解析結果に基づき、前記学習済ニューラルネットワーク定義データによって定義された学習済ニューラルネットワークにおけるノード間の依存度を表す依存度情報を生成するノード間依存度解析部と、
    前記依存度情報に基づき、前記学習済ニューラルネットワークにおけるセンシティブノードを抽出するセンシティブノード抽出部と、
    前記学習済ニューラルネットワークにおける全てのノードのうち、抽出された前記センシティブノードに診断回路を付加する診断回路付加部と、を有する
    ことを特徴とする電子機器。
  9. 学習済ニューラルネットワークを実装し、ＡＩ処理を行うニューラルネットワーク実装部と、
    前記ニューラルネットワーク実装部に実装された前記学習済ニューラルネットワークを最適化するニューラルネットワーク最適化システムとネットワークを介して通信する通信部と、
    を備え、
    前記ニューラルネットワーク最適化システムは、
    学習済ニューラルネットワーク定義データを解析する定義データ解析部と、
    前記学習済ニューラルネットワーク定義データの解析結果に基づき、前記学習済ニューラルネットワーク定義データによって定義された学習済ニューラルネットワークにおけるノード間の依存度を表す依存度情報を生成するノード間依存度解析部と、
    前記依存度情報に基づき、前記学習済ニューラルネットワークにおけるセンシティブノードを抽出するセンシティブノード抽出部と、
    前記学習済ニューラルネットワークにおける全てのノードのうち、抽出された前記センシティブノードに診断回路を付加する診断回路付加部と、を有する
    ことを特徴とする電子機器。
  10. 請求項８または９に記載の電子機器であって、
    前記ニューラルネットワーク実装部は、学習データに基づき、前記学習済ニューラルネットワークの再学習を行い、
    前記ニューラルネットワーク最適化システムは、再学習された前記学習済ニューラルネットワークを最適化する
    ことを特徴とする電子機器。
  11. 請求項９に記載の電子機器であって、
    前記通信部は、前記学習済ニューラルネットワークに付加された前記診断回路によって異常が検出された場合、異常検出ノード特定情報を外部システムに出力する
    ことを特徴とする電子機器。
JP2019226142A 2019-12-16 2019-12-16 ニューラルネットワーク最適化システム、ニューラルネットワーク最適化方法、及び電子機器 Active JP7319905B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019226142A JP7319905B2 (ja) 2019-12-16 2019-12-16 ニューラルネットワーク最適化システム、ニューラルネットワーク最適化方法、及び電子機器
US17/642,972 US20220405581A1 (en) 2019-12-16 2020-12-07 Neural network optimization system, neural network optimization method, and electronic device
PCT/JP2020/045418 WO2021124947A1 (ja) 2019-12-16 2020-12-07 ニューラルネットワーク最適化システム、ニューラルネットワーク最適化方法、及び電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019226142A JP7319905B2 (ja) 2019-12-16 2019-12-16 ニューラルネットワーク最適化システム、ニューラルネットワーク最適化方法、及び電子機器

Publications (2)

Publication Number Publication Date
JP2021096553A JP2021096553A (ja) 2021-06-24
JP7319905B2 true JP7319905B2 (ja) 2023-08-02

Family

ID=76431497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019226142A Active JP7319905B2 (ja) 2019-12-16 2019-12-16 ニューラルネットワーク最適化システム、ニューラルネットワーク最適化方法、及び電子機器

Country Status (3)

Country Link
US (1) US20220405581A1 (ja)
JP (1) JP7319905B2 (ja)
WO (1) WO2021124947A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050734A1 (en) 2017-08-08 2019-02-14 Beijing Deephi Intelligence Technology Co., Ltd. Compression method of deep neural networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050734A1 (en) 2017-08-08 2019-02-14 Beijing Deephi Intelligence Technology Co., Ltd. Compression method of deep neural networks

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GILES, C.L., et al.，"Pruning Recurrent Neural Networks for Improved Generalization Performance"，IEEE Transactions on Neural Networks，1994年09月，Vol.5, No.5，Pages 848-851，ISSN: 1045-9227, <DOI: 10.1109/72.317740>.
SIETSMA, J., et al.，"Neural Net Pruning - Why and How"，Proceedings of IEEE 1988 International Conference on Neural Networks，1988年07月27日，Pages from I-325 to I-333，<DOI: 10.1109/ICNN.1988.23864>.
TAKENAGA, Hiroshi, et al.，"OPTIMAL INPUT SELECTION OF NEURAL NETWORKS BY SENSITIVITY ANALYSIS AND ITS APPLICATION TO IMAGE REC，Proceedings of IAPR Workshop on MACHINE VISION APPLICATIONS (IAPR MVA'90)，1990年11月30日，Pages 117-120，[online], [retrieved on 2020.12.22], Retrieved from the Internet: <URL: http://www.mva-org.jp/Proceedings/CommemorativeDVD/1990/toc1990.html> and <URL: http://www.mva-org.jp/Proceedings/CommemorativeDVD/1990/papers/1990117.pdf>
武長 寛（外５名），「感度解析を用いたニューラルネットの入力層の最適化とその数字認識への適用」，電気学会論文誌Ｄ，日本，1991年01月20日，Vol.111-D, No.1，Pages 36-44，ISSN: 0913-6339
蓑原 隆，「学習ベクトル量子化ニューラルネットワークの耐故障学習法」，電子情報通信学会技術研究報告，日本，2003年12月12日，Vol.103, No.535，Pages 37-42，ISSN: 0913-5685

Also Published As

Publication number Publication date
US20220405581A1 (en) 2022-12-22
JP2021096553A (ja) 2021-06-24
WO2021124947A1 (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
US20200210847A1 (en) Ensembling of neural network models
JP7223839B2 (ja) 異常検出および／または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム
Zhang et al. CNN-FL: An effective approach for localizing faults using convolutional neural networks
US9785886B1 (en) Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation
CA2921054C (en) Anomaly detection system and method
US20220092411A1 (en) Data prediction method based on generative adversarial network and apparatus implementing the same method
JP2019511768A (ja) 減少する相関の時間的及び動的な解析を用いた原因となる異常のランク付け
US10275548B1 (en) Interactive diagnostic modeling evaluator
Han et al. A deep learning approach to detect and isolate thruster failures for dynamically positioned vessels using motion data
US9536206B2 (en) Method and apparatus for improving resilience in customized program learning network computational environments
JP2018194974A (ja) 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法
US20190385082A1 (en) Information processing device, information processing method, and program recording medium
US20200167660A1 (en) Automated heuristic deep learning-based modelling
Kourd et al. Fault diagnosis based on neural networks and decision trees: application to DAMADICS
WO2022009010A1 (en) Model fidelity monitoring and regeneration for manufacturing process decision support
KR20220011139A (ko) 인식 불가 이미지 변환을 위한 안전 모니터
CN115769235A (zh) 提供与训练函数的准确度有关的警报的方法和系统
US20220222927A1 (en) Apparatus, system, and method of generating a multi-model machine learning (ml) architecture
US20070130491A1 (en) Error detection of digital logic circuits using hierarchical neural networks
JP7319905B2 (ja) ニューラルネットワーク最適化システム、ニューラルネットワーク最適化方法、及び電子機器
KR20200028249A (ko) 설비 데이터의 이상 정도 평가 방법
US20230113750A1 (en) Reinforcement learning based group testing
JP7518013B2 (ja) 診断パターン生成方法及び計算機
JP7163977B2 (ja) 推定装置、学習装置、それらの方法、およびプログラム
JP2020198081A (ja) スパースセンサ測定値を用いる機器の予測保守システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230721

R151 Written notification of patent or utility model registration

Ref document number: 7319905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151