JPWO2018131409A1 - 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体 - Google Patents

情報処理方法、情報処理装置及びコンピュータ可読記憶媒体 Download PDF

Info

Publication number
JPWO2018131409A1
JPWO2018131409A1 JP2018561890A JP2018561890A JPWO2018131409A1 JP WO2018131409 A1 JPWO2018131409 A1 JP WO2018131409A1 JP 2018561890 A JP2018561890 A JP 2018561890A JP 2018561890 A JP2018561890 A JP 2018561890A JP WO2018131409 A1 JPWO2018131409 A1 JP WO2018131409A1
Authority
JP
Japan
Prior art keywords
layer
layers
similarity
information processing
models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018561890A
Other languages
English (en)
Other versions
JP6708755B2 (ja
Inventor
祐介 内田
茂之 酒澤
有希 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of JPWO2018131409A1 publication Critical patent/JPWO2018131409A1/ja
Application granted granted Critical
Publication of JP6708755B2 publication Critical patent/JP6708755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1988—Graph matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

情報処理方法は、２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込むことと、前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定することと、を含んでいる。

Description

本発明は、ニューラルネットワーク(Neural Network)におけるモデルパラメータの改変を判定する技術に関する。
近年、画像認識や音声認識、自然言語処理の分野において、ニューラルネットワークが注目されている。ニューラルネットワークとは、生体の脳における特性を計算機上のシミュレーションによって表現することを目指した数学モデルをいう。シナプスの結合によってネットワークを形成した人工ニューロン（ユニット）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般をいう。
特許文献１〜３及び非特許文献１〜３は、ニューラルネットワークの構造を最適化する技術を開示している。また、特許文献２は、大規模な畳み込みニューラルネットワークの重みを効率的に設定する技術を開示している。更に、特許文献３は、ニューラルネットワークを用いて、音響イベントを検出する技術を開示している。更に、非特許文献１及び２は、画像認識に適した畳み込みニューラルネットワークを開示している。更に、非特許文献３は、ニューラルネットワークを用いて、単語の品詞を推定する技術を開示している。
大規模なニューラルネットワークのモデルパラメータに対しては、長時間の学習が必要となる。例えば、非特許文献２は、４つのＧＰＵ(Graphics Processing Unit)を用いて２〜３週間の学習が必要であることを開示している。このため、非特許文献４及び５は、予め学習済みのモデルパラメータの一部を流用することや、予め学習済のモデルパラメータを初期値として再学習することを開示している。
特開２０１５−１１５１０号公報 特開２０１５−５２８３２号公報 特開２０１５−５７６３０号公報
A. Krizhevsky, I. Sutskever and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," NIPS'12. K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," ICLR'15. X. Ma and E. Hovy, "End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF," ACL'16. S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," NIPS'15. W. Liu, et al., "SSD: Single Shot MultiBox Detector," ECCV'16. P.-T. Yu, H.-H. Tsai, and J.-S. Lin, "Digital watermarking based on neural networks for color images," in Signal Processing, vol. 81, no. 3,2001. M. Elarbi, C. B. Amar, and H. Nicolas, "Video Watermarking Based on Neural Networks," in Proc. of ICME, 2006. Fei-Fei Li & Andrej Karpathy & Justin Johnson、Lecture 7、Convolutional Neural Networks、27 Jan 2016、[online]、［平成２９年１月４日検索］、インターネット＜URL:http://cs231n.stanford.edu/slides/winter1516_lecture7.pdf＞ 正則化、[online]、［平成２９年１月５日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/%E6%AD%A3%E5%89%87%E5%8C%96＞ A. Krogh and J. A. Hertz, "A Simple Weight Decay Can Improve Generalization," in Proc. of NIPS, 1992. Caffe、[online]、［平成２９年１月５日検索］、インターネット＜URL:http://caffe.berkeleyvision.org/＞ TensorFlow、[online]、［平成２９年１月５日検索］、インターネット＜URL:https://www.tensorflow.org/＞ Chainer、[online]、［平成２９年１月５日検索］、インターネット＜URL:http://chainer.org/＞
前述したように、大規模なニューラルネットワークを用いて、全てのモデルパラメータを最初から学習する場合、大量の計算コストや労力が必要となる。そのため、研究機関が、学習済みのモデルパラメータを、流用可能なライセンス形態で、配布する場合もある。
しかしながら、商用サービスにおいては、学習済みのモデルパラメータ自体が、そのサービスにおけるコアな技術であり、一般には流用が禁止される。
例えば画像等の不正利用であれば、目視による発見が容易である。しかしながら、モデルパラメータの不正利用を目視により発見することは容易ではない。
本発明は、ニューラルネットワークのモデルの一部が改変又は再学習されたとしても、改変を検出する技術を提供するものである。
本発明の一態様によると、情報処理方法は、２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込むことと、前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定することと、を含んでいる。
本発明によれば、ニューラルネットワークのモデルの一部が改変又は再学習されたとしても、改変を検出することができる。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
ニューラルネットワークの一般的な機能構成図。 一実施形態による情報処理方法の説明図。 複数の層がグラフ状に構成されたニューラルネットワークを表す説明図。 入力データと特徴マップとの畳み込みの関係を表す説明図。 重みフィルタを用いた特徴マップの生成を表す説明図。 Ｎ個の重みフィルタとＮ段の特徴マップとの関係を表す説明図。 畳み込み層の重みフィルタから推定された真のフィルタサイズの説明図。 畳み込み層同士の比較方法の説明図。 一実施形態による情報処理装置の構成図。
以下、本発明の実施形態について、図面を用いて詳細に説明する。
図１は、ニューラルネットワークの一般的な機能構成図である。
ニューラルネットワークには、様々な構成があるが、ニューラルネットワークは、基本的には複数種類の層の重ね合わせ（又はグラフ構造）で表現される。ニューラルネットワークには、入力データと正解ラベルとが対応付けられた教師データが入力される。そして、ニューラルネットワークは、入力データに対する最終的な出力結果が正解ラベルと一致するように、モデルパラメータを学習する（タスクに応じて入力に対する出力を近似させる）。
図１によれば、順伝播型ニューラルネットワークは、入力層(input layer)と、隠れ層(hidden layer)と、出力層(output layer)との３つの層を有し、入力されたデータは、入力層から出力層へ向けて一方向に伝播する。隠れ層は、複数の層から構成され得る。各層は、複数のユニット（ニューロン）を持ち、前方層のユニットから後方層のユニットへの入力に対するパラメータを、「重み(weight)」と称す。学習とは、この入力に対するパラメータとして、適切な「重み」を算出することにある。図１には、順伝播型ニューラルネットワークとして、畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)も示されている。
学習とは、入力データに対する出力層からの出力データと、当該入力データに対する正解ラベルとの誤差を用いて、各層の重みを最適に更新することをいう。その誤差を算出するために、「損失関数」(loss function)が定義される。誤差は、「誤差逆伝播法」によって、出力層側から入力層側へ向けて次々に伝播され、これにより各層の重みを少しずつ更新していく。最終的に、誤差が小さくなるように、各層の重みを適切な値に調整する収束計算を実行する。
また、図１には、ニューラルネットワークの中で学習されたモデルが表されている。「モデル」とは、隠れ層に内在する層毎に、「層構造」、「パラメータ」を対応付けて記憶したものである。層構造は、層の種類やフィルタサイズ、フィルタ数等により示される。パラメータは、学習された重み（重みフィルタ）の要素である。
図２は、本実施形態における情報処理装置が実行する情報処理方法の説明図である。
本実施形態の情報処理装置は、２つのニューラルネットワークのモデルの比較を行う。情報処理装置は、以下の２つのステップを実行する。
（Ｓ１）各ニューラルネットワークのモデルから、各層について層構造とパラメータとを読み込む。モデルとしては、深層学習フレームワークによって、様々な形式がある。例えば、Caffeの場合、ネットワーク構成がprototxtファイルで記述され、学習済みのパラメータはcaffemodelファイルに保存される（非特許文献１１参照）。また、TensorFlowの場合、学習済みのモデルはckptファイルに保存される（非特許文献１２参照）。更に、Chainerの場合、HDF5フォーマットにて学習済みのモデルが保存される（非特許文献１３参照）。これらニューラルネットワークのモデルは、異なる形式であっても、本質的には、「層構造」及び「パラメータ」によって表現される。Ｓ１では、これら異なる形式のモデルを読み込み、内部的には共通のフォーマットで記憶する。Ｓ１では、これら様々な形式のモデルを比較可能な形式で読み込む。
（Ｓ２）２つのニューラルネットワークのモデルの層構造及びパラメータを比較して同一か否かを判定する。両方のモデルについて、同一と判定された場合、一方のモデルが改変または再学習されて、他方のモデルが生成された可能性がある。
図３は、複数の層がグラフ状に構成されたニューラルネットワークを表す説明図である。
図３によれば、複数の層がグラフ状に、順伝播型として構成されている。隠れ層の種類としては、例えば以下のようなものがある。
畳み込み層(convolutional layer)
活性化層(activation function)
プーリング層(pooling layer)
全結合層(full-connected layer)
Ｓ２によれば、隠れ層でグラフ状に構成された各層同士を、入力層（最下層）から順に「幅優先探索」又は「深さ優先探索」で辿って比較していく。幅優先探索(breadth first search)とは、入力層に近い層から順に探索するものである。深さ優先探索(depth first search)とは、入力層から繋がる限り出力層まで探索するものである。
＜比較する層同士の種類の判定＞
一形態によると、層同士の「種類」が異なる場合、類似度を０とし、当該層から後段の層における比較を実行しない。即ち、層同士の種類が異なると、モデル同士の関係として改変された可能性はない（モデルの非同一判定）と判定することができる。具体的には、２つのモデルについて、入力層（最下位層）から順に層同士の種類を比較して、同一か否かを判定する。両モデルについて、幅優先探索又は深さ優先探索によって辿りながら、次の層同士を選択して比較していく。
また、層同士の「種類」が異なっていても、当該層について、入力と出力とが同一である場合、その層は同一のものであるとして、その比較をスキップすることもできる。例えば、入力の順序を入れ替えて出力するだけの層も、入力と出力とが同一であるとする。例えば、入力の順序を入れ替えるだけの全結合層や、１×１のプーリング層が該当する。
例えば、比較する層同士の「種類」が異なる場合（例えば畳み込み層と活性化層）、２つの層は不一致であると判定される。但し、畳み込み層は、全結合層の一種と考えることができるために、畳み込み層と同一の出力を出力する全結合層は、同一と判定することができる。
上記のとおり、最も簡単な方法としては、層同士の「種類」のみを判定する。しかしながら、層同士は同じ種類のものであっても、モデルの層構造及びパラメータが改変される場合もある。そこで、比較する層同士の種類が同一である場合、更に、層構造及びパラメータを比較して、層同士の同一判定を実行する。具体的には、層同士の種類が同一である場合、更に、層構造やパラメータの類似度から、最終的に、層同士のモデルの同一判定を実行する。以下では、同じ種類の層同士の同一判定について、具体的に詳述する。
＜畳み込み層同士の比較＞
最初に、畳み込み層における層構造（フィルタ数）及びパラメータ（重みフィルタ）について説明する。
図４は、入力データと特徴マップとの畳み込みの関係を表す説明図である。
図４における処理は、畳み込み層（全結合層も同様）によって実行される。図４によれば、入力データに対して、１個の重みフィルタを使用することで１つの特徴マップを生成している。なお、本実施形態において、入力データ、重みフィルタ及び特徴マップのサイズは以下の通りである。
入力データ ：３２×３２×３個の要素
重みフィルタ：５×５×５個の要素 （パラメータ）
特徴マップ ：２８×２８個の要素
重みフィルタは、Ｎ個分用意され、これがパラメータとなる。即ち、「重み」とは、Ｎ個の重みフィルタを意味する。但し、ここでは、バイアス項は考慮しないものとする。
図５は、重みフィルタを用いた特徴マップの生成を表す説明図である。
図５に示す様に、５×５×３個の要素からなる１個の重みフィルタを、入力データに充てて、その各要素の積の和を、特徴マップの１個の要素の値とする。そして、同じ重みフィルタを、入力データに対して移動させて、１枚の特徴マップを生成する。ここで、移動させる要素の数（移動量）を「ストライド(stride)」と称す。入力データの周囲の縁（ふち）には、要素０を埋めたゼロパディング(zero-padding)の領域を設けることもできる。これによって、入力データの縁の要素にも、同数の重みフィルタをあてることができる。
図６は、Ｎ個の重みフィルタとＮ段の特徴マップとの関係を表す説明図である。
重みフィルタは、Ｎ個から構成される。図４及び図５によれば、１個の重みフィルタから１枚の特徴マップが生成されている。したがって、図６に示す様に、Ｎ個の重みフィルタからＮ段の特徴マップが生成される。
前述した図４及び図５によれば、３２×３２（画像サイズ）×３（ＲＧＢチャンネル）の入力に対し、５×５×３のフィルタ１つを適用している。このフィルタは５×５×３＋１＝７６個のパラメータを持つ。通常、畳み込み層では、Ｎ個（複数）のフィルタを用いて畳み込みを実行する。例えば、１２８個のフィルタを持つ畳み込み層は、７６×１２８個のパラメータを持つ。最も単純には、このパラメータを特徴ベクトルとして、何らかの尺度を用いて距離を計算し、一定以下の距離であれば一致したと判定することができる。
しかしながら、重みフィルタの効果を維持したまま、意図的にフィルタの構造を変更することで、モデルの再利用（改変）を行うことができる。例えば、（１）フィルタのサイズを大きくしたり、（２）フィルタの順序を変更したり、（３）フィルタを追加削除する、ように改変することができる。これに対し、本実施形態によれば、重みフィルタの構造が変更された場合であっても、同一判定をすることができる。
畳み込み層同士を比較する場合、重みフィルタのパラメータによって判定するべく、以下のＳ２１１〜Ｓ２１４のステップを実行する。
（Ｓ２１１）畳み込み層の重みフィルタについて真の（実際の）フィルタサイズを推定する。具体的には、重みフィルタにおける各チャンネル（例えばＲＧＢ＝３）のパラメータの絶対値を累積する。その累積値が所定閾値以上となる箇所（パラメータ）を全て含む最小の矩形を、真のフィルタサイズとして推定する。
図７は、畳み込み層の重みフィルタから真のフィルタサイズを推定する処理の説明図である。
例えばフィルタが５×５のサイズであれば、真のフィルタサイズは、２×２，３×３，４×４である可能性がある。図７によれば、複数のチャンネル（例えばＲＧＢ）を持つ入力に対するフィルタとしては、５×５×３の重みフィルタが適用されている。この場合、各チャンネルに対する５×５のパラメータそれぞれについて絶対値を取り、３つのチャネルに対応する各フィルタの同一位置の３つの絶対値を加算する。図７のように、中心の３×３以外のパラメータの絶対値が小さい場合、真のフィルタサイズは３×３であると推定することができる。これは、フィルタの各パラメータの絶対値について、閾値以上となる最小の矩形から推定される。図７では、閾値を０．２とし、これにより、真のフィルタサイズを３×３であると推定している。
（Ｓ２１２）比較する重みフィルタのパラメータを推定された真のフィルタサイズに修正する。比較する畳み込み層同士における真のフィルタサイズが一致しなかった場合、畳み込み層同士は同一でないと判定される。例えば一方の畳み込み層のフィルタサイズが３×３×３であり、他方の畳み込み層のフィルタサイズが５×５×３である場合、これら畳み込み層同士は、一致しないと判定される。
（Ｓ２１３）比較する畳み込み層同士について、真のフィルタサイズが一致する場合、次にパラメータ同士を比較する。このとき、各重みフィルタのパラメータを１つのベクトルとみなして、各畳み込み層をベクトル集合として表現する。例えば、一方の畳み込み層のフィルタサイズが５×５×３、フィルタ数が１２８であり、他方の畳み込み層のフィルタサイズが５×５×３、フィルタ数が６４である場合を想定する。
図８は、畳み込み層同士の真のフィルタサイズ内のパラメータを比較する説明図である。
パラメータ同士の比較は、各フィルタのパラメータを特徴ベクトルとみなし、一方の畳み込み層の特徴ベクトルの集合と、他方の畳み込み層の特徴ベクトルの集合との間の距離を算出する。例えば、２つの特徴ベクトル集合間について、距離が所定閾値以下となる特徴ベクトルのペアを算出することによって「二部グラフ」を構成する。そして、二部グラフから最大マッチング問題を解くことによって算出した最大のマッチ数を、類似度とする。また、画像認識におけるBag-of-Visual Wordsを用いて、各特徴ベクトルを量子化し、量子化ヒストグラムを畳み込み層の特徴ベクトルとし、その距離を用いることもできる。更に、各特徴ベクトルを量子化し、量子化ヒストグラム間の類似度を、ベクトル集合間の類似度とすることもできる。
二部グラフとは、頂点（パラメータ）集合を２つの部分集合に分割し、各集合内の頂点同士の間には辺が無いようにしたものである。２つの頂点集合Ｖ１，Ｖ２に分割したとき、Ｖ１同士・Ｖ２同士の頂点間には辺が存在しないが、Ｖ１とＶ２間の任意の２点間に辺が存在するグラフである。マッチ数とは、辺集合に属するいずれの２辺も隣接していない数を言い、最大マッチングとは、辺集合のうち辺の数が最大のものをいう。
（Ｓ２１４）比較する畳み込み層同士のベクトル集合間の類似度を、畳み込み層同士の類似度とする。そして、畳み込み層同士の類似度が、所定閾値以上である場合、２つの畳み込み層は、同一であると判定することができる。
＜全結合層同士の比較＞
全結合層同士を比較する場合、全結合層に対する重みを特徴ベクトルとみなして、全結合層をベクトル集合として表現する。そして、比較する全結合層同士のベクトル集合間の類似度（例えばベクトル集合間の距離）を、全結合層同士の類似度とする。そして、全結合層同士の類似度が、所定閾値以上である場合、２つの全結合層は、同一であると判定することができる。
全結合層がバイアス項を含む場合、全結合層は、出力次元数×（入力次元数＋１）のパラメータで表現される（バイアス項を含まない場合は、出力次元数×入力次元数）。このパラメータに対し、（入力次元数＋１）次元の重み（入力に対する係数）を、特徴ベクトルとみなし、この特徴ベクトルの集合として全結合層を表現する。
＜活性化層同士の比較＞
活性化層同士を比較する場合、活性化層の種類が同じであり、パラメータ同士の距離が所定閾値以下である場合、当該距離を類似度として算出する。それ以外の場合、類似度を０とする。そして、活性化層同士の類似度が、所定閾値以上である場合、２つの活性化層は、同一であると判定することができる。活性化層の種類は、線形結合、シグモイド関数、ハードシグモイド関数、ｔａｎｈ関数(hyperbolic tangent function)、ソフトサイン関数、ソフトプラス関数、ＲｅＬＵ(Rectified Linear Unit)のいずれかである。
＜プーリング層同士の比較＞
プーリング層同士を比較する場合、プーリング層の種類が同じであり、パラメータ同士の距離が所定閾値以下である場合、当該距離を類似度として算出する。それ以外の場合、類似度を０とする。そして、プーリング層同士の類似度が、所定閾値以上である場合、２つのプーリング層は、同一であると判定することができる。プーリング層の種類は、最大値(max)プーリング、平均値(average)プーリングのいずれかである。パラメータは、フィルタサイズ及びストライド（フィルタを適用する間隔）である。
そして、一方のニューラルネットワークにおいて比較が行われなかった層がなく、比較が行われた各層の比較結果がすべて一致した場合、一方のニューラルネットワークは、他方のニューラルネットワークが改変又は再学習されたものと判定することができる。
また、多層ニューラルネットワークにおいては、他のニューラルネットワークの一部だけを再利用することがあり得る。したがって、所定数以上の層が一致すると、一方のニューラルネットワークは、他方のニューラルネットワークが改変又は再学習されたものと判定することができる。なお、所定数は１以上とすることができる。また、ニューラルネットワーク全体の改変を判定するのではなく、層単位で一致・不一致を判定し、判定結果を出力する構成とすることもできる。つまり、一方のニューラルネットワークのある層が、他方のニューラルネットワークにおいて流用されているかを判定する構成とすることもできる。
また、たとえば、一致する畳み込み層が所定数以上あると、一方のニューラルネットワークは、他方のニューラルネットワークの一部が改変又は再学習されたものと判定するといった様に、層の種類を判定条件に使用することができる。なお、所定数は１とすることができる。
また、比較した各層について一致、不一致を判定するのではなく、類似度を合計して、一方のニューラルネットワークと他方のニューラルネットワークの類似度を判定するものとすることもできる。
以上、詳細に説明したように、本実施形態によれば、ニューラルネットワークのモデルの一部が改変又は再学習されたとしても、モデル同士を比較することによって改変を検出することができる。
図９は、本実施形態による情報処理装置の構成図である。読込部１０は、比較対象の２つのニューラルネットワークのモデルの各層について、層構造とパラメータとを読み込む。判定部２０は、読込部１０が読み込んだ、２つのニューラルネットワークのモデルの層構造及びパラメータを比較して改変を判定する。
また、上述した情報処理方法又は情報処理装置は、コンピュータプログラムにより実現することもできる。当該プログラムは、コンピュータの１つ以上のプロセッサで実行されると、当該コンピュータに、上述した情報処理方法を実行させる。或いは、当該プログラムは、コンピュータの１つ以上のプロセッサで実行されると、当該コンピュータを上述した情報処理装置として機能させる。コンピュータプログラムは、一時的ではないコンピュータ可読記憶媒体に記憶される。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
本願は、２０１７年１月１３日提出の日本国特許出願特願２０１７−００３８４９を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (13)

  1. ２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込むことと、
    前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定することと、
    を含む、情報処理方法。
  2. 前記２つのニューラルネットワークのモデルの一致度を判定することは、比較する層同士の種類が異なる場合、前記類似度を０とし、当該層から後段の層における比較を実行しないことを含む、請求項１に記載の情報処理方法。
  3. 前記２つのニューラルネットワークのモデルの一致度を判定することは、畳み込み層同士を比較する場合、
    畳み込み層の重みフィルタについて真のフィルタサイズを推定することと、
    比較する重みフィルタのパラメータを推定された真のフィルタサイズに修正することと、
    各重みフィルタのパラメータを１つのベクトルとして、畳み込み層をベクトル集合で表現することと、
    比較する畳み込み層同士のベクトル集合間の類似度を、畳み込み層同士の類似度とすることと、
    を含む、請求項１に記載の情報処理方法。
  4. 前記真のフィルタサイズを推定することは、
    前記重みフィルタにおける各チャンネルのパラメータの絶対値を累積することと、
    累積した値が所定閾値以上となる箇所を全て含む最小の矩形を、真のフィルタサイズとして推定することと、
    を含む、請求項３に記載の情報処理方法。
  5. 前記２つのニューラルネットワークのモデルの一致度を判定することは、全結合層同士を比較する場合、
    全結合層に対する重みを特徴ベクトルとして全結合層をベクトル集合で表現することと、
    比較する全結合層同士のベクトル集合間の類似度を、全結合層同士の類似度とすることと、を含む請求項１に記載の情報処理方法。
  6. 前記ベクトル集合間の類似度は、
    距離が所定閾値以下となる特徴ベクトルのペアを算出することによって二部グラフを構成することと、
    前記二部グラフから最大マッチング問題を解くことによって最大のマッチ数を算出することと、
    により求められる、請求項３又は５に記載の情報処理方法。
  7. 前記ベクトル集合間の類似度は、
    各特徴ベクトルを量子化することと、
    量子化ヒストグラム間の類似度を求めることと、
    により求められる、請求項３又は５に記載の情報処理方法。
  8. 前記２つのニューラルネットワークのモデルの一致度を判定することは、活性化層同士を比較する場合、
    活性化層の種類が同じであり、パラメータ同士の距離が所定閾値以下であると、当該距離を類似度とし、それ以外の場合には、類似度を０とすることを含む、請求項１に記載の情報処理方法。
  9. 前記活性化層の種類は、線形結合、シグモイド関数、ハードシグモイド関数、ｔａｎｈ関数(hyperbolic tangent function)、ソフトサイン関数、ソフトプラス関数、又は、ＲｅＬＵ(Rectified Linear Unit)である、請求項８に記載の情報処理方法。
  10. 前記２つのニューラルネットワークのモデルの一致度を判定することは、プーリング層同士を比較する場合、
    プーリング層の種類が同じであり、パラメータ同士の距離が所定閾値以下であると、当該距離を類似度とし、それ以外の場合には、類似度を０とすることを含む、請求項１に記載の情報処理方法。
  11. 前記プーリング層の種類は、最大値プーリング、又は、平均値プーリングであり、
    前記パラメータは、フィルタサイズ、及び、フィルタを適用する間隔である、請求項１０に記載の情報処理方法。
  12. ２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込む読込手段と、
    前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定する判定手段と、
    を備えている、情報処理装置。
  13. プログラムを格納したコンピュータ可読記憶媒体であって、
    前記プログラムは、コンピュータの１つ以上のプロセッサで実行されると、前記コンピュータに、
    ２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込むことと、
    前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定することと、
    を実行させる、コンピュータ可読記憶媒体。
JP2018561890A 2017-01-13 2017-12-20 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体 Active JP6708755B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017003849 2017-01-13
JP2017003849 2017-01-13
PCT/JP2017/045684 WO2018131409A1 (ja) 2017-01-13 2017-12-20 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2018131409A1 true JPWO2018131409A1 (ja) 2019-11-07
JP6708755B2 JP6708755B2 (ja) 2020-06-10

Family

ID=62840093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018561890A Active JP6708755B2 (ja) 2017-01-13 2017-12-20 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体

Country Status (5)

Country Link
US (1) US11586909B2 (ja)
EP (1) EP3570220B1 (ja)
JP (1) JP6708755B2 (ja)
CN (1) CN110168572A (ja)
WO (1) WO2018131409A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6708755B2 (ja) 2017-01-13 2020-06-10 Kddi株式会社 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体
US20190244062A1 (en) * 2018-02-04 2019-08-08 KaiKuTek Inc. Gesture recognition method, gesture recognition system, and performing device therefore
JP6892848B2 (ja) * 2018-08-09 2021-06-23 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN112602097A (zh) * 2018-08-31 2021-04-02 奥林巴斯株式会社 数据处理系统和数据处理方法
CN112348177B (zh) * 2019-07-05 2024-01-09 安徽寒武纪信息科技有限公司 神经网络模型验证方法、装置、计算机设备和存储介质
CN113222101A (zh) * 2020-02-05 2021-08-06 北京百度网讯科技有限公司 深度学习处理装置、方法、设备和存储介质
KR20210115863A (ko) * 2020-03-16 2021-09-27 삼성전자주식회사 뉴럴 네트워크 모델을 위한 병렬 처리 방법 및 장치
JP7443218B2 (ja) * 2020-11-13 2024-03-05 株式会社Ａｅｓｃジャパン データ処理装置、モデル生成装置、データ処理方法、モデル生成方法、及びプログラム
CN113506550B (zh) * 2021-07-29 2022-07-05 北京花兰德科技咨询服务有限公司 一种人工智能阅读显示器及显示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5966703A (ja) * 1982-10-08 1984-04-16 Fanuc Ltd 数値制御装置の加工制御情報保護方式
JP2013025356A (ja) * 2011-07-15 2013-02-04 Hitachi Solutions Ltd プログラムの流用検出方法
JP2014026389A (ja) * 2012-07-25 2014-02-06 Denso Corp モデル比較装置、識別子生成装置、モデル作成装置、モデル比較ツール、識別子生成ツール、及び、モデル作成ツール
JP2015011510A (ja) * 2013-06-28 2015-01-19 株式会社デンソーアイティーラボラトリ ニューラルネットワーク最適化方法、ニューラルネットワーク最適化装置及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5166539A (en) * 1990-07-09 1992-11-24 Nippon Telegraph And Telephone Corporation Neural network circuit
US5240009A (en) * 1991-03-25 1993-08-31 Ventritex, Inc. Medical device with morphology discrimination
US7379507B2 (en) * 2004-10-01 2008-05-27 Industrial Technology Research Institute Method and device for modulation recognition of digitally modulated signals with multi-level magnitudes
US8977578B1 (en) * 2012-06-27 2015-03-10 Hrl Laboratories, Llc Synaptic time multiplexing neuromorphic network that forms subsets of connections during different time slots
JP6235938B2 (ja) 2013-08-13 2017-11-22 日本電信電話株式会社 音響イベント識別モデル学習装置、音響イベント検出装置、音響イベント識別モデル学習方法、音響イベント検出方法及びプログラム
JP6192010B2 (ja) 2013-09-05 2017-09-06 国立大学法人 東京大学 重み設定装置および方法
US20160041982A1 (en) * 2014-08-05 2016-02-11 Facebook, Inc. Conditioned Search Ranking Models on Online Social Networks
US9418458B2 (en) * 2015-01-05 2016-08-16 Superfish Ltd. Graph image representation from convolutional neural networks
JP2017003849A (ja) 2015-06-12 2017-01-05 株式会社ジャパンディスプレイ 表示装置
JP6620439B2 (ja) * 2015-07-01 2019-12-18 株式会社リコー 学習方法、プログラム及び学習装置
US10740676B2 (en) * 2016-05-19 2020-08-11 Nec Corporation Passive pruning of filters in a convolutional neural network
AU2017300259A1 (en) * 2016-07-18 2019-02-14 Nant Holdings Ip, Llc Distributed machine learning systems, apparatus, and methods
JP6708755B2 (ja) 2017-01-13 2020-06-10 Kddi株式会社 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5966703A (ja) * 1982-10-08 1984-04-16 Fanuc Ltd 数値制御装置の加工制御情報保護方式
JP2013025356A (ja) * 2011-07-15 2013-02-04 Hitachi Solutions Ltd プログラムの流用検出方法
JP2014026389A (ja) * 2012-07-25 2014-02-06 Denso Corp モデル比較装置、識別子生成装置、モデル作成装置、モデル比較ツール、識別子生成ツール、及び、モデル作成ツール
JP2015011510A (ja) * 2013-06-28 2015-01-19 株式会社デンソーアイティーラボラトリ ニューラルネットワーク最適化方法、ニューラルネットワーク最適化装置及びプログラム

Also Published As

Publication number Publication date
EP3570220A1 (en) 2019-11-20
EP3570220A4 (en) 2020-01-22
EP3570220B1 (en) 2023-10-11
WO2018131409A1 (ja) 2018-07-19
US20190279087A1 (en) 2019-09-12
US11586909B2 (en) 2023-02-21
JP6708755B2 (ja) 2020-06-10
CN110168572A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
JP6708755B2 (ja) 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体
WO2018131405A1 (ja) 情報処理装置、方法及びコンピュータ可読記憶媒体
Chen et al. Multi-modal fusion network with multi-scale multi-path and cross-modal interactions for RGB-D salient object detection
KR102492318B1 (ko) 모델 학습 방법 및 장치, 및 데이터 인식 방법
US10534999B2 (en) Apparatus for classifying data using boost pooling neural network, and neural network training method therefor
Poon et al. Sum-product networks: A new deep architecture
US10373050B2 (en) Fixed point neural network based on floating point neural network quantization
US20170330068A1 (en) Devices, systems, and methods for feature encoding
CN109754078A (zh) 用于优化神经网络的方法
US20210150347A1 (en) Guided training of machine learning models with convolution layer feature data fusion
CN111291622B (zh) 一种遥感影像中建筑物变化检测的方法及装置
JP2015506026A (ja) 画像分類
CN113435520A (zh) 神经网络的训练方法、装置、设备及计算机可读存储介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
US11354535B2 (en) Device and method with sensor-specific image recognition
CN109284765A (zh) 基于负值特征的卷积神经网络的自然图像分类方法
JP2019023801A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
US20230394304A1 (en) Method and Apparatus for Neural Network Based on Energy-Based Latent Variable Models
US11657282B2 (en) Efficient inferencing with fast pointwise convolution
Xie et al. Adding Gaussian Noise to DeepFool for Robustness based on Perturbation Directionality.
MacDonald et al. A Flow Artist for High-Dimensional Cellular Data
Tang et al. Research on the construction of marine creatures classification and identification model based on ResNet50
Alsan et al. Dynamic Task and Weight Prioritization Curriculum Learning for Multimodal Imagery
Postavaru et al. Censoring Sensitive Data from Images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200521

R150 Certificate of patent or registration of utility model

Ref document number: 6708755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150