JP6741636B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6741636B2 JP6741636B2 JP2017177515A JP2017177515A JP6741636B2 JP 6741636 B2 JP6741636 B2 JP 6741636B2 JP 2017177515 A JP2017177515 A JP 2017177515A JP 2017177515 A JP2017177515 A JP 2017177515A JP 6741636 B2 JP6741636 B2 JP 6741636B2
- Authority
- JP
- Japan
- Prior art keywords
- weight
- vector
- layer
- data
- embedding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
実施の形態に係る情報処理装置は、ニューラルネットワークのうち、特に畳み込みニューラルネットワーク(Convolutional Neural Network;CNN)のモデルパラメータに透かし情報を埋め込むための装置である。そこで、実施の形態に係る情報処理装置の前提技術として、まず畳み込みニューラルネットワークについて簡単に説明する。
現在、様々な構成のニューラルネットワークが提案されているが、これらの基本構成は共通である。ニューラルネットワークの基本構成は、複数種類の層の重ね合わせ(又はグラフ構造)で表現される。ニューラルネットワークは、入力データに対する出力結果が適切な値になるようにモデルパラメータを学習する。言い換えると、ニューラルネットワークは、入力データに対する出力結果が適切な値になるように定義された損失関数を最小化するようにモデルパラメータを学習する。
入力データ :32×32×3個の要素
重みフィルタ:5×5×3個の要素 (モデルパラメータ)
特徴マップ :28×28個の要素
図3に示す例では、5×5×3個の要素からなる1個の重みフィルタを入力データにかけ、その各要素の積の和を特徴マップの1個の要素の値とする。そして、入力データに対して同じ重みフィルタを移動させることにより、1枚の特徴マップを生成する。ここで、重みフィルタを移動させる要素の数(移動量)を「ストライド(stride)」と称す。入力データの周囲の縁(ふち)には、要素0を埋めたゼロパディング(zero-padding)の領域を設ける。これによって、入力データの縁の要素にも、同数の重みフィルタをあてることができる。
以上を前提として、実施の形態の概要を述べる。
実施の形態に係る情報処理装置は、ニューラルネットワークを用いて目的タスクを達成するための学習モデルを生成すると同時に、その学習モデルに対して電子的な透かしを埋め込むための装置である。
以下、実施の形態に係る情報処理装置についてより詳細に説明する。
図6は、実施の形態に係る情報処理装置1の機能構成を模式的に示す図である。情報処理装置1は、記憶部10と制御部20とを備える。制御部20は、訓練データ取得部21、重み更新部22、重みベクトル生成部23、埋込データ生成部24、埋込データ生成部24、及び変動記録部26を備える。
図8は、実施の形態に係る情報処理装置1が実行する情報処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば情報処理装置1が起動したときに開始する。
以上説明したように、実施の形態に係る情報処理装置1によれば、出所を特定することができる学習モデルを提供することができる。特に、実施の形態に係る情報処理装置1は、透かしラベルT2に透かしラベルT2を冗長化するための付加情報を埋め込むため、攻撃者による透かしラベルT2のスクランブル攻撃に対する耐性を高めることができる。
10・・・記憶部
20・・・制御部
21・・・訓練データ取得部
22・・・重み更新部
23・・・重みベクトル生成部
24・・・埋込データ生成部
25・・・ベクトル変換部
26・・・変動記録部
Claims (9)
- 目的タスク学習用の訓練データに基づいて、複数の層を備えるニューラルネットワークの各層の重みを更新する重み更新部と、
前記ニューラルネットワークを構成する層の中から選択した層の重みのうち少なくとも一部の重みを成分とするベクトルである重みベクトルを生成する重みベクトル生成部と、
前記重みベクトルに埋め込むためのデータであって、透かしラベルに付加情報を付加した埋込データを生成する埋込データ生成部と、
前記重みベクトルを線型変換して埋込用ベクトルを生成するベクトル変換部と、を備え、
前記重み更新部は、前記目的タスク学習用に設定された第1損失関数に、前記埋込用ベクトルと前記埋込データとを用いて定められた第2損失関数を加算した損失関数に基づいて、前記重みを更新し、
前記埋込データ生成部は、前記重みベクトル生成部が選択した層が前記ニューラルネットワークの入力層に近い層である場合は、遠い層である場合と比較して前記透かしラベルに付加する付加情報のサイズを小さくする、
情報処理装置。 - 目的タスク学習用の訓練データに基づいて、あらかじめ複数の層を備えるニューラルネットワークの各層の重みを更新することによって前記各層の重みの変動を記録する変動記録部と、
前記目的タスク学習用の訓練データに基づいて、前記ニューラルネットワークの各層の重みを更新する重み更新部と、
前記ニューラルネットワークを構成する層の中から選択した層の重みのうち少なくとも一部の重みを成分とするベクトルである重みベクトルを生成する重みベクトル生成部と、
前記重みベクトルに埋め込むためのデータであって、透かしラベルに付加情報を付加した埋込データを生成する埋込データ生成部と、
前記重みベクトルを線型変換して埋込用ベクトルを生成するベクトル変換部と、を備え、
前記重み更新部は、前記目的タスク学習用に設定された第1損失関数に、前記埋込用ベクトルと前記埋込データとを用いて定められた第2損失関数を加算した損失関数に基づいて、前記重みを更新し、
前記重みベクトル生成部は、前記変動の小さい重みを、前記変動の大きい重みよりも優先して前記重みベクトルの成分として選択する、
情報処理装置。 - 前記埋込データ生成部は、前記透かしラベルの誤りを訂正するための誤り訂正符号を前記付加情報として前記透かしラベルに付加する、
請求項1又は2に記載の情報処理装置。 - 前記埋込データ生成部は、所定の文字列を符号化したバイナリデータである透かしラベルに、前記付加情報を付加する、
請求項1から3のいずれか一項に記載の情報処理装置。 - 前記ベクトル変換部は、前記重みベクトルにアダマール行列を乗じて埋込用ベクトルを生成する、
請求項1から4のいずれか一項に記載の情報処理装置。 - プロセッサが、
複数の層を備えるニューラルネットワークを構成する層の中から選択した層の重みのうち少なくとも一部の重みを成分とするベクトルである重みベクトルを生成するステップと、
前記重みベクトルに埋め込むためのデータであって、透かしラベルに付加情報を付加した埋込データを生成するステップと、
前記重みベクトルを線型変換して埋込用ベクトルを生成するステップと、
目的タスク学習用の訓練データと、目的タスク学習用に設定された第1損失関数に前記埋込用ベクトルと前記埋込データとを用いて定められた第2損失関数を加算した損失関数と、に基づいて、前記ニューラルネットワークの各層の重みを更新するステップと、
を実行し、
前記埋込データを生成するステップにおいて、前記重みベクトルを生成するステップにおいて選択された層が前記ニューラルネットワークの入力層に近い層である場合は、遠い層である場合と比較して前記透かしラベルに付加する付加情報のサイズを小さくする、
情報処理方法。 - プロセッサが、
目的タスク学習用の訓練データに基づいて、あらかじめ複数の層を備えるニューラルネットワークの各層の重みを更新することによって前記各層の重みの変動を記録するステップと、
前記複数の層を備えるニューラルネットワークを構成する層の中から選択した層の重みのうち少なくとも一部の重みを成分とするベクトルである重みベクトルを生成するステップと、
前記重みベクトルに埋め込むためのデータであって、透かしラベルに付加情報を付加した埋込データを生成するステップと、
前記重みベクトルを線型変換して埋込用ベクトルを生成するステップと、
目的タスク学習用の訓練データと、目的タスク学習用に設定された第1損失関数に前記埋込用ベクトルと前記埋込データとを用いて定められた第2損失関数を加算した損失関数と、に基づいて、前記ニューラルネットワークの各層の重みを更新するステップと、
を実行し、
前記重みベクトルを生成するステップにおいて、前記変動の小さい重みを、前記変動の大きい重みよりも優先して前記重みベクトルの成分として選択する、
情報処理方法。 - コンピュータに、
複数の層を備えるニューラルネットワークを構成する層の中から選択した層の重みのうち少なくとも一部の重みを成分とするベクトルである重みベクトルを生成する機能と、
前記重みベクトルに埋め込むためのデータであって、透かしラベルに付加情報を付加した埋込データを生成する機能と、
前記重みベクトルを線型変換して埋込用ベクトルを生成する機能と、
目的タスク学習用の訓練データと、目的タスク学習用に設定された第1損失関数に前記埋込用ベクトルと前記埋込データとを用いて定められた第2損失関数を加算した損失関数と、に基づいて、前記ニューラルネットワークの各層の重みを更新する機能と、
を実現させ、
前記埋込データを生成する機能は、前記重みベクトルを生成する機能が選択した層が前記ニューラルネットワークの入力層に近い層である場合は、遠い層である場合と比較して前記透かしラベルに付加する付加情報のサイズを小さくする、
プログラム。 - コンピュータに、
目的タスク学習用の訓練データに基づいて、あらかじめ複数の層を備えるニューラルネットワークの各層の重みを更新することによって前記各層の重みの変動を記録する機能と、
前記複数の層を備えるニューラルネットワークを構成する層の中から選択した層の重みのうち少なくとも一部の重みを成分とするベクトルである重みベクトルを生成する機能と、
前記重みベクトルに埋め込むためのデータであって、透かしラベルに付加情報を付加した埋込データを生成する機能と、
前記重みベクトルを線型変換して埋込用ベクトルを生成する機能と、
目的タスク学習用の訓練データと、目的タスク学習用に設定された第1損失関数に前記埋込用ベクトルと前記埋込データとを用いて定められた第2損失関数を加算した損失関数と、に基づいて、前記ニューラルネットワークの各層の重みを更新する機能と、
を実現させ、
前記重みベクトルを生成する機能は、前記変動の小さい重みを、前記変動の大きい重みよりも優先して前記重みベクトルの成分として選択する、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017177515A JP6741636B2 (ja) | 2017-09-15 | 2017-09-15 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017177515A JP6741636B2 (ja) | 2017-09-15 | 2017-09-15 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019053542A JP2019053542A (ja) | 2019-04-04 |
JP6741636B2 true JP6741636B2 (ja) | 2020-08-19 |
Family
ID=66015055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017177515A Active JP6741636B2 (ja) | 2017-09-15 | 2017-09-15 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6741636B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7042414B2 (ja) * | 2018-12-05 | 2022-03-28 | Kddi株式会社 | 学習装置、学習システム、学習方法及び学習プログラム |
CN111490872B (zh) * | 2020-03-19 | 2022-09-16 | 清华大学深圳国际研究生院 | 一种基于公私钥对的深度学习模型水印的嵌入和提取方法 |
JP7339219B2 (ja) | 2020-08-19 | 2023-09-05 | Kddi株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2024042583A1 (ja) * | 2022-08-22 | 2024-02-29 | 日本電信電話株式会社 | 情報処理装置、aiモデル認証システム、aiモデル認証方法およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3214555B2 (ja) * | 1998-05-06 | 2001-10-02 | 日本電気株式会社 | 電子透かし挿入装置 |
JP2000316083A (ja) * | 1999-04-28 | 2000-11-14 | Canon Inc | 情報処理装置、情報処理システム及び情報処理方法並びに記憶媒体 |
US6721439B1 (en) * | 2000-08-18 | 2004-04-13 | Hewlett-Packard Development Company, L.P. | Method and system of watermarking digital data using scaled bin encoding and maximum likelihood decoding |
US20050220322A1 (en) * | 2004-01-13 | 2005-10-06 | Interdigital Technology Corporation | Watermarks/signatures for wireless communications |
JP4155956B2 (ja) * | 2004-09-16 | 2008-09-24 | 三洋電機株式会社 | 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法 |
JP5276364B2 (ja) * | 2008-06-09 | 2013-08-28 | キヤノン株式会社 | 検索システム及び情報処理装置とその制御方法 |
US10621487B2 (en) * | 2014-09-17 | 2020-04-14 | Hewlett Packard Enterprise Development Lp | Neural network verification |
-
2017
- 2017-09-15 JP JP2017177515A patent/JP6741636B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019053542A (ja) | 2019-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6657137B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6778670B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6741636B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11704391B2 (en) | Machine learning model with watermarked weights | |
US11163860B2 (en) | Protecting deep learning models using watermarking | |
JP6823523B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20190130277A1 (en) | Ensembling of neural network models | |
JP5864684B1 (ja) | 半導体装置 | |
US20170103309A1 (en) | Acceleration of convolutional neural network training using stochastic perforation | |
JP6908553B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JPWO2018131405A1 (ja) | 情報処理装置、方法及びコンピュータ可読記憶媒体 | |
CN104794223B (zh) | 一种基于图像检索的字幕匹配方法和系统 | |
US20200050962A1 (en) | Method for training and testing data embedding network to generate marked data by integrating original data with mark data, and training device and testing device using the same | |
CN112613001A (zh) | 通过可逆水印实现卷积神经网络完整性认证的方法 | |
CN116883545A (zh) | 基于扩散模型的图片数据集扩充方法、介质及设备 | |
Kundu et al. | Security aspects of quantum machine learning: Opportunities, threats and defenses | |
JP6920263B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7225874B2 (ja) | モデル出力プログラム、モデル出力方法及びモデル出力装置 | |
CN116523725A (zh) | 一种神经网络模型的水印处理方法和装置 | |
US8843521B2 (en) | Method for analyzing data utilizing weighted suffix tree | |
JP6892844B2 (ja) | 情報処理装置、情報処理方法、透かし検出装置、透かし検出方法、及びプログラム | |
Zhang et al. | Mitigating targeted bit-flip attacks via data augmentation: An empirical study | |
JP6906469B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN114510592A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
JP7339219B2 (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200519 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200721 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6741636 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |