JP7028819B2 - 付加情報埋込装置、付加情報検出装置、付加情報埋込方法、及びプログラム - Google Patents
付加情報埋込装置、付加情報検出装置、付加情報埋込方法、及びプログラム Download PDFInfo
- Publication number
- JP7028819B2 JP7028819B2 JP2019046175A JP2019046175A JP7028819B2 JP 7028819 B2 JP7028819 B2 JP 7028819B2 JP 2019046175 A JP2019046175 A JP 2019046175A JP 2019046175 A JP2019046175 A JP 2019046175A JP 7028819 B2 JP7028819 B2 JP 7028819B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- additional information
- order
- node
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Description
図1(a)-(c)は、実施の形態の概要を説明するための図である。以下、図1(a)-(c)を参照して、実施の形態の概要を述べる。
図2は、実施の形態に係る付加情報埋込装置1の機能構成を模式的に示す図である。付加情報埋込装置1は、記憶部10と制御部11とを備える。図2において、矢印は主なデータの流れを示しており、図2に示していないデータの流れがあってもよい。図2において、各機能ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図2に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。
上記では、第1変更部114は、隣り合うノード間の代表値の大小関係がビット列と対応するように、重みパラメータの順序を変更する場合について説明した。しかしながら、第1変更部114は、隣り合うノード間の代表値の大小関係以外の情報に基づいて重みパラメータの順序を変更してもよい。
上記では、埋込層選択部111が選択した層の各ノードに接続されている重みパラメータの値から代表値算出部112が何らかの方法で代表値を算出する場合について説明した。ここで、代表値算出部112は、交換法則が成り立つ演算を重みパラメータに施すことにより代表値を算出してもよい。
続いて、畳込み層への付加情報の埋め込みについて説明する。
続いて、重みパラメータの行列の行や、畳込フィルタから算出した代表値tの順序を変更し、付加情報であるビット情報sを埋め込むための順序決定の仕方について説明する。
図7は、第1変更部114が決定した代表値tを並び替えたときの順番Tjの一例を示す図である。
図8は、実施の形態に係る付加情報埋込装置1が実行する付加情報埋込処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば付加情報埋込装置1が起動したときに開始する。
続いて、付加情報埋込装置1によって学習装置に埋め込まれた付加情報を検出するための付加情報検出装置2の機能構成について説明する。
図10は、実施の形態に係る付加情報検出装置2が実行する付加情報検出処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば付加情報検出装置2が起動したときに開始する。
以上説明したように、実施の形態に係る付加情報埋込装置1によれば、ニューラルネットワークの学習モデルの性能を維持しつつ付加情報を埋め込むことができる。また、実施の形態に係る付加情報検出装置2によれば、付加情報埋込装置1が学習モデルに埋め込んだ付加情報を読み出すことができる。
10・・・記憶部
11・・・制御部
110・・・モデル取得部
111・・・埋込層選択部
112・・・代表値算出部
113・・・付加情報取得部
114・・・第1変更部
115・・・第2変更部
2・・・付加情報検出装置
20・・・記憶部
21・・・制御部
210・・・変更済みモデル取得部
211・・・埋込層選択部
212・・・代表値算出部
213・・・付加情報特定部
Claims (9)
- 入力層、出力層、及び1以上の中間層を含む複数の層から構成されるニューラルネットワークによる学習済みの学習モデルに付加情報を埋め込む付加情報埋込装置であって、
前記ニューラルネットワークを構成する2つの異なる層のうち、前記入力層に近い方の層である第1層を構成する各ノードの出力と重みパラメータとの積の和が、前記入力層から遠い方の層である第2層を構成する各ノードへの入力となる学習モデルを取得するモデル取得部と、
前記第2層を構成するノード毎に前記重みパラメータの代表値を算出する代表値算出部と、
前記学習モデルに埋め込むための付加情報を取得する付加情報取得部と、
前記代表値の順序が前記付加情報を表現するように、前記第1層と前記第2層との間の前記重みパラメータの順序を変更する第1変更部と、
前記順序の変更を打ち消すように、前記第2層と前記第2層よりも前記出力層側に存在する層である第3層との間の重みパラメータの順序を変更する第2変更部と、
を備える付加情報埋込装置。 - 前記学習モデルにおける前記複数の層の中から、前記付加情報を埋め込むための層を選択する埋込層選択部をさらに備える、
請求項1に記載の付加情報埋込装置。 - 前記埋込層選択部は、
(1)前記第1層と前記第2層とが全結合であり、かつ前記第2層と前記第3層とが全結合であること、又は
(2)前記第1層と前記第2層とが畳込み層であり、かつ前記第2層と前記第2層よりも前記出力層側に存在するプーリング層を除く層である前記第3層とが畳み込み層であること、
を条件として前記付加情報を埋め込むための層を選択する、
請求項2に記載の付加情報埋込装置。 - 前記付加情報取得部は、前記付加情報としてビット列を取得し、
前記第1変更部は、隣り合うノード間の代表値の大小関係が前記ビット列と対応するように、前記重みパラメータの順序を変更する、
請求項1から3のいずれか1項に記載の付加情報埋込装置。 - 前記付加情報取得部は、前記付加情報としてビット列を取得し、
前記第1変更部は、各ノードの代表値の正負が前記ビット列と対応するように、前記重みパラメータの順序を変更する、
請求項1から3のいずれか1項に記載の付加情報埋込装置。 - 前記代表値算出部は、交換法則が成り立つ演算を前記重みパラメータに施すことにより前記代表値を算出する、
請求項1から5のいずれか1項に記載の付加情報埋込装置。 - 請求項1から6のいずれか1項に記載の付加情報埋込装置が重みパラメータを変更した学習モデルを取得する変更済みモデル取得部と、
前記学習モデルにおける前記複数の層の中から、前記付加情報を埋め込み可能な層を選択する埋込層選択部と、
前記埋込層選択部が選択した層を構成するノード毎に前記重みパラメータの代表値を算出する代表値算出部と、
前記代表値の順序に基づいて、前記学習モデルに埋め込まれた付加情報を特定する付加情報特定部と、
を備える付加情報検出装置。 - 入力層、出力層、及び1以上の中間層を含む複数の層から構成されるニューラルネットワークによる学習済みの学習モデルに付加情報を埋め込む付加情報埋込装置のプロセッサが、
前記ニューラルネットワークを構成する2つの異なる層のうち、前記入力層に近い方の層である第1層を構成する各ノードの出力と重みパラメータとの積の和が、前記入力層から遠い方の層である第2層を構成する各ノードへの入力となる学習モデルを取得するステップと、
前記第2層を構成するノード毎に前記重みパラメータの代表値を算出するステップ、
前記学習モデルに埋め込むための付加情報を取得するステップと、
前記代表値の順序が前記付加情報を表現するように、前記第1層と前記第2層との間の前記重みパラメータの順序を変更するステップと、
前記順序の変更を打ち消すように、前記第2層と前記第2層よりも前記出力層側に存在する層である第3層との間の重みパラメータの順序を変更するステップと、
を実行する付加情報埋込方法。 - 入力層、出力層、及び1以上の中間層を含む複数の層から構成されるニューラルネットワークによる学習済みの学習モデルに付加情報を埋め込むコンピュータに、
前記ニューラルネットワークを構成する2つの異なる層のうち、前記入力層に近い方の層である第1層を構成する各ノードの出力と重みパラメータとの積の和が、前記入力層から遠い方の層である第2層を構成する各ノードへの入力となる学習モデルを取得する機能と、
前記第2層を構成するノード毎に前記重みパラメータの代表値を算出するステップ、
前記学習モデルに埋め込むための付加情報を取得する機能と、
前記代表値の順序が前記付加情報を表現するように、前記第1層と前記第2層との間の前記重みパラメータの順序を変更する機能と、
前記順序の変更を打ち消すように、前記第2層と前記第2層よりも前記出力層側に存在する層である第3層との間の重みパラメータの順序を変更する機能と、
を実現させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019046175A JP7028819B2 (ja) | 2019-03-13 | 2019-03-13 | 付加情報埋込装置、付加情報検出装置、付加情報埋込方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019046175A JP7028819B2 (ja) | 2019-03-13 | 2019-03-13 | 付加情報埋込装置、付加情報検出装置、付加情報埋込方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020149342A JP2020149342A (ja) | 2020-09-17 |
JP7028819B2 true JP7028819B2 (ja) | 2022-03-02 |
Family
ID=72430546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019046175A Active JP7028819B2 (ja) | 2019-03-13 | 2019-03-13 | 付加情報埋込装置、付加情報検出装置、付加情報埋込方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7028819B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170206449A1 (en) | 2014-09-17 | 2017-07-20 | Hewlett Packard Enterprise Development Lp | Neural network verification |
JP2018055260A (ja) | 2016-09-27 | 2018-04-05 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2018131405A1 (ja) | 2017-01-12 | 2018-07-19 | Kddi株式会社 | 情報処理装置、方法及びコンピュータ可読記憶媒体 |
US20190205508A1 (en) | 2017-12-29 | 2019-07-04 | Texas Instruments Incorporated | Machine learning model with watermarked weights |
-
2019
- 2019-03-13 JP JP2019046175A patent/JP7028819B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170206449A1 (en) | 2014-09-17 | 2017-07-20 | Hewlett Packard Enterprise Development Lp | Neural network verification |
JP2018055260A (ja) | 2016-09-27 | 2018-04-05 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2018131405A1 (ja) | 2017-01-12 | 2018-07-19 | Kddi株式会社 | 情報処理装置、方法及びコンピュータ可読記憶媒体 |
US20190205508A1 (en) | 2017-12-29 | 2019-07-04 | Texas Instruments Incorporated | Machine learning model with watermarked weights |
Also Published As
Publication number | Publication date |
---|---|
JP2020149342A (ja) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10713597B2 (en) | Systems and methods for preparing data for use by machine learning algorithms | |
US10902318B2 (en) | Methods and systems for improved transforms in convolutional neural networks | |
KR102225308B1 (ko) | 컨볼루션 신경망 내 필터 프루닝 장치 및 방법 | |
WO2018227800A1 (zh) | 一种神经网络训练方法及装置 | |
JP6657137B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
TW201915839A (zh) | 對人工神經網路及浮點神經網路進行量化的方法及裝置 | |
KR20200088475A (ko) | 신경망의 기능적 부분망의 동시 훈련 | |
JP2005302043A5 (ja) | ||
JP6299759B2 (ja) | 予測関数作成装置、予測関数作成方法、及びプログラム | |
JP6643905B2 (ja) | 機械学習方法および機械学習装置 | |
CN113841159A (zh) | 由电子装置在神经网络中的特定层执行卷积运算的方法及其电子装置 | |
JPWO2019135274A1 (ja) | ニューラル・ネットワークを有するデータ処理システム | |
JP6741636B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20220076121A1 (en) | Method and apparatus with neural architecture search based on hardware performance | |
JP6935868B2 (ja) | 画像認識装置、画像認識方法、およびプログラム | |
JP6201556B2 (ja) | 予測モデル学習装置、予測モデル学習方法およびコンピュータプログラム | |
JP7424474B2 (ja) | 学習装置、異常検知装置、学習方法及び異常検知方法 | |
JP7028819B2 (ja) | 付加情報埋込装置、付加情報検出装置、付加情報埋込方法、及びプログラム | |
JP5600693B2 (ja) | クラスタリング装置及び方法及びプログラム | |
KR20210111677A (ko) | 뉴럴 네트워크의 클리핑 방법, 뉴럴 네트워크의 컨벌루션 계산 방법 및 그 방법을 수행하기 위한 전자 장치 | |
KR101989793B1 (ko) | 컨볼루션 신경망을 위한 가속기 인식 가지 치기 방법 및 기록 매체 | |
TW202145078A (zh) | 具有動態最小批次尺寸之運算方法,以及用於執行該方法之運算系統及電腦可讀儲存媒體 | |
JP2020107185A (ja) | 画像認識装置、画像認識方法及びプログラム | |
JP7251609B2 (ja) | 処理装置、処理方法及びプログラム | |
JP7107797B2 (ja) | 情報処理方法及び情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7028819 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |