JP7461485B2 - 復号ニューラルネットワークを使用した画像の真正性の検証 - Google Patents
復号ニューラルネットワークを使用した画像の真正性の検証 Download PDFInfo
- Publication number
- JP7461485B2 JP7461485B2 JP2022547126A JP2022547126A JP7461485B2 JP 7461485 B2 JP7461485 B2 JP 7461485B2 JP 2022547126 A JP2022547126 A JP 2022547126A JP 2022547126 A JP2022547126 A JP 2022547126A JP 7461485 B2 JP7461485 B2 JP 7461485B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- image
- loss
- output
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 439
- 238000000605 extraction Methods 0.000 claims description 185
- 238000000034 method Methods 0.000 claims description 176
- 238000012549 training Methods 0.000 claims description 161
- 238000001514 detection method Methods 0.000 claims description 88
- 238000012545 processing Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000003860 storage Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 description 139
- 230000006870 function Effects 0.000 description 89
- 239000010410 layer Substances 0.000 description 25
- 230000008569 process Effects 0.000 description 22
- 238000005457 optimization Methods 0.000 description 16
- 230000000306 recurrent effect Effects 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000000513 principal component analysis Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000003066 decision tree Methods 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 6
- 230000001537 neural effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011143 downstream manufacturing Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 244000024873 Mentha crispa Species 0.000 description 1
- 235000014749 Mentha crispa Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007636 ensemble learning method Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/95—Pattern authentication; Markers therefor; Forgery detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/80—Recognising image objects characterised by unique random patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Inspection Of Paper Currency And Valuable Securities (AREA)
- Image Processing (AREA)
Description
上述のように、本開示は、画像の真正性を検証するための技術および装置を対象とする。特に、本開示のシステムおよび方法は、画像の真正性を検証するために、1つまたは複数の機械学習モデルを含むかまたはそうでなければそのようなモデルを活用し得る。
本開示のシステムおよび方法は、1つまたは複数のコンピューティングシステムによって実装されるか、またはそれ以外の方法で実行されることが可能である。コンピューティングシステム300の例示的なコンピューティングシステムは、ユーザコンピューティングデバイス(たとえば、ラップトップ、デスクトップ、タブレット、スマートフォン、ウェアラブルコンピューティングデバイス、カメラなどのモバイルコンピューティングデバイス)、組み込みコンピューティングデバイス(たとえば、乗り物、カメラ、イメージセンサー、産業機械、衛星、ゲームコンソールもしくはコントローラ、または冷蔵庫、サーモスタット、エネルギーメーター、ホームエネルギーマネージャ、スマートホームアシスタントなどの家電製品内に組み込まれたデバイス)、サーバコンピューティングデバイス(たとえば、データベースサーバ、パラメータサーバ、ファイルサーバ、メールサーバ、プリントサーバ、ウェブサーバ、ゲームサーバ、アプリケーションサーバなど)、専用の特殊なモデル処理または訓練デバイス、仮想コンピューティングデバイス、その他のコンピューティングデバイスまたはコンピューティングインフラストラクチャ、あるいはそれらの組合せのうちの1つまたは複数を含む。
本明細書において説明される枠組みは、たとえば、特徴抽出ニューラルネットワーク、メッセージコーディングニューラルネットワーク(たとえば、メッセージ符号化ニューラルネットワーク、メッセージ復号ニューラルネットワーク、メッセージ符号化/復号ニューラルネットワーク)、および/または操作検出ニューラルネットワークがどのようにして訓練されるかに応じて、多くの方法で訓練され得る。一部の実装においては、ニューラルネットワークのうちの1つまたは複数が、別々に訓練され得る。一部の実装においては、ニューラルネットワークのうちの1つまたは複数が、共訓練(co-train)される。その他の実装においては、ニューラルネットワークのすべてが、一緒に訓練される。
L = Lil(Ii, Io) + Lfl(f, fii) (1)
総損失は、画像損失関数(入力画像、出力画像)+特徴損失関数(特徴、入力画像からの復元された特徴)に等しい。式中、総損失は、Lであり、画像損失関数は、Lilであり、特徴損失関数は、Lflであり、入力画像は、Iiであり、出力画像は、Ioであり、特徴は、fであり、入力画像からの復元された特徴は、fiiである。
L = Lil(Ii, Io) + Lfl(f, fii) + Ldfl(f, fri) (2)
総損失は、画像損失関数(入力画像、出力画像)+特徴損失関数(特徴、入力画像からの復元された特徴)+識別特徴損失関数(特徴、受信画像からの特徴)に等しい。式中、総損失は、Lであり、画像損失関数は、Lilであり、特徴損失関数は、Lflであり、入力画像は、Iiであり、出力画像は、Ioであり、特徴は、fであり、入力画像からの復元された特徴は、fiiであり、識別特徴損失関数は、Ldflであり、受信画像からの特徴は、friである。
L = Lil(Ii, Io) + Lfl(fra, frr) (3)
総損失は、画像損失関数(入力画像、出力画像)+特徴損失関数(ランダムな特徴、復元されたランダムな特徴)に等しい。式中、総損失は、Lであり、画像損失関数は、Lilであり、特徴損失関数は、Lflであり、ランダムな特徴は、Fraであり、復元されたランダムな特徴は、frrである。
L = Ldfl(f, fri) + Lce (4)
総損失は、識別特徴損失関数(特徴、受信画像からの特徴)+交差エントロピー損失(偽物または本物)に等しい。式中、総損失は、Lであり、識別特徴損失関数は、Ldflであり、受信画像からの特徴は、friであり、交差エントロピー損失(偽物または本物)は、Lceである。そのような訓練プロセスを通じて、特徴抽出ニューラルネットワークは、フェイクまたは本物の画像を検出するために最良な特徴を学習する。
L = Lil(Ii, Io) + Lfl(f, fii) + Lce (5)
L = Lil(Ii, Io) + Lfl(f, fii) + Ldfl(f, fri) + Lce (6)
総損失は、画像損失関数(入力画像、出力画像)+特徴損失関数(ランダムな特徴、復元されたランダムな特徴)+識別特徴損失関数(特徴、受信画像からの特徴)+交差エントロピー損失(偽物または本物)に等しい。式中、総損失は、Lであり、画像損失関数は、Lilであり、特徴損失関数は、Lflであり、ランダムな特徴は、Fraであり、復元されたランダムな特徴は、frrであり、識別特徴損失関数は、Ldflであり、受信画像からの特徴は、friであり、交差エントロピー損失(偽物または本物)は、Lceである。
図6は、検証される画像を生成する例示的な方法600を示す。方法600は、図1に関連して説明された構成要素のうちの1つまたは複数を利用して、図1に関連して上で説明されたようにシステム100によって実行される場合がある。602において、エンコーダシステムが、入力画像を受信する。エンコーダシステムは、604において、入力画像の複数の決定された特徴を決定するために入力画像に対して特徴認識を実行する。606において、エンコーダシステムは、入力画像の決定された特徴を表す値を定義する第3の出力を生成する。608において、エンコーダシステムは、第3の出力をメッセージ符号化ニューラルネットワークに提供する。610において、メッセージ符号化ニューラルネットワークは、入力画像の決定された特徴を表す値を定義する第3の出力から署名を生成する。エンコーダシステムは、612において、第2の署名を入力画像に埋め込んで、出力画像を生成する。態様において、方法600は、画像の真正性を検証することを含む。方法600は、図示されているものよりも追加のもしくは少ない動作を含んで、または異なる順序で実行される場合がある。
図8は、本開示の例示的な実装による例示的な機械学習モデル800のブロック図を示す。図8に示されるように、機械学習モデル800は、1つまたは複数の種類の入力データを受信し、それに応じて、1つまたは複数の種類の出力データを提供するように訓練される。このように、図8は、推測を実行する機械学習モデル800を示す。
以下の節において、いくつかの例が説明される。
画像の真正性を検証するための技術および装置が特徴および/または方法に固有の言葉で説明されたが、添付の請求項の対象は、説明された特定の特徴または方法に必ずしも限定されないことを理解されたい。むしろ、特定の特徴および方法は、画像の真正性を検証するための技術および装置の例示的な実装として開示されている。
102 入力画像
104 画像リポジトリ
110 エンコーダシステム
120 特徴認識エンジン
122 特徴抽出ニューラルネットワーク
124 ユーザによって提供された特徴
126 出力
128 特徴
140 メッセージエンコーダ
142 メッセージ符号化ニューラルネットワーク
144 署名
150 出力画像
200 システム
210 受信画像
220 デコーダシステム
230 特徴認識エンジン
232 特徴抽出ニューラルネットワーク
234 ユーザによって提供された特徴
236 出力
238 特徴
250 メッセージデコーダ
252 メッセージ復号ニューラルネットワーク
254 署名
256 第2の出力
258 特徴
270 真正性エンジン
272 操作検出ニューラルネットワーク
300 コンピューティングシステム
302 ユーザコンピューティングシステム
312 プロセッサ
314 メモリデバイス
316 データ
318 命令
320 機械学習モデル
322 ユーザ入力構成要素
330 サーバコンピューティングシステム
332 プロセッサ
334 メモリデバイス
336 データ
338 命令
340 機械学習モデル
350 訓練コンピューティングシステム
352 プロセッサ
354 メモリデバイス
356 データ
358 命令
360 モデルトレーナ
362 訓練データ
380 ネットワーク
400 システム
410 エンコーダシステム
416 入力画像
418 決定された特徴
420 特徴認識エンジン
422 第1の特徴抽出ニューラルネットワーク
424 ユーザによって提供された特徴
426 出力
430 出力
440 メッセージエンコーダ
442 メッセージ符号化ニューラルネットワーク
450 出力画像
452 受信画像
460 デコーダシステム
462 第2の特徴認識エンジン
464 第2の特徴抽出ニューラルネットワーク
466 復元された特徴
468 出力
470 識別特徴損失計算エンジン
472 特徴損失
500 システム
502 入力画像
510 エンコーダシステム
520 特徴認識エンジン
522 第1の特徴抽出ニューラルネットワーク
526 出力
528 決定された特徴
530 出力
540 メッセージエンコーダ
542 メッセージ符号化ニューラルネットワーク
550 出力画像
552 受信画像
560 デコーダシステム
561 メッセージデコーダ
562 メッセージ復号ニューラルネットワーク
563 出力
564 復元された特徴
570 特徴損失計算エンジン
572 特徴損失
580 画像損失計算エンジン
582 画像損失
590 総損失計算エンジン
592 総損失
600 方法
700 方法
800 機械学習モデル
Claims (14)
- 検証される画像(210)をデコーダシステム(220)によって受信するステップと、
受信画像(210)の複数の決定された特徴(238)を決定するために前記受信画像(210)に対して特徴認識を実行するステップと、
前記受信画像(210)の前記決定された特徴(238)を表す値を定義する第1の出力(236)を生成するステップと、
前記受信画像(210)に埋め込まれた署名(254)を抽出するために、前記デコーダシステム(220)のメッセージ復号ニューラルネットワーク(252)によって前記受信画像(210)を復号するステップであって、前記署名(254)が、前記受信画像(210)のエンコード前の画像の特徴を示す復元された特徴(258)を表す、ステップと、
前記受信画像(210)の前記復元された特徴(258)を表す値を定義する第2の出力(256)を生成するステップと、
前記第1の出力(236)および前記第2の出力(256)を、前記デコーダシステム(220)の操作検出ニューラルネットワーク(272)に提供するステップと、
少なくとも前記第1の出力(236)および前記第2の出力(256)を利用して、前記受信画像(210)の真正性の推定値を前記操作検出ニューラルネットワーク(272)によって生成するステップと、
エンコーダシステムによって入力画像を受信するステップと、
前記入力画像の複数の決定された特徴を決定するために前記入力画像に対して特徴認識を実行するステップと、
前記入力画像の前記決定された特徴を表す値を定義する第3の出力を生成するステップと、
特徴抽出ニューラルネットワークと前記操作検出ニューラルネットワークと共訓練するステップであって、前記特徴抽出ニューラルネットワークが前記第2の出力と前記第3の出力に基づいて計算される計算された第3の損失に基づいて訓練され、前記操作検出ニューラルネットワークが訓練画像を前記操作検出ニューラルネットワークで処理することに基づき決定された画像の操作に基づき計算される正常損失に基づき訓練される、ステップと、
を含む、コンピュータ実装方法。 - 前記受信画像に対して特徴認識を実行するステップが、
前記受信画像の前記複数の特徴を選択するために、第1の特徴抽出ニューラルネットワークを使用して前記受信画像を処理するステップ、または
前記受信画像の前記複数の特徴を選択するための第1のユーザ入力を受け取るステップのうちの少なくとも一方をさらに含む請求項1に記載のコンピュータ実装方法。 - 前記受信画像に対して特徴認識を実行するステップが、前記受信画像の前記複数の特徴を選択するために第1の特徴抽出ニューラルネットワークを使用して前記受信画像を処理するステップを含み、
前記入力画像に対して特徴認識を実行するステップが、前記入力画像の前記複数の特徴を選択するために第2の特徴抽出ニューラルネットワークを使用して前記入力画像を処理するステップを含み、
前記方法が、
前記第2の出力および前記第3の出力を識別特徴損失計算エンジンに提供するステップと、
前記識別特徴損失計算エンジンによって、少なくとも前記第2の出力および前記第3の出力に基づいて、第1の損失関数に基づく第1の損失を計算するステップと、
少なくとも前記入力画像および前記受信画像に基づいて、第2の損失関数に基づく第2の損失を計算するステップと、
少なくとも前記第1の損失および前記第2の損失に基づいて、総損失関数に基づく総損失を計算するステップと、
少なくとも計算された総損失に基づいて、前記第1の特徴抽出ニューラルネットワークまたは前記第2の特徴抽出ニューラルネットワークのうちの少なくとも一方を、前記メッセージ復号ニューラルネットワークとともに共訓練するステップとをさらに含む請求項1に記載のコンピュータ実装方法。 - 前記第3の出力をメッセージ符号化ニューラルネットワークに提供するステップと、
前記第3の出力から第2の署名を生成するステップと、
前記第2の署名を前記入力画像に埋め込んで、出力画像を生成するステップとをさらに含む請求項1から3のいずれか1項に記載のコンピュータ実装方法。 - 前記入力画像に対して特徴認識を実行するステップが、
前記入力画像の前記複数の特徴を選択するために、第2の特徴抽出ニューラルネットワークを使用して前記入力画像を処理するステップ、または
前記入力画像の前記複数の特徴を選択するための第2のユーザ入力を受け取るステップのうちの少なくとも一方をさらに含む請求項1に記載のコンピュータ実装方法。 - 前記入力画像を受信するステップが、
画像リポジトリから前記入力画像を受信するステップ、または
ユーザの選択に応じた前記入力画像を受信するステップのうちの少なくとも一方を含み、
検証される前記受信画像を受信するステップが、
画像リポジトリから前記受信画像を受信するステップ、または
ユーザの選択に応じた前記受信画像を受信するステップのうちの少なくとも一方を含む請求項1から5のいずれか一項に記載のコンピュータ実装方法。 - 前記受信画像に対して特徴認識を実行するステップが、前記受信画像の前記複数の特徴を選択するために第1の特徴抽出ニューラルネットワークを使用して前記受信画像を処理するステップを含み、
前記入力画像に対して特徴認識を実行するステップが、前記入力画像の前記複数の特徴を選択するために第2の特徴抽出ニューラルネットワークを使用して前記入力画像を処理するステップを含み、
前記方法が、
前記第1の特徴抽出ニューラルネットワーク、前記第2の特徴抽出ニューラルネットワーク、メッセージ符号化ニューラルネットワーク、または前記メッセージ復号ニューラルネットワークのうちの少なくとも1つの値を固定するステップと、
少なくとも1つの画像の操作を含む訓練画像を生成するステップと、
前記操作検出ニューラルネットワークに前記訓練画像を送信するステップと、
前記訓練画像に適用された前記画像の操作を判定するステップと、
前記訓練画像に適用された前記画像の操作を利用して、正常損失関数に基づく正常損失を計算するステップと、
少なくとも計算された正常損失に基づいて前記操作検出ニューラルネットワークを訓練するステップとをさらに含む請求項1、請求項4、または請求項6のいずれか一項に記載のコンピュータ実装方法。 - 前記受信画像に対して特徴認識を実行するステップが、前記受信画像の前記複数の特徴を選択するために第1の特徴抽出ニューラルネットワークを使用して前記受信画像を処理するステップを含み、
前記入力画像に対して特徴認識を実行するステップが、前記入力画像の前記複数の特徴を選択するために第2の特徴抽出ニューラルネットワークを使用して前記入力画像を処理するステップを含み、
前記方法が、
前記入力画像に基づいて、画像損失関数に基づく画像損失を計算するステップと、
前記入力画像に基づいて、特徴損失関数に基づく特徴損失を計算するステップと、
前記画像損失および前記特徴損失に基づいて総損失を計算するステップと、
少なくとも計算された総損失に基づいて、メッセージ符号化ニューラルネットワークまたは前記メッセージ復号ニューラルネットワークのうちの少なくとも一方を訓練するステップとをさらに含む請求項1、請求項4、または請求項6のいずれか一項に記載のコンピュータ実装方法。 - 前記入力画像に少なくとも1つの画像の操作を適用するステップをさらに含む請求項1から6または8のいずれか一項に記載のコンピュータ実装方法。
- 前記第1の特徴抽出ニューラルネットワーク、前記第2の特徴抽出ニューラルネットワーク、前記メッセージ符号化ニューラルネットワーク、または前記メッセージ復号ニューラルネットワークのうちの少なくとも1つの値を固定するステップと、
少なくとも1つの画像の操作を含む訓練画像を生成するステップと、
前記操作検出ニューラルネットワークに前記訓練画像を送信するステップと、
前記訓練画像に適用された前記画像の操作を判定するステップと、
前記訓練画像に適用された前記画像の操作を利用して、正常損失関数に基づく正常損失を計算するステップと、
少なくとも計算された正常損失に基づいて前記操作検出ニューラルネットワークを訓練するステップとをさらに含む請求項8に記載のコンピュータ実装方法。 - 少なくとも前記第2の出力および前記第3の出力に基づいて、第3の損失関数に基づく第3の損失を計算するステップ、
少なくとも計算された第3の損失に基づいて前記第1の特徴抽出ニューラルネットワークまたは前記第2の特徴抽出ニューラルネットワークのうちの少なくとも一方を訓練するステップを含む特徴抽出ニューラルネットワーク訓練手順を実行するステップと、
前記第1の特徴抽出ニューラルネットワーク、前記第2の特徴抽出ニューラルネットワーク、前記メッセージ符号化ニューラルネットワーク、または前記メッセージ復号ニューラルネットワークのうちの少なくとも1つの値を固定するステップ、
少なくとも1つの画像の操作を含む訓練画像を生成するステップ、
前記操作検出ニューラルネットワークに前記訓練画像を送信するステップ、
前記訓練画像に適用された前記画像の操作を判定するステップ、
前記訓練画像に適用された前記画像の操作を利用して、正常損失関数に基づく正常損失を計算するステップ、
少なくとも計算された正常損失に基づいて前記操作検出ニューラルネットワークを訓練するステップを含む操作検出ニューラルネットワーク訓練手順を実行するステップと、
前記特徴抽出ニューラルネットワークおよび前記操作検出ニューラルネットワークを共訓練するステップとをさらに含む請求項7に記載のコンピュータ実装方法。 - 前記受信画像に対して前記特徴認識を実行するステップが、第1の特徴抽出ニューラルネットワークを使用して前記受信画像を処理するステップを含み、
前記入力画像に対して前記特徴認識を実行するステップが、第2の特徴抽出ニューラルネットワークを使用して前記入力画像を処理するステップを含み、
前記方法が、
前記第3の出力をメッセージ符号化ニューラルネットワークに提供するステップと、
前記第3の出力から第2の署名を生成するステップと、
前記第2の署名を前記入力画像に埋め込んで、出力画像を生成するステップと、
前記第2の出力および前記第3の出力を識別特徴損失計算エンジンに提供するステップと、
前記識別特徴損失計算エンジンによって、少なくとも前記第2の出力および前記第3の出力に基づいて、第1の損失関数に基づく第1の損失を計算するステップ、
少なくとも前記入力画像および前記受信画像に基づいて、第2の損失関数に基づく第2の損失を計算するステップ、
少なくとも前記第1の損失および前記第2の損失に基づいて、総損失関数に基づく総損失を計算するステップ、
少なくとも計算された総損失に基づいて、前記第1の特徴抽出ニューラルネットワーク、前記第2の特徴抽出ニューラルネットワーク、または前記メッセージ復号ニューラルネットワークのうちの少なくとも1つを訓練するステップを含むメッセージコーディングニューラルネットワークの訓練手順を実行するステップと、
前記第1の特徴抽出ニューラルネットワーク、前記第2の特徴抽出ニューラルネットワーク、前記メッセージ符号化ニューラルネットワーク、または前記メッセージ復号ニューラルネットワークのうちの少なくとも1つの値を固定するステップ、
少なくとも1つの画像の操作を含む訓練画像を生成するステップ、
前記操作検出ニューラルネットワークに前記訓練画像を送信するステップ、
前記訓練画像に適用された前記画像の操作を利用して、正常損失関数に基づく正常損失を計算するステップ、および
少なくとも計算された正常損失に基づいて前記操作検出ニューラルネットワークを訓練するステップを含む操作検出ニューラルネットワーク訓練手順を実行するステップと、
前記メッセージコーディングニューラルネットワークおよび前記操作検出ニューラルネットワークを共訓練するステップとをさらに含む請求項1または請求項6に記載のコンピュータ実装方法。 - 前記受信画像に対して前記特徴認識を実行するステップが、第1の特徴抽出ニューラルネットワークを使用して前記受信画像を処理するステップを含み、
前記入力画像に対して前記特徴認識を実行するステップが、第2の特徴抽出ニューラルネットワークを使用して前記入力画像を処理するステップを含み、
前記方法が、
前記第3の出力をメッセージ符号化ニューラルネットワークに提供するステップと、
前記第3の出力から第2の署名を生成するステップと、
前記第2の署名を前記入力画像に埋め込んで、出力画像を生成するステップと、
前記第2の出力および前記第3の出力を識別特徴損失計算エンジンに提供するステップと、
前記識別特徴損失計算エンジンによって、少なくとも前記第2の出力および前記第3の出力に基づいて、第1の損失関数に基づく第1の損失を計算するステップ、
少なくとも前記入力画像および前記受信画像に基づいて、第2の損失関数に基づく第2の損失を計算するステップ、
少なくとも前記第1の損失および前記第2の損失に基づいて、総損失関数に基づく総損失を計算するステップ、ならびに
少なくとも計算された総損失に基づいて、前記第1の特徴抽出ニューラルネットワーク、前記第2の特徴抽出ニューラルネットワーク、または前記メッセージ復号ニューラルネットワークのうちの少なくとも1つを訓練するステップを含むメッセージコーディングニューラルネットワークの訓練手順を実行するステップと、
少なくとも前記第2の出力および前記第3の出力に基づいて、第3の損失関数に基づく第3の損失を計算するステップ、
少なくとも計算された第3の損失に基づいて前記第1の特徴抽出ニューラルネットワークまたは前記第2の特徴抽出ニューラルネットワークのうちの少なくとも一方を訓練するステップを含む特徴抽出ニューラルネットワーク訓練手順を実行するステップと、
前記第1の特徴抽出ニューラルネットワーク、前記第2の特徴抽出ニューラルネットワーク、前記メッセージ符号化ニューラルネットワーク、または前記メッセージ復号ニューラルネットワークのうちの少なくとも1つの値を固定するステップ、
少なくとも1つの画像の操作を含む訓練画像を生成するステップ、
前記操作検出ニューラルネットワークに前記訓練画像を送信するステップ、
前記訓練画像に適用された前記画像の操作を判定するステップ、
前記訓練画像に適用された前記画像の操作を利用して、正常損失関数に基づく正常損失を計算するステップ、および
少なくとも計算された正常損失に基づいて前記操作検出ニューラルネットワークを訓練するステップを含む操作検出ニューラルネットワーク訓練手順を実行するステップと、
前記特徴抽出ニューラルネットワーク、前記メッセージコーディングニューラルネットワーク、および前記操作検出ニューラルネットワークを共訓練するステップとをさらに含む請求項1または請求項6に記載のコンピュータ実装方法。 - プロセッサと、
前記プロセッサによる実行に応じて、前記プロセッサに請求項1から13のいずれか一項に記載のコンピュータ実装方法を実行させる命令を記憶させたコンピュータ可読ストレージ媒体とを含むコンピューティングデバイス。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2020/016384 WO2021158205A1 (en) | 2020-02-03 | 2020-02-03 | Verification of the authenticity of images using a decoding neural network |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023514120A JP2023514120A (ja) | 2023-04-05 |
JP7461485B2 true JP7461485B2 (ja) | 2024-04-03 |
Family
ID=69771067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022547126A Active JP7461485B2 (ja) | 2020-02-03 | 2020-02-03 | 復号ニューラルネットワークを使用した画像の真正性の検証 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230061517A1 (ja) |
EP (1) | EP4055514A1 (ja) |
JP (1) | JP7461485B2 (ja) |
KR (1) | KR20220122741A (ja) |
CN (1) | CN115004252A (ja) |
WO (1) | WO2021158205A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7486349B2 (ja) * | 2020-05-28 | 2024-05-17 | キヤノン株式会社 | ニューラルネットワーク、ニューラルネットワークの学習方法、プログラム、画像処理装置 |
US20210383187A1 (en) * | 2020-06-05 | 2021-12-09 | Suman Kalyan | Decentralized machine learning system and a method to operate the same |
US20220092406A1 (en) * | 2020-09-22 | 2022-03-24 | Ford Global Technologies, Llc | Meta-feature training models for machine learning algorithms |
CN113673631B (zh) * | 2021-10-22 | 2022-03-29 | 广东众聚人工智能科技有限公司 | 异常图像检测方法及装置 |
CN114360034A (zh) * | 2022-03-18 | 2022-04-15 | 武汉大学 | 基于三胞胎网络的深度伪造人脸检测方法、系统及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005031643A1 (en) | 2003-09-26 | 2005-04-07 | Agency For Science, Technology And Research | Method and system for protecting and authenticating a digital image |
JP2010081214A (ja) | 2008-09-25 | 2010-04-08 | Hitachi Ltd | 文書特徴量抽出装置及び方法 |
WO2017176273A1 (en) | 2016-04-07 | 2017-10-12 | Hewlett-Packard Development Company, L.P. | Signature authentications based on features |
JP2019091434A (ja) | 2017-11-14 | 2019-06-13 | アドビ インコーポレイテッド | 複数のディープ・ラーニング・ニューラル・ネットワークを動的に重み付けすることによるフォント認識の改善 |
JP2019135986A (ja) | 2018-02-13 | 2019-08-22 | 株式会社Aiハヤブサ | 人工知能による漁獲物識別システム、管理システム及び物流システム |
WO2019240281A1 (ja) | 2018-06-15 | 2019-12-19 | 日本電信電話株式会社 | 画像特徴学習装置、画像特徴学習方法、画像特徴抽出装置、画像特徴抽出方法、及びプログラム |
-
2020
- 2020-02-03 KR KR1020227026535A patent/KR20220122741A/ko unknown
- 2020-02-03 WO PCT/US2020/016384 patent/WO2021158205A1/en unknown
- 2020-02-03 JP JP2022547126A patent/JP7461485B2/ja active Active
- 2020-02-03 EP EP20709826.0A patent/EP4055514A1/en active Pending
- 2020-02-03 US US17/789,323 patent/US20230061517A1/en active Pending
- 2020-02-03 CN CN202080094561.6A patent/CN115004252A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005031643A1 (en) | 2003-09-26 | 2005-04-07 | Agency For Science, Technology And Research | Method and system for protecting and authenticating a digital image |
JP2010081214A (ja) | 2008-09-25 | 2010-04-08 | Hitachi Ltd | 文書特徴量抽出装置及び方法 |
WO2017176273A1 (en) | 2016-04-07 | 2017-10-12 | Hewlett-Packard Development Company, L.P. | Signature authentications based on features |
JP2019091434A (ja) | 2017-11-14 | 2019-06-13 | アドビ インコーポレイテッド | 複数のディープ・ラーニング・ニューラル・ネットワークを動的に重み付けすることによるフォント認識の改善 |
JP2019135986A (ja) | 2018-02-13 | 2019-08-22 | 株式会社Aiハヤブサ | 人工知能による漁獲物識別システム、管理システム及び物流システム |
WO2019240281A1 (ja) | 2018-06-15 | 2019-12-19 | 日本電信電話株式会社 | 画像特徴学習装置、画像特徴学習方法、画像特徴抽出装置、画像特徴抽出方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
Atique ur Rehman, et al.,END-TO-END TRAINED CNN ENCODER-DECODER NETWORKS FOR IMAGE STEGANOGRAPHY,arXiv,2017年,arXiv:1711.07201v1 |
Also Published As
Publication number | Publication date |
---|---|
CN115004252A (zh) | 2022-09-02 |
US20230061517A1 (en) | 2023-03-02 |
WO2021158205A1 (en) | 2021-08-12 |
EP4055514A1 (en) | 2022-09-14 |
JP2023514120A (ja) | 2023-04-05 |
KR20220122741A (ko) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7461485B2 (ja) | 復号ニューラルネットワークを使用した画像の真正性の検証 | |
US20240152440A1 (en) | Game performance prediction across a device ecosystem | |
Price | Predictive Cryptocurrency Mining and Staking | |
Raman et al. | Predicting Delivery Time of Components in a Supply Chain | |
Price et al. | Machine Learning to Automatically Lock Device Screen at Opportune Time | |
Salazar | Legal Precedent Mining with Machine Learning | |
Luo et al. | Training High Quality Spam-detection Models Using Weak Labels | |
Armstrong | Using Imagery of Property Improvements to Direct Marketing | |
Lai et al. | Suggesting Deletion of Blurry Photos | |
Donny-Clark et al. | Determining Validity of a Point of Interest Based on Existing Data | |
Lupi | Compressed Sensing for Monitoring of an Application | |
Feltenberger et al. | Image Moderation Using Machine Learning | |
Felker | Correcting Image Anomalies Using Machine Learning | |
Price et al. | Machine Learning to Select Screen Brightness Level | |
Felker | Planning Group Meals Based on Preferences of Attendees | |
Felker | Font Optimization Based on User Reading Habits | |
Price et al. | Configuring Alarm Setting Using Machine Learning | |
Feltenberger | Semi-Supervised Classification Using Object Metadata | |
Chinien | Generating Travel Itineraries Based on Travel History of Similar Users | |
Huffaker | Machine-Learning Predicted User Interfaces | |
Price | Identifying Hold State in an Automated Calling System | |
Schpok | Stylizing Map Based on Examples of Representative Styling | |
Felker | Providing Reader Assistance Based on Reader Interaction | |
Hong et al. | Predicting Categorical Information for New Content in Application Recommender Systems | |
Cardinal et al. | Identifying Impaired State for a Driver |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220829 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7461485 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |