WO2023135682A1 - 認証装置、通信システム、認証方法、及びプログラム - Google Patents

認証装置、通信システム、認証方法、及びプログラム Download PDF

Info

Publication number
WO2023135682A1
WO2023135682A1 PCT/JP2022/000720 JP2022000720W WO2023135682A1 WO 2023135682 A1 WO2023135682 A1 WO 2023135682A1 JP 2022000720 W JP2022000720 W JP 2022000720W WO 2023135682 A1 WO2023135682 A1 WO 2023135682A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
authentication
classification
machine learning
learning model
Prior art date
Application number
PCT/JP2022/000720
Other languages
English (en)
French (fr)
Inventor
奈実 芦澤
貴史 原田
亮平 鈴木
彰 永井
知暁 鷲尾
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/000720 priority Critical patent/WO2023135682A1/ja
Publication of WO2023135682A1 publication Critical patent/WO2023135682A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to an authentication device, a communication system, an authentication method, and a program.
  • Machine learning models are constructed by learning using appropriate architecture and training data. At this time, it is normal to create a new machine learning model by referring only to public information about existing machine learning models, but those who expose non-public information and try to create a new machine learning model by referring to it exists.
  • Non-Patent Document 1 An intellectual property protection technology has been proposed that verifies whether a newly created machine learning model refers to non-public information of an existing machine learning model by confirming whether it is (see Non-Patent Document 1).
  • Non-Patent Document 1 discloses a method for verify whether a newly created machine learning model refers to non-public information of an existing machine learning model using the non-conventional method disclosed in Non-Patent Document 1.
  • the present invention has been made in view of the above points, and is designed to verify whether or not a newly created machine learning model refers to non-public information of an existing machine learning model by a method other than the conventional method. aim.
  • the invention according to claim 1 is an authentication device for authenticating the validity of a machine learning model held by a device to be authenticated, wherein the machine learning model is authenticated based on information transmitted by the device to be authenticated.
  • a first acquisition unit for obtaining first classification basis information indicating information that visualizes the basis for classification of the first input information of the model;
  • a second acquisition unit that acquires non-public information in which second classification ground information indicating information that visualizes the classification grounds of the second input information is a data set; and an authentication unit that authenticates the validity of the machine learning model of the authentication target device by comparing the classification ground information.
  • FIG. 1 is a schematic diagram of a communication system according to an embodiment of the present invention
  • FIG. 3 is a hardware configuration diagram of each device of the communication system according to the embodiment
  • FIG. 3 is a functional configuration diagram of each device of the communication system according to the first embodiment
  • FIG. 4 is a sequence diagram showing processing or operation of the communication system according to the first embodiment
  • FIG. 6 is a functional configuration diagram of each device of the communication system according to the second embodiment
  • FIG. FIG. 9 is a sequence diagram showing processing or operation of a communication system according to the second embodiment
  • FIG. 1 is a schematic diagram of a communication system according to an embodiment of the invention. As shown in FIG. 1, a communication system 1 of this embodiment is constructed by an authentication target device 3, an authentication device 5, and a private information management device 7. FIG.
  • the authentication target device 3, the authentication device 5, and the private information management device 7 can communicate via a communication network 100 such as the Internet.
  • the connection form of the communication network 100 may be either wireless or wired.
  • the authentication target device 3 is composed of one or more computers.
  • the authentication target device 3 is an artificial intelligence device that holds the architecture and learning data used to build a learned machine learning model, and is a target for authenticating the validity of the machine learning model.
  • the authentication target device 3 provides the authentication device 5 with the first input information of the machine learning model and the first input information in the CNN (Convolutional Neural Network) Sends information containing feature maps, which are the single or multiple layers required for classification.
  • CNN Convolutional Neural Network
  • machine learning model is not limited to using CNN.
  • Other examples used by machine learning models include RF (Random Forest), SVM (Support Vector Machine), and NN (Neural Network).
  • the feature map is an example of classification feature information linked to the authentication target device 3, which is necessary for generating the basis for classification described later.
  • Other examples of this classification feature information include feature values (input elements to the machine learning model), pseudo-learning data (some data are randomly selected from the learning data for the machine learning model, and the selected data is combination of output and input when inputting to a machine learning model).
  • the authentication device 5 is composed of one or more computers.
  • the authentication device 5 is a device that authenticates the validity of the machine learning model of the device 3 to be authenticated.
  • the private information management device 7 is composed of one or more computers. For example, for authentication performed by the authentication device 5, the non-public information management device 7 provides the authentication device 5 with valid second input information and second visual classification grounds for the second input information.
  • a heat map is an example of classification basis information, which is information obtained by visualizing classification information (or a name of a visualized state).
  • Other examples of the classification basis information include a waveform when the classification feature information is the feature quantity described above, and a decision tree when the classification feature information is the pseudo-learning data described above.
  • FIG. 2 is a hardware configuration diagram of each device of the communication system according to the embodiment.
  • the authentication target device 3 has a processor 301, a memory 302, an auxiliary storage device 303, a connection device 304, a communication device 305, and a drive device 306. Each piece of hardware constituting the authentication target device 3 is interconnected via a bus 307 .
  • the processor 301 plays the role of a control unit that controls the authentication target device 3 as a whole, and has various computing devices such as a CPU (Central Processing Unit).
  • the processor 301 reads various programs onto the memory 302 and executes them.
  • the processor 301 may include a GPGPU (General-purpose computing on graphics processing units).
  • the memory 302 has main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 301 and the memory 302 form a so-called computer, and the processor 301 executes various programs read onto the memory 302, thereby realizing various functions of the computer.
  • the auxiliary storage device 303 stores various programs and various information used when the various programs are executed by the processor 301 .
  • the connection device 304 is a connection device that connects an external device (for example, the display device 310, the operation device 311) and the authentication target device 3.
  • the communication device 305 is a communication device for transmitting and receiving various information to and from other devices (including devices, servers, and systems).
  • a drive device 306 is a device for setting a recording medium 330 .
  • the recording medium 330 here includes media for optically, electrically, or magnetically recording information such as CD-ROMs (Compact Disc Read-Only Memory), flexible discs, and magneto-optical discs.
  • the recording medium 330 may also include a semiconductor memory that electrically records information, such as a ROM (Read Only Memory) and a flash memory.
  • auxiliary storage device 303 Various programs to be installed in the auxiliary storage device 303 are installed by, for example, setting the distributed recording medium 330 in the drive device 306 and reading the various programs recorded in the recording medium 330 by the drive device 306. be done. Alternatively, various programs installed in the auxiliary storage device 303 may be installed by being downloaded from the network via the communication device 305 .
  • FIG. 2 shows the hardware configuration of the authentication device 5, but since each configuration is the same except that the reference numerals have changed from the 300s to the 500s, the description thereof will be omitted.
  • FIG. 2 shows the hardware configuration of the non-public information management device 7, but since each configuration is the same except that the reference numerals have changed from the 300s to the 700s, these descriptions will be omitted. omitted.
  • FIG. 3 is a functional configuration diagram of each device of the communication system according to the first embodiment.
  • company A manages the authentication target device 3
  • company B manages the authentication device 5a and the private information management device 7.
  • FIG. The communication system 1 a has an authentication target device 3 , an authentication device 5 a and a private information management device 7 .
  • the authentication device 5a is an example of the authentication device 5 in FIG.
  • the communication system 1 a is an example of the communication system 1 .
  • the authentication target device 3 has a transmission/reception unit 31 .
  • the transmission/reception unit 31 is a function that the processor 301 implements in the authentication target device 3 using one or more programs installed in the authentication target device 3 .
  • the authentication target device 3 has a storage unit 30 .
  • the storage unit 30 is implemented by the memory 302 or the auxiliary storage device 303 .
  • the storage unit 30 stores a machine learning model to be authenticated (verified).
  • the transmitting/receiving unit 31 supplies the authentication device 5a with the first input information of the machine learning model to be authenticated and information including a feature map which is a single or multiple layers necessary for classifying the first input information in the CNN to send.
  • the authentication device 5 a has a transmission/reception section 51 and an authentication section 53 . These units are functions that the processor 501 implements in the authentication device 5a using one or more programs installed in the authentication device 5a. Furthermore, the authentication device 5 a has a storage unit 50 .
  • the storage unit 50 is implemented by the memory 502 or the auxiliary storage device 503 .
  • the storage unit 50 stores authentication result data.
  • the transmission/reception unit 51 has a first acquisition unit 51a and a second acquisition unit 51b.
  • the first acquisition unit 51a uses Grad-CAM (Gradient-weighted Class Activation Mapping) to obtain the first input information from the authentication target device 3 and the CNN necessary for classifying the first input information.
  • Grad-CAM Grad-CAM
  • a first heat that receives information including a feature map that is a single layer or multiple layers, and visualizes a basis for classification of the first input information of the machine learning model to be authenticated based on the first input information and the feature map. Generate and obtain first classification basis information indicating a map.
  • the first acquisition unit 51a may use other methods instead of Grad-CAM. Other methods include, for example, GuidedGrad-CAM for more detailed classification, Partial Dependence Plot (PDP) for generating waveforms as classification basis information, and Born Again Tree for generating decision trees as classification basis information.
  • PDP Partial Dependence Plot
  • Born Again Tree for generating decision trees as classification basis information.
  • the first acquisition unit 51a uses a PDP
  • the first acquisition unit 51a uses a feature amount (an example of classification feature information) instead of a feature map (an example of classification feature information) to obtain a waveform (classification basis information). example).
  • the first acquisition unit 51a uses Born Again Tree
  • the first acquisition unit 51a uses pseudo-learning data (an example of classification feature information) instead of a feature map (an example of classification feature information). Generate a decision tree (an example of classification basis information).
  • the second acquisition unit 51b obtains, as the information transmitted by the private information management device 7, valid second input information and a second heat map that visualizes the basis for classification of this second input information. Acquire private information whose classification basis information is a dataset.
  • the authenticating unit 53 authenticates the validity of the authentication target machine learning model of the authentication target device 3 by comparing the first classification basis information and the second classification basis information. In this case, the authenticating unit 53 determines that the machine learning model to be authenticated is valid when the comparison result indicates a degree of similarity equal to or greater than the threshold.
  • the authentication unit 53 compares two pieces of information using homomorphic encryption (HE) technology.
  • Homomorphic encryption technology can compare a plurality of encrypted data, and can also compare encrypted data and unencrypted data (plaintext). In the case of comparison between plaintexts, the authentication unit 53 does not have to use homomorphic encryption technology.
  • the private information management device 7 has a transmission/reception section 71 .
  • the transmission/reception unit 71 is a function that the processor 701 causes the non-public information management device 7 to implement using one or more programs installed in the non-public information management device 7 .
  • the non-public information management device 7 has a storage unit 70 .
  • the storage unit 70 is implemented by a memory 702 or an auxiliary storage device 703 .
  • the storage unit 70 stores non-disclosed information in which valid second input information and second classification basis information indicating a second heat map visualizing the basis for classification of the second input information are data sets. ing. Note that this non-public information may be either encrypted or unencrypted. If it is encrypted, it is possible to prevent malicious attackers from exposing non-public information and creating new artificial intelligence devices without permission based on this non-public information. can.
  • the transmitting/receiving unit 71 provides the authenticating device 5a with the second classification basis information indicating the valid second input information and the second heat map visualizing the classification basis of the second input information. Submit non-public information.
  • the first acquisition unit 51a of the authentication device 5a receives the first input information of the machine learning model to be authenticated from the authentication target device 3 and the single or multiple layers necessary for classifying the first input information in the CNN. Information of a certain feature map is received (S11). Furthermore, the first acquisition unit 51a generates a first heat map showing a first heat map that visualizes the basis for classification of the first input information of the machine learning model to be authenticated, based on the first input information and the feature map. Classification basis information is generated and obtained (S12).
  • the second acquisition unit 51b of the authentication device 5a acquires the valid second input information as the information transmitted by the private information management device 7 and the second visualized classification basis of the second input information.
  • Second classification basis information indicating a heat map is obtained by receiving non-disclosed information that is a data set (S14).
  • the authentication unit 53 authenticates the validity of the machine learning model of the authentication target device 3 by comparing the first classification basis information and the second classification basis information (S15).
  • the storage unit 50 stores the data of the authentication result by the authentication unit 53.
  • Non-Patent Document 1 the input/output information necessary to verify whether the machine learning model was created by an attacker with reference to non-public information about another machine learning model is The authentication device 5a cannot perform authentication (verification) because the learning model is not disclosed to users.
  • the first input information and the feature map information are used to generate the first classification showing the first heat map that visualizes the basis for classification of the first input information.
  • the basis information By using the basis information, the input information is disclosed to the user of the machine learning model, and the first classification basis information is kept secret from the user. As a result, any person, including the user of the machine learning model, can verify whether or not the machine learning model was created by an attacker.
  • FIG. 5 is a functional configuration diagram of each device of the communication system according to the second embodiment.
  • FIG. 6 is a sequence diagram showing processing or operation of the communication system according to the second embodiment.
  • Company A manages the authentication target device 3
  • Company B manages the authentication device 5b
  • Company C manages the private information management device 7.
  • the communication system 1 b has an authentication target device 3 , an authentication device 5 b, and a private information management device 7 .
  • the authentication device 5b is an example of the authentication device 5 in FIG.
  • the communication system 1 b is an example of the communication system 1 .
  • authentication target device 3 and the non-public information management device 7 are the same as those in the first embodiment, so description thereof will be omitted.
  • the authentication device 5b has the same configuration as the authentication device 5a except that an encryption unit 52 is added.
  • Each unit including the encryption unit 52 is a function that the processor 501 causes the authentication device 5b to implement using one or more programs installed in the authentication device 5b.
  • the encryption unit 52 encrypts the first classification basis information acquired by the first acquisition unit.
  • the processes (S21, S22, S24, S25, S26) are similar to the processes (S11, S12, S14, S15, S16) in the first embodiment. Description is omitted.
  • the encryption unit 52 after processing (S22), the encryption unit 52 encrypts the first classification basis information generated by the first acquisition unit and acquired.
  • the authentication unit 53 uses homomorphic encryption technology.
  • the authentication unit 53 can perform authentication using homomorphic encryption techniques.
  • the present invention is not limited to the above-described embodiments, and may be configured or processed (operations) as described below.
  • the authentication target device 3, the authentication device 5, and the non-public information management device 7 can also be realized by a computer and a program, but recording this program on a (non-temporary) recording medium is also provided through a network such as the Internet. It is also possible to

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Technology Law (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本開示は、従来以外の手法により、新たに作成された人工知能装置が既存の人工知能装置の非公開情報を参照したかどうかを検証することを目的とする。　そこで、本開示は、認証対象装置が保持する機械学習モデルの正当性を認証する認証装置であって、前記認証対象装置が送信した情報に基づき、前記機械学習モデルの第１の入力情報の分類根拠を可視化した情報を示す第１の分類根拠情報を得る第１の取得部と、非公開情報管理装置が送信した情報として、正当な第２の入力情報及び当該第２の入力情報の分類根拠を可視化した情報を示す第２の分類根拠情報がデータセットである非公開情報を取得する第２の取得部と、前記第１の分類根拠情報と前記第２の分類根拠情報を比較することで、前記認証対象装置の前記機械学習モデルの正当性を認証する認証部と、を有する認証装置である。

Description

認証装置、通信システム、認証方法、及びプログラム
　本開示内容は、認証装置、通信システム、認証方法、及びプログラムに関する。
　学習済みモデルを有する人工知能装置は、それぞれ適切なアーキテクチャと学習用データを用いた学習によって構築される。このとき、既存の機械学習モデルについて公開情報のみを参考にして新たな機械学習モデルを作り出すことが通常だが、非公開情報を暴き出し、これを参考にして新たな機械学習モデルを作り出そうとする者が存在する。
　これに対して、機械学習モデルに関する非公開情報を反映した入出力情報をあらかじめ記録しておき、別の機械学習モデルに対して、記録した入力情報を渡し、記録した通りの出力情報が返されるか確認することで、新たに作成された機械学習モデルが既存の機械学習モデルの非公開情報を参照したかどうかを検証する知的財産保護技術が提案されている（非特許文献１参照）。
Lukas, Nils, et al. "SoK: How Robust is Image Classification Deep Neural Network Watermarking?(Extended Version)." arXiv preprint arXiv:2108.04974 (2021).
　しかしながら、非特許文献１に開示の従来以外の手法により、新たに作成された機械学習モデルが既存の機械学習モデルの非公開情報を参照したかどうかを検証するニーズが高まっている。
　本発明は、上記の点に鑑みてなされたものであり、従来以外の手法により、新たに作成された機械学習モデルが既存の機械学習モデルの非公開情報を参照したかどうかを検証することを目的とする。
　上記目的を達成するため、請求項１に係る発明は、認証対象装置が保持する機械学習モデルの正当性を認証する認証装置であって、前記認証対象装置が送信した情報に基づき、前記機械学習モデルの第１の入力情報の分類根拠を可視化した情報を示す第１の分類根拠情報を得る第１の取得部と、非公開情報管理装置が送信した情報として、正当な第２の入力情報及び当該第２の入力情報の分類根拠を可視化した情報を示す第２の分類根拠情報がデータセットである非公開情報を取得する第２の取得部と、前記第１の分類根拠情報と前記第２の分類根拠情報を比較することで、前記認証対象装置の前記機械学習モデルの正当性を認証する認証部と、を有する認証装置である。
　以上説明したように本発明によれば、従来以外の手法により、新たに作成された機械学習モデルが既存の機械学習モデルの非公開情報を参照したかどうかを検証するニーズに対応することができるという効果を奏する。
本発明の実施形態に係る通信システムの概略図である。 実施形態に係る通信システムの各装置のハードウェア構成図である。 第１の実施形態に係る通信システムの各装置の機能構成図である。 第１の実施形態に係る通信システムの処理又は動作を示すシーケンス図である。 第２の実施形態に係る通信システムの各装置の機能構成図である。 第２の実施形態に係る通信システムの処理又は動作を示すシーケンス図である。
　〔全体構成の概略〕
　図１は、本発明の実施形態に係る通信システムの概略図である。図１に示されているように、本実施形態の通信システム１は、認証対象装置３、認証装置５、及び非公開情報管理装置７によって構築されている。
　また、認証対象装置３、認証装置５、及び非公開情報管理装置７は、インターネット等の通信ネットワーク１００を介して通信することができる。通信ネットワーク１００の接続形態は、無線又は有線のいずれでも良い。
　認証対象装置３は、単数又は複数のコンピュータによって構成されている。認証対象装置３は、学習済みの機械学習モデルを構築するのに使用したアーキテクチャと学習用データを保持した人工知能装置であり、機械学習モデルの正当性が認証される対象である。認証対象装置３は、認証装置５が行う認証のために、認証装置５に対して、機械学習モデルの第１の入力情報、及びCNN(Convolutional Neural Network:畳み込みニューラルネットワーク)において第１の入力情報の分類に必要な単一又は複数の層である特徴マップを含む情報を送信する。
　なお、機械学習モデル（機械学習アルゴリズム）は、CNNを用いる場合に限られない。機械学習モデルが用いる他の例として、RF(Random Forest: ランダムフォレスト)、SVM（Support Vector Machine: サポートベクターマシーン）、又はNN（Neural Network: ニューラルネットワーク）等が挙げられる。
　また、特徴マップは、後述の分類根拠を生成するために必要であり認証対象装置３に紐づいた分類特徴情報の一例である。この分類特徴情報の他の例としては、特徴量（機械学習モデルへの入力要素）、疑似学習用データ（機械学習モデルの学習用データからランダムにいくつかのデータを選び、当該選んだデータを機械学習モデルに入力した際の出力と入力の組み合わせ）等が挙げられる。
　認証装置５は、単数又は複数のコンピュータによって構成されている。認証装置５は、認証対象装置３の機械学習モデルの正当性を認証する装置である。
　非公開情報管理装置７は、単数又は複数のコンピュータによって構成されている。非公開情報管理装置７は、例えば、認証装置５が行う認証のために、認証装置５に対して、正当な第２の入力情報及びこの第２の入力情報の分類根拠を可視化した第２のヒートマップを示す第２の分類根拠情報がデータセットである非公開情報を送信する装置である。ヒートマップは、分類情報を可視化した情報（又は可視化した状態の名称）である分類根拠情報の一例である。分類根拠情報の他の例として、分類特徴情報が上述の特徴量の場合の波形、分類特徴情報が上述の疑似学習用データの場合の決定木等が挙げられる。
　〔ハードウェア構成〕
　＜各装置のハードウェア構成＞
　次に、図２を用いて、通信システム1の各装置（認証対象装置３、認証装置５、非公開情報管理装置７）のハードウェア構成について説明する。図２は、実施形態に係る通信システムの各装置のハードウェア構成図である。
　図２に示されているように、認証対象装置３は、プロセッサ３０１、メモリ３０２、補助記憶装置３０３、接続装置３０４、通信装置３０５、ドライブ装置３０６を有する。なお、認証対象装置３を構成する各ハードウェアは、バス３０７を介して相互に接続される。
　プロセッサ３０１は、認証対象装置３全体の制御を行う制御部の役割を果たし、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ３０１は、各種プログラムをメモリ３０２上に読み出して実行する。なお、プロセッサ３０１には、ＧＰＧＰＵ(General-purpose computing on graphics processing units)が含まれていてもよい。
　メモリ３０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ３０１とメモリ３０２とは、いわゆるコンピュータを形成し、プロセッサ３０１が、メモリ３０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
　補助記憶装置３０３は、各種プログラムや、各種プログラムがプロセッサ３０１によって実行される際に用いられる各種情報を格納する。
　接続装置３０４は、外部装置（例えば、表示装置３１０、操作装置３１１）と認証対象装置３とを接続する接続デバイスである。
　通信装置３０５は、他の装置（機器、サーバ、システムを含む）との間で各種情報を送受信するための通信デバイスである。
　ドライブ装置３０６は記録媒体３３０をセットするためのデバイスである。ここでいう記録媒体３３０には、ＣＤ－ＲＯＭ(Compact Disc Read-Only Memory)、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体３３０には、ＲＯＭ(Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置３０３にインストールされる各種プログラムは、例えば、配布された記録媒体３３０がドライブ装置３０６にセットされ、該記録媒体３３０に記録された各種プログラムがドライブ装置３０６により読み出されることでインストールされる。あるいは、補助記憶装置３０３にインストールされる各種プログラムは、通信装置３０５を介してネットワークからダウンロードされることで、インストールされてもよい。
　また、図２には、認証装置５のハードウェア構成が示されているが、符号が３００番台から５００番台に変わっただけで、各構成は同様であるため、これらの説明を省略する。同様に、図２には、非公開情報管理装置７のハードウェア構成が示されているが、符号が３００番台から７００番台に変わっただけで、各構成は同様であるため、これらの説明を省略する。
　●第１の実施形態
　〔第１の実施形態の機能構成〕
　続いて、図３及び図４を用いて、本発明の第１の実施形態について説明する。図３は、第１の実施形態に係る通信システムの各装置の機能構成図である。第１の実施形態では、Ａ社が認証対象装置３を管理しており、Ｂ社が認証装置５ａ及び非公開情報管理装置７を管理している。通信システム１ａは、認証対象装置３、認証装置５ａ、及び非公開情報管理装置７を有している。なお、認証装置５ａは、図１の認証装置５の一例である。また、通信システム１ａは、通信システム１の一例である。
　＜認証対象装置３の機能構成＞
　認証対象装置３は、送受信部３１を有している。この送受信部３１は、認証対象装置３にインストールされた１以上のプログラムを使用して、プロセッサ３０１が認証対象装置３に実現させる機能である。更に、認証対象装置３は、記憶部３０を有している。記憶部３０は、メモリ３０２又は補助記憶装置３０３によって実現される。記憶部３０には、認証（検証）対象となる機械学習モデルが記憶されている。
　送受信部３１は、認証装置５ａに対して、認証対象の機械学習モデルの第１の入力情報及びCNNにおいて第１の入力情報の分類に必要な単一又は複数の層である特徴マップを含む情報を送信する。
　＜認証装置５ａの機能構成＞
　認証装置５ａは、送受信部５１、及び認証部５３を有している。これら各部は、認証装置５ａにインストールされた１以上のプログラムを使用して、プロセッサ５０１が認証装置５ａに実現させる機能である。更に、認証装置５ａは、記憶部５０を有している。記憶部５０は、メモリ５０２又は補助記憶装置５０３によって実現される。記憶部５０には、認証結果のデータが記憶される。
　また、送受信部５１は、第１の取得部５１ａ及び第２の取得部５１ｂを有する。このうち、第１の取得部５１ａは、Grad-CAM(Gradient-weighted Class Activation Mapping)を用いて、認証対象装置３から、第１の入力情報及びCNNにおいて第１の入力情報の分類に必要な単一又は複数の層である特徴マップを含む情報を受信し、第１の入力情報及び特徴マップに基づき、認証対象の機械学習モデルの第１の入力情報の分類根拠を可視化した第１のヒートマップを示す第１の分類根拠情報を生成して得る。
　なお、第１の取得部５１ａは、Grad-CAMではなく、他の手法を用いてもよい。他の手法として、例えば、より詳細に分類するGuidedGrad-CAM、分類根拠情報としての波形を生成するPDP（Partial Dependence Plot）、分類根拠情報としての決定木を生成するBorn Again Tree等が挙げられる。第１の取得部５１ａがPDPを用いる場合、第１の取得部５１ａは、特徴マップ（分類特徴情報の一例）ではなく、特徴量（分類特徴情報の一例）を用いて波形（分類根拠情報の一例）を生成する。また、第１の取得部５１ａがBorn Again Treeを用いる場合、第１の取得部５１ａは、特徴マップ（分類特徴情報の一例）ではなく、疑似学習用データ（分類特徴情報の一例）を用いて決定木（分類根拠情報の一例）を生成する。
　第２の取得部５１ｂは、非公開情報管理装置７が送信した情報として、正当な第２の入力情報及びこの第２の入力情報の分類根拠を可視化した第２のヒートマップを示す第２の分類根拠情報がデータセットである非公開情報を取得する。
　また、認証部５３は、第１の分類根拠情報と第２の分類根拠情報を比較することで、認証対象装置３の認証対象の機械学習モデルの正当性を認証する。この場合、認証部５３は、比較した結果が閾値以上の類似度を示す場合に、認証対象の機械学習モデルが正当であると判断する。
　また、認証部５３は、準同型暗号(HE:Homomorphic Encryption）技術を用いて、２つの情報の比較を行う。準同型暗号技術は、暗号化した複数のデータ同士の比較が可能であり、暗号化したデータと暗号化されていないデータ（平文）の比較も可能である。なお、平文同士の比較の場合、認証部５３は、準同型暗号技術を用いなくてもよい。
　＜非公開情報管理装置７の機能構成＞
　非公開情報管理装置７は、送受信部７１を有している。この送受信部７１は、非公開情報管理装置７にインストールされた１以上のプログラムを使用して、プロセッサ７０１が非公開情報管理装置７に実現させる機能である。更に、非公開情報管理装置７は、記憶部７０を有している。記憶部７０は、メモリ７０２又は補助記憶装置７０３によって実現される。記憶部７０には、正当な第２の入力情報及びこの第２の入力情報の分類根拠を可視化した第２のヒートマップを示す第２の分類根拠情報がデータセットである非公開情報が記憶されている。なお、この非公開情報は、暗号化されている場合と暗号化されていない場合のどちらでもよい。暗号化されている場合には、悪意のある攻撃者により、非公開情報が暴き出され、この非公開情報を参考にして無断で新たな人工知能装置が作り出される等の行為を防止することができる。
　送受信部７１は、認証装置５ａに対して、正当な第２の入力情報及び当該第２の入力情報の分類根拠を可視化した第２のヒートマップを示す第２の分類根拠情報がデータセットである非公開情報を送信する。
　〔第１の実施形態の処理又は動作〕
　続いて、図４を用いて、通信システム１ａの処理又は動作を説明する。
　認証装置５ａの第１の取得部５１ａが、認証対象装置３から、認証対象の機械学習モデルの第１の入力情報及びCNNにおいて第１の入力情報の分類に必要な単一又は複数の層である特徴マップの情報を受信する（Ｓ１１）。更に、第１の取得部５１ａは、第１の入力情報及び記特徴マップに基づき、認証対象の機械学習モデルの第１の入力情報の分類根拠を可視化した第１のヒートマップを示す第１の分類根拠情報を生成して得る（Ｓ１２）。
　次に、認証装置５ａの第２の取得部５１ｂは、非公開情報管理装置７が送信した情報として、正当な第２の入力情報及びこの第２の入力情報の分類根拠を可視化した第２のヒートマップを示す第２の分類根拠情報がデータセットである非公開情報を受信することで取得する（Ｓ１４）。
　次に、認証部５３は、第１の分類根拠情報と前記第２の分類根拠情報を比較することで、認証対象装置３の機械学習モデルの正当性を認証する（Ｓ１５）。
　最後に、記憶部５０は、認証部５３による認証結果のデータを記憶する。
　以上により、第１の実施形態の処理又は動作が終了する。
　〔第１の実施形態の効果〕
　以上説明したように、第１の実施形態によれば、認証対象の機械学習モデルの入力情報及び出力情報の組によるデータセットではなく、入力情報と特徴マップから生成するヒートマップを示す第１の分類根拠情報を用いて認証を行うため、従来以外の手法により、新たに作成された機械学習モデルが既存の機械学習モデルの非公開情報を参照したかどうかを検証するニーズに対応することができるという効果を奏する。
　また、攻撃者が、非公開情報を参照して、新たな機械学習モデル（認証対象装置）を作成した場合、その攻撃者の認証対象装置には使用者に対する攻撃が仕掛けられている可能性がある。そのため、機械学習モデルを使用する際には、使用者自身が使用したい機械学習モデルが、別の機械学習モデルに関する非公開情報を暴いたうえで攻撃者によって作成された機械学習モデルではないことを確認する必要がある。しかし、非特許文献１に示された従来の手法では、別の機械学習モデルに関する非公開情報を参考にして攻撃者が作成した機械学習モデルかどうか検証するために必要な入出力情報が、機械学習モデルの使用者には公開されていないため、認証装置５ａは、認証（検証）することができない。これに対して、本実施形態では、入出力情報に代わって第１の入力情報と特徴マップの情報により、第１の入力情報の分類根拠を可視化した第１のヒートマップを示す第１の分類根拠情報を用いることで、入力情報を機械学習モデルの使用者に公開し、第１の分類根拠情報を使用者に秘匿する。これにより、機械学習モデルの使用者を含む任意の者は、機械学習モデルが攻撃者によって作成された機械学習モデルか否かを検証することのできるという効果を奏する。
　●第２の実施形態
　続いて、図５及び図６を用いて、本発明の第２の実施形態について説明する。なお、第２の実施形態は第１の実施形態と共通する部分が多いため、相違する部分を主に説明する。
　〔第２の実施形態の機能構成〕
　図５は、第２の実施形態に係る通信システムの各装置の機能構成図である。図６は、第２の実施形態に係る通信システムの処理又は動作を示すシーケンス図である。
　第２の実施形態では、Ａ社が認証対象装置３を管理しており、Ｂ社が認証装置５ｂを管理しており、Ｃ者が非公開情報管理装置７を管理している。通信システム１ｂは、認証対象装置３、認証装置５ｂ、及び非公開情報管理装置７を有している。なお、認証装置５ｂは、図１の認証装置５の一例である。また、通信システム１ｂは、通信システム１の一例である。
　なお、認証対象装置３及び非公開情報管理装置７は、第１の実施形態と同様であるため、その説明を省略する。
　＜認証装置５ｂの機能構成＞
　認証装置５ｂは、認証装置５ａに対して暗号化部５２が追加された以外は同様の構成を有している。暗号化部５２を含めた各部は、認証装置５ｂにインストールされた１以上のプログラムを使用して、プロセッサ５０１が認証装置５ｂに実現させる機能である。
　暗号化部５２は、第１の取得部によって取得された第１の分類根拠情報を暗号化する。
　〔第２の実施形態の処理又は動作〕
　続いて、図６を用いて、通信システム１ｂの処理又は動作を説明する。
　第２の実施形態では、処理（Ｓ２１，Ｓ２２，Ｓ２４，Ｓ２５，Ｓ２６）は、それぞれ第１の実施形態における処理（Ｓ１１，Ｓ１２，Ｓ１４，Ｓ１５，Ｓ１６）と同様の処理であるため、これらの説明を省略する。
　第２の実施形態では、処理（Ｓ２２）後、暗号化部５２が、第１の取得部によって生成すうことで取得された第１の分類根拠情報を暗号化する。この場合、認証部５３は、準同型暗号技術を用いる。
　〔第２の実施形態の効果〕
　以上説明したように本実施形態によれば、第１の実施形態の効果に加え、たとえ、非公開情報が暗号化されていても、第１の分類根拠情報を暗号化することで、認証部５３は、準同型暗号技術を用いて認証を行うことができる。
　〔補足〕
　本発明は上述の実施形態に限定されるものではなく、以下に示すような構成又は処理（動作）であってもよい。
　認証対象装置３、認証装置５、及び非公開情報管理装置７は、コンピュータとプログラムによっても実現できるが、このプログラムを（非一時的な）記録媒体に記録することも、インターネット等のネットワークを通して提供することも可能である。
１　通信システム
１ａ　通信システム
１ｂ　通信システム
３　認証対象装置
５　認証装置
７　非公開情報管理装置
５１　送受信部
５１ａ　第１の取得部
５１ｂ　第２の取得部
５２　暗号化部
５３　認証部
５０　記憶部
１００　通信ネットワーク

Claims (8)

  1. 　認証対象装置が保持する機械学習モデルの正当性を認証する認証装置であって、
    　前記認証対象装置が送信した情報に基づき、前記機械学習モデルの第１の入力情報の分類根拠を可視化した情報を示す第１の分類根拠情報を得る第１の取得部と、
    　非公開情報管理装置が送信した情報として、正当な第２の入力情報及び当該第２の入力情報の分類根拠を可視化した情報を示す第２の分類根拠情報がデータセットである非公開情報を取得する第２の取得部と、
    　前記第１の分類根拠情報と前記第２の分類根拠情報を比較することで、前記認証対象装置の前記機械学習モデルの正当性を認証する認証部と、
    　を有する認証装置。
  2. 　前記第１の取得部は、前記認証対象装置が送信した前記情報として、前記第１の入力情報、及び機械学習アルゴリズムにおいて前記第１の入力情報の分類に必要であり前記認証対象装置に紐づいた分類特徴情報を受信し、前記第１の入力情報及び前記分類特徴情報に基づき前記第１の分類根拠情報を生成して得る、請求項１に記載の認証装置。
  3. 　請求項１又は２に記載の認証装置であって、
    　前記第１の取得部によって取得された前記第１の分類根拠情報を暗号化する暗号化部を有し、
    　前記認証部は、暗号化された前記第１の分類根拠情報と前記第２の分類根拠情報を比較することで、前記認証対象装置の前記機械学習モデルの正当性を認証する、認証装置。
  4. 　前記第２の分類根拠情報は、非公開情報管理装置が送信した際には既に暗号化されている、請求項１乃至３のいずれか一項に記載の認証装置。
  5. 　前記第１の取得部は、Grad-CAM又はGuidedGrad-CAMを用いて、前記第１の入力情報の分類根拠を可視化した情報としてのヒートマップを示す前記第１の分類根拠情報を得る、請求項１乃至４のいずれか一項に記載の認証装置。
  6. 　前記認証部は、準同型暗号技術を用いて認証する、請求項１乃至５のいずれか一項に記載の認証装置。
  7. 　認証対象装置が保持する機械学習モデルの正当性を認証する認証装置が実行する認証方法であって、
    　前記認証装置は、
    　前記認証対象装置が送信した情報に基づき、前記機械学習モデルの第１の入力情報の分類根拠を可視化した情報を示す第１の分類根拠情報を得る第１の取得処理と、
    　非公開情報管理装置が送信した情報として、正当な第２の入力情報及び当該第２の入力情報の分類根拠を可視化した情報を示す第２の分類根拠情報がデータセットである非公開情報を取得する第２の取得処理と、
    　前記第１の分類根拠情報と前記第２の分類根拠情報を比較することで、前記認証対象装置の前記機械学習モデルの正当性を認証する認証処理と、
    　を実行する認証方法。
  8. 　コンピュータに、請求項７に記載の方法を実行させるプログラム。
PCT/JP2022/000720 2022-01-12 2022-01-12 認証装置、通信システム、認証方法、及びプログラム WO2023135682A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/000720 WO2023135682A1 (ja) 2022-01-12 2022-01-12 認証装置、通信システム、認証方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/000720 WO2023135682A1 (ja) 2022-01-12 2022-01-12 認証装置、通信システム、認証方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023135682A1 true WO2023135682A1 (ja) 2023-07-20

Family

ID=87278623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000720 WO2023135682A1 (ja) 2022-01-12 2022-01-12 認証装置、通信システム、認証方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023135682A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259369A (zh) * 2021-06-02 2021-08-13 华中科技大学 一种基于机器学习成员推断攻击的数据集认证方法及系统
CN113408558A (zh) * 2020-03-17 2021-09-17 百度在线网络技术（北京）有限公司 用于模型验证的方法、装置、设备和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408558A (zh) * 2020-03-17 2021-09-17 百度在线网络技术（北京）有限公司 用于模型验证的方法、装置、设备和介质
CN113259369A (zh) * 2021-06-02 2021-08-13 华中科技大学 一种基于机器学习成员推断攻击的数据集认证方法及系统

Similar Documents

Publication Publication Date Title
JP3230238U (ja) 電子データを安全に格納するシステム
US20220191012A1 (en) Methods For Splitting and Recovering Key, Program Product, Storage Medium, and System
JP4615601B2 (ja) コンピュータセキュリティシステムおよびコンピュータセキュリティ方法
TWI578749B (zh) 用於遷移金鑰之方法及設備
CN109756338A (zh) 物理不可克隆功能的远程重新注册
CN109075976A (zh) 取决于密钥认证的证书发布
CN107580767A (zh) 使用生物特征来管理网络活动的方法和系统
CN101057448A (zh) 安全地计算相似性度量
CN105468940B (zh) 软件保护方法及装置
JP2010039890A (ja) 認証端末、認証サーバ、認証システム、認証方法および認証プログラム
KR20060018852A (ko) 랜덤 함수를 사용하는 실행의 증명
Soutar Biometric system security
CN103929425B (zh) 一种身份注册、身份认证的方法、设备和系统
CN106341236A (zh) 一种面向云存储服务平台的访问控制方法及其系统
KR20180003113A (ko) 서버, 디바이스 및 이에 의한 사용자 인증 방법
CN110855430A (zh) 提供使用分级密钥系统的安全对象存储库
CN114938382B (zh) 一种基于联盟区块链的电子病历安全可控共享方法
CN116318617B (zh) 基于rfid和区块链的医疗救援物资慈善捐助方法
CN110431803A (zh) 基于身份信息管理加密密钥
CN113297618A (zh) 基于区块链的抗攻击访问控制方法、系统、设备及介质
JP4612951B2 (ja) ローミング中のユーザに認証信用証明を安全に配布するための方法および装置
WO2023135682A1 (ja) 認証装置、通信システム、認証方法、及びプログラム
KR20180059980A (ko) 얼굴 이미지로부터 암호 키를 생성하는 방법 및 시스템
JP7024709B2 (ja) 暗号化情報照合装置、暗号化情報照合方法、及び、暗号化情報照合プログラム
CN114065169B (zh) 一种隐私保护生物认证方法和装置、电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920208

Country of ref document: EP

Kind code of ref document: A1