JP7419325B2 - デバイス、プログラム及び情報処理方法 - Google Patents
デバイス、プログラム及び情報処理方法 Download PDFInfo
- Publication number
- JP7419325B2 JP7419325B2 JP2021175553A JP2021175553A JP7419325B2 JP 7419325 B2 JP7419325 B2 JP 7419325B2 JP 2021175553 A JP2021175553 A JP 2021175553A JP 2021175553 A JP2021175553 A JP 2021175553A JP 7419325 B2 JP7419325 B2 JP 7419325B2
- Authority
- JP
- Japan
- Prior art keywords
- parameters
- parameter
- model
- secure
- trained model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 6
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012545 processing Methods 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 40
- 238000010801 machine learning Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 51
- 210000002569 neuron Anatomy 0.000 description 30
- 238000003860 storage Methods 0.000 description 30
- 238000012795 verification Methods 0.000 description 30
- 239000010410 layer Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Storage Device Security (AREA)
- Stored Programmes (AREA)
Description
(実施の形態1)
図1は、IoTシステムの構成例を示すブロック図である。本実施の形態では、IoT端末であるデバイス1に機械学習の成果物である推論モデル121をインストールし、デバイス1が推論モデル121を利用して、入力データから適切な出力データを推論する推論処理を行う形態について述べる。なお、本明細書において「推論」とは機械学習結果を利用した処理全般を表す文言として用い、「推論モデル」とは機械学習により生成された学習済みモデルを表す文言として用いる。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有し、記憶部12に記憶されたプログラムP1を読み出して実行することにより、デバイス1に係る種々の情報処理、制御処理を行う。記憶部12は、RAM(Random Access Memory)、ROM(Read Only Memory)等を有し、制御部11が演算処理を実行するために必要なプログラムP1、その他のデータを記憶する。また、記憶部12は、後述するように、セキュアエレメント20に格納された推論モデル用パラメータ241に基づき構築した推論モデル121を記憶する。
読出部21は、記憶部24からデータを読み出してデバイス本体10に出力する。認証部22は、後述するように、デバイス本体10から入力される認証情報の確認を行う。入出力I/F23は、デバイス本体10の入出力I/F13との間でデータの入出力を行う。記憶部24は不揮発性メモリであり、後述するように、デバイス本体10が推論モデル121を展開するために必要な推論モデル用パラメータ241を記憶している。
制御部31は、一又は複数のCPU、MPU等の演算装置を備え、サーバ3に係る種々の情報処理、制御処理を行う。主記憶部32は、RAM等の揮発性メモリであり、制御部31が処理を実行する上で必要なデータを一時的に記憶する。通信部33は、通信に関する処理を行う処理回路等を有し、ネットワークNを介してデバイス1等と通信を行う。
上述の如く、セキュアエレメント20は記憶部24に、機械学習により生成された推論モデル121を展開するための推論モデル用パラメータ241を記憶している。本実施の形態において推論モデル121は、ディープラーニングにより生成されたニューラルネットワークであるものとして説明する。なお、機械学習のアルゴリズムはディープラーニングに限定されるものではなく、例えば回帰法、決定木学習、ベイズ法、クラスタリング等であってもよく、また、推論モデル121はニューラルネットワークに限定されるものではなく、線形モデル、決定木、ベイジアンネットワーク等であってもよい。
なお、機械学習は教師なし学習、半教師学習等であってもよい。また、機械学習は強化学習であってもよく、この場合、推論モデル用パラメータ241はQ値(Q(s,a);sは状態、aは行動)であってもよい。
例えばデバイス1の起動時、又は推論を伴うアプリケーションの動作開始時等に、デバイス本体10の制御部11は、セキュアエレメント20に対して推論モデル用パラメータ241の読み出しを要求する(P1)。
例えばセキュアエレメント20には、ハイパーパラメータ241aで規定する第0~3層のニューロン層に対応して、各ニューロン層に適用する学習パラメータ241bが保持されている。具体的には、セキュアエレメント20は各ニューロンに対して適用する重み付け係数、バイアス値等のパラメータを格納しており、制御部11は、当該パラメータを各々のニューロンに対して適用する。
例えばデバイス1は、自装置の起動時、又は推論処理を伴うアプリケーションの起動時等、所定のタイミングで以下の処理を実行する。デバイス本体10の制御部11は、推論モデル121を展開するために必要なパラメータを保持するセキュアエレメント20に対し、当該パラメータの読み出しを要求する(ステップS11)。上述の如く、セキュアエレメント20は耐タンパ性を有するチップであり、デバイス本体10とは物理的に分離され、推論モデル用のパラメータを安全に保持する。
デバイス本体10の制御部11は、推論モデル121に入力する入力データを取得する(ステップS21)。例えばデバイス1が監視カメラである場合、デバイス1の撮像部16が画像を撮像する。制御部11は、当該撮像画像を入力データとして取得する。なお、当然ながら入力データはデバイス1の種類に応じて異なり、例えばセンシングデバイスで検知したパラメータ、テキストデータ、音声データ等であってもよい。
本実施の形態では、デバイス1がメモリ上に展開した推論モデル121の改竄防止等のため、推論モデル用パラメータ241の検証を行う形態について述べる。なお、実施の形態1と重複する内容については同一の符号を付して説明を省略する。
図7は、動作管理DB242のレコードレイアウトの一例を示す説明図である。動作管理DB242は、デバイスID列、最終更新日列、動作状況列を含む。デバイスID列は、サーバ3とパラメータを同期する各デバイス1を識別するための識別情報を記憶している。最終更新日列は、デバイスIDと対応付けて、各デバイス1が推論モデル用パラメータ241を更新した最終更新日時を記憶している。動作状況列は、デバイスIDと対応付けて、各デバイス1の動作の正常又は異常を検証した検証結果を記憶している。本実施の形態においてサーバ3は、デバイス1の動作状況に関する情報として後述するパラメータの照合結果を取得し、当該照合結果に応じて、デバイス1の動作の正常又は異常を動作管理DB342に格納する。
デバイス本体10の制御部11は、メモリ(記憶部12)上に展開済みの推論モデル121のデータから、推論モデル用パラメータ241を抽出する(ステップS31)。制御部11は、抽出したパラメータを所定形式の値(例えばハッシュ値)に変換する(ステップS32)。制御部11は、変換したパラメータをセキュアエレメント20に出力し、当該パラメータの照合を要求する(ステップS33)。
本実施の形態では、セキュアエレメント20に格納されている推論モデル用パラメータ241を、最新モデル用パラメータ341に更新する形態について述べる。
図10は、更新処理に関する説明図である。図10では、セキュアエレメント20がサーバ3との間で通信を行い、推論モデル用パラメータ241を更新する様子を概念的に図示している。なお、図10では図示の便宜上、デバイス本体10の通信部14、及びサーバ3の通信部33を矩形点線で図示している。
デバイス本体10の制御部11は、推論モデル121の最新のモデルであるか否かをサーバ3に確認するよう、セキュアエレメント20に要求する(ステップS61)。当該要求を受け付けた場合、セキュアエレメント20はサーバ3との間で秘匿通信路41を開設する(ステップS62)。セキュアエレメント20は秘匿通信路41を介して、推論モデル用パラメータ241の更新要求を行う(ステップS63)。例えばセキュアエレメント20は、上記のように、記憶部24に格納してあるパラメータのバージョン情報241cと、自装置のデバイスIDとをサーバ3へ送信する。
実施の形態3では、デバイス1で稼働している推論モデル121を更新する形態について述べた。本実施の形態では、当該更新処理の実際的な運用形態について説明する。
図12は、実施の形態4に係る更新処理を説明するための説明図である。図12では、デバイス1の運用者(ユーザ)からの更新要求に従って、デバイス1内の推論モデル121を更新する様子を図示している。
デバイス1のセキュアエレメント20は、記憶部24に格納してある推論モデル用パラメータ241のバージョン情報241cを読み出し、サーバ3に送信する(ステップS81)。例えばセキュアエレメント20は、実施の形態3と同様に、デバイス本体10からの要求をトリガとしてバージョン情報を送信する。
図14は、上述した形態のIoTシステムの動作を示す機能ブロック図である。制御部11がプログラムP1を実行することにより、デバイス1は以下のように動作する。実行部141は、演算処理を実行する。セキュア部142は、該実行部141よりもセキュアなコンポーネントであって、機械学習により生成された学習済みモデルを展開するためのパラメータを格納する。実行部141は、前記セキュア部142から前記パラメータを取得し、取得した前記パラメータに基づき、前記学習済みモデルをメモリ上に展開し、展開した前記学習済みモデルに基づいて演算処理を実行する。
10 デバイス本体
121 推論モデル(学習済みモデル)
20 セキュアエレメント(セキュア部)
241 推論モデル用パラメータ
3 サーバ(管理装置)
341 最新モデル用パラメータ
342 動作管理DB
Claims (5)
- 演算処理を実行する実行部と、
該実行部とは物理的又は論理的に分離され、前記実行部よりもセキュアであり外部からの攻撃に対して耐タンパ性を有するコンポーネントであって、機械学習により生成された学習済みモデルを展開するためのパラメータを格納するセキュア部と
を備え、
前記パラメータは、前記機械学習を行うために手動設定された設定値であり前記学習済みモデルの基本構造を特定可能な第1パラメータと、前記学習済みモデルにおける学習値である第2パラメータとを含み、
前記実行部は、
前記セキュア部から前記パラメータを取得し、
取得した前記第1パラメータに基づき前記学習済みモデルの基本構造を決定し、前記第2パラメータを適用することで前記学習済みモデルを前記実行部内のメモリ上に展開し、
展開した前記学習済みモデルに基づいて演算処理を実行する
ことを特徴とするデバイス。 - 前記セキュア部は、前記実行部が処理を実行する実行環境とは異なる仮想領域であって、前記実行環境よりもセキュアなトラステッド実行環境であり、
前記実行部は、前記トラステッド実行環境から取得した前記パラメータに基づき、前記実行環境に前記学習済みモデルを展開する
ことを特徴とする請求項1に記載のデバイス。 - 外部からの攻撃に対して耐タンパ性を有するセキュアエレメントを搭載したコンピュータに、
機械学習により生成された学習済みモデルを展開するためのパラメータを格納する前記セキュアエレメントから、前記パラメータを取得し、
取得した前記パラメータに基づき、前記学習済みモデルを展開し、
展開した前記学習済みモデルに基づいて演算を行う
処理であって、
前記パラメータは、前記機械学習を行うために手動設定された設定値であり前記学習済みモデルの基本構造を特定可能な第1パラメータと、前記学習済みモデルにおける学習値である第2パラメータとを含み、
前記第1パラメータに基づき前記学習済みモデルの基本構造を決定し、前記第2パラメータを適用することで前記学習済みモデルをメモリ上に展開する
処理を実行させることを特徴とするプログラム。 - 機械学習により生成された学習済みモデルを展開するためのパラメータを、該学習済みモデルに基づく演算処理を実行する実行環境よりもセキュアであり外部からの攻撃に対して耐タンパ性を有するトラステッド実行環境に格納し、
該トラステッド実行環境から前記パラメータを取得し、
取得した前記パラメータに基づき、前記実行環境に前記学習済みモデルを展開し、
展開した前記学習済みモデルに基づいて演算を行う
処理であって、
前記パラメータは、前記機械学習を行うために手動設定された設定値であり前記学習済みモデルの基本構造を特定可能な第1パラメータと、前記学習済みモデルにおける学習値である第2パラメータとを含み、
前記第1パラメータに基づき前記学習済みモデルの基本構造を決定し、前記第2パラメータを適用することで前記学習済みモデルを前記実行環境に展開する
処理をコンピュータに実行させることを特徴とするプログラム。 - 演算処理を実行する実行部と、該実行部とは物理的又は論理的に分離され、前記実行部よりもセキュアであり外部からの攻撃に対して耐タンパ性を有するコンポーネントであって、機械学習により生成された学習済みモデルを展開するためのパラメータを格納するセキュア部とを備えたデバイスにあって、
前記パラメータは、前記機械学習を行うために手動設定された設定値であり前記学習済みモデルの基本構造を特定可能な第1パラメータと、前記学習済みモデルにおける学習値である第2パラメータとを含み、
前記実行部が、
前記セキュア部から前記パラメータを取得し、
取得した前記第1パラメータに基づき前記学習済みモデルの基本構造を決定し、前記第2パラメータを適用することで前記学習済みモデルを前記実行部内のメモリ上に展開し、
展開した前記学習済みモデルに基づいて演算を行う
処理を実行することを特徴とする情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021175553A JP7419325B2 (ja) | 2017-12-04 | 2021-10-27 | デバイス、プログラム及び情報処理方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017232691A JP7052325B2 (ja) | 2017-12-04 | 2017-12-04 | デバイス、セキュアエレメント、プログラム、情報処理システム及び情報処理方法 |
JP2021175553A JP7419325B2 (ja) | 2017-12-04 | 2021-10-27 | デバイス、プログラム及び情報処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017232691A Division JP7052325B2 (ja) | 2017-12-04 | 2017-12-04 | デバイス、セキュアエレメント、プログラム、情報処理システム及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022009575A JP2022009575A (ja) | 2022-01-14 |
JP7419325B2 true JP7419325B2 (ja) | 2024-01-22 |
Family
ID=66973780
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017232691A Active JP7052325B2 (ja) | 2017-12-04 | 2017-12-04 | デバイス、セキュアエレメント、プログラム、情報処理システム及び情報処理方法 |
JP2021175553A Active JP7419325B2 (ja) | 2017-12-04 | 2021-10-27 | デバイス、プログラム及び情報処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017232691A Active JP7052325B2 (ja) | 2017-12-04 | 2017-12-04 | デバイス、セキュアエレメント、プログラム、情報処理システム及び情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7052325B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021005846A (ja) * | 2019-06-27 | 2021-01-14 | オリンパス株式会社 | 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 |
JP7006954B2 (ja) * | 2019-09-22 | 2022-01-24 | 株式会社リョーワ | 良否判定システム、サーバ及び良否判定方法 |
DE112020005424T5 (de) | 2020-01-07 | 2022-09-01 | Mitsubishi Electric Corporation | Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm |
WO2022130558A1 (ja) * | 2020-12-17 | 2022-06-23 | 三菱電機株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010176583A (ja) | 2009-01-30 | 2010-08-12 | Dainippon Printing Co Ltd | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム |
JP2016523402A (ja) | 2013-05-30 | 2016-08-08 | プレジデント アンド フェローズ オブ ハーバード カレッジ | ベイズの最適化を実施するためのシステムおよび方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1308849C (zh) | 2002-01-31 | 2007-04-04 | 松下电器产业株式会社 | 存储器件、终端设备、和数据修复系统 |
CN103761263A (zh) | 2013-12-31 | 2014-04-30 | 武汉传神信息技术有限公司 | 向用户推荐信息的方法 |
JP6422059B2 (ja) | 2015-07-31 | 2018-11-14 | パナソニックIpマネジメント株式会社 | 処理装置、車載端末装置、処理装置の起動方法、及び処理装置の起動プログラム |
-
2017
- 2017-12-04 JP JP2017232691A patent/JP7052325B2/ja active Active
-
2021
- 2021-10-27 JP JP2021175553A patent/JP7419325B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010176583A (ja) | 2009-01-30 | 2010-08-12 | Dainippon Printing Co Ltd | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム |
JP2016523402A (ja) | 2013-05-30 | 2016-08-08 | プレジデント アンド フェローズ オブ ハーバード カレッジ | ベイズの最適化を実施するためのシステムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022009575A (ja) | 2022-01-14 |
JP7052325B2 (ja) | 2022-04-12 |
JP2019101807A (ja) | 2019-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7419325B2 (ja) | デバイス、プログラム及び情報処理方法 | |
JP6655762B2 (ja) | 機械学習モデル不正検知システム及び不正検知方法 | |
JP7056151B2 (ja) | デバイス、セキュアエレメント、プログラム、情報処理システム及び情報処理方法 | |
US11917074B2 (en) | Electronic signature authentication system based on biometric information and electronic signature authentication method | |
US20210091960A1 (en) | Tracking and verification of physical assets | |
CN110569658B (zh) | 基于区块链网络的用户信息处理方法、装置、电子设备及存储介质 | |
CN113487042B (zh) | 一种联邦学习方法、装置及联邦学习系统 | |
CN109614769A (zh) | 按照参考平台清单和数据封装的安全操作系统启动 | |
CN110597837A (zh) | 业务数据处理方法、装置、存储介质和计算机设备 | |
EP3258660B1 (en) | Protection device and dongle and method for using the same | |
CN111275448A (zh) | 人脸数据处理方法、装置和计算机设备 | |
JP6954084B2 (ja) | デバイス、セキュアエレメント、プログラム、情報処理方法及び情報処理システム | |
CN114207613A (zh) | 用于激励式入侵检测系统的技术 | |
WO2020225929A1 (ja) | 情報管理システム、情報管理方法及び情報管理プログラム | |
CN111222865A (zh) | 资源数据转移方法、装置、存储介质和计算机设备 | |
AU2019272261A2 (en) | Method for processing a secure financial transaction using a commercial off-the-shelf or an internet of things device | |
CN113205342A (zh) | 基于多端支付的用户身份验证方法及装置 | |
CN112020718B (zh) | 电子装置的完整性检查 | |
CN110598374B (zh) | 基于区块链的作品登记方法、装置和计算机可读存储介质 | |
CN115345729A (zh) | 信用卡的发卡方法、装置、电子设备及存储介质 | |
JP4749017B2 (ja) | 擬似生体認証システム、及び擬似生体認証方法 | |
EP3868068B1 (en) | Distributing analysis models | |
US11954215B1 (en) | System and method for security suite concatenating validation elements for blockchain binding operations | |
US11343092B2 (en) | Biometric authentication method | |
WO2024042583A1 (ja) | 情報処理装置、aiモデル認証システム、aiモデル認証方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221122 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230602 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230612 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7419325 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |