WO2018142764A1 - 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置 - Google Patents

学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置 Download PDF

Info

Publication number
WO2018142764A1
WO2018142764A1 PCT/JP2017/044295 JP2017044295W WO2018142764A1 WO 2018142764 A1 WO2018142764 A1 WO 2018142764A1 JP 2017044295 W JP2017044295 W JP 2017044295W WO 2018142764 A1 WO2018142764 A1 WO 2018142764A1
Authority
WO
WIPO (PCT)
Prior art keywords
learned model
sensing
learned
consent
processor
Prior art date
Application number
PCT/JP2017/044295
Other languages
English (en)
French (fr)
Inventor
杉浦 雅貴
裕一 松本
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to CN201780027042.6A priority Critical patent/CN109074601A/zh
Priority to EP17895308.9A priority patent/EP3579160A1/en
Priority to JP2018538672A priority patent/JP7129598B2/ja
Priority to US16/097,968 priority patent/US10810461B2/en
Publication of WO2018142764A1 publication Critical patent/WO2018142764A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

学習済みモデル提供システム(1)が、来店者(S)からその来店者(S)の撮像画像が学習済みモデルの生成に利用されることについての利用同意を取得する同意取得装置(2)と、来店者(S)を撮像する複数のカメラ(3)と、カメラ(3)で撮像された撮像画像に基づき機械学習により学習済みモデルを生成する学習済みモデル生成装置(4)と、学習済みモデル生成装置(4)で生成された学習済みモデルを保管するサーバ装置(5)と、サーバ装置(5)から学習済みモデルの提供を受けるユーザ側装置(6)と、カメラ(7)と、会員データベース(8)とを備えた構成とする。

Description

学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置
 本開示は、1または複数のセンシング対象を1または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置に関する。
 従来、センシングデータを利用するセンサネットワークにおいてセンシングデータの流通を適正化することを目的として、センシングデータを出力するセンサに関する情報であるセンサ側メタデータと、センシングデータを利用してサービスを提供するアプリケーションに関する情報であるアプリ側メタデータとのマッチングを行うことにより、アプリケーションの要求を満たすセンシングデータを提供可能なセンサを抽出するようにした技術が知られている(特許文献1参照)。
特許第5445722号公報
 近年、企業等が取得する個人情報の保護に留意することが強く求められており、学習済みモデルについても、その生成に用いるためのセンシング情報に含まれる個人情報の扱いに関しても留意が求められる。すなわち、学習済みモデルの生成に利用されることについての利用同意が得られたセンシング対象のセンシング情報のみを利用して、学習済みモデルを生成することが望ましい。
 本開示は、このような従来技術の課題を鑑みて案出されたものでありセンシング対象から利用同意を得た上で学習済みモデルを生成することができる学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置を提供することを主目的とする。
 本開示の学習済みモデル生成方法は、少なくとも1つのプロセッサを使用して行う、1または複数のセンシング対象を1または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成方法であって、前記プロセッサは、前記1または複数のセンシング対象について、該センシング対象の前記センシング情報が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報を取得し、前記1または複数のセンシング対象の前記センシング情報において、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って学習データを作成し、前記学習データを使用した機械学習により学習済みモデルを生成することを特徴とする。
 本開示によれば、センシング対象から利用同意を得た上で学習済みモデルを生成することが可能となる。
図1は、本開示の学習済みモデル提供システムの全体構成図である。 図2は、同意取得装置の概略構成を示すブロック図である。 図3Aは、学習済みモデル生成装置の概略構成を示すブロック図である。 図3Bは、学習済みモデル生成装置の記憶部の概略構成を示すブロック図である。 図3Cは、報酬付与用データベースの一例を示す図である。 図4Aは、学習済みモデル提供装置の概略構成を示すブロック図である。 図4Bは、学習済みモデル提供装置の記憶部の概略構成を示すブロック図である。 図4Cは、学習済みモデルデータベースの一例を示す図である。 図5は、ユーザ側装置の概略構成を示すブロック図である。 図6は、学習済みモデル提供システムでの同意取得処理および匿名化加工処理の動作手順を示すシーケンス図である。 図7は、学習済みモデル提供システムでの学習済みモデル生成処理および電子署名付与処理の動作手順を示すシーケンス図である。 図8は、学習済みモデル提供システムでの学習済みモデルの利用要求処理および署名検証処理の動作手順を示すシーケンス図である。 図9は、学習済みモデル提供システムでの学習済みモデルの利用報告処理および同意者への報酬付与処理の動作手順を示すシーケンス図である。 図10は、別の実施形態に係る学習済みモデル提供システムの全体構成図である。 図11は、別の実施形態に係る同意取得装置の概略構成を示すブロック図である。
 上記課題を解決するためになされた第1の開示は、少なくとも1つのプロセッサを使用して行う、1または複数のセンシング対象を1または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成方法であって、前記プロセッサは、前記1または複数のセンシング対象について、該センシング対象の前記センシング情報が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報を取得し、前記1または複数のセンシング対象の前記センシング情報において、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って学習データを作成し、前記学習データを使用した機械学習により学習済みモデルを生成することを特徴とする。
 この第1の開示に係る学習済みモデル生成方法によれば、1または複数のセンシング対象のセンシング情報において、利用同意が得られなかったセンシング対象のセンシング情報を加工または削除する処理を行って作成した学習データを使用した機械学習により学習済みモデルを生成することができるので、センシング対象から利用同意を得た上で学習済みモデルを生成することが可能となる。
 また、第2の開示は、上記第1の開示において、前記生成された学習済みモデルに対して、前記学習データを作成するときに、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理がなされていることを保証する電子署名を付与することを特徴とする。
 この第2の開示に係る学習済みモデル生成方法によれば、生成された学習済みモデルに対して電子署名を付与することにより、その学習済みモデルの生成に使用された学習データを作成するときに、利用同意が得られなかったセンシング対象のセンシング情報を加工または削除する処理がなされていることを保証することができる。
 また、第3の開示は、上記第1または第2の開示において、前記センシング対象が人物であり、かつ前記センシング情報が前記人物の顔画像であり、前記プロセッサは、前記学習データを作成するときに、前記利用同意が得られなかった前記人物の顔画像を特定するために、前記利用同意を得られた前記人物の顔画像を取得することを特徴とする。
 この第3の開示に係る学習済みモデル生成方法によれば、センシング対象が人物であり、センシング情報が人物の顔画像である場合に、利用同意が得られた人物の顔画像を使用して、利用同意が得られなかった人物の顔画像を特定することが可能となる。
 また、第4の開示は、上記第3の開示において、前記顔画像は、前記利用同意が得られた前記人物の顔を撮像することにより取得することを特徴とする。
 この第4の開示に係る学習済みモデル生成方法によれば、利用同意が得られた人物の顔画像は、該人物の顔を撮像することにより取得することができる。
 また、第5の開示は、上記第3の開示において、前記顔画像は、前記利用同意が得られた前記人物が所持する携帯端末から、該携帯端末に予め記憶されている該人物の顔画像を近距離通信により取得することを特徴とする。
 この第5の開示に係る学習済みモデル生成方法によれば、利用同意が得られた人物の顔画像は、利用同意が得られた人物が所持する携帯端末から、該携帯端末に予め記憶されている該人物の顔画像を近距離通信により取得することができる。
 また、第6の開示は、上記第3の開示において、前記人物に固有の識別子が予め付与されているとともに、該識別子に該人物の顔画像が紐付けられて会員データベースに予め登録されており、前記顔画像は、前記利用同意が得られた前記人物に付与されている前記識別子に基づいて前記会員データベースを検索することにより取得することを特徴とする。
 この第6の開示に係る学習済みモデル生成方法によれば、利用同意が得られた人物の顔画像は、利用同意が得られた人物に付与されている識別子に基づいて会員データベースを検索することにより取得することができる。
 また、第7の開示は、上記第2の開示において、前記プロセッサは、前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルに付与されている前記電子署名の検証結果が不可であった旨の通知を取得したときに、該学習済みモデルに対して失効処理を行うことを特徴とする。
 この第7の開示に係る学習済みモデル生成方法によれば、学習済みモデルの提供を受けた学習済みモデル利用装置からその学習済みモデルに付与されている電子署名の検証結果が不可であった旨の通知を取得したときに、その学習済みモデルに対して失効処理を行うことができる。
 また、第8の開示は、上記第1の開示において前記プロセッサは、前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルを利用する旨の通知を取得したときに、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象または前記学習済みモデルの生成に関与した事業者に対して報酬データを付与することを特徴とする。
 この第8の開示に係る学習済みモデル生成方法によれば、学習済みモデルの提供を受けた学習済みモデル利用装置からその学習済みモデルを利用する旨の通知を取得したときに、その学習済みモデルを生成するときに利用同意が得られたセンシング対象またはその学習済みモデルの生成に関与した事業者に対して報酬データを付与することができる。
 また、第9の開示は、上記第8の開示において、前記プロセッサは、前記利用同意が得られた前記センシング対象に固有の識別子を付与するとともに、該識別子に、該センシング対象の前記センシング情報に基づく機械学習により生成された学習済みモデルを紐付けて報酬付与用データベースに登録しておき、前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルを利用する旨の通知を取得したときに、該学習済みモデルに紐付けられている前記識別子に基づいて前記報酬付与用データベースを検索して、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象を求めることを特徴とする。
 この第9の開示に係る学習済みモデル生成方法によれば、学習済みモデルの提供を受けた学習済みモデル利用装置からその学習済みモデルを利用する旨の通知を取得したときに、その学習済みモデルに紐付けられている識別子に基づいて報酬付与用データベースから検索することにより、その学習済みモデルを生成するときに利用同意が得られたセンシング対象を求めることができる。
 また、第10の開示は、1または複数のセンシング対象を1または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成装置であって、少なくとも1つのプロセッサと、前記1または複数のセンシング装置との間で通信を行う通信部とを備え、前記プロセッサは、前記1または複数のセンシング対象について、該センシング対象の前記センシング情報が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報を取得し、前記1または複数のセンシング対象の前記センシング情報において、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って学習データを作成することを特徴とする。
 この第10の開示に係る学習済みモデル生成装置によれば、1または複数のセンシング対象のセンシング情報において、利用同意が得られなかったセンシング対象のセンシング情報を加工または削除する処理を行うことができるので、センシング対象から利用同意を得た上で学習データを作成することが可能となる。
 また、第11の開示は、1または複数のセンシング対象を1または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成装置であって、少なくとも1つのプロセッサと、前記1または複数のセンシング装置との間で通信を行う通信部とを備え、前記プロセッサは、前記1または複数のセンシング対象の前記センシング情報において、前記学習済みモデルの生成に利用されることについての利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って作成した学習データを使用した機械学習により学習済みモデルを生成することを特徴とする。
 この第11の開示に係る学習済みモデル生成装置によれば、1または複数のセンシング対象のセンシング情報において、利用同意が得られなかったセンシング対象のセンシング情報を加工または削除する処理を行って作成した学習データを使用した機械学習により学習済みモデルを生成することができるので、センシング対象から利用同意を得た上で学習済みモデルを生成することが可能となる。
 また、第12の開示は、上記第11の開示において、前記生成された学習済みモデルに対して、前記学習データを作成するときに、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理がなされていることを保証する電子署名を付与することを特徴とする。
 この第12の開示に係る学習済みモデル生成装置によれば、生成された学習済みモデルに対して電子署名を付与することにより、その学習済みモデルの生成に使用された学習データを作成するときに、利用同意が得られなかったセンシング対象のセンシング情報を加工または削除する処理がなされていることを保証することができる。
 また、第13の開示は、請求項12に記載の学習済みモデル生成装置から提供された前記学習済みモデルを利用する学習済みモデル利用装置であって、少なくとも1つのプロセッサを備え、前記プロセッサは、前記学習済みモデルに付与されている電子署名の検証を行い、前記電子署名の前記検証結果が可であった場合に、前記学習済みモデルを利用して解析エンジンを構成して解析処理を実行することを特徴とする。
 以下、本開示の実施形態について、図面を参照しながら説明する。
 近年、画像認識や音声認識等の分野においてニューラルネットワークを利用した機械学習技術の研究開発の進展が目覚ましい。特に深層学習(ディープラーニング)という技術を用いると、従来の特徴量ベースによる画像認識・音声認識技術では得られなかった認識精度を実現できる例が報告されており、様々な産業への応用も検討されている。深層学習では、学習用の画像データや音声データを多層型ニューラルネットワークの入力層に入力したときに、正しい認識結果である出力データ(正解データ)が出力層から出力されるように学習処理が行われる。出力データは、典型的には入力データに対するアノテーションやメタデータであり、例えば、画像であれば写っている対象物の名称や種類・属性など、音声であれば発声された単語や文などであり得る。深層学習の学習処理は、ニューラルネットワークを構成する各ノード間の結合(シナプス結合)の重み値を、既知のアルゴリズムを用いて更新する(例えば逆誤差伝搬法では、出力層での正解との誤差を小さくするように重み値を調整・更新する等)ことによって行われる。学習処理が完了したノード間の重み値の集合体は「学習済みモデル」と呼ばれ、学習処理で用いたニューラルネットワークと同じ構成を持つニューラルネットワークに対して学習済みモデルを適用する(ノード間結合の重み値として設定する)ことで、未知の入力データ、すなわち学習処理で用いていない新たな入力データをそのニューラルネットワークに入力した際に、出力データ(認識結果)として、一定の精度で正解データを出力させることができる。したがって、学習済みモデルの生成(すなわち学習処理)を行う装置と異なる装置において、学習済みモデルを用いたニューラルネットワークを構成して認識処理を実行することで、学習した認識精度で画像認識や音声認識を行うことが可能となる。
 一方、近年では個人情報の保護に留意することが強く求められており、特に画像に含まれる顔画像や音声で表現された個人情報等については、利用目的を明示したうえで取得して予め同意した利用範囲内でのみ利用することが求められる。上述のように、学習済みモデルを生成する過程と学習済みモデルを利用する過程とは、それぞれ異なる装置を用いて、異なる主体の意思に基づき実行されることも想定されるため、学習用の画像データや音声データ等(以降、「センシング情報」と称する)に含まれる被写体や発声主体である人物等(以降、「センシング対象」と称する)についての個人情報保護への対応も必要となる。そこで本開示の実施の形態においては、学習済みモデルの生成に利用されることについての利用同意が得られたセンシング対象のセンシング情報のみを利用して、学習済みモデルを生成・提供・利用するためのシステムおよび装置について、実施の形態を説明する。
 本開示に係る学習済みモデル提供システム1は、1または複数のセンシング対象を1または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成するとともに、その生成された学習済みモデルをインターネット等のネットワークを介してユーザに提供するためのシステムである。以下では、小売店における来店者の撮像画像からその来店者の人物属性(例えば、年齢や性別等)や購買行動傾向を推定・予測するための学習済みモデルを生成する場合について説明する。
 図1は、本開示に係る学習済みモデル提供システム1の全体構成図である。図1に示すように、本開示に係る学習済みモデル提供システム1は、来店者Sからその来店者Sの撮像画像が学習済みモデルの生成に利用されることについての利用同意を取得する同意取得装置2と、来店者Sを撮像する複数のカメラ3(センシング装置)と、カメラ3で撮像された撮像画像に基づき機械学習により学習済みモデルを生成する学習済みモデル生成装置4と、学習済みモデル生成装置4で生成された学習済みモデルを保管する学習済みモデル提供装置5(以降、「サーバ装置5」と称する)と、サーバ装置5から学習済みモデルの提供を受ける学習済みモデル利用装置6(以降、「ユーザ側装置6」と称する)と、ユーザ側装置6で学習済みモデルを利用した処理を行うときに使用されるカメラ7と、会員データベース8とを備えて構成されている。
 学習済みモデル生成装置4は、同意取得装置2、カメラ3、および会員データベース8と、LAN(Local Area Network)等の有線または無線通信を介して接続されている。また、同意取得装置2は、会員データベース8と、LAN等の有線または無線通信を介して接続されている。学習済みモデル生成装置4、サーバ装置5、およびユーザ側装置6は、インターネット等のネットワークを介して互いに接続されている。ユーザ側装置6は、カメラ7と、LAN(Local Area Network)等の有線または無線通信を介して接続されている。なお、上記の各装置間の接続形態は特に限定されるものではなく、LAN等の有線または無線通信を介した接続、インターネット等のネットワークを介した接続、汎用のインターフェース(例えばUSB(Universal Serial Bus)インターフェース)を使用した通信ケーブルを介した接続等の様々な接続形態を用いることができる。
 同意取得装置2は、一般的なコンピュータ装置であり、例えば、店舗の入口等に設置された、来店者Sが所持する携帯端末または会員カード等を介して来店者Sに来店ポイントを付与するための来店ポイント付与装置と一体的に構成される。なお、同意取得装置2の構成形態は特に限定されるものではなく、例えば、レジ装置や店内案内装置等と一体的に構成してもよい。また、他の装置と一体的に構成するのではなく、単独で構成してもよい。
 同意取得装置2は、来店者S(センシング対象)に対して、その来店者Sの撮像画像(センシング情報)が学習済みモデルの生成に利用されることについての利用同意を求める旨を画面、音声、点字等により提示し、来店者Sから利用同意の可否の入力を受ける。また、同意取得装置2は、来店者Sから利用同意が得られた場合に、その来店者Sの顔を撮像するためのカメラ25を備えている。
 図2は、同意取得装置2の概略構成を示すブロック図である。図2に示すように、同意取得装置2は、記憶部21、プロセッサ22、提示部23、入力部24、カメラ25、通信部26、およびそれらを接続するバス27を備えている。
 記憶部21は、例えばROM(Read Only Memory)やハードディスク等の記憶装置(ストレージ)であり、同意取得装置2の各機能を実現するための各種プログラムおよび各種データを格納している。プロセッサ22は、例えばCPU(Central Processing Unit)であり、記憶部21から各種プログラムおよび各種データを図示しないRAM(Random Access Memory)上に読み出して、同意取得装置2の各処理を実行する。
 提示部23は、例えば、液晶表示パネル等のディスプレイ、スピーカ、点字ディスプレイなどで構成され、来店者Sに対し、利用同意を求める旨を提示するのに使用される。入力部24は、液晶タッチパネルなどの入力デバイス、マイク等で構成され、来店者Sが利用同意の可否を入力するのに使用される。カメラ25は、例えばCCDカメラ等の一般的な撮像装置であり、来店者Sの顔を撮像可能な位置に配置され、利用同意が得られた来店者Sの顔を撮像する。なお、カメラ25は、来店者Sの顔を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。通信部26は、LAN等の有線または無線通信を介して、学習済みモデル生成装置4および会員データベース8との間で通信を行う。
 カメラ3は、例えばCCDカメラ等の一般的な撮像装置であり、店内各所の壁や天井等に設置され、店内の予め定められた監視領域を静止画像または動画像として時系列に撮像する。カメラ3で撮像された撮像画像(センシング情報)は、学習済みモデル生成装置4で機械学習を行うときに学習データとして使用される。カメラ3は図示しない通信部を備えており、カメラ3で撮像された撮像画像は、前記通信部を介して学習済みモデル生成装置4に送信される。なお、カメラ3は、予め定められ監視領域を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
 学習済みモデル生成装置4は、一般的なコンピュータ装置であり、カメラ3から受信した撮像画像(センシング情報)に基づく機械学習により学習済みモデルを生成する。具体的には、カメラ3の撮像画像に基づき、多層構造のニューラルネットワークを用いた深層学習により学習済みモデルを生成する。
 図3Aは、学習済みモデル生成装置4の概略構成を示すブロック図であり、図3Bは、学習済みモデル生成装置4の記憶部の概略構成を示すブロック図である。図3Aに示すように、学習済みモデル生成装置4は、記憶部41、プロセッサ42、表示部43、入力部44、通信部45、およびそれらを接続するバス46を備えている。
 記憶部41は、例えばROMやハードディスク等の記憶装置(ストレージ)であり、学習済みモデル生成装置4の各機能を実現するための各種プログラムおよび各種データを格納している。また、図3Bに示すように、記憶部41は、後述する報酬付与に使用される各種データを記憶するための報酬付与用データベース47を格納している。
 図3Cは、報酬付与用データベース47の一例を示す図である。各学習済みモデルには固有のID(学習済みモデルID)が付与されており、その学習済みモデルを生成する際に使用された学習データである画像等に含まれる全ての人物(以降、「同意者」とも称する)にも固有のID(同意者ID)が付与されている。そして、図3Cに示すように、報酬付与用データベース47には、学習済みモデルIDに紐付けて、同意者の同意者IDが、その学習データにおける出現回数とともに記憶されている。
 プロセッサ42は、例えばCPUであり、記憶部41から各種プログラムおよび各種データを図示しないRAM上に読み出して、学習済みモデル生成装置4の各処理を実行する。表示部43は、液晶表示パネル等のディスプレイなどで構成され、プロセッサ42での処理結果の表示等に使用される。入力部44は、キーボードやマウス等の入力デバイスなどで構成され、学習済みモデル生成装置4の操作に使用される。通信部45は、LAN等の有線または無線通信を介して、同意取得装置2、カメラ3、および会員データベース8との間で通信を行う。また、通信部45は、インターネット等のネットワークを介して、サーバ装置5との間で通信を行う。
 サーバ装置5は、一般的なコンピュータ装置であり、学習済みモデル生成装置4から受信した1または複数の学習済みモデルを後述する学習済みモデルデータベース57(図4B参照)に保管している。そして、サーバ装置5は、ユーザ側装置6から利用要求を受信したときに、その利用要求に適合する学習済みモデルを学習済みモデルデータベース57に保管されている1または複数の学習済みモデルから選択してユーザ側装置6に送信する。このように、サーバ装置5は、予め保管されている学習済みモデルをユーザ側装置6に提供するためのクラウドサーバとして構成してもよい。
 図4Aは、サーバ装置5の概略構成を示すブロック図であり、図4Bは、サーバ装置5の記憶部の概略構成を示すブロック図である。図4Aに示すように、サーバ装置5は、記憶部51、プロセッサ52、表示部53、入力部54、通信部55、およびそれらを接続するバス56を備えている。
 記憶部51は、例えばROMやハードディスク等の記憶装置(ストレージ)であり、サーバ装置5の各機能を実現するための各種プログラムおよび各種データを格納している。また、図4Bに示すように、記憶部51は、学習済みモデルを保管するための学習済みモデルデータベース57を格納している。
 図4Cは、学習済みモデルデータベース57の一例を示す図である。図4Cに示すように、学習済みモデルデータベース57には、学習済みモデルIDに紐付けて、その学習済みモデルのモデル属性情報、その学習済みモデルを生成・提供した装置またはその装置の運用者に付与されたID(提供者ID)、その学習済みモデルを利用した装置またはその装置の運用者のID(利用者ID)、およびその学習済みモデルの失効の有無を示す失効フラグが記憶されている。モデル属性情報は、例えば、その学習済みモデルの学習目的、学習環境、学習データの所得日時、学習データ数、学習データの種類、機械学習に使用された装置(カメラ3および学習済みモデル生成装置4)の資源および能力(リソースおよびスペック)などである。
 プロセッサ52は、例えばCPUであり、記憶部51から各種プログラムおよび各種データを図示しないRAM上に読み出して、サーバ装置5の各処理を実行する。表示部53は、液晶表示パネル等のディスプレイなどで構成され、プロセッサ52での処理結果の表示等に使用される。入力部54は、キーボードやマウス等の入力デバイスなどで構成され、サーバ装置5の操作に使用される。通信部55は、インターネット等のネットワークを介して、学習済みモデル生成装置4およびユーザ側装置6との間で通信を行う。なお、サーバ装置5がクラウドサーバとして構成された場合は、表示部53および入力部54は必須の構成ではなく、インターネットを介してクライアントPC等のブラウザ上からWebインターフェースによって操作するようにしてもよい。この場合、クライアントPC等のディスプレイおよび入力デバイスが、表示部53および入力部54の機能を代行することとなる。
 ユーザ側装置6は、一般的なコンピュータ装置であり、サーバ装置5から提供された学習済みモデルを使用した画像解析処理や新たな機械学習等の処理を行うのに使用される。本実施形態では、ユーザ側装置6は、サーバ装置5から提供された学習済みモデルを使用して画像解析処理を行う。前述したように、サーバ装置5からユーザ側装置6への学習済みモデルの提供は、ユーザ側装置6がサーバ装置5に対して利用要求を送信することによりなされる。
 図5は、ユーザ側装置6の概略構成を示すブロック図である。図5に示すように、ユーザ側装置6は、記憶部61、プロセッサ62、表示部63、入力部64、通信部65、およびそれらを接続するバス66を備えている。
 記憶部61は、例えばROMやハードディスク等の記憶装置(ストレージ)であり、ユーザ側装置6の各機能を実現するための各種プログラムおよび各種データを格納している。プロセッサ62は、例えばCPUであり、記憶部61から各種プログラムおよび各種データを図示しないRAM上に読み出して、ユーザ側装置6の各処理を実行する。表示部63は、液晶表示パネル等のディスプレイなどで構成され、プロセッサ62での処理結果の表示等に使用される。入力部64は、キーボードやマウス等の入力デバイスなどで構成され、ユーザ側装置6の操作に使用される。通信部65は、インターネット等のネットワークを介して、サーバ装置5との間で通信を行う。また、通信部65は、LAN等の有線または無線通信を介して、カメラ7との間で通信を行う。
 カメラ7は、例えばCCDカメラ等の一般的な撮像装置であり、ユーザ側装置6で行われる画像解析処理に使用される画像(本実施形態では、人物の顔を含む画像)を撮像する。カメラ7は図示しない通信部を備えており、カメラ7で撮像された撮像画像は、前記通信部を介してユーザ側装置6に送信される。なお、カメラ7は、ユーザ側装置6で行われる画像解析処理または新たな機械学習に使用される画像を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
 会員データベース8は、その店舗の会員の属性情報(例えば、人物属性の情報や、購買行動属性の情報)や顔画像などを、その会員の会員IDに紐付けて格納している。購買行動履歴には、その会員が過去に購買した商品のカテゴリや、その会員が過去に手に取った商品(すなわち、興味を示した商品)のカテゴリ等が含まれる。したがって、来店者Sがその店舗の会員である場合は、会員IDに基づいて会員データベースを検索することにより、来店者Sの属性情報や顔画像を取得することが可能となる。このように会員IDに基づいて来店者Sの顔画像を取得することができる場合は、カメラ25で来店者Sの顔画像を取得する代わりに、会員データベースに格納されている顔画像を来店者Sの顔画像として用いる(この場合、カメラ25は必須の構成ではない)。
 なお、学習済みモデル提供システム1の上記の各装置は、コンピュータ装置に限らず、同様の機能を果たすことが可能な他の情報処理装置(例えばサーバ等)を用いることもできる。また、学習済みモデル提供システム1の上記の各装置の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
 次に、学習済みモデル提供システム1での各処理の動作手順について、図6-図9に示すシーケンス図を参照して説明する。
 図6は、学習済みモデル提供システム1での同意取得処理および匿名化加工処理の動作手順を示すシーケンス図である。同意取得処理および匿名化加工処理は、同意取得装置2および学習済みモデル生成装置4により行われる。以下、図6のシーケンス図を参照して、同意取得装置2および学習済みモデル生成装置4による同意取得処理および匿名化加工処理の動作手順について説明する。
 まず、同意取得装置2の提示部23に、店内各所に設置されたカメラ3で撮像された来店者S(センシング対象)の撮像画像(センシング情報)が学習済みモデルの生成に利用されることについての利用同意を求める旨を、画面、音声、点字等により提示する(ステップST101)。なお、この利用同意に、生成された学習済みモデルが第三者に提供されることについての同意を含めてもよい。
 来店者Sは、同意取得装置2の提示部23に提示された利用同意を理解した後、同意取得装置2の入力部24を操作して利用同意の可否を入力する(ステップST102)。入力部24が液晶タッチパネルで構成されている場合は、来店者Sは液晶タッチパネルに表示されたボタンやアイコンにタッチすることによって、利用同意の可否を入力する。入力部24がマイクで構成されている場合は、来店者Sは音声によって、利用同意の可否を入力する。来店者Sから利用同意が得られた場合は、次のステップST103に進む。来店者Sから利用同意を得られなかった場合は、処理を終了して、先のステップST101に戻る。
 来店者Sから利用同意が得られた場合は、その来店者S(すなわち、同意者)に対して、固有の同意者IDを付与する(ステップST103)。なお、本実施形態では、同意取得装置2は来店ポイント付与装置と一体的に構成されているので、同意者Sがその店舗の会員である場合は、来店ポイント付与装置が来店ポイントを付与するときに来店者の携帯端末または会員カードから取得した会員IDを、同意者Sの同意者IDとして使用するとよい。
 また、来店者Sから利用同意が得られた場合は、その来店者S(同意者)の顔を同意取得装置2のカメラ25で撮像する。カメラ25で撮像された同意者Sの顔画像(以降、「同意顔」と称する)は、同意者IDに紐付けられる。同意者Sがその店舗の会員であり、かつ同意者Sの会員IDに同意者Sの顔画像が紐付けられて会員データベース8に事前に登録されている場合は、同意顔は、会員IDに基づいて会員データベース8を検索して取得してもよい。
 また、同意顔には、そのメタデータとして、同意者Sの属性情報(例えば、人物属性の情報や、購買行動属性の情報)が付与される。この属性情報は、学習済みモデル生成装置4の使用者が該装置4の入力部44を操作して入力してもよいし、同意者Sがその店舗の会員である場合は、会員データベース8に事前に登録されている会員情報から取得してもよい。
 同意者の同意者ID、同意顔、および同意者の属性情報を含む同意者情報は、同意取得装置2から学習済みモデル生成装置4に送信される(ステップST105)。学習済みモデル生成装置4は、同意取得装置2から受信した同意者情報を、記憶部41に保存する(ステップST106)。
 学習済みモデル生成装置4は、店内各所に設置された複数のカメラ3から、カメラ3で撮像された撮像画像を受信する(ステップST107)。カメラ3から受信した撮像画像は、学習済みモデル生成装置4の記憶部41に保存される。続いて、学習済みモデル生成装置4は、撮像画像から人物の顔領域を検出する。そして、学習済みモデル生成装置4は、撮像画像から検出された顔領域を記憶部41に保存された同意顔と照合することにより、同意顔以外の顔領域(以降、「非同意顔」と称する)を特定して抽出する(ステップST108)。このように、同意取得装置2で取得された同意顔は、カメラ3で撮像された撮像画像から非同意顔を抽出するための照合用データとして使用される。なお、この非同意顔を抽出する処理は、リアルタイム処理で行ってもよいし、バッチ処理で行ってもよい。
 次に、学習済みモデル生成装置4は、撮像画像中の非同意顔の領域に対して匿名化加工を行う(ステップST109)。匿名化加工としては、例えば、顔消去処理、モザイク処理、またはマスキング処理を用いることができる。匿名化加工された撮像画像は、機械学習に使用するための学習用画像(学習データ)として記憶部41に保存される(ステップST110)。
 このようにして、本開示に係る学習済みモデル提供システム1は、学習済みモデルの生成に利用されることについての利用同意が得られなかった来店者S(センシング対象)の非同意顔(センシング情報)を匿名化加工することにより、非同意顔を含まない学習データを作成することができる。
 図7は、学習済みモデル提供システム1での学習済みモデル生成処理および電子署名付与処理の動作手順を示すシーケンス図である。学習済みモデル生成処理および電子署名付与処理は、学習済みモデル生成装置4およびサーバ装置5により行われる。以下、図7のシーケンス図を参照して、学習済みモデル生成装置4およびサーバ装置5による学習済みモデル生成処理および電子署名付与処理の動作手順について説明する。
 まず、学習済みモデル生成装置4は、記憶部41に保存された学習用画像(学習データ)と、学習用画像に対応する正解データ(教師データ)とを使用して機械学習を行い、学習済みモデルを生成する(ステップST201)。正解データは、例えば、来店者Sの人物属性(例えば、年齢や性別等)や購買行動属性(例えば、過去に購買した商品のカテゴリや、過去に手に取った商品のカテゴリ等)であり、入力部44による手動の入力、または記憶部41に記憶された同意者情報に基づいて設定される。具体的には、多層構造のニューラルネットワークを用いた深層学習等において、逆誤差伝搬法等の既知の方式に基づいて、入力される学習データに対応した出力データと正解データとの誤差が小さくなるようにニューラルネットワークのノード間結合パラメータ(重み値)を更新していくことにより学習処理を行い、学習処理結果としての学習済みモデル(すなわち、ノード間結合パラメータの集合であり、行列形式で表現してもよいし単なる数値集合で表現してもよい)を生成する。前述したように、本実施形態では、店内各所に設置されたカメラ3で撮像した撮像画像を入力した際に、来店者Sの人物属性や購買行動属性を推定・予測結果として出力するための学習済みモデルを生成する。このようにして生成された学習済みモデルは、来店者Sの人物属性や購買行動属性をリアルタイムで予測することができるので、複数の来店者の購買行動属性などを推測することにより商品の在庫管理や発注管理等にも利用することができる。生成された学習済みモデルには、固有のモデルID(学習済みモデルID)が付与される。モデルIDは、その学習済みモデルを生成するために用いる学習データ作成の前に利用同意が得られた同意者の同意者IDに紐付けて、報酬付与用データベース47に保存される(ステップST202)。
 次に、学習済みモデル生成装置4は、生成された学習済みモデルに対して、その学習済みモデルを生成するときに使用された学習用画像(学習データ)を作成するときに、利用同意が得られなかった来店者Sの非同意顔を匿名化加工する処理がなされていることを保証する電子署名を付与する(ステップST203)。電子署名の付与は、公開鍵を用いた公知の方法(認証局が発行した公開鍵証明書を用いた電子署名)に基づき行われる。
 電子署名が付与された署名付き学習済みモデルは、電子署名の付与に使用された公開鍵証明書、および学習済みモデルのモデル属性情報とともに、サーバ装置5に送信される(ステップST204)。前述したように、モデル属性情報は、例えば、その学習済みモデルの学習目的、学習環境、学習データの所得日時、学習データ数、学習データの種類、機械学習に使用された装置(カメラ3および学習済みモデル生成装置4)の資源および能力(リソースおよびスペック)などである。
 サーバ装置5は、学習済みモデル生成装置4から受信した署名付き学習済みモデル、公開鍵証明書、およびモデル属性情報を、学習済みモデルデータベース57に格納する(ステップST205)。
 このようにして、本開示に係る学習済みモデル提供システム1は、非同意顔を含まない学習用画像(学習データ)から学習済みモデルを生成するとともに、生成された学習済みモデルに対して、その学習済みモデルを生成するときに使用された学習用画像(学習データ)を作成するときに、利用同意が得られなかった来店者S(センシング対象)の非同意顔(センシング情報)を匿名化加工する処理(加工または削除する処理)がなされていることを保証する電子署名を付与することができる。
 図8は、学習済みモデル提供システム1での学習済みモデルの利用要求処理および署名検証処理の動作手順を示すシーケンス図である。学習済みモデルの利用要求処理および署名検証処理は、サーバ装置5およびユーザ側装置6により行われる。以下、図8のシーケンス図を参照して、サーバ装置5およびユーザ側装置6による学習済みモデルの利用要求処理および署名検証処理の動作手順について説明する。
 まず、サーバ装置5から学習済みモデルの提供を受けることを所望するユーザは、ユーザ側装置6に学習済みモデルの利用要求を入力する(ステップST301)。ユーザから学習済みモデルの利用要求が入力されたユーザ側装置6は、学習済みモデルの利用要求を、ユーザ側装置6の利用属性情報および学習済みモデルの利用対価とともに、ユーザ側装置6に送信する(ステップST302)。利用属性情報とは、例えば、ユーザの利用目的、ユーザ側装置6およびカメラ7の資源および能力(リソースおよびスペック)、ユーザ側装置6で学習済みモデルを利用するときの学習環境や学習データ数などである。学習済みモデルの利用対価は、例えば、仮想通貨やポイントなどである。
 サーバ装置5は、ユーザ側装置6から学習済みモデルの利用要求、利用属性情報、および利用対価を受信すると、公知のマッチング手法を用いて、ユーザ側装置6から受信した利用属性情報と、学習済みモデルデータベース57に格納された学習済みモデルのモデル属性情報とのマッチングを行い、利用属性情報に適合する署名付き学習済みモデルを選択する(ステップST303)。選択された学習済みモデルは、それに対応する公開鍵証明書を添付して、ユーザ側装置6に送信される(ステップST304)。
 ユーザ側装置6は、サーバ装置5から受信した学習済みモデルに改ざんや偽造が行われていないことを確認するために、学習済みモデルに付与されている電子署名の有効性を、学習済みモデルに添付された公開鍵証明書の公開鍵を用いて検証する(ステップST305)。
 検証結果が可(OK)であった場合(ステップST305:OK)は、学習済みモデルを解析エンジンプログラム(ニューラルネットワークを構成し、それに基づく解析処理を実行するプログラム)に読み込ませて解析エンジンを構成する(ステップST306)。解析エンジンの構成後は、カメラ7からユーザ側装置6に撮像画像を入力し(ステップST307)、入力された撮像画像を使用して所定の画像解析(本実施形態では来店者の人物属性や購買行動属性の推定・予測)を実行し(ステップST308)、その解析結果を出力する(ステップST309)。
 検証結果が不可(NG)であった場合(ステップST305:NG)は、ユーザ側装置6は、検証結果が不可だったことを示す情報とともに、別の学習済みモデルを選択して再送信することを要求する再要求通知をサーバ装置5に送信する(ステップST310)。
 サーバ装置5は、ユーザ側装置6から学習済みモデルの再要求通知を受信すると、学習済みモデルデータベース57において、検証結果がNGだった学習済みモデルに失効フラグを記入することにより、その学習済みモデルに対する失効処理を行う(ステップST311)。その後、ステップST303に戻り、マッチングを再度行い、学習済みモデルを新たに選択する。
 このようにして、本開示に係る学習済みモデル提供システム1では、ユーザ側装置6は、サーバ装置5から、ユーザ側装置6の利用属性情報に適合する学習済みモデルの提供を受けることができる。また、ユーザ側装置6に提供された学習済みモデルに付与されている電子署名の検証結果が不可であった場合に、その学習済みモデルに対して失効処理を行うことができる。
 図9は、学習済みモデル提供システム1での学習済みモデルの利用報告処理および同意者への報酬付与処理の動作手順を示すシーケンス図である。学習済みモデルの利用報告処理および同意者への報酬付与処理は、学習済みモデル生成装置4、サーバ装置5、およびユーザ側装置6により行われる。以下、図9のシーケンス図を参照して、学習済みモデル生成装置4、サーバ装置5、およびユーザ側装置6による学習済みモデルの利用報告処理および同意者への報酬付与処理の動作手順について説明する。
 まず、ユーザ側装置6は、図8のシーケンス図のステップST305での署名検証の結果がOKだった場合(ステップST305:OK)に、その学習済みモデルを利用することを決定した旨を示す利用決定報告を、利用することが決定された学習済みモデルのモデルIDとともにサーバ装置5に送信する(ステップST401)。
 サーバ装置5は、ユーザ側装置6から利用決定報告を受信すると、学習済みモデルデータベース57に、ユーザ側装置6に提供した学習済みモデルが利用されたことを示す利用履歴をその学習済みモデルのモデルIDに紐付けて記録する(ステップST402)。
 次に、サーバ装置5は、学習済みモデル生成装置4に、ユーザ側装置6に提供した学習済みモデルが利用されたことを示す利用報告を、その学習済みモデルのモデルIDおよび報酬データとともに送信する(ステップST403)。報酬データは、その学習済みモデルを生成するときに利用同意が得られた同意者に報酬として付与されるデータであり、例えば、仮想通貨やポイントなどのデータである。
 学習済みモデル生成装置4は、サーバ装置5から利用報告を受信すると、ユーザ側装置6で利用することが決定された学習済みモデルを生成するときに利用同意が得られた同意者を検索する(ステップST404)。具体的には、ユーザ側装置6で利用することが決定された学習済みモデルのモデルIDに基づいて報酬付与用データベース47を検索することにより同意者IDを求める。前述したように、モデルIDは同意者IDに紐付けて報酬付与用データベース47に記憶されているので、モデルIDに基づいて同意者IDを求めることができる。
 そして、学習済みモデル生成装置4は、同意者に対して報酬データ(例えば、仮想通貨やポイントなどのデータ)を付与する(ステップST405)。同意者に対する報酬データの付与は、例えば、同意者の次回の来店時に、同意取得装置2または来店ポイント付与装置から同意者の携帯端末または会員カードに対して行うとよい。なお、同意者に対する報酬データの付与の方法は、これに限定されるものではなく他の様々な方法であってよい。報酬データの付与対象となる同意者が複数存在する場合は、報酬データは、各同意者に対して所定の割合で配分するようにするとよい。配分の割合は、その学習済みモデルの生成に使用された学習用画像における同意者の貢献度(例えば、出現回数等)に基づいて決定するとよい。
 このようにして、本開示に係る学習済みモデル提供システム1では、サーバ装置5がユーザ側装置6から利用決定報告を受信したときに、その学習済みモデルの利用履歴を学習済みモデルデータベース57に記録するとともに、その学習済みモデルを生成するときに利用同意が得られた同意者に対して報酬データを付与することができる。
 以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る学習済みモデル生成方法および学習済みモデル生成装置の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
 例えば、本実施形態では、学習済みモデル生成装置4での機械学習に使用される学習用画像(学習データ)は、店内各所に設置されたカメラ3で撮像された撮像画像に含まれる顔領域のうち、同意取得装置2のカメラ25で撮像された同意者Sの顔画像(同意顔)以外の顔領域(非同意顔)に対して匿名化処理を施すことにより生成したが、同意者Sが所持する携帯端末に予め記憶されている同意者Sの顔画像(同意顔)を、同意者Sの携帯端末から近距離通信により取得し、その同意顔とカメラ3の撮影画像との照合に基づき匿名化処理を行って学習用画像を生成するように構成してもよい。この場合は、図10および図11に示すように、同意取得装置2は近距離通信部28を備えており、この近距離通信部28を介して同意者Sの携帯端末9と近距離通信を行うことにより、携帯端末9に予め記憶されている同意者Sの顔画像(同意顔)を取得する。近距離通信としては、例えば、WiFi(登録商標)、Bluetooth(登録商標)、赤外線通信等を用いることができる。
 また、本実施形態では、上述した匿名化加工処理、学習済みモデル生成処理、電子署名付与処理、および報酬付与処理の各処理は全て学習済みモデル生成装置4で行ったが、上記の各処理の少なくとも一部をサーバ装置5で行うように構成してもよい。例えば、匿名化加工処理および報酬付与処理を学習済みモデル生成装置4で行い、学習済みモデル生成処理および署名付与処理をサーバ装置5で行うように構成してもよい。
 また、本実施形態では、報酬データを同意者に付与するように構成したが、報酬データは必ずしも同意者に付与する必要はなく、カメラ3や学習済みモデル生成装置4を備えている店舗事業者、または学習済みモデルの生成に関与した他の事業者に付与するように構成してもよい。
 また、本実施形態では、センシング対象から学習済みモデルの生成に利用されることについての同意を取得するように構成したが、学習済みモデルの生成に利用されることに同意しない意思(非同意)を取得するか、または、学習済みモデルの生成に利用されることについての同意または非同意を選択させた上で、非同意のセンシング対象について、カメラ3の撮像画像の匿名化処理を施すように構成してもよい。
 また、本実施形態では、センシング情報としてカメラで撮影した撮像画像を例に挙げて説明したが、マイクで取得した音声データや、GPS・無線タグ・Bluetooth(登録商標)ビーコン等を用いて取得した位置データ等に基づき、人物の属性・行動を学習する構成としてもよい。この場合は、学習済みモデルを用いた解析によって、音声や位置データ等から人物の属性・行動を予測・推定することが可能となる。
 また、本実施形態では、学習済みモデルに付与された電子署名の検証処理をユーザ側装置6で行うように構成したが、サーバ装置5が学習済みモデル生成装置4から学習済みモデルを受信した際に、サーバ装置5において電子署名の検証処理を行うように構成してもよい。この場合は、学習済みモデルの失効処理は、サーバ装置5内部に閉じた処理として実施することが可能となる。
 また、本実施形態では、人物の撮像画像からその人物の属性(例えば年齢や性別等)や購買行動傾向を推定するための学習済みモデルを生成することを機械学習の目的としたが、機械学習の目的は、これに限定されるものではなく、製造、物流、公共サービス、交通、医療、教育、金融等の様々な分野における様々な目的であってよい。
 本開示に係る学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置は、センシング対象から利用同意を得た上で学習済みモデルを生成することを可能とする学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置として有用である。
 1  学習済みモデル提供システム
 2  同意取得装置
 3  カメラ
 4  学習済みモデル生成装置
 5  学習済みモデル提供装置(サーバ装置)
 6  学習済みモデル利用装置(ユーザ側装置)
 7  カメラ
 8  会員データベース
 9  携帯端末
 28 近距離通信部
 42 プロセッサ
 45 通信部
 47 報酬付与用データベース
 52 プロセッサ
 55 通信部
 57 学習済みモデルデータベース
 S  来店者

Claims (13)

  1.  少なくとも1つのプロセッサを使用して行う、1または複数のセンシング対象を1または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成方法であって、
     前記プロセッサは、
     前記1または複数のセンシング対象について、該センシング対象の前記センシング情報が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報を取得し、
     前記1または複数のセンシング対象の前記センシング情報において、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って学習データを作成し、
     前記学習データを使用した機械学習により学習済みモデルを生成する
     ことを特徴とする学習済みモデル生成方法。
  2.  前記生成された学習済みモデルに対して、前記学習データを作成するときに、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理がなされていることを保証する電子署名を付与することを特徴とする請求項1に記載の学習済みモデル生成方法。
  3.  前記センシング対象が人物であり、かつ前記センシング情報が前記人物の顔画像であり、
     前記プロセッサは、
     前記学習データを作成するときに、前記利用同意が得られなかった前記人物の顔画像を特定するために、前記利用同意を得られた前記人物の顔画像を取得することを特徴とする請求項1または請求項2に記載の学習済みモデル生成方法。
  4.  前記顔画像は、前記利用同意が得られた前記人物の顔を撮像することにより取得することを特徴とする請求項3に記載の学習済みモデル生成方法。
  5.  前記顔画像は、前記利用同意が得られた前記人物が所持する携帯端末から、該携帯端末に予め記憶されている該人物の顔画像を近距離通信により取得することを特徴とする請求項3に記載の学習済みモデル生成方法。
  6.  前記人物に固有の識別子が予め付与されているとともに、該識別子に該人物の顔画像が紐付けられて会員データベースに予め登録されており、
     前記顔画像は、前記利用同意が得られた前記人物に付与されている前記識別子に基づいて前記会員データベースを検索することにより取得することを特徴とする請求項3に記載の学習済みモデル生成方法。
  7.  前記プロセッサは、
     前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルに付与されている前記電子署名の検証結果が不可であった旨の通知を取得したときに、該学習済みモデルに対して失効処理を行うことを特徴とする請求項2に記載の学習済みモデル生成方法。
  8.  前記プロセッサは、
     前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルを利用する旨の通知を取得したときに、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象または前記学習済みモデルの生成に関与した事業者に対して報酬データを付与することを特徴とする請求項1に記載の学習済みモデル生成方法。
  9.  前記プロセッサは、
     前記利用同意が得られた前記センシング対象に固有の識別子を付与するとともに、該識別子に、該センシング対象の前記センシング情報に基づく機械学習により生成された学習済みモデルを紐付けて報酬付与用データベースに登録しておき、
     前記学習済みモデルの提供を受けた学習済みモデル利用装置から、該学習済みモデルを利用する旨の通知を取得したときに、該学習済みモデルに紐付けられている前記識別子に基づいて前記報酬付与用データベースを検索して、該学習済みモデルを生成するときに前記利用同意が得られた前記センシング対象を求めることを特徴とする請求項8に記載の学習済みモデル生成方法。
  10.  1または複数のセンシング対象を1または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成装置であって、
     少なくとも1つのプロセッサと、前記1または複数のセンシング装置との間で通信を行う通信部とを備え、
     前記プロセッサは、
     前記1または複数のセンシング対象について、該センシング対象の前記センシング情報が前記学習済みモデルの生成に利用されることについての利用同意の有無を示す情報を取得し、
     前記1または複数のセンシング対象の前記センシング情報において、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って学習データを作成する
     ことを特徴とする学習済みモデル生成装置。
  11.  1または複数のセンシング対象を1または複数のセンシング装置でセンシングして取得したセンシング情報に基づく機械学習により学習済みモデルを生成する学習済みモデル生成装置であって、
     少なくとも1つのプロセッサと、前記1または複数のセンシング装置との間で通信を行う通信部とを備え、
     前記プロセッサは、
     前記1または複数のセンシング対象の前記センシング情報において、前記学習済みモデルの生成に利用されることについての利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理を行って作成した学習データを使用した機械学習により学習済みモデルを生成する
     ことを特徴とする学習済みモデル生成装置。
  12.  前記生成された学習済みモデルに対して、前記学習データを作成するときに、前記利用同意が得られなかった前記センシング対象の前記センシング情報を加工または削除する処理がなされていることを保証する電子署名を付与することを特徴とする請求項11に記載の学習済みモデル生成装置。
  13.  請求項12に記載の学習済みモデル生成装置から提供された前記学習済みモデルを利用する学習済みモデル利用装置であって、
     少なくとも1つのプロセッサを備え、
     前記プロセッサは、
     前記学習済みモデルに付与されている電子署名の検証を行い、前記電子署名の前記検証結果が可であった場合に、前記学習済みモデルを利用して解析エンジンを構成して解析処理を実行する
     ことを特徴とする学習済みモデル利用装置。
PCT/JP2017/044295 2017-02-03 2017-12-11 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置 WO2018142764A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780027042.6A CN109074601A (zh) 2017-02-03 2017-12-11 学得模型生成方法、学得模型生成装置以及学得模型利用装置
EP17895308.9A EP3579160A1 (en) 2017-02-03 2017-12-11 Learned model generating method, learned model generating device, and learned model use device
JP2018538672A JP7129598B2 (ja) 2017-02-03 2017-12-11 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置
US16/097,968 US10810461B2 (en) 2017-02-03 2017-12-11 Learned model generating method, learned model generating device, and learned model use device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017018293 2017-02-03
JP2017-018293 2017-02-03

Publications (1)

Publication Number Publication Date
WO2018142764A1 true WO2018142764A1 (ja) 2018-08-09

Family

ID=63039488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/044295 WO2018142764A1 (ja) 2017-02-03 2017-12-11 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置

Country Status (5)

Country Link
US (1) US10810461B2 (ja)
EP (1) EP3579160A1 (ja)
JP (1) JP7129598B2 (ja)
CN (1) CN109074601A (ja)
WO (1) WO2018142764A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157692A1 (en) * 2015-06-30 2018-06-07 Omron Corporation Data flow control device and data flow control method
JPWO2020195419A1 (ja) * 2019-03-27 2020-10-01
WO2021075023A1 (ja) * 2019-10-17 2021-04-22 オリンパス株式会社 学習支援システム及び学習支援方法
JPWO2021075091A1 (ja) * 2019-10-15 2021-04-22
JP6982672B1 (ja) * 2020-11-21 2021-12-17 株式会社オプティム プログラム、方法、情報処理装置及びシステム
WO2022009652A1 (ja) * 2020-07-07 2022-01-13 ソニーグループ株式会社 データ収集システム、センサ装置、データ収集装置、及びデータ収集方法
WO2022101996A1 (ja) * 2020-11-10 2022-05-19 日本電信電話株式会社 モデル利用制御システム、モデル利用制御方法、モデル利用制御装置、および、モデル利用制御プログラム
JP2022116917A (ja) * 2021-01-29 2022-08-10 株式会社 みずほ銀行 認証システム、認証方法及び認証プログラム
JP7372011B2 (ja) 2018-11-05 2023-10-31 インターナショナル・ビジネス・マシーンズ・コーポレーション 深層学習の大規模なモデル・サポート
JP7373659B2 (ja) 2019-10-31 2023-11-02 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 自動診断分析システムにおいて検体の特性評価中に患者情報を保護するための方法および装置
JP7403995B2 (ja) 2019-08-22 2023-12-25 キヤノン株式会社 情報処理装置、制御方法およびプログラム
JP7456844B2 (ja) 2020-05-13 2024-03-27 東芝ライフスタイル株式会社 情報処理システム
WO2024071733A1 (ko) * 2022-09-29 2024-04-04 네이버랩스 주식회사 식별자 인식 기반 위치 결정 방법 및 장치
JP7481654B2 (ja) 2020-11-10 2024-05-13 日本電信電話株式会社 モデル利用制御システム、モデル利用制御方法、モデル利用制御装置、および、モデル利用制御プログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410024B2 (en) * 2017-04-28 2022-08-09 Intel Corporation Tool for facilitating efficiency in machine learning
US11227170B2 (en) * 2017-07-20 2022-01-18 Panasonic Intellectual Property Management Co., Ltd. Collation device and collation method
US10417527B2 (en) * 2017-09-06 2019-09-17 Irdeto B.V. Identifying an object within content
US20190236360A1 (en) * 2018-01-30 2019-08-01 Mashgin Inc. Feedback loop for image-based recognition
US11004449B2 (en) * 2018-11-29 2021-05-11 International Business Machines Corporation Vocal utterance based item inventory actions
EP3757888A1 (en) * 2019-06-27 2020-12-30 Koninklijke Philips N.V. Multi-task deep learning method for a neural network for automatic pathology detection
US11436305B2 (en) * 2019-10-10 2022-09-06 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using implicit data
US11775692B2 (en) 2019-10-10 2023-10-03 Baidu Usa Llc Method and system for encrypting data using a kernel
US11537689B2 (en) 2019-10-10 2022-12-27 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using a kernel
US11457002B2 (en) 2019-10-10 2022-09-27 Baidu Usa Llc Method and system for encrypting data using a command
US11637697B2 (en) 2019-10-10 2023-04-25 Baidu Usa Llc Method and system for signing output using a kernel
US11704390B2 (en) 2019-10-10 2023-07-18 Baidu Usa Llc Method and system for signing an artificial intelligence watermark using a query
JP2021093568A (ja) * 2019-12-06 2021-06-17 キヤノン株式会社 撮像装置、情報処理装置、及びこれらの制御方法並びにプログラム、学習済みモデル選択システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318391A (ja) * 2003-04-15 2004-11-11 Mitsubishi Electric Corp 情報提供装置及び情報提供システム及び分散データベースシステム
JP2006244301A (ja) * 2005-03-04 2006-09-14 Nec Corp 画像証明システム及び証明書発行システム並びにこれらを用いた証明書発行支援システム
JP2010278482A (ja) * 2009-04-30 2010-12-09 Sony Corp 情報処理装置、電子署名生成システム、電子署名用の鍵生成方法、情報処理方法、及びプログラム
JP5445722B1 (ja) 2012-09-12 2014-03-19 オムロン株式会社 データフロー制御指令発生装置およびセンサ管理装置
US20150055775A1 (en) * 2013-08-20 2015-02-26 Electronics And Telecommunications Research Institute Image processing apparatus and operation method thereof
JP2015220574A (ja) * 2014-05-16 2015-12-07 ソニー株式会社 情報処理システム、記憶媒体、およびコンテンツ取得方法
JP2016053869A (ja) * 2014-09-04 2016-04-14 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2016126597A (ja) * 2015-01-06 2016-07-11 マツダ株式会社 車両用歩行者画像取得装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351676B2 (en) * 2010-10-12 2013-01-08 Sony Corporation Digital image analysis using multi-step analysis
US20120323794A1 (en) * 2011-06-15 2012-12-20 Microsoft Corporation Monetization strategies in privacy-conscious personalization
US9147128B1 (en) * 2013-11-12 2015-09-29 214 Technologies Inc. Machine learning enhanced facial recognition
US9519408B2 (en) * 2013-12-31 2016-12-13 Google Inc. Systems and methods for guided user actions
JP6428152B2 (ja) * 2014-10-24 2018-11-28 富士通株式会社 肖像権保護プログラム、情報通信装置及び肖像権保護方法
US9672370B1 (en) * 2014-10-24 2017-06-06 Google Inc. Sharing digital media within a space
JP5848481B1 (ja) * 2015-05-12 2016-01-27 グリー株式会社 情報管理システム、情報管理方法及び情報管理プログラム
US9704020B2 (en) * 2015-06-16 2017-07-11 Microsoft Technology Licensing, Llc Automatic recognition of entities in media-captured events
US10129477B2 (en) * 2015-08-19 2018-11-13 Google Llc Smart image sensor having integrated memory and processor
US9864901B2 (en) * 2015-09-15 2018-01-09 Google Llc Feature detection and masking in images based on color distributions
US10062133B1 (en) * 2016-01-26 2018-08-28 Google Llc Image retrieval for computing devices

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318391A (ja) * 2003-04-15 2004-11-11 Mitsubishi Electric Corp 情報提供装置及び情報提供システム及び分散データベースシステム
JP2006244301A (ja) * 2005-03-04 2006-09-14 Nec Corp 画像証明システム及び証明書発行システム並びにこれらを用いた証明書発行支援システム
JP2010278482A (ja) * 2009-04-30 2010-12-09 Sony Corp 情報処理装置、電子署名生成システム、電子署名用の鍵生成方法、情報処理方法、及びプログラム
JP5445722B1 (ja) 2012-09-12 2014-03-19 オムロン株式会社 データフロー制御指令発生装置およびセンサ管理装置
US20150055775A1 (en) * 2013-08-20 2015-02-26 Electronics And Telecommunications Research Institute Image processing apparatus and operation method thereof
JP2015220574A (ja) * 2014-05-16 2015-12-07 ソニー株式会社 情報処理システム、記憶媒体、およびコンテンツ取得方法
JP2016053869A (ja) * 2014-09-04 2016-04-14 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2016126597A (ja) * 2015-01-06 2016-07-11 マツダ株式会社 車両用歩行者画像取得装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DREAM GATE SECRETARIAT, DETERMINED BY LEADING EXPERTS IN AI RESEARCH, THE VENTURE OF SELLING LEARNED ARTIFICIAL INTELLIGENCE ''METADATA CORPORATION, 20 November 2016 (2016-11-20), Retrieved from the Internet <URL:https://web.archive.org/web/20161120124912/http://www.dreamgate.gr.jp/news/4183> [retrieved on 20180215] *
See also references of EP3579160A4

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157692A1 (en) * 2015-06-30 2018-06-07 Omron Corporation Data flow control device and data flow control method
US11748326B2 (en) * 2015-06-30 2023-09-05 Omron Corporation Data flow control device and data flow control method
US11915147B2 (en) 2018-11-05 2024-02-27 International Business Machines Corporation Large model support in deep learning
JP7372011B2 (ja) 2018-11-05 2023-10-31 インターナショナル・ビジネス・マシーンズ・コーポレーション 深層学習の大規模なモデル・サポート
JP7308466B2 (ja) 2019-03-27 2023-07-14 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、及び、プログラム
JPWO2020195419A1 (ja) * 2019-03-27 2020-10-01
JP7403995B2 (ja) 2019-08-22 2023-12-25 キヤノン株式会社 情報処理装置、制御方法およびプログラム
JPWO2021075091A1 (ja) * 2019-10-15 2021-04-22
WO2021075091A1 (ja) * 2019-10-15 2021-04-22 日本電気株式会社 対価算出装置、制御方法、及びプログラム
JP7393030B2 (ja) 2019-10-15 2023-12-06 日本電気株式会社 対価算出装置、制御方法、及びプログラム
JPWO2021075023A1 (ja) * 2019-10-17 2021-04-22
JP7352645B2 (ja) 2019-10-17 2023-09-28 オリンパス株式会社 学習支援システム及び学習支援方法
WO2021075023A1 (ja) * 2019-10-17 2021-04-22 オリンパス株式会社 学習支援システム及び学習支援方法
JP7373659B2 (ja) 2019-10-31 2023-11-02 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 自動診断分析システムにおいて検体の特性評価中に患者情報を保護するための方法および装置
JP7456844B2 (ja) 2020-05-13 2024-03-27 東芝ライフスタイル株式会社 情報処理システム
WO2022009652A1 (ja) * 2020-07-07 2022-01-13 ソニーグループ株式会社 データ収集システム、センサ装置、データ収集装置、及びデータ収集方法
WO2022101996A1 (ja) * 2020-11-10 2022-05-19 日本電信電話株式会社 モデル利用制御システム、モデル利用制御方法、モデル利用制御装置、および、モデル利用制御プログラム
JP7481654B2 (ja) 2020-11-10 2024-05-13 日本電信電話株式会社 モデル利用制御システム、モデル利用制御方法、モデル利用制御装置、および、モデル利用制御プログラム
JP2022082478A (ja) * 2020-11-21 2022-06-02 株式会社オプティム プログラム、方法、情報処理装置及びシステム
JP6982672B1 (ja) * 2020-11-21 2021-12-17 株式会社オプティム プログラム、方法、情報処理装置及びシステム
JP7176019B2 (ja) 2021-01-29 2022-11-21 株式会社 みずほ銀行 認証システム、認証方法及び認証プログラム
JP2022116917A (ja) * 2021-01-29 2022-08-10 株式会社 みずほ銀行 認証システム、認証方法及び認証プログラム
WO2024071733A1 (ko) * 2022-09-29 2024-04-04 네이버랩스 주식회사 식별자 인식 기반 위치 결정 방법 및 장치

Also Published As

Publication number Publication date
EP3579160A4 (en) 2019-12-11
EP3579160A1 (en) 2019-12-11
CN109074601A (zh) 2018-12-21
JPWO2018142764A1 (ja) 2019-11-21
US20190095757A1 (en) 2019-03-28
JP7129598B2 (ja) 2022-09-02
US10810461B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
WO2018142764A1 (ja) 学習済みモデル生成方法、学習済みモデル生成装置、および学習済みモデル利用装置
US11341515B2 (en) Systems and methods for sensor data analysis through machine learning
JP7149459B2 (ja) 学習済みモデル提供方法および学習済みモデル提供装置
US11538121B2 (en) Location-based verification of user requests and generation of notifications on mobile devices
US10943277B2 (en) Spot market: location aware commerce for an event
JP6549361B2 (ja) 識別システム
WO2018232443A1 (en) METHOD AND SYSTEM FOR IDENTITY CONFIRMATION
JP2023119055A (ja) 情報処理装置、情報処理方法及びプログラム
CN117882066A (zh) 基于用户可信度验证众包现场报告
JP2021105838A (ja) 予測システム、予測方法、及びプログラム
US11704709B2 (en) Systems and methods for proactively informing users of an age of a merchant during online transactions
US11688250B2 (en) Systems and methods for detecting human presence near a transaction kiosk
JP7442893B2 (ja) 情報処理装置、情報処理システム、ユーザ端末、情報処理方法及び情報処理プログラム
WO2024003985A1 (ja) サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
WO2015199413A1 (ko) 사용자 단말로부터 수집된 데이터를 이용한 유형 정보 및 평가 정보 제공 방법 및 시스템
JP6572116B2 (ja) 繁忙情報提供方法、繁忙情報提供装置、及びプログラム
KR20220169315A (ko) 자격 정보를 전달하는 방법 및 장치
JP2023039033A (ja) プログラム、システムおよび情報処理方法
KR20230067444A (ko) 인공 지능 기반 심리 분석 서비스 제공 방법, 이를 위한 장치 및 프로그램
JP2023135822A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20150097058A (ko) 사용자 온라인 활동 분석 방법, 사용자 단말 및 컴퓨터 판독 가능 기록 매체
JP2023136248A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN117596018A (zh) 用户身份识别方法及处理设备
CN116933303A (zh) 数据管理方法、装置和存储介质及电子设备

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018538672

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17895308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017895308

Country of ref document: EP

Effective date: 20190903