JPWO2018142766A1

JPWO2018142766A1 - 学習済みモデル提供方法および学習済みモデル提供装置

Info

Publication number: JPWO2018142766A1
Application number: JP2018538805A
Authority: JP
Inventors: 裕一松本; 雅貴杉浦
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-02-03
Filing date: 2017-12-11
Publication date: 2019-11-21
Anticipated expiration: 2037-12-11
Also published as: CN109074521A; US20190147361A1; EP3579153A4; EP3579153A1; WO2018142766A1; JP7065266B2

Abstract

学習済みモデル提供システム（１）が、複数の学習済みモデルを予め保管している学習済みモデル提供装置（２）と、学習済みモデル提供装置（２）から学習済みモデルの提供を受けるユーザ側装置（３）とを備えた構成とする。学習済みモデル提供装置（２）は、ユーザ側装置（３）から取得したテストデータを使用して算出した性能に基づいて、学習済みモデルデータベース（２７）に保管されている複数の学習済みモデルからユーザ側装置（３）に提供する学習済みモデルを選択することができる。これにより、データベース（２７）に予め保管されている複数の学習済みモデルから、ユーザ側装置（３）での利用に最適な学習済みモデルを選択して提供することが可能となる。

Description

本開示は、ユーザ側装置から取得した利用要求に応じてデータベースに予め保管されている複数の学習済みモデルから１または複数の学習済みモデルを選択してユーザ側装置に提供する学習済みモデル提供方法および学習済みモデル提供装置に関する。

従来、センシングデータを利用するセンサネットワークにおいてセンシングデータの流通を適正化することを目的として、センシングデータを出力するセンサに関する情報であるセンサ側メタデータと、センシングデータを利用してサービスを提供するアプリケーションに関する情報であるアプリ側メタデータとのマッチングを行うことにより、アプリケーションの要求を満たすセンシングデータを提供可能なセンサを抽出するようにした技術が知られている（特許文献１参照）。

特許第５４４５７２２号公報

本開示は、予め保管されている複数の学習済みモデルから、ユーザ側装置での利用に最適な学習済みモデルを選択して提供することを主目的とする。

本開示の学習済みモデル提供方法は、ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、前記テストデータを、データベースに予め保管されている複数の学習済みモデルのそれぞれに当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、前記算出された性能に基づいて、前記複数の学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択することを特徴とする。

本開示によれば、データベースに予め保管されている複数の学習済みモデルから、ユーザ側装置での利用に最適な学習済みモデルを選択して提供することが可能となる。

図１は、本開示の学習済みモデル提供システムの全体構成図である。図２Ａは、サーバ装置の概略構成を示すブロック図である。図２Ｂは、サーバ装置の記憶部の概略構成を示すブロック図である。図３は、ユーザ側装置の概略構成を示すブロック図である。図４は、学習済みモデル提供装置の動作手順を示すシーケンス図である。図５は、別の実施形態に係る学習済みモデル提供装置の動作手順を示すシーケンス図である。

上記課題を解決するためになされた第１の開示は、ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、前記テストデータを、データベースに予め保管されている複数の学習済みモデルのそれぞれに当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、前記算出された性能に基づいて、前記複数の学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択することを特徴とする学習済みモデル提供方法である。

この第１の開示に係る学習済みモデル提供方法によれば、ユーザ側装置から取得したテストデータを使用して算出した性能に基づいて、データベースに予め保管されている複数の学習済みモデルからユーザ側装置に提供する学習済みモデルを選択することができる。

これにより、データベースに予め保管されている複数の学習済みモデルからユーザ側装置での利用に最適な学習済みモデルを選択して提供することが可能となる。

また、第２の開示は、ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、前記テストデータを、データベースに予め保管されている複数の学習済みモデルのそれぞれに対して当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、前記算出された性能に基づいて、前記複数の学習済みモデルからファインチューニング用の学習済みモデルを決定し、前記テストデータを使用して、前記決定されたファインチューニング用の学習済みモデルのファインチューニングを行い、前記テストデータを、前記ファインチューニングされた学習済みモデルに当てはめることにより、前記ファインチューニングされた学習済みモデルの性能を算出し、前記算出された性能に基づいて、前記ファインチューニングされた学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択することを特徴とする学習済みモデル提供方法である。

この第２の開示に係る学習済みモデル提供方法によれば、ユーザ側装置から取得したテストデータを使用して算出した性能に基づいて決定された学習済みモデルに対してファインチューニングを行うことができるので、ユーザ側装置での利用により最適な学習済みモデルを提供することが可能となる。

また、第３の開示は、上記第２の開示において、前記ユーザ側装置から、前記テストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否についての情報を取得し、前記ファインチューニングされた学習済みモデルの第三者への提供を否とする旨の情報を取得した場合は、該ファインチューニングされた学習済みモデルの第三者への提供は行わないことを特徴とする。

この第３の開示に係る学習済みモデル提供方法によれば、ユーザ側装置から取得したテストデータを使用してファインチューニングされた学習済みモデルの第三者への提供を防止することができるので、ユーザ側装置のユーザのプライバシーを保護することが可能となる。

また、第４の開示は、上記第１の開示または第２の開示において、前記選択された学習済みモデルの機能および生成環境の少なくとも一方の情報であるモデル情報を前記ユーザ側装置に提示し、前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供することを特徴とする。

この第４の開示に係る学習済みモデル提供方法によれば、ユーザ側装置のユーザが、前記選択された学習済みモデルのモデル情報に基づいて、ユーザ側装置で利用する学習済みモデルを決定することが可能となる。

また、第５の開示は、上記第１の開示または第２の開示において、前記選択された学習済みモデルに対して該学習済みモデルの推奨度を付与するとともに、前記選択された学習済みモデルの前記推奨度を示す情報を前記ユーザ側装置に提示し、前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供することを特徴とする。

この第５の開示に係る学習済みモデル提供方法によれば、ユーザ側装置のユーザが、前記選択された学習済みモデルの推奨度に基づいて、ユーザ側装置で利用する学習済みモデルを決定することが可能となる。

また、第６の開示は、上記第５の開示において、前記推奨度は、前記学習済みモデルの利用実績、前記学習済みモデルの評価、前記学習済みモデルの生成に使用された学習データ数のうちの少なくとも１つに基づいて決定されることを特徴とする。

この第６の開示に係る学習済みモデル提供方法によれば、前記奨励度を容易かつ適切に決定することができる。

また、第７の開示は、１または複数のプロセッサと、複数の学習済みモデルを予め保管しているデータベースと、ユーザ側装置との間で通信を行う通信部とを備え、前記プロセッサは、前記ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、前記テストデータを、前記複数の学習済みモデルのそれぞれに当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、前記算出された性能に基づいて、前記複数の学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択することを特徴とする学習済みモデル提供装置である。

この第７の開示に係る学習済みモデル提供装置によれば、ユーザ側装置から取得したテストデータを使用して算出した性能に基づいて、データベースに予め保管されている複数の学習済みモデルからユーザ側装置に提供する学習済みモデルを選択することができる。

また、第８の開示は、１または複数のプロセッサと、複数の学習済みモデルを予め保管しているデータベースと、ユーザ側装置との間で通信を行う通信部とを備え、前記プロセッサは、前記ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、前記テストデータを、前記複数の学習済みモデルのそれぞれに対して当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、前記算出された性能に基づいて、前記複数の学習済みモデルからファインチューニング用の学習済みモデルを決定し、前記テストデータを使用して、前記決定されたファインチューニング用の学習済みモデルのファインチューニングを行い、前記テストデータを、前記ファインチューニングされた学習済みモデルに当てはめることにより、前記ファインチューニングされた学習済みモデルの性能を算出し、前記算出された性能に基づいて、前記ファインチューニングされた学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択することを特徴とする学習済みモデル提供装置である。

この第８の開示に係る学習済みモデル提供装置によれば、ユーザ側装置から取得したテストデータを使用して算出した性能に基づいて決定された学習済みモデルに対してファインチューニングを行うことができるので、ユーザ側装置での利用により最適な学習済みモデルを提供することが可能となる。

また、第９の開示は、上記第８の開示において、前記プロセッサは、前記ユーザ側装置から、前記テストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否についての情報を取得し、前記ファインチューニングされた学習済みモデルの第三者への提供を否とする旨の情報を取得した場合は、該ファインチューニングされた学習済みモデルの第三者への提供は行わないことを特徴とする。

この第９の開示に係る学習済みモデル提供装置によれば、ユーザ側装置から取得したテストデータを使用してファインチューニングされた学習済みモデルの第三者への提供を防止することができるので、ユーザ側装置のユーザのプライバシーを保護することが可能となる。

また、第１０の開示は、上記第７の開示または第８の開示において、前記プロセッサは、前記選択された学習済みモデルの機能および生成環境の少なくとも一方の情報であるモデル情報を前記ユーザ側装置に提示し、前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供することを特徴とする。

この第１０の開示に係る学習済みモデル提供装置によれば、ユーザ側装置のユーザが、前記選択された学習済みモデルのモデル情報に基づいて、ユーザ側装置で利用する学習済みモデルを決定することが可能となる。

また、第１１の開示は、上記第７の開示または第８の開示において、前記プロセッサは、前記選択された学習済みモデルに対して該学習済みモデルの推奨度を付与するとともに、前記選択された学習済みモデルの前記推奨度を示す情報を前記ユーザ側装置に提示し、前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供することを特徴とする。

この第１１の開示に係る学習済みモデル提供装置によれば、ユーザ側装置のユーザが、前記選択された学習済みモデルの推奨度に基づいて、ユーザ側装置で利用する学習済みモデルを決定することが可能となる。

また、第１２の開示は、上記第１１の開示において、前記推奨度は、前記学習済みモデルの利用実績、前記学習済みモデルの評価、前記学習済みモデルの生成に使用された学習データ数のうちの少なくとも１つに基づいて決定されることを特徴とする。

この第１２の開示に係る学習済みモデル提供装置によれば、前記推奨度を容易かつ適切に決定することができる。

以下、本開示の実施形態について、図面を参照しながら説明する。

近年、画像認識や音声認識等の分野においてニューラルネットワークを利用した機械学習技術の研究開発の進展が目覚ましい。特に深層学習（ディープラーニング）という技術を用いると、従来の特徴量ベースによる画像認識・音声認識技術では得られなかった認識精度を実現できる例が報告されており、様々な産業への応用も検討されている。深層学習では、学習用の画像データや音声データを多層型ニューラルネットワークの入力層に入力したときに、正しい認識結果である出力データ（正解データ）が出力層から出力されるように学習処理が行われる。出力データは、典型的には入力データに対するアノテーションやメタデータであり、例えば、画像であれば写っている対象物の名称や種類・属性など、音声であれば発声された単語や文などであり得る。深層学習の学習処理は、ニューラルネットワークを構成する各ノード間の結合（シナプス結合）の重み値を、既知のアルゴリズムを用いて更新する（例えば逆誤差伝搬法では、出力層での正解との誤差を小さくするように重み値を調整・更新する等）ことによって行われる。学習処理が完了したノード間の重み値の集合体は「学習済みモデル」と呼ばれ、学習処理で用いたニューラルネットワークと同じ構成を持つニューラルネットワークに対して学習済みモデルを適用する（ノード間結合の重み値として設定する）ことで、未知の入力データ、すなわち学習処理で用いていない新たな入力データをそのニューラルネットワークに入力した際に、出力データ（認識結果）として、一定の精度で正解データを出力させることができる。したがって、学習済みモデルの生成（すなわち学習処理）を行う装置と異なる装置において、学習済みモデルを用いたニューラルネットワークを構成して認識処理を実行することで、学習した認識精度で画像認識や音声認識を行うことが可能となる。

学習済みモデルは学習用のデータに対して所定の基準で性能の最適化を試みたモデルである。よって一般的には、学習用のデータとは異なる実際のデータに対して学習済みモデルがどのような性能を発揮するかを検証するためには、実際のデータを得ながら運用を行うことが必要とされていた。発明者らは複数の学習済みモデルの中から特定の学習済みモデルを選択することは複雑な問題であると考えた。複数の学習済みモデルの中から適した学習済みモデルを選択するために、この運用を複数の学習済みモデルに対して行うことには膨大な試験期間が必要と考えられるため現実的ではないからである。

本開示に係る学習済みモデル提供システム１は、ユーザ側装置から取得した利用要求に応じて、データベースに予め保管されている複数の学習済みモデルからユーザ側装置の利用目的に適合する１または複数の学習済みモデルを選択してユーザ側装置に提供するためのシステムである。本明細書でいう学習済みモデルとは、学習データおよび正解データ（教師データ）に基づき、機械学習（例えば、多層構造のニューラルネットワークを用いた深層学習、サポートベクターマシン、ブースティング、強化学習等）により生成したモデルのことである。

図１は、本開示に係る学習済みモデル提供システム１の全体構成図である。図１に示すように、本開示に係る学習済みモデル提供システム１は、複数の学習済みモデルを予め保管している学習済みモデル提供装置２（以降、「サーバ装置」と称する）と、サーバ装置２から学習済みモデルの提供を受けるユーザ側装置３とを備えて構成されている。サーバ装置２とユーザ側装置３とは、インターネット等のネットワークを介して互いに接続されている。

サーバ装置２は、一般的なコンピュータ装置であり、複数の学習済みモデルを後述する学習済みモデルデータベース２７（図２Ｂ参照）に保管している。そして、サーバ装置２は、ユーザ側装置３から利用目的を含む利用要求を受信したときに、その利用目的に適合する学習済みモデルを学習済みモデルデータベース２７に保管されている複数の学習済みモデルから選択してユーザ側装置３に送信する。このように、サーバ装置２は、予め保管されている学習済みモデルをユーザ側装置３に提供するためのクラウドサーバとして構成してもよい。

図２Ａは、サーバ装置２の概略構成を示すブロック図であり、図２Ｂは、サーバ装置２の記憶部の概略構成を示すブロック図である。図２Ａに示すように、サーバ装置２は、記憶部２１、プロセッサ２２、表示部２３、入力部２４、通信部２５、およびそれらを接続するバス２６を備えている。

記憶部２１は、例えばＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やハードディスク等の記憶装置（ストレージ）であり、サーバ装置２の各機能を実現するための各種プログラムおよび各種データを格納している。また、記憶部２１は、図２Ｂに示すように、学習済みモデルデータベース２７を格納している。プロセッサ２２は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）であり、記憶部２１から各種プログラムおよび各種データを図示しないＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）上に読み出して、サーバ装置２の各処理を実行する。表示部２３は、液晶表示パネル等のディスプレイなどで構成され、プロセッサ２２での処理結果の表示等に使用される。入力部２４は、キーボードやマウス等の入力デバイスなどで構成され、サーバ装置２の操作に使用される。通信部２５は、インターネット等のネットワークを介して、ユーザ側装置３との間で通信を行う。

学習済みモデルデータベース２７には、複数の学習済みモデルが予め保管されている。また、学習済みモデルデータベース２７には、複数の学習済みモデルのそれぞれについて、その学習済みモデルの機能および生成環境の少なくとも一方の情報であるモデル情報が予め記憶されている。モデル情報は、保管モデル情報、生成環境情報、および必要リソース情報を含む。

保管モデル情報は、その学習済みモデルの機能、その学習済みモデルの性能、その学習済みモデルの利用対価、およびその学習済みモデルの生成に使用された学習データ（センシングデータ）のデータ数のうちの少なくとも１つに関する情報を含む。

学習済みモデルの機能とは、その学習済みモデルの使用目的または使用用途である。例えば、その学習済みモデルが人物を含む撮像画像から前記人物についての何らかの推定を行う学習済みモデルである場合は、学習済みモデルの機能の例としては、顔検出機能、人体検出機能、動き検出機能、姿勢検出機能、人物属性推定機能、人物行動予測機能等が挙げられる。なお、学習済みモデルの機能は、これらに限定されるものではなく、学習済みモデルの使用目的に応じて様々な機能であり得る。学習済みモデルの性能は、例えば、その学習済みモデルを利用して画像解析処理等の処理を行ったときの正解率（正解度）、適合率、再現率、ニューラルネットワークモデルの種類や階層数等である。学習済みモデルの利用対価は、例えば、仮想通貨やポイント等である。

生成環境情報は、学習済みモデルの生成に使用された学習データ（センシングデータ）の取得環境に関する情報であり、具体的には、学習データの取得条件、および学習データを取得するのに使用された装置の設置環境の少なくとも一方に関する情報を含む。例えば、学習データが撮像画像であり、学習データを取得するのに使用された装置がカメラである場合は、学習データの取得条件の例としては、撮像時刻（例えば、昼、夜等）、撮像環境（例えば、天候、照度等）、カメラの数、カメラの各種の撮像パラメータ（例えば、設置高さ、撮像角度、焦点距離、ズーム倍率、解像度等）などが挙げられ、学習データを取得するのに使用された装置（カメラ）の設置環境の例としては、カメラの設置された場所（例えば、コンビニ、駅、ショッピングモール、工場、空港等）、カメラの周囲の環境（例えば、屋外、屋内等）などが挙げられる。

必要リソース情報は、その学習済みモデルを利用するのに必要な装置の資源または能力に関する情報であり、具体的には、その学習済みモデルを利用して処理を行うコンピュータ装置の資源および能力（リソースおよびスペック）、およびそのコンピュータ装置でその学習済みモデルを利用するときに使用されるユーザ側データを取得するのに使用される装置（例えばカメラ）の資源および能力（リソースおよびスペック）に関する情報を含む。コンピュータ装置の資源または能力には、そのコンピュータ装置が有する、ＣＰＵの種類、ＧＰＵの種類（または個数）、ＯＳ、ニューラルネットワークモデルの種類や階層数等も含まれる。

ユーザ側装置３は、一般的なコンピュータ装置であり、サーバ装置２から提供された学習済みモデルを使用して画像解析処理や新たな機械学習等の処理を行うのに使用される。前述したように、サーバ装置２からユーザ側装置３への学習済みモデルの提供は、ユーザ側装置３がサーバ装置２に対して利用要求を送信することによりなされる。

図３は、ユーザ側装置３の概略構成を示すブロック図である。図３に示すように、ユーザ側装置３は、記憶部３１、プロセッサ３２、表示部３３、入力部３４、通信部３５、およびそれらを接続するバス３６を備えている。

記憶部３１は、例えばＲＯＭやハードディスク等の記憶装置（ストレージ）であり、ユーザ側装置３の各機能を実現するための各種プログラムおよび各種データを格納している。プロセッサ３２は、例えばＣＰＵであり、記憶部３１から各種プログラムおよび各種データを図示しないＲＡＭ上に読み出して、ユーザ側装置３の各処理を実行する。表示部３３は、液晶表示パネル等のディスプレイなどで構成され、プロセッサ３２での処理結果の表示等に使用される。入力部３４は、キーボードやマウス等の入力デバイスなどで構成され、ユーザ側装置３の操作に使用される。通信部３５は、インターネット等のネットワークを介して、サーバ装置２との間で通信を行う。

なお、学習済みモデル提供システム１の上記の各装置は、コンピュータ装置に限らず、同様の機能を果たすことが可能な他の情報処理装置（例えばサーバ等）を用いることもできる。また、学習済みモデル提供システム１の上記の各装置の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

図４は、学習済みモデル提供システム１の動作手順を示すシーケンス図である。以下、図４のシーケンス図を参照して、学習済みモデル提供システム１のサーバ装置２およびユーザ側装置３の動作手順について説明する。

まず、ユーザ側装置３のユーザが入力部３４を操作して、ユーザ側装置３にテストデータを入力する（ステップＳＴ１０１）。このテストデータは、サーバ装置２に保管されている学習済みモデルのテストデータとして使用される。本実施形態では、テストデータはユーザの顔画像であり、ユーザ側装置３に接続された図示しないカメラで撮像したユーザの顔画像（センシングデータ）をテストデータとして使用する。また、テストデータには、そのテストデータの属性情報を添付する。この属性情報は、テストデータを使用して学習済みモデルの性能を算出するときに、正解情報として使用される。本実施形態では、テストデータはユーザの顔画像であるので、ユーザの年齢や性別等を示す情報がテストデータの属性情報として添付される。属性情報の添付作業は、ユーザがユーザ側装置３の入力部３４を操作して行うとよい。

ユーザ側装置３に入力されたテストデータは、インターネット等のネットワークを介して、サーバ装置２に送信される（ステップＳＴ１０２）。

サーバ装置２は、ユーザ側装置３からテストデータを受信すると、そのテストデータを学習済みモデルデータベース２７に保管されている複数の学習済みモデルのそれぞれに対して当てはめて、それぞれの学習済みモデルの性能を算出する（ステップＳＴ１０３）。また、学習済みモデルの性能の算出には、テストデータに添付された属性情報も使用される。具体的には、学習済みモデルにテストデータを当てはめることにより推定された情報と、テストデータに添付されている属性情報とを比較することによって、学習済みモデルの性能が算出される。本実施形態では、学習済みモデルの性能として正解率（正解度）を用いる。正解率の算出は、公知の手法を用いて行われる。なお、学習済みモデルの出力形式に応じて、正解率以外にも、適合率や再現率等の様々な指標を学習済みモデルの性能として用いることができる。

続いて、サーバ装置２は、算出された正解率に基づいて、学習済みモデルデータベース２７に保管されている複数の学習済みモデルから、１または複数のファインチューニング用モデルを選択して決定する（ステップＳＴ１０４）。例えば、正解率が予め定められた閾値を超えた学習済みモデル、または正解率が予め定められた順位よりも上位の学習済みモデルをファインチューニング用モデルとして選択するとよい。

次に、サーバ装置２は、テストデータを使用して、選択されたファインチューニング用モデルのファインチューニングを行う（ステップＳＴ１０５）。選択されたファインチューニング用モデルが複数存在する場合は、それぞれのファインチューニング用モデルに対してファインチューニングを行う。なお、本明細書でいうファインチューニングとは、追加的な学習データを使用して行う追加学習のことである。本開示では、テストデータを追加的な学習データとして使用する。ファインチューニングは、公知の手法を用いて行われる。

続いて、サーバ装置２は、上述したステップＳＴ１０３と同様に、ファインチューニングされた学習済みモデルに対してテストデータを当てはめて、ファインチューニングされた学習済みモデルの正解率を算出する（ステップＳＴ１０６）。ファインチューニングされた学習済みモデルが複数存在する場合は、それぞれのファインチューニングされた学習済みモデルの正解率を算出する。正解率の算出は、公知の手法を用いて行われる。なお、学習済みモデルの出力形式に応じて、正解率以外にも、適合率や再現率等の様々な指標を学習済みモデルの性能として用いることができる。

そして、サーバ装置２は、算出された正解率に基づいて、ファインチューニングされた学習済みモデルから、ユーザ側装置３に提供する１または複数の学習済みモデルを選択する（ステップＳＴ１０７）。上述したステップＳＴ１０４と同様に、例えば、正解率が予め定められた閾値を超えた学習済みモデル、または正解率が予め定められた順位よりも上位の学習済みモデルをユーザ側装置３に提供する学習済みモデルとして選択するとよい。

なお、ファインチューニングされた学習済みモデル以外にも、ファインチューニングする前の学習済みモデルも選択対象に含めてもよい。すなわち、ファインチューニングされた学習済みモデルおよびファインチューニングする前の学習済みモデルから、それぞれの学習済みモデルの正解率に基づいて、ユーザ側装置３に提供する学習済みモデルを選択するようにしてもよい。

次に、サーバ装置２は、上記の選択された学習済みモデルに対して、その学習済みモデルの推奨度を付与する（ステップＳＴ１０８）。選択された学習済みモデルが複数存在する場合は、選択された学習済みモデルのそれぞれに対して推奨度を付与する。推奨度は、その学習済みモデルの利用実績、その学習済みモデルの評価、およびその学習済みモデルの生成に使用された学習データ数のうちの少なくとも１つに基づいて決定される。利用実績は、その学習済みモデルの利用履歴を用いるとよい。評価は、インターネット等のネットワークを介して外部から取得した評価や評判等を用いるとよい。利用履歴および評価は、その学習済みモデルに紐付けて学習済みモデルデータベース２７に予め記憶させておくとよい。

そして、サーバ装置２は、上記の選択された学習済みモデルのモデル情報および推奨度をユーザ側装置３に送信する（ステップＳＴ１０９）。前述したように、モデル情報は、学習済みモデルデータベース２７に予め記憶されている。これにより、ユーザ側装置３のユーザに対して、サーバ装置２で選択された学習済みモデルのモデル情報および推奨度を提示することができる。

ユーザ側装置３がサーバ装置２から上記の選択された学習済みモデルのモデル情報および推奨度を受信すると、ユーザ側装置３は受信した情報を示す画面を表示部３３に表示する。ユーザ側装置３のユーザは、表示部３３に表示されたそれらの情報を確認して、ユーザ側装置３で利用する学習済みモデルを決定する（ステップＳＴ１１０）。具体的には、ユーザ側装置３のユーザは、上記の選択された学習済みモデルが１つである場合は、その学習済みモデルの利用を承諾するか否かを決定し、上記の選択された学習済みモデルが複数存在する場合は、その複数の学習済みモデルのうちのいずれかの学習済みモデルの利用を決定するか、またはいずれの学習済みモデルも利用しないことを決定する。

ユーザ側装置３のユーザの決定結果は、入力部３４を介してユーザ側装置３に入力される。ユーザ側装置３に入力された決定結果は、決定通知として、ユーザ側装置３からサーバ装置２に送信される（ステップＳＴ１１１）。そして、サーバ装置２は、ユーザ側装置３から受信した決定通知に基づき、ユーザ側装置３で決定された学習済みモデルをユーザ側装置３に送信する（ステップＳＴ１１２）。

このようにして、本開示に係る学習済みモデル提供システム１では、サーバ装置２は、ユーザ側装置３から取得したテストデータを使用して算出した性能に基づいて、学習済みモデルデータベース２７に予め保管されている複数の学習済みモデルからユーザ側装置３に提供する学習済みモデルを選択することができる。これにより、学習済みモデルデータベース２７に予め保管されている複数の学習済みモデルから、ユーザ側装置３での利用に最適な学習済みモデルを選択して提供することが可能となる。

また、本開示に係る学習済みモデル提供システム１では、サーバ装置２は、ユーザ側装置３から取得したテストデータを使用して算出した性能に基づいて決定された学習済みモデルに対してファインチューニングを行うことができるので、ユーザ側装置３での利用により最適な学習済みモデルを提供することが可能となる。

また、本開示に係る学習済みモデル提供システム１では、サーバ装置２で選択された学習済みモデルのモデル情報および推奨度をユーザ側装置３のユーザに対して提示することができるので、ユーザ側装置３のユーザが、それらの情報に基づいてユーザ側装置３で利用する学習済みモデルを決定することが可能となる。

なお、ユーザ側装置３からサーバ装置２にテストデータを送信するときに、そのテストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否を示す情報も送信するようにしてもよい。具体的には、図５のシーケンス図に示すように、ステップＳＴ１０１でのテストデータの入力後に、ユーザ側装置３のユーザが入力部３４を操作して、ユーザ側装置３に、テストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否を入力する（ステップＳＴ２０１）。ユーザ側装置３に入力された、ファインチューニングされた学習済みモデルの第三者への提供の可否を示す情報は、テストデータとともに、インターネット等のネットワークを介して、サーバ装置２に送信される（ステップＳＴ２０２）。

そして、サーバ装置２は、ユーザ側装置３から、ファインチューニングされた学習済みモデルの第三者への提供を否とする旨の情報を取得した場合は、そのファインチューニングされた学習済みモデルを、他のユーザ側装置等の第三者に提供しないようにする。具体的には、ファインチューニングされた学習済みモデルを保管するデータベース（学習済みモデルデータベース２７または他のデータベース）において、第三者への提供が否とされたファインチューニングされた学習済みモデルに対して、第三者への提供を禁止する禁止フラグを記入することにより、その学習済みモデルの第三者への提供を禁止する処理を行う（ステップＳＴ２０３）。ユーザ側装置３から、ファインチューニングされた学習済みモデルの第三者への提供を可とする旨の情報を取得した場合は、この第三者への提供を禁止する処理は行わない。このようにすると、ファインチューニングされた学習済みモデルの第三者への提供を防止することができるので、ユーザ側装置３のユーザのプライバシーを保護することが可能となる。

以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本開示に係る学習済みモデル提供方法および学習済みモデル提供装置の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、本実施形態では、ユーザ側装置３から取得したテストデータを使用して算出した性能に基づいて決定された学習済みモデルに対してファインチューニングを行ったが、このファインチューニングは必須ではなく、省略してもよい。

また、本実施形態では、学習済みモデルを選択した後にユーザ側装置３にモデル情報および推奨度の両方を提示したが、モデル情報および推奨度の一方だけを提示するようにしてもよい。また、このモデル情報および推奨度の提示は必須ではなく、省略してもよい。

また、本実施形態では、学習データおよびユーザ側データ（センシングデータ）として画像データを例に挙げたが、学習データおよびユーザ側データは、画像データに限定されるものではなく、例えば、音、温度、湿度、振動、天候等のデータであってもよい。本開示に係る学習済みモデル提供方法および学習済みモデル提供装置は、例えば製造、物流、公共サービス、交通、医療、教育、金融等の様々な分野における様々なデータを使用する学習済みモデルに適用可能である。

本開示に係る学習済みモデル提供方法および学習済みモデル提供装置は、データベースに予め保管されている複数の学習済みモデルから、ユーザ側装置での利用に最適な学習済みモデルを選択して提供することを可能とする学習済みモデル提供方法および学習済みモデル提供装置して有用である。

１学習済みモデル提供システム
２学習済みモデル提供装置（サーバ装置）
３ユーザ側装置
２２プロセッサ
２５通信部
２７学習済みモデルデータベース

Claims

ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、
前記テストデータを、データベースに予め保管されている複数の学習済みモデルのそれぞれに当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、
前記算出された性能に基づいて、前記複数の学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択する
ことを特徴とする学習済みモデル提供方法。
ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、
前記テストデータを、データベースに予め保管されている複数の学習済みモデルのそれぞれに対して当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、
前記算出された性能に基づいて、前記複数の学習済みモデルからファインチューニング用の学習済みモデルを決定し、
前記テストデータを使用して、前記決定されたファインチューニング用の学習済みモデルのファインチューニングを行い、
前記テストデータを、前記ファインチューニングされた学習済みモデルに当てはめることにより、前記ファインチューニングされた学習済みモデルの性能を算出し、
前記算出された性能に基づいて、前記ファインチューニングされた学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択する
ことを特徴とする学習済みモデル提供方法。
前記ユーザ側装置から、前記テストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否についての情報を取得し、
前記ファインチューニングされた学習済みモデルの第三者への提供を否とする旨の情報を取得した場合は、該ファインチューニングされた学習済みモデルの第三者への提供は行わない
ことを特徴とする請求項２に記載の学習済みモデル提供方法。
前記選択された学習済みモデルの機能および生成環境の少なくとも一方の情報であるモデル情報を前記ユーザ側装置に提示し、
前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供する
ことを特徴とする請求項１または請求項２に記載の学習済みモデル提供方法。
前記選択された学習済みモデルに対して該学習済みモデルの推奨度を付与するとともに、前記選択された学習済みモデルの前記推奨度を示す情報を前記ユーザ側装置に提示し、
前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供する
ことを特徴とする請求項１または請求項２に記載の学習済みモデル提供方法。
前記推奨度は、前記学習済みモデルの利用実績、前記学習済みモデルの評価、前記学習済みモデルの生成に使用された学習データ数のうちの少なくとも１つに基づいて決定される
ことを特徴とする請求項５に記載の学習済みモデル提供方法。
１または複数のプロセッサと、
複数の学習済みモデルを予め保管しているデータベースと、
ユーザ側装置との間で通信を行う通信部とを備え、
前記プロセッサは、
前記ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、
前記テストデータを、前記複数の学習済みモデルのそれぞれに当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、
前記算出された性能に基づいて、前記複数の学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択する
ことを特徴とする学習済みモデル提供装置。
１または複数のプロセッサと、
複数の学習済みモデルを予め保管しているデータベースと、
ユーザ側装置との間で通信を行う通信部とを備え、
前記プロセッサは、
前記ユーザ側装置から、センシングデータに該データの属性情報を付したデータであるテストデータを取得し、
前記テストデータを、前記複数の学習済みモデルのそれぞれに対して当てはめることにより、前記複数の学習済みモデルのそれぞれの性能を算出し、
前記算出された性能に基づいて、前記複数の学習済みモデルからファインチューニング用の学習済みモデルを決定し、
前記テストデータを使用して、前記決定されたファインチューニング用の学習済みモデルのファインチューニングを行い、
前記テストデータを、前記ファインチューニングされた学習済みモデルに当てはめることにより、前記ファインチューニングされた学習済みモデルの性能を算出し、
前記算出された性能に基づいて、前記ファインチューニングされた学習済みモデルから前記ユーザ側装置に提供する学習済みモデルを選択する
ことを特徴とする学習済みモデル提供装置。
前記プロセッサは、
前記ユーザ側装置から、前記テストデータを使用してファインチューニングされた学習済みモデルの第三者への提供の可否についての情報を取得し、
前記ファインチューニングされた学習済みモデルの第三者への提供を否とする旨の情報を取得した場合は、該ファインチューニングされた学習済みモデルの第三者への提供は行わない
ことを特徴とする請求項８に記載の学習済みモデル提供装置。
前記プロセッサは、
前記選択された学習済みモデルの機能および生成環境の少なくとも一方の情報であるモデル情報を前記ユーザ側装置に提示し、
前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供する
ことを特徴とする請求項７または請求項８に記載の学習済みモデル提供装置。
前記プロセッサは、
前記選択された学習済みモデルに対して該学習済みモデルの推奨度を付与するとともに、前記選択された学習済みモデルの前記推奨度を示す情報を前記ユーザ側装置に提示し、
前記ユーザ側装置から、該ユーザ側装置での利用が決定された前記学習済みモデルを示す情報を取得したときに、前記ユーザ側装置での利用が決定された前記学習済みモデルを前記ユーザ側装置に提供する
ことを特徴とする請求項７または請求項８に記載の学習済みモデル提供装置。
前記推奨度は、前記学習済みモデルの利用実績、前記学習済みモデルの評価、前記学習済みモデルの生成に使用された学習データ数のうちの少なくとも１つに基づいて決定される
ことを特徴とする請求項１１に記載の学習済みモデル提供装置。