JP6720402B2

JP6720402B2 - サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム

Info

Publication number: JP6720402B2
Application number: JP2019506582A
Authority: JP
Inventors: 圭悟河合; 将平比戸; 展行久保田; 田中　大輔; 大輔田中
Original assignee: Preferred Networks Inc
Current assignee: Preferred Networks Inc
Priority date: 2017-03-21
Filing date: 2017-03-21
Publication date: 2020-07-08
Anticipated expiration: 2037-03-21
Also published as: CN110431569A; US20220286512A1; US20200014761A1; EP3605405A4; EP3605405A1; US20240129368A1; WO2018173121A1; JPWO2018173121A1; US11375019B2

Description

本発明は、深層学習等による学習済みモデルを用いて判定・分類等の処理を行う産業上の装置に対して、低コストで学習済みモデルの導入及び最適化を行うための技術に関するものである。

従来、工作機械等のデバイスや完成品の異常検出装置等において、深層学習等によって生成された学習済みモデルを用いて作業対象の特定や異常検出処理等が行われてきた。これらのデバイスにおいては、それぞれのデバイスの作業環境・作業条件等に特化した学習を行うことで作業精度、異常検出精度の向上を図っている。

このような学習済モデルを用いたデバイスとしては、例えば、特許文献１及び特許文献２が挙げられる。特許文献１に記載の進化型画像自動分類装置は、様々な特徴量から学習器によって画像を分類する装置であり、特許文献２に記載の金属の表面品質評価装置は、金属の表面を撮影した画像に基づいて学習器で金属の表面品質評価を行うための装置である。

特開２００７−２１３４８０号公報特開２０１１−１９１２５２号公報

特許文献１及び特許文献２を含め、機械学習等によって学習させた学習器を利用して判定・分類等を行う場合には、デバイスの作業環境・作業条件等に特化した学習器の構成を設定した上で学習を行う必要がある。そのような設定を行ってゼロから学習させて精度の高い判定・分類を行えるようになるまでには相当のコストを要する。そして、そのようにしてコストをかけて学習済モデルを得たとしても、作業環境・作業条件等が異なるデバイスにおいては同じ学習済モデルを使用することはできないので、また一から学習を行わせる必要があるという問題があった。

これを解決するために、様々な作業環境・作業条件等に対応可能な汎用的な学習モデルを用意するという方法が考えられる。しかし、汎用的な学習モデルは様々な作業環境・作業条件等に対応できるため様々な状況に適用できるメリットがあるが、汎用であるがため、どのような各環境・条件においてはそれに特化したモデルと比べると精度が低くなるという問題があった。また、モデルの複雑性が増し、それを実現するために必要な情報量が大きくなってしまい、演算コストの増加、メモリコストの増加が生じてしまうという問題があった。さらには、各デバイス個体特有の特性をもつ場合、その個体差をも吸収するような汎用性を担保しなければいけないという問題もあった。

本発明は、上記問題点に鑑みなされたものであり、環境・条件等の異なる様々なデバイスに対して最適な学習済モデルを選択して供給可能なサーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システムを提供することを目的とする。

本発明に係るサーバ装置は、学習済モデルを用いて処理を行う学習器を具備した少なくとも１以上のデバイスと通信ネットワークを介して通信可能なサーバ装置であって、様々なデバイスの環境、条件に合わせて予め学習を行った共有モデルを複数記憶させた記憶部と、前記デバイスから環境、条件の情報を含むデバイスデータを取得するデバイスデータ取得部と、取得したデバイスデータに基づいて当該デバイスに最適な共有モデルを選択する対象共有モデル選択部と、選択した共有モデルを当該デバイスに対して送信する送信部とを具備してなることを特徴とする。

また、本発明に係るサーバ装置は、共有モデルの追加学習を行うためのサンプルデータを利用して共有モデルに対して追加学習を行う追加学習処理部と、追加学習済モデルを記憶して管理する追加学習済モデル管理部とを具備し、前記送信部は、共有モデルに対して追加学習を行った際には当該デバイスに対して追加学習済モデルを送信するようにしたことを特徴とする。

また、本発明に係るサーバ装置は、前記対象共有モデル選択部は、デバイスデータ取得部において取得したデバイスデータの内容が、前記追加学習済モデル管理部によって記憶された他のデバイスに基づく追加学習済モデルを適用可能なものである場合には、共有モデルよりも当該追加学習済モデルを優先して選択するようにし、前記送信部は、選択された追加学習済モデルを当該デバイスに送信するようにしたことを特徴とする。

また、本発明に係るサーバ装置は、共有モデルに対して追加学習処理を行う機能を有したデバイスから送信された追加学習済モデルを受信して記憶部に記憶させる追加学習済モデル管理部を備えたことを特徴とする。

また、本発明に係るサーバ装置は、前記対象共有モデル選択部は、前記デバイスから得たデバイスデータに基づいて各共有モデルの当該デバイスに対する適合度を評価したスコアをそれぞれ算出し、そのスコアに従って共有モデルの選択を行うようにしたことを特徴とする。

また、本発明に係るサーバ装置は、前記対象共有モデル選択部は、デバイスデータに基づいて機械学習を使って最適な共有モデルを選択すること予め学習した学習済モデルによって共有モデルを選択するようにしたことを特徴とする。

本発明に係る学習済モデル提供プログラムは、学習済モデルを用いて処理を行う学習器を具備した少なくとも１以上のデバイスと通信ネットワークを介して通信可能なサーバ装置に学習済モデルの選択処理を実行させるための各機能を実現させるための学習済モデル提供プログラムであって、前記サーバ装置に、様々なデバイスの環境、条件に合わせて予め学習を行った共有モデルを記憶手段によって複数記憶させる記憶機能と、前記デバイスから環境、条件の情報を含むデバイスデータを取得するデバイスデータ取得機能と、取得したデバイスデータに基づいて当該デバイスに最適な共有モデルを選択する対象共有モデル選択機能と、選択した共有モデルを当該デバイスに対して送信する送信機能とを実現させることを特徴とする。

本発明に係る学習済モデル提供方法は、学習済モデルを用いて処理を行う学習器を具備したデバイスに対して最適な学習済モデルを選択して提供する処理を実行するための学習済モデル提供方法であって、様々なデバイスの環境、条件に合わせて予め学習を行った共有モデルを記憶手段によって複数記憶させる記憶処理と、前記デバイスから環境、条件の情報を含むデバイスデータを取得するデバイスデータ取得処理と、取得したデバイスデータに基づいて当該デバイスに最適な共有モデルを選択する対象共有モデル選択処理と、選択した共有モデルを当該デバイスに対して送信する送信処理とを含むことを特徴とする。

本発明に係る学習済モデル提供システムは、学習済モデルを用いて処理を行う学習器を具備した少なくとも１以上のデバイスと、前記デバイスと通信ネットワークを介して通信可能な少なくとも１以上のサーバ装置とを具備してなる学習済モデル提供システムであって、様々なデバイスの環境、条件に合わせて予め学習を行った共有モデルを少なくとも１以上記憶させた記憶部を前記サーバ装置及び／又はデバイスに備え、学習済モデルを必要とするデバイスから環境、条件の情報を含むデバイスデータを取得するデバイスデータ取得部と、取得したデバイスデータに基づいて当該デバイスに最適な共有モデルを検索して選択する対象共有モデル選択部とを前記サーバ装置に備え、選択された共有モデルを学習済モデルを必要とする前記デバイスに対して送信する送信部をサーバ装置及び／又はデバイスに備えていることを特徴とする。

また、本発明に係る学習済モデル提供システムは、前記対象共有モデル選択部は、学習済モデルを必要とするデバイスから得たデバイスデータに基づいて各共有モデルの当該デバイスに対する適合度を評価したスコアをそれぞれ算出し、そのスコアに従って共有モデルの選択を行うようにしたことを特徴とする。

また、本発明に係る学習済モデル提供システムは、前記デバイスは、共有モデルに対して追加学習処理を行う機能を有しており、前記サーバ装置は、前記デバイスから送信された追加学習済モデルを受信して記憶部に記憶させる追加学習済モデル管理部を備えており、前記サーバ装置の対象共有モデル選択部は、共有モデルに加えて追加学習済モデルも選択肢に含めて選択を行うようにしたことを特徴とする。

また、本発明に係る学習済モデル提供システムは、前記デバイスは、共有モデルに対して追加学習処理を行う機能を有し、また、追加学習済モデルを記憶させる記憶部と、追加学習済モデルの選択に必要な情報を前記サーバ装置に送信する追加学習済モデル情報送信部とを備えており、前記サーバ装置の対象共有モデル選択部は、前記共有モデルに加えて前記デバイスの記憶部に記憶された追加学習済モデルも選択肢に含めて選択を行うようにしたことを特徴とする。

本発明によれば、様々なデバイスの環境、条件に合わせて予め学習を行った共有モデルをその環境や条件に応じて分類されて複数記憶させたサーバ装置において最適な共有モデルを選択してデバイスに送信することで、上述したようなこれまでの汎用的な学習モデルを使った場合に対して、状況に合わせた高精度な判別／分類を実現しつつ、かつ学習モデルで表現する複雑性が減少するために演算およびメモリのコストは下げられるメリットがある。またデバイスで独自に学習済モデルを生成する場合に比較して導入コストを大幅に低減できるというメリットがある。また、追加学習処理機能を持たせることで、デバイスの環境・条件により特化した追加学習済モデルを得られるため、デバイスにおいて精度の高い推論処理を追加的に実施することが可能となる。この追加学習処理において、デバイスの環境・条件に応じて適切な共有モデルをベースに追加学習を行うことによって、転移学習と呼ばれる作用の効果を多く得ることができる。転移学習は、デバイスの環境・条件が全く同一ではない環境間において、他環境で作成した共有モデルの重みをうまく使うことによって、追加学習させたい環境で、効率よく学習を行うことを期待するものである。
また、追加学習済モデルをサーバ装置においても記憶させて管理するようにすることで、同一環境・条件の他のデバイスから要求があった時に、追加学習済モデルを即座に提供することが可能となる。これは、汎用的な学習モデルを利用する場合に比較して、追加学習のための演算コスト及びメモリコストを縮小することが可能となる。さらに、少なくとも１以上のデバイスと少なくとも１以上のサーバ装置とを具備してなる学習済モデル提供システムを構成することで、複数のサーバ装置及び／又はデバイスの記憶部に記憶された共有モデルから最適な共有モデルを選択してデバイスに提供することが可能となるため、より膨大なデータの選択肢の中から最適な共有モデルを選択可能となる。

本発明に係るサーバ装置１０の構成を表したブロック図である。追加学習の学習処理の流れを示したフローチャート図である。デバイス２０において推論処理を行うまでの流れを示したフローチャート図である。

［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係るサーバ装置の例について説明する。図１は、本発明に係るサーバ装置１０の構成を表したブロック図である。サーバ装置１０は、複数のデバイス２０１、２０２、・・・、２０ｎと通信ネットワーク３０を介して通信可能に接続されている。なお、サーバ装置１０及びデバイス２０１〜２０ｎは、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、サーバ装置１０及びデバイス２０１〜２０ｎは、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージなどを適宜備えているものとする（図示省略）。また、これらの一般的なコンピュータを本例のサーバ装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。

サーバ装置１０は、デバイスデータ取得部１１と、対象共有モデル選択部１２と、追加学習処理部１３と、追加学習済モデル管理部１４と、記憶部１５とを少なくとも備えている。

デバイスデータ取得部１１は、デバイス２０１〜２０ｎの何れかにおいて生成されたデバイスの環境、条件の情報を含むデバイスデータを取得する機能を有する。ここで、デバイスデータとは、デバイスの環境、条件、データの単位等の属性を定義するために必要なデータ、追加で学習を行うために必要なラベル情報付のサンプルデータ、実際のデバイスにおけるセンサデータ、ネットワークのログデータなどデバイスで取得可能な様々なデータを含むものである。少なくとも、共有モデルを選択するために必要なデータを含んだデバイスデータである必要がある。具体的には、工場のロボットの位置データやアクチュエータトルク量、加速度センサデータ、車載カメラやレーザーレーダーなどで取得されるデプスを含むもしくは含まない画像データ、変位センサデータ、プロセスオートメーションの各種プロセスデータ、インフラや農業、バイオヘルスケアなどにおける各種データなどのセンサデータ、ネットワークのログデータや、正常品や異常品を含む製品の写真データや、音声データ、機械の種類、ワークの種類、センサの種類、地理的情報など、様々なデータがデバイスデータとして使用され得る。

また、デバイスの環境、条件は、例えば、デバイスがピッキングを行う作業機械である場合であってピッキングの対象となるワーク形状の種類がいくつかに分かれているといった場合などのように、デバイスに要求される環境、条件等は個別に異なる。また、製品を異常品と正常品を判定する装置なのか、製品を複数項目に分類するための装置なのかなど、学習器に求められる機能もデバイスごとに異なる。そのため、デバイスごとに異なる個別の環境、条件等の情報をデバイスデータとして取得する必要がある。この環境、条件等の情報は、フォーマットに従ってデバイス側で入力されるものであってもよいし、様々なデータからサーバ装置１０において判別して環境、条件等の情報を定義するようにしてもよい。その際には、取得したデータを用いて機械学習によって環境、条件等の情報の定義を特定する手法であってもよい。

対象共有モデル選択部１２は、デバイスデータ取得部１１において取得したデバイスデータに基づいて、当該デバイスに最適な共有モデルを選択する機能を有する。ここで、共有モデルとは、様々なデバイスの環境、条件に合わせて予め学習を行ったモデルのことをいい、後述する記憶部１５に複数の共有モデルを予め記憶させておく。予め行う学習の程度としてはどのような水準に設定してもよいが、少なくとも、デバイスでゼロから学習を行うよりも効率が良くコストダウンに寄与する程度に学習が行われているものであることが好ましい。この対象共有モデル選択部１２における選択は、取得したデバイスデータに基づいて行うが、取得したデバイスデータのうち何れを共有モデルの選択のために利用するかは適宜決定可能なものである。また共有モデルの選択の方法は、デバイスデータの各項目の一致度から自動的に選択してもよいし、一致度の高い共有モデルを複数個複数個ユーザに提示してユーザに選択させるようにしてもよい。項目の一致度は、例えば、デバイスデータの各項目が一致するか否かを項目ごとに判定して、項目の一致数によって判定する。なお、デバイスの環境、条件等の定義にマッチした共有モデルが見つからない場合には、その定義に適したニューラルネットワークの構造からなる新規のモデルを生成するようにしてもよい。なお、対象となる共有モデルの選択方法は、予め設定した規則に基づいて共有モデルが選択される方法であってもよいし、最適な共有モデルを選択するための学習モデルを学習させた共有モデル選択についての学習済モデル（共有モデル及び追加学習済モデルとは異なる学習済モデルであり、共有モデルの選択行為を学習したもの）によって共有モデルを選択する方法であってもよい。

また、対象共有モデル選択部１２において最適な共有モデルを選択する手法として、前記デバイスから得た環境、条件をもとに各共有モデルに対して評価したスコアをそれぞれ算出し、そのスコアに従って選択を行うようにしてもよい。共有モデルの適合度の評価であるスコアは、機械の種類、ワークの種類、センサの種類、地理的情報などのベースとなる環境・条件についてのデバイスデータに加えて、工場のロボットの位置データやアクチュエータトルク量、加速度センサデータ、車載カメラやレーザーレーダーなどで取得されるデプスを含むもしくは含まない画像データ、変位センサデータ、プロセスオートメーションの各種プロセスデータ、インフラや農業、バイオヘルスケアなどにおける各種データなどのセンサデータ、ネットワークのログデータや、正常品や異常品を含む製品の写真データや、音声データなどのより詳細なデバイスデータを加味して評価を行う。これらの各項目をどのように評価してスコア化するかを予め設定しておき、共有モデルごとに項目毎の点数を合計した合計スコアを算出する。実際の共有モデルの選択は、最もスコアの高い共有モデルを自動的に選択するようにしてもよいし、スコアの高い共有モデルを複数個ユーザに提示してユーザに選択させるようにしてもよい。なお、適合度の評価であるスコアを算出して最適な共有モデルを選択するための学習モデルを学習させて学習済モデルによって共有モデルを選択する方法であってもよい。この場合、各デバイスデータをどのようにスコア化するかについても学習モデルが学習していくため、最適な共有モデルの選択が可能となる。

追加学習処理部１３は、対象共有モデル選択部１２において選択された共有モデルに対して追加学習を行う機能を有する。共有モデルは、予め学習が行われているとはいえ、そのデバイスに特化した環境、条件での学習は行っていない状況であるため、高精度の判定、分類等を行うためには、追加の学習を行って微調整することが好ましい。そこで、デバイスデータ取得部１１において、追加学習において入力データとして用いるためのサンプルデータを併せて取得し、取得したサンプルデータを用いて共有モデルの追加学習を行う。ここで追加学習においては、ニューラルネットワークの全層を対象にして重みを再学習することに限らず、一部をフリーズさせておいてそれ以外の層だけを学習しなおすことや、層をさらに追加することも含まれる。これにより、そのデバイスに特化した環境、条件での学習内容が追加されて、より最適なモデルとして微調整された追加学習済モデルを生成することができる。追加学習処理部１３として機能するためには、学習器として機能するための構成がサーバ装置１０に求められる。

追加学習済モデル管理部１４は、追加学習処理部１３において生成された追加学習済モデルを後述する記憶部１５に対して記憶させるとともに、対象となるデバイスに対して追加学習済モデルを送信する機能を有する。また、追加学習済モデルを条件の一致する他のデバイスで利用可能なように、その環境、条件等の定義情報を設定した上で管理する機能を有する。このように、追加学習済モデルに対しても環境、条件等の定義情報を定めておくことにより、対象共有モデル選択部１２において、デバイスに適した共有モデルを選択する際に、他のデバイスに基づいて生成された追加学習済モデルについても選択肢の候補とすることが可能となる。

記憶部１５は、様々なデバイスの環境、条件に合わせて予め学習を行った複数の共有モデルを記憶させる機能を有する。また、共有モデルに対してデバイスに特化した環境、条件を学習させるためのサンプルデータを適用して学習させた追加学習済モデルについても、この記憶部１５に記憶させる。なお、記憶部１５は、必ずしもサーバ装置１０にある必要はなく、デバイス側に具備されているようなシステムでもよい。その場合には、サーバ装置１０において対象となる共有モデルが何れに格納されているかの情報を保持し、必要に応じて格納場所からデバイスに転送する。

次に、サーバ装置１０において共有モデルを選択し、追加学習を行うまでの処理の流れについて説明を行う。図２に示すのは、追加学習の学習処理の流れを示したフローチャート図である。この図２において、先ず、デバイスに適した共有モデルを選択するために、デバイスデータを収集する（Ｓ１１）。具体的には、デバイス２０から送信されるデバイスデータをデバイスデータ取得部１１において受信してデバイスデータを収集する。収集したデバイスデータに基づいて、デバイスデータの属性を定義する（Ｓ１２）。デバイスデータの属性とは、共有モデルを選択するために必要なデバイスの環境、条件等の情報であり、これを定義する。そして、定義したデバイスデータの属性に基づいて、共有モデルを検索する（Ｓ１３）。このときの検索対象として、他のデバイスで追加学習を行って生成された追加学習済モデルも含めるようにしてもよい。検索の結果、該当する共有モデルが存在するか否かを判定する（Ｓ１４）。該当する共有モデルが存在した場合には、当該共有モデルを選択して次のステップ（Ｓ１６）に進み、該当する共有モデルが存在しなかった場合には、デバイス２０の条件に一致したニューラルネットワークの構成からなる学習モデルを新規に生成して（Ｓ１５）、次のステップ（Ｓ１６）に進む。

共有モデルを選択、若しくは、新規に学習モデルを生成した後に、その共有モデル若しくは新規学習モデルに対して、学習器によって追加の学習を実施する（Ｓ１６）。追加の学習は、デバイス２０から収集した追加学習を行うためのサンプルデータを利用して行う。追加学習の完了後、生成した追加学習済モデルを記憶部１５に記憶させる（Ｓ１７）。サーバ装置１０は、この生成した追加学習済モデルをデバイス２０に送信する。

なお、デバイス２０側において追加学習処理を行う機能を備えている場合や、選択された共有モデルが追加学習の必要のない状態でデバイス２０の条件にマッチしている場合には、この図２のステップ（Ｓ１６）とステップ（Ｓ１７）は省略して、選択された共有モデルをそのままデバイス２０に送信することもあり得る。

次に、デバイス２０において共有モデルをダウンロードして、推論処理を行うまでの流れについて説明を行う。図３に示すのは、デバイス２０において推論処理を行うまでの流れを示したフローチャート図である。この図３において、推論処理を行いたいデバイス２０は、先ず、デバイスデータの収集を行う（Ｓ２１）。収集したデバイスデータに基づいて、デバイスデータの属性を定義する（Ｓ２２）。なお、このデバイスデータの属性の定義は、サーバ装置１０側において行ってもよい。そして、デバイスデータを用いて最適な共有モデルを検索するために、サーバ装置１０に対してデバイスデータを送信する（Ｓ２３）。デバイスデータを受信したサーバ装置１０では、最適な共有モデルの選択が行われ、必要に応じて追加学習が行われる。そして、デバイス２０において、サーバ装置１０で選択された共有モデル若しくは追加学習済モデルを学習器にダウンロードして記憶させる（Ｓ２４）。最後に、デバイス２０では、共有モデル若しくは追加学習済モデルを学習器に記憶させた状態において、デバイスデータを利用して学習器において推論処理を行って、出力データとしての推論結果を得る（Ｓ２５）。

出力データは、行う推論処理によって全く異なるものであるが、例えば、予定している行動の正しさの判定、部品の異常度の判定、システム異常度の判定、良品か不良品かの検査結果、映像に映ったオブジェクトの名前（分類処理）、映像に映った人物の人種、性別などの特徴、特定のルールに基づいて加工された写真、音声、文章などが出力データとして出力される。

なお、デバイス２０に側において追加学習処理を行う機能を備えている場合には、図３のステップ（Ｓ２４）の後で、共有モデルに対して追加学習を行うようにしてもよい。デバイス２０側で追加学習を行った場合には、その追加学習済モデルをサーバ装置１０にアップロードする構成とすれば、デバイス２０側で追加学習を行った追加学習済モデルについても、他のデバイスで利用することが可能となる。

図１の状態を例に本発明の具体的な運用例を説明すると、例えば、デバイス２０１がサーバ装置１０に対してデバイスデータを送信して選択された共有モデルが「モデルＡ」であり、デバイス２０１のデバイスデータに含まれるサンプルデータに基づいて追加学習を行って得られた追加学習済モデルが「モデルＡ’」であったとする。また、デバイス２０２がサーバ装置１０に対してデバイスデータを送信して選択された共有モデルが「モデルＢ」であり、デバイス２０２のデバイスデータに含まれるサンプルデータに基づいて追加学習を行って得られた追加学習済モデルが「モデルＢ’」であったとする。このように、デバイス２０１、２０２はそれぞれ、自身のデバイスの環境、条件等の情報を含むデバイスデータをサーバ装置１０に送信するだけで最適かつ追加学習済みの学習済モデルを取得できるので、デバイス２０１、２０２において独自に学習済モデルを生成する場合に比較して導入コストを大幅に低減できるというメリットがある。

また、図１において、デバイス２０ｎがサーバ装置１０に対してデバイスデータを送信して共有モデルを要求したときに、デバイス２０ｎのデバイスデータから定義される環境、条件等がデバイス２０１と同一であり、同じ学習済モデルを適用できるとサーバ装置１０が判断した場合には、「モデルＡ」に基づいて追加学習を行うのではなく、追加学習済モデルである「モデルＡ’」をデバイス２０ｎに送信すれば、デバイス２０ｎでそのまま推論処理が可能となる。このように、同一環境、条件の他のデバイスに基づいて生成された追加学習済モデルが存在する場合には直接それを利用することが可能となるため、より一層導入コストを抑え、かつ、導入までの時間短縮が可能となる。また、汎用的な学習モデルを利用する場合に比較して、最適なニューラルネットワークのサイズを適用できるため、追加学習のための演算コスト及びメモリコストを縮小することが可能となる。

また、同一工場内において扱う製品が変更されるような状況において、従来は製品が変わる度にゼロから学習を行う必要があったが、本発明のサーバ装置１０によれば、扱う製品の変更のタイミングで最適な共有モデルを再度検索してダウンロードすればよいことになる。すなわち、同一のデバイス２０における処理内容が変更されるような場合に最適な共有モデルの導入が容易であるというメリットがある。そして、同じ処理内容の他のデバイスによって追加学習済モデルが生成されていれば、追加学習処理の手間をかけることなる精度の高い推論処理を行える追加学習済モデルを即座に導入できるというメリットがある。このように、多数のデバイス２０１〜２０ｎがサーバ装置１０にアクセスして追加学習済モデルのデータが蓄積されていくという点も、本発明のサーバ装置１０のメリットである。

前記第１の実施の形態においては、共有モデルと追加学習済モデルとを分けて説明を行っていたが、学習の程度が異なるというだけで、どちらも学習済モデルであることには変わりがない。すなわち、他のデバイスから見たときに、学習の程度に応じて共有モデルと追加学習済モデルを適宜選択可能であれば、必ずしも、図１の記憶部１５のように、区別して記憶させておく必要はない。共有モデルや追加学習済モデルに対して検索時に最適なモデルを検索するための情報が付されていれば、同じ学習済モデルとして扱ってしまって差し支えないといえる。この場合には、追加学習済モデル管理部１４がなくとも本発明のサーバ装置１０が機能するといえる。

前記第１の実施の形態においては、サーバ装置１０に追加学習処理部１３を設けていたが、これに限定されるものではなく、追加学習処理部１３に相当する追加学習処理機能を各デバイス２０側に設けるものであってもよい。この場合に、デバイス２０側で生成した追加学習済モデルをサーバ装置１０に送信する構成であってもよいが、追加学習済モデル全体はサーバ装置１０には送信せずに、追加学習済モデルの選択に必要な情報のみをサーバ装置１０に送信する構成であってもよい。他のデバイス２０が同じ追加学習済モデルを必要としたときにだけ、サーバ装置１０若しくは必要とするデバイス２０に直接送信する構成とすることができる。これにより、サーバ装置１０に必要なデータ領域を縮小することが可能となる。

前記第１の実施の形態においては、図１に示すように、１つのサーバ装置１０と複数のデバイス２０１〜２０ｎが通信ネットワーク３０を介して接続される構成を例に説明を行ったが、これに限定されるものではなく、例えば、複数のサーバ装置１０が格納された共有モデル（追加学習済モデルも含む）を相互に認識した状態で通信ネットワーク３０を介して通信可能に構成することで、他のサーバ装置１０から共有モデルを検索してデバイスに対して提供可能としてもよい。このように複数のサーバ装置と複数のデバイスからなる学習済モデル提供システムを構成することで、複数のサーバ装置１０の何れかに記憶された共有モデルをデバイス２０に対して提供可能となるため、より膨大なデータの選択肢の中から最適な共有モデルを選択可能となる。

前記第１の実施の形態においては、追加学習処理部１３における追加学習の対象データは、そのデバイスでのみ取得したデバイスデータを使って学習していたが、これにとどまる必要はなく、同一環境・条件の他のデバイスで取得したデータを使用したり、同一環境・条件の他のデバイスで生成した学習済モデルを使用して更新したりしてもよい。また、同一環境・条件の複数のデバイスにおいてそれぞれ生成された追加学習済モデルを混合して混合学習済モデルを生成するようにしてもよい。学習モデルの混合については、既知の様々な手法が適用可能である。

本発明は、学習済モデルを用いた推論処理を必要とする分野であればどのような分野であっても適用可能な技術であり、学習済モデルのデータベースとして運用することが可能である。

１０サーバ装置
１１デバイスデータ取得部
１２対象共有モデル選択部
１３追加学習処理部
１４追加学習済モデル管理部
１５記憶部
２０、２０１〜２０ｎデバイス
３０通信ネットワーク

Claims

予め学習された異なる特性の複数のモデルを記憶する少なくとも１つの記憶装置と、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
第１デバイスに関する情報を、前記第１デバイスから取得することと、
前記第１デバイスに関する情報に基づいて、前記複数のモデルから前記第１デバイスに送信するモデルを選択することと、
選択した前記モデルを、前記第１デバイスに送信することと、
を実行するように構成され、
前記複数のモデルのそれぞれは、デバイスデータを入力として、前記デバイスデータに関する推論結果を出力可能なニューラルネットワークからなるモデルであり、
前記デバイスデータは、少なくとも、センサデータ、音声データ又は画像データのいずれか１つを含み、
前記第１デバイスは、ピッキングを行うデバイスであって、
前記第１デバイスに関する情報は、ピッキングの環境又は条件に関する情報を含む、
サーバ装置。
予め学習された異なる特性の複数のモデルを記憶する少なくとも１つの記憶装置と、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
第１デバイスに関する情報を、前記第１デバイスから取得することと、
前記第１デバイスに関する情報に基づいて、前記複数のモデルから前記第１デバイスに送信するモデルを選択することと、
選択した前記モデルを、前記第１デバイスに送信することと、
を実行するように構成され、
前記複数のモデルのそれぞれは、デバイスデータを入力として、前記デバイスデータに関する推論結果を出力可能なニューラルネットワークからなるモデルであり、
前記デバイスデータは、少なくとも、センサデータ、音声データ又は画像データのいずれか１つを含み、
前記第１デバイスは、物体を把持する装置であって、
前記第１デバイスに関する情報は、前記物体に関する情報を含む、
サーバ装置。
前記第１デバイスに関する情報は、前記第１デバイスの環境に関する情報であり、
前記少なくとも１つのプロセッサは、前記複数のモデルから前記第１デバイスの環境に適合するモデルを選択する、
請求項１又は請求項２に記載のサーバ装置。
前記少なくとも１つのプロセッサは、
サンプルデータを用いて、前記少なくとも１つの記憶装置に記憶されたモデルの追加学習を行うことと、
追加学習済モデルを前記少なくとも１つの記憶装置に記憶させることと、
を更に実行するように構成される
請求項１乃至請求項３の何れかに記載のサーバ装置。
前記少なくとも１つのプロセッサは、
モデルに対して追加学習を行う機能を有する第３デバイスから送信された追加学習済モデルを受信することと、
受信した前記追加学習済モデルを前記少なくとも１つの記憶装置に記憶させることと、
を更に実行するように構成される
請求項１乃至請求項４の何れかに記載のサーバ装置。
前記モデルを選択することは、
前記第１デバイスに関する情報に基づいて、前記複数のモデルに対する適合度を評価したスコアをそれぞれ算出することと、
前記スコアに基づいて、前記モデルを選択することと、
を含む請求項１乃至請求項５の何れかに記載のサーバ装置。
前記モデルを選択することは、
モデルの選択のために、予め学習した学習済モデルを用いること、
を含む請求項１乃至６の何れかに記載のサーバ装置。
第４デバイスに適合するモデルが前記少なくとも１つの記憶装置に記憶されていない場合、
前記少なくとも１つのプロセッサは、
前記第４デバイスで取得されたサンプルデータを用いて、モデルを新規に生成すること、
を更に実行するように構成される
請求項１乃至請求項７の何れかに記載のサーバ装置。
少なくとも１つの記憶装置と、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
デバイスに関する情報を、サーバ装置に送信することと、
前記デバイスに関する情報に基づいて選択されたニューラルネットワークからなるモデルを、前記サーバ装置から受信することと、
デバイスデータを取得することと、
受信した前記モデルを用いて、前記デバイスデータに関する推論結果を取得することと、
を実行するように構成され、
前記デバイスデータは、少なくとも、センサデータ、音声データ又は画像データのいずれか１つを含み、
物体をピッキングするピッキング部、を更に備え、
前記デバイスに関する情報は、ピッキングの環境又は条件に関する情報を含む、
デバイス。
少なくとも１つの記憶装置と、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
デバイスに関する情報を、サーバ装置に送信することと、
前記デバイスに関する情報に基づいて選択されたニューラルネットワークからなるモデルを、前記サーバ装置から受信することと、
デバイスデータを取得することと、
受信した前記モデルを用いて、前記デバイスデータに関する推論結果を取得することと、
を実行するように構成され、
前記デバイスデータは、少なくとも、センサデータ、音声データ又は画像データのいずれか１つを含み、
物体を把持する把持部、を更に備え、
前記デバイスに関する情報は、前記物体に関する情報を含む、
デバイス。
前記デバイスに関する情報は、前記デバイスの環境に関する情報であり、
受信した前記モデルは、予め学習された異なる特性の複数のモデルの中から選択された前記デバイスの環境に適合するモデルである、
請求項９又は請求項１０に記載のデバイス。
前記少なくとも１つのプロセッサは、
サンプルデータを用いて、受信した前記モデルの追加学習を行うこと、
を更に実行するように構成される
請求項９乃至請求項１１の何れかに記載のデバイス。
前記少なくとも１つのプロセッサは、
追加学習済モデルを、前記サーバ装置に送信すること、
を更に実行するように構成される
請求項１２に記載のデバイス。
予め学習された異なる特性の複数のモデルを記憶する少なくとも１つの記憶装置と、少なくとも１つのプロセッサとを備えたサーバ装置によって実施される学習済モデル提供方法であって、
第１デバイスに関する情報を、前記第１デバイスから取得することと、
前記第１デバイスに関する情報に基づいて、前記複数のモデルから前記第１デバイスに送信するモデルを選択することと、
選択した前記モデルを、前記第１デバイスに送信することと、
を実行するようにし、
前記複数のモデルのそれぞれは、デバイスデータを入力として、前記デバイスデータに関する推論結果を出力可能なニューラルネットワークからなるモデルであり、
前記デバイスデータは、少なくとも、センサデータ、音声データ又は画像データのいずれか１つを含み、
前記第１デバイスは、物体をピッキングする装置であって、
前記第１デバイスに関する情報は、ピッキングの環境又は条件に関する情報を含む、
学習済モデル提供方法。
予め学習された異なる特性の複数のモデルを記憶する少なくとも１つの記憶装置と、少なくとも１つのプロセッサとを備えたサーバ装置によって実施される学習済モデル提供方法であって、
第１デバイスに関する情報を、前記第１デバイスから取得することと、
前記第１デバイスに関する情報に基づいて、前記複数のモデルから前記第１デバイスに送信するモデルを選択することと、
選択した前記モデルを、前記第１デバイスに送信することと、
を実行するようにし、
前記複数のモデルのそれぞれは、デバイスデータを入力として、前記デバイスデータに関する推論結果を出力可能なニューラルネットワークからなるモデルであり、
前記デバイスデータは、少なくとも、センサデータ、音声データ又は画像データのいずれか１つを含み、
前記第１デバイスは、物体を把持する装置であって、
前記第１デバイスに関する情報は、前記物体に関する情報を含む、
学習済モデル提供方法。
前記第１デバイスに関する情報は、前記第１デバイスの環境に関する情報であり、
前記少なくとも１つのプロセッサは、前記複数のモデルから前記第１デバイスの環境に適合するモデルを選択する、
請求項１４又は請求項１５に記載の学習済モデル提供方法。
サンプルデータを用いて、前記少なくとも１つの記憶装置に記憶されたモデルの追加学習を行うことと、
追加学習済モデルを前記少なくとも１つの記憶装置に記憶させることと、
を更に実行する
請求項１４乃至請求項１６の何れかに記載の学習済モデル提供方法。
モデルに対して追加学習を行う機能を有する第３デバイスから送信された追加学習済モデルを受信することと、
受信した前記追加学習済モデルを前記少なくとも１つの記憶装置に記憶させることと、
を更に実行する
請求項１４乃至請求項１７の何れかに記載の学習済モデル提供方法。
前記モデルを選択することは、
前記第１デバイスに関する情報に基づいて、前記複数のモデルに対する適合度を評価したスコアをそれぞれ算出することと、
前記スコアに基づいて、前記モデルを選択することと、
を含む
請求項１４乃至請求項１８の何れかに記載の学習済モデル提供方法。
前記モデルを選択することは、
モデルの選択のために学習した学習済モデルを用いること、
を含む
請求項１４乃至請求項１９の何れかに記載の学習済モデル提供方法。
第４デバイスに適合するモデルが前記少なくとも１つの記憶装置に記憶されていない場合、
前記第４デバイスで取得されたサンプルデータを用いて、モデルを新規に生成すること、
を更に実行する
請求項１４乃至請求項２０の何れかに記載の学習済モデル提供方法。
少なくとも１つの記憶装置と、少なくとも１つのプロセッサとを備えたデバイスによって実施される学習済モデル取得方法であって、
前記デバイスに関する情報を、サーバ装置に送信することと、
前記デバイスに関する情報に基づいて選択されたニューラルネットワークからなるモデルを、前記サーバ装置から受信することと、
デバイスデータを取得することと、
受信した前記モデルを用いて、前記デバイスデータに関する推論結果を取得することと、
を実行するようにし、
前記デバイスデータは、少なくとも、センサデータ、音声データ又は画像データのいずれか１つを含み、
前記デバイスは、物体をピッキングする装置であって、
前記デバイスに関する情報は、ピッキングの環境又は条件に関する情報を含む、
学習済モデル取得方法。
少なくとも１つの記憶装置と、少なくとも１つのプロセッサとを備えたデバイスによって実施される学習済モデル取得方法であって、
前記デバイスに関する情報を、サーバ装置に送信することと、
前記デバイスに関する情報に基づいて選択されたニューラルネットワークからなるモデルを、前記サーバ装置から受信することと、
デバイスデータを取得することと、
受信した前記モデルを用いて、前記デバイスデータに関する推論結果を取得することと、
を実行するようにし、
前記デバイスデータは、少なくとも、センサデータ、音声データ又は画像データのいずれか１つを含み、
前記デバイスは、物体を把持する装置であって、
前記デバイスに関する情報は、前記物体に関する情報を含む、
学習済モデル取得方法。
前記デバイスに関する情報は、前記デバイスの環境に関する情報であり、
受信した前記モデルは、予め学習された異なる特性の複数のモデルの中から選択された前記デバイスの環境に適合するモデルである、
請求項２２又は請求項２３に記載の学習済モデル取得方法。
サンプルデータを用いて、受信した前記モデルの追加学習を行うこと、
を更に実行する
請求項２２乃至請求項２４の何れかに記載の学習済モデル取得方法。
追加学習済モデルを、前記サーバ装置に送信すること、
を更に実行する
請求項２５に記載の学習済モデル取得方法。
予め学習された異なる特性の複数のモデルを記憶する少なくとも１つの記憶装置と、少なくとも１つのプロセッサとを備えたサーバ装置によって実行可能な命令を含む学習済モデル提供プログラムであって、前記命令が実行されると、前記サーバ装置に、
第１デバイスに関する情報を、前記第１デバイスから取得することと、
前記第１デバイスに関する情報に基づいて、前記複数のモデルから前記第１デバイスに送信するモデルを選択することと、
選択した前記モデルを、前記第１デバイスに送信することと、
を含む動作を行わせるものであり、
前記複数のモデルのそれぞれは、デバイスデータを入力として、前記デバイスデータに関する推論結果を出力可能なニューラルネットワークからなるモデルであり、
前記デバイスデータは、少なくとも、センサデータ、音声データ又は画像データのいずれか１つを含み、
前記第１デバイスは、物体を把持する装置であって、
前記第１デバイスに関する情報は、前記物体に関する情報を含む、
学習済モデル提供プログラム。
少なくとも１つの記憶装置と、少なくとも１つのプロセッサとを備えたデバイスによって実行可能な命令を含む学習済モデル取得プログラムであって、前記命令が実行されると、前記デバイスに、
前記デバイスに関する情報を、サーバ装置に送信することと、
前記デバイスに関する情報に基づいて選択されたニューラルネットワークからなるモデルを、前記サーバ装置から受信することと、
デバイスデータを取得することと、
受信した前記モデルを用いて、前記デバイスデータに関する推論結果を取得することと、
を含む動作を行わせるものであり、
前記デバイスデータは、少なくとも、センサデータ、音声データ又は画像データのいずれか１つを含み、
前記デバイスは、物体を把持する把持部、を更に備え、
前記デバイスに関する情報は、前記物体に関する情報を含む、
学習済モデル取得プログラム。