JP7032366B2 - 運用支援システム及び方法 - Google Patents

Description

本発明は、概して、学習モデルの運用の支援に関する。

コスト削減又は業務効率化といった観点から、各分野においてＡＩ（例えば機械学習）を用いた業務改革の意識が高まっている。特に、製品検査工程においては、検査品質の安定化、検査員の育成、熟練した人員の確保が難しくなっているという問題もある。そのため、ＡＩによる検査工程の自動化への期待が大きくなっている。

検査工程の自動化の実現のために、機械学習により作成された学習モデルを運用することが考えられる。

しかし、学習モデルは劣化することがある。特許文献１は、学習モデルの一例として予知モデルを開示している。特許文献１に開示の予知モデル維持システムは、新規予知モデルを作成し、予知モデルと新規予知モデルとのうち評価の高い方を運用予知モデルに選定する。

特開2019-87101号公報

本願発明者が、製品検査工程の自動化のための学習モデルの運用について鋭意検討した結果、次の知見を得るに至った。

製品の検査データが入力された学習モデルが、当該検査データを用いて製品の検査を行い、当該検査の結果（例えば、製品が正常と異常のどちらであるか）を表す検査結果データを出力する。運用中の学習モデルが劣化していると、良品（正常な製品）を表す検査データが入力されたにも関わらず不良品（異常な製品）を表す検査結果データが出力されてしまう第１のケースや、不良品を表す検査データが入力されたにも関わらず良品を表す検査結果データが出力されてしまう第２のケースがあり得る。

第１のケースが生じた場合、出荷されない良品が増え続けることが起こり得る。

第２のケースが生じた場合、学習モデルによる製品検査後の検査である後段検査（例えば、出荷直前の最終検査）によって不良品の出荷は避けることができたとしても、学習モデルによる製品検査から後段検査が行われるまでの期間に、不良品が製造され続けることが起こり得る。

このような問題、すなわち、対象が正常であることを表す入力データが入力されたにも関わらず対象が異常であることを表す出力データが出力されたり、対象が異常であることを表す入力データが入力されたにも関わらず対象が正常であることを表す出力データが出力されたりするといったことが続いてしまう問題、つまり、対象について入力データが表す内容と出力データが表す内容が異なることが続いてしまう問題は、製造検査工程以外の分野に学習モデルが運用される場合にもあり得る。

特許文献１に開示の予知モデル維持システムは、予知モデルの運用環境から切り離されたシステムであり、予知モデルの確信度に依存しないタイミングで予知モデルを評価する。このため、上述の問題は解決できない。

システムが、運用中の学習モデルの確信度をリアルタイムに（例えば、出力データの出力の都度に）監視する。具体的には、例えば、システムが、バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行い、また、運用中の学習モデルの監視である運用監視を行う。運用監視において、システムが、入力データが入力された運用中の学習モデルが出力データを出力する都度に当該学習モデルの確信度が第１の閾値未満か否かの第１の確信度比較を行う。第１の確信度比較の結果が真である場合、システムは、運用対象の学習モデルを、一つ以上の候補学習モデル（運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデル）のうち、当該真の結果が得られた運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、運用中の学習モデルから差し替える。

対象について入力データが表す内容と出力データが表す内容が異なることが続いてしまうことを低減できる。

実施形態１に係る運用支援システムの概要を示す図である。 運用監視装置の構成を示す図である。 モデル管理テーブルの構成を示す図である。 運用管理テーブルの構成を示す図である。 教師データ管理テーブルの構成を示す図である。 実施形態１における複数のフェーズを示す図である。 学習部が行うバックグラウンド処理のフローを示す図である。 再学習処理のフローを示す図である。 監視部が行う処理のフローを示す図である。 実施形態２に係る運用監視装置が行う処理のフローの一部を示す図である。 Ｔｈ_１とＴｈ_２の技術的意義の説明図である。 実施形態３に係る運用監視装置が行う処理のフローの一部を示す図である。 実施形態４に係る運用支援システムの概要を示す図である。

以下の説明では、「インターフェース装置」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、下記のうちの少なくとも一つでよい。
・一つ以上のＩ／Ｏ（Input/Output）インターフェースデバイス。Ｉ／Ｏ（Input/Output）インターフェースデバイスは、Ｉ／Ｏデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するＩ／Ｏインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのＩ／Ｏデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイス。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Network Interface Card））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。

また、以下の説明では、「メモリ」は、一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。

また、以下の説明では、「永続記憶装置」は、一つ以上の永続記憶デバイスである。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）であり、具体的には、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）である。

また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくともメモリでよい。

また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスである。少なくとも一つのプロセッサデバイスは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサデバイスであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。少なくとも一つのプロセッサデバイスは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサデバイスでもよい。

また、以下の説明では、「ｘｘｘテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、一つのテーブルは、二つ以上のテーブルに分割されてもよいし、二つ以上のテーブルの全部又は一部が一つのテーブルであってもよい。

また、以下の説明では、「ｋｋｋ部」の表現にて機能を説明することがあるが、機能は、一つ以上のコンピュータプログラムがプロセッサによって実行されることで実現されてもよいし、一つ以上のハードウェア回路（例えばＦＰＧＡ又はＡＳＩＣ）によって実現されてもよい。プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／又はインターフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機又は計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

また、以下の説明では、「運用支援システム」は、一つ以上の物理的な計算機でもよいし、少なくとも一つの物理的な計算機が所定のソフトウェアを実行することで実現されるソフトウェアディファインドのシステムでもよいし、複数の計算リソースである計算リソース群（例えば、クラウド基盤）上に実現されるシステムでもよい。運用支援システムは、データを送信するエッジ装置とデータを受信するコア装置とのうちの少なくとも一つを含んでよい。

また、以下の説明では、要素の「ＩＤ」は、識別情報であり、英数字等で表現された情報でもよいし、それに代えて又は加えて、要素の名称を含んでよい。

また、以下の説明では、時刻の単位は、年月日であるが、時刻の単位は、より粗くてもより細かくてもよい。

また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号のうちの共通部分を使用し、同種の要素を区別して説明する場合は、参照符号を使用することがある。例えば、エッジ装置を区別しない場合には「エッジ装置９２」と言い、エッジ装置を区別する場合には「エッジ装置９２Ａ」、「エッジ装置９２Ｂ」と言う。

また、以下の説明では、「学習モデル」を「モデル」と略記する。以下の実施形態では、モデルとして、ディープラーニングにより作成されたニューラルネットワークが採用されるが、モデルとしては、他種のモデル、例えば、自己回帰移動平均モデル（例えばＡＲＩＭＡ（Autoregressive Integrated Moving Average）モデル）が採用されてもよい。

また、以下の実施形態では、製品検査工程を例に取る。このため、運用中の学習モデルに入力される入力データは、製品の検査データ（例えば、製品についての一つ以上の計測項目についてそれぞれ計測された１つ以上の計測値を含む計測データを有するデータ）である。学習モデルから出力される出力データは、検査データを用いた処理の結果（例えば、製品が正常か異常かの結果）を表す検査結果データである。本発明は、製品検査工程以外の分野に適用されてもよい。なお、「製品」とは、一般に、製造された品物、すなわち、いわゆる完成品を意味するが、以下の説明において、「製品」とは、製造システム（例えば製造ライン）に投入される品物全般を意味してよい。従って、以下の説明において、例えば、「製品」とは、製造システムに投入される前の品物も、製造システム途中にある品物（いわゆる「半製品」）も、製造システムにおける該当の全ての工程を経て出荷可能な状態となった完成品のいずれでもよい。
［実施形態１］

図１は、実施形態１に係る運用支援システムの概要を示す図である。

運用支援システム５０は、運用中のモデル７９の確信度をリアルタイムに（例えば、検査結果データの出力の都度に）監視する運用監視を行う。このため、運用支援システム５０は、運用中のモデル７９の劣化（運用中のモデル７９の確信度が閾値より低下すること）が生じた場合にはその劣化を直ちに検出できる。モデル７９の劣化を検出した場合、運用支援システム５０は、モデル７９をより確信度の高い別のバージョンのモデルに差し替えるといったような対策を取る。これにより、製品の検査データが表す内容（例えば、正常又は異常）と製品の検査結果データが表す内容（例えば、正常又は異常）が異なることが続いてしまうことを低減できる。

運用支援システム５０は、アノテーション部５１、プリプロセス部５３、学習部５５、運用部５７、監視部５９、表示部７１、アノテーション管理テーブル１４０及びモデル管理テーブル１１０を備える。

アノテーション部５１は、モデルに入力されるデータについてのアノテーション（例えば、定義）を表すアノテーションデータを受け付け、当該アノテーションデータをアノテーション管理テーブル１４０に登録する。アノテーションは、例えば、製品検査に関わる者の知識に基づいていてよい。アノテーションは、良品（正常な製品）を表す検査データの条件である良品条件と、不良品（異常な製品）を表す検査データの条件である異常条件とうちの少なくとも一つでよい。良品条件に該当することは、良品条件それ自体に適合することでもよいし、異常条件に適合しないことでもよい。

プリプロセス部５３は、アノテーション管理テーブル１４０は、製品の検査装置のようなエッジ装置といったデータソース（図示せず）から入力された検査データを、運用部５７に転送したり、当該検査データが良品条件に該当していれば当該検査データを学習部５５に入力したりする。良品条件に該当する検査データを学習部５５に入力することは、学習部５５がモデルの作成のために参照するデータ管理テーブル（後述の教師データ管理テーブルと検査データ管理テーブルの少なくとも一つ）に登録することでよい。

学習部５５は、新規にモデルを作成したり、当該モデルの再学習（当該モデルのバージョンと異なるバージョンの一つ以上の学習モデルを作成すること）を行ったりする。学習部５５は、作成したモデルをモデル管理テーブル１１０に登録する。

運用部５７は、モデル管理テーブル１１０に登録されたいずれかのモデルを運用する。モデルは運用部５７にデプロイされることで、運用部５７による運用が可能となる。運用部５７は、推論部と呼ばれてもよい。

監視部５９は、運用中のモデル７９の監視である運用監視をリアルタイムに（例えば、検査結果データの出力の都度に、又は常時）行う。監視部５９は、確信度比較部６１、要因判定部６３、及びモデル差替部６５を備える。

確信度比較部６１は、検査データが入力された運用中のモデル７９が検査結果データを出力する都度に当該モデルの確信度が所定の閾値未満か否かの確信度比較を行う。また、確信度比較部６１は、運用中のモデル７９の確信度と、当該モデル７９の差し替え候補のモデルの確信度との比較を行う。また、確信度比較部６１は、同一のモデルについて、当該モデルの作成のために入力された検査データが入力された場合の当該モデルの確信度と、当該検査データよりも新しい検査データが入力された場合の当該モデルの確信度との比較を行う。

要因判定部６３は、運用中のモデル７９の確信度が所定の閾値未満となった要因が、当該モデルに入力されたデータにあるのか、或いはモデルそれ自体にあるのかを判定する。

モデル差替部６５は、運用対象のモデルを、運用中のモデル７９から、当該モデル７９のバージョンと異なるバージョンのモデルに差し替える。

表示部７１は、運用監視の結果に関する情報（例えば、運用中のモデル７９の現在の確信度と、差し替え候補のモデルの確信度とを表す情報を含んだ情報）や、再学習の結果に関する情報（例えば、運用中のモデル７９について得られた一つ以上のモデルの各々のバージョンを表す情報）や、アノテーションを表す情報といった情報を、運用支援システム５０と通信可能に接続された計算機８１に表示するために送信する。これらの情報は、テーブル１１０～１５０（図２参照）の少なくとも一つが表す情報と、種々の処理の結果としての情報のとのうちの少なくとも一部でよい。

以下、本実施形態を詳細に説明する。

図２は、運用支援装置の構成を示す図である。

製造検査工程に関し、一般に、それぞれ検査データを送信する複数のエッジ装置と、複数のエッジ装置の各々から検査データを受信するコア装置とが備えられる。少なくとも一つのエッジ装置は、製品に関し所定の計測項目について計測を行い計測値を含む検査データを送信するセンサ装置でもよいし、一つ以上のセンサ装置から検査データを受信する中継装置（例えば、エッジサーバ又はゲートウェイ）でもよい。中継装置は、受信した検査データをそのままコア装置に転送してもよいし、検査データを加工し（例えば、一定期間分の検査データのサマリとしての検査データを作成し）加工後の検査データをコア装置に転送してもよい。

運用支援装置９０は、コア装置の一例であり、本実施形態に係る運用支援システム５０それ自体に相当する。運用支援装置９０は、インターフェース装置１０、記憶装置２０及びプロセッサ３０を有する計算機システムでもよいし、それらの計算リソースを備える計算リソース群上に実現されるアノテーション部５１、プリプロセス部５３、学習部５５、運用部５７、監視部５９及び表示部７１のうち少なくとも学習部５５及び監視部５９を備えるシステムでもよい。

インターフェース装置１０は、ネットワーク（例えば、インターネット）を介して外部装置と通信するための装置である。外部装置としては、例えば、図１に示した計算機８１のようなクライアント計算機や、上述したエッジ装置がある。

記憶装置２０は、管理データと、図示しない一つ以上のプログラムとを格納する。管理データは、例えば、モデル管理テーブル１１０、運用管理テーブル１２０、教師データ管理テーブル１３０、アノテーション管理テーブル１４０、及び検査データ管理テーブル１５０を含む。

記憶装置２０内の一つ以上のプログラムがプロセッサ３０により実行されることで、上述したアノテーション部５１、プリプロセス部５３、学習部５５、運用部５７、監視部５９及び表示部７１といった機能が実現される。

図３は、モデル管理テーブル１１０の構成を示す図である。

モデル管理テーブル１１０は、モデルを表す情報を保持する。モデル管理テーブル１１０における各レコードは、例えば、モデルＩＤ１１１、バージョン１１２、学習開始１１３、学習終了１１４、製品ＩＤ１１５、製品名１１６及び確信度１１７といった情報を保持する。レコードはモデルに対応する。以下、一つのレコードを例に取る（図３の説明において、当該レコードに対応するモデルを「注目モデル」と言う）。

モデルＩＤ１１１は、注目モデルのＩＤを表す。バージョン１１２は、注目モデルのバージョンを表す。モデルＩＤ１１１とバージョン１１２との組から、モデルが同定される。学習開始１１３は、注目モデルの学習の開始日を表す。学習終了１１４は、注目モデルの学習の終了日を表す。製品ＩＤ１１５は、注目モデルにより検査される製品のＩＤを表す。製品名１１６は、注目モデルにより検査される製品の名称を表す。確信度１１７は、学習終了時点での注目モデルの確信度を表す。

図４は、運用管理テーブル１２０の構成を示す図である。

運用管理テーブル１２０は、モデルの運用に関する情報を保持する。運用管理テーブル１２０における各レコードは、例えば、モデルＩＤ１２１、バージョン１２２、デプロイ日１２３、アクティベーション１２４及び検査実績数１２５といった情報を保持する。レコードはモデルに対応する。以下、一つのレコードを例に取る（図４の説明において、当該レコードに対応するモデルを「注目モデル」と言う）。

モデルＩＤ１２１は、注目モデルのＩＤを表す。バージョン１２２は、注目モデルのバージョンを表す。デプロイ日１２３は、注目モデルが運用部５７にデプロイされた日を表す。アクティベーション１２４は、注目モデルが運用中のモデルか否かを表す。“１”が、運用中を意味し、“０”が、運用中ではないことを意味する。検査実績数１２５は、注目モデルにより検査された製品の数を表す。

図５は、教師データ管理テーブル１３０の構成を示す図である。

教師データ管理テーブル１３０は、教師データに関する情報を保持する。教師データ管理テーブル１３０における各レコードは、例えば、製品ＩＤ１３１、製品名１３２、製造番号１３３、実績１３４及び計測データ１３５といった情報を保持する。レコードは教師データに対応する（例えば、教師データそれ自体でよい）。以下、一つのレコードを例に取る（図５の説明において、当該レコードに対応する教師データを「注目教師データ」と言う）。なお、「教師データ」とは、検査データを含むデータでよく、具体的には、モデルの学習のために用意された検査データでよい。

情報１３１～１３５は、いずれも、注目教師データが持つ情報である。注目教師データのうち、実績１３４以外の情報は、検査データに含まれる情報でよい。言い換えれば、注目教師データは、実績１３４と検査データとを含むデータでよい。製品ＩＤ１３１は、製品のＩＤを表す。製品名１３２は、製品の名称を表す。製造番号１３３は、製品の製造番号を表す。実績１３４は、製品が良品であるか不良品であるかを表す。計測データ１３５は、製品についての一つ以上の計測値を含む。本実施形態では、例えば、実績１３４が“不良品”の教師データは、アノテーション管理テーブル１４０が表すアノテーションに非該当となり、結果として、プリプロセス部５３によって学習部５５に入力されることから除外されてよい。

図示しないが、検査データ管理テーブル１５０の構成は、教師データ管理テーブル１３０の構成と同じでよい。検査データ管理テーブル１５０は、運用中に運用支援装置９０が受信した検査データに関する情報を保持する。検査データ管理テーブル１５０におけるレコードは、検査データそれ自体でよい。

以下、本実施形態で行われる処理の一例を説明する。

図６は、本実施形態における複数のフェーズを示す図である。なお、以下の説明では、期間Ｘ（Ｘ番目の期間）に得られた検査データを「検査データＸ」と記載する。

事前学習フェーズ、運用フェーズ及び再学習フェーズといった三つのフェーズに大別することができる。

事前学習フェーズとは、新たなモデルＩＤのモデルが作成（学習）されるフェーズである。事前学習フェーズでは、学習部５５が、学習対象のモデルに対して検査データＴを入力し、検査データＴを含む教師データが持つ実績と、検査データの処理の結果としての検査結果データとが一致するように当該モデルの学習を行う。当該モデルの学習が済んだ場合、当該モデルを表す情報がモデル管理テーブル１１０及び運用管理テーブル１２０の各々に登録される。当該モデルが運用部５７にデプロイされる。作成されたモデルは、モデルＩＤ“Ｍ１００”及びバージョン“Ｖｅｒ．１”である。以下、モデルＩＤ“Ｐ”のモデルを「モデルＰ」と記載し、バージョン“Ｑ”のモデルＰを「モデルＰ／Ｑ」と記載することがある。また、バージョン“Ｖｅｒ．Ｋ”の確信度を「Ｃ_Ｋ」と記載することがある。図６の例では、Ｃ_１は“９０％”である。

運用フェーズとは、デプロイされたモデルが運用されるフェーズ（つまり推論のフェーズ）である。運用フェーズでは、運用部５７が、デプロイされたモデルＭ１００／Ｖｅｒ．１を運用する。具体的には、例えば、期間Ｔの次の期間（Ｔ＋１）が運用中の期間の少なくとも一部であり、検査データ（Ｔ＋１）が、運用中のモデルＭ１００／Ｖｅｒ．１に入力され、検査データ（Ｔ＋１）の処理の結果としての検査結果データが出力される。

再学習フェーズとは、同一のモデルＩＤ且つ異なるバージョンのモデルが作成されるフェーズである。再学習フェーズは、定期的に開始されてもよいし、運用中のモデルの確信度と閾値との関係に応じて開始されてもよい。再学習フェーズでは、学習部５５が、検査データ（Ｔ＋１）（又は、再学習のために用意された教師データ）をモデルＭ１００／Ｖｅｒ．１（又は、モデルＩＤ“Ｍ１００”の他のモデル）に入力することで、モデルＭ１００／Ｖｅｒ．１の再学習を行う。再学習後のモデルとして、モデルＭ１００／Ｖｅｒ．２（すなわち、モデルＭ１００／Ｖｅｒ．１と同一のモデルＩＤ且つ異なるバージョンのモデル）が作成される。当該モデルを表す情報がモデル管理テーブル１１０及び運用管理テーブル１２０の各々に登録される。図６の例では、図６の例では、Ｃ_２は“９５％”である。

監視部５９が、運用中のモデルＭ１００／Ｖｅｒ．１を監視している。監視部５９が、モデルＭ１００／Ｖｅｒ．１から検査結果データが出力される都度に、図６の例では、Ｃ_１がＴｈ（閾値）未満になったか否かを判定する。この判定の結果として真の結果が得られた場合、監視部５９が、運用対象のモデルＭ１００を、モデルＭ１００／Ｖｅｒ．１から、Ｃ_２＞Ｃ_１であるモデルＭ１００／Ｖｅｒ．２に差し替える。

図７は、学習部５５が行うバックグラウンド処理のフローを示す図である。

バックグラウンド処理とは、モデル運用のバックグラウンドで行われる処理であって、事前学習フェーズにおいて作成されたモデルについての処理である。以下の説明では、当該モデルとして、モデルＭ１００を例に取る。

学習部５５が、モデルＭ１００の再学習処理の開始条件に適合するか否かを判定する（Ｓ７０１）。開始条件としては、任意の条件が採用されてよい。例えば、本実施形態では、開始条件は、モデルＭ１００の最近の再学習処理が終了してから一定時間経過したことである。つまり、本実施形態では、再学習処理が、モデル運用のバックグラウンドで定期的に行われる。

Ｓ７０１の判定結果が真の場合（Ｓ７０１：Ｙｅｓ）、学習部５５が、モデルＭ１００の再学習処理を行う（Ｓ７０２）。例えば、一回の再学習処理において、学習部５５が、モデルＭ１００について、作成済のバージョンと異なるバージョンのモデルを一つ作成し、当該作成されたモデルを表す情報を、モデル管理テーブル１１０（及び、運用管理テーブル１２０）に登録する。

モデルＭ１００について、再学習処理が繰り返されることで、作成済のモデル（モデル管理テーブル１１０に登録済みのモデル）のバージョンと異なるバージョンのモデルが作成される。

図８は、再学習処理（Ｓ７０２）のフローを示す図である。

学習部５５が、アノテーション管理テーブル１４０を基に、再学習のための入力候補の一つとしての検査データ（図８の説明において、注目検査データ）が正しいデータか否かを判定する（Ｓ８０１）。「注目検査データが正しいデータか否か」の一例は、モデルＭ１００の検査対象の製品についてのアノテーションが表す良品定義に注目検査データが該当するか否かである。Ｓ８０１の判定結果が真の場合（Ｓ８０１：Ｙｅｓ）、Ｓ８０５が行われる。

Ｓ８０１の判定結果が偽の場合（Ｓ８０１：Ｎｏ）、学習部５５が、注目検査データが未知のデータであるか否かを判定する（Ｓ８０２）。「未知のデータ」の一例は、教師データ（訓練データと呼ばれてもよい）としての検査データではなく、運用中に実際に取得された検査データでよい。

Ｓ８０２の判定結果が偽の場合（Ｓ８０２：Ｎｏ）、不適切な検査データが存在することを意味するため、学習部５５が、報告処理を行う（Ｓ８０３）。この報告処理では、学習部５５は、注目検査データが表す製品の製造ラインの担当者に、不適切な検査データ（例えば、規格外のデータ）が発生したことを意味する情報を送信してよい。

Ｓ８０２の判定結果が真の場合（Ｓ８０２：Ｙｅｓ）、学習部５５は、アノテーション管理テーブル１４０を基に、注目検査データが所定のルール（アノテーションが表すルール）に適合するか否かを判定する（Ｓ８０４）。Ｓ８０４の判定結果が偽の場合（Ｓ８０４：Ｎｏ）、Ｓ８０３が行われる。

Ｓ８０４の判定結果が真の場合（Ｓ８０４：Ｙｅｓ）、学習部５５は、或るバージョン（例えば、運用中のバージョン）のモデルＭ１００に注目検査データを入力することでモデルＭ１００の再学習を行う（Ｓ８０５）。

Ｓ８０５の後、学習部５５は、注目検査データが入力候補として最後のデータか否かを判定する（Ｓ８０６）。Ｓ８０６の判定結果が偽の場合（Ｓ８０６：Ｎｏ）、学習部５５は、別の検査データを選択し、当該別の検査データについてＳ８０１を行う。Ｓ８０６の判定結果が真の場合（Ｓ８０６：Ｙｅｓ）、モデルＭ１００について新たなバージョンのモデルＭ１００が完成したので、学習部５５は、当該完成した新たなバージョンのモデルＭ１００を表す情報を、モデル管理テーブル１１０（及び、運用管理テーブル１２０）に登録する。

再学習処理では、アノテーションに該当する検査データのような、モデルＭ１００の再学習に適していると判定されたデータのみが、再学習に使用される。このため、モデルＭ１００の確信度を維持することができる。なお、Ｓ８０１～Ｓ８０３は、学習部５５に代えてプリプロセス部５３が行ってよい。

図９は、監視部５９が行う処理のフローを示す図である。

運用中のモデルＭ１００のバージョンが（Ｎ－１）であるとする。検査データが入力された運用中のモデルＭ１００／（Ｎ－１）から検査結果データが出力される都度に、確信度比較部６１が、Ｃ_{（Ｎ－１）}＜Ｔｈか否かを判定する（Ｓ９０１）。Ｔｈは、閾値である。

Ｓ９０１の判定結果が偽の場合（Ｓ９０１：Ｎｏ）、確信度比較部６１は、運用管理テーブル１２０を参照し、モデルＭ１００／（Ｎ－１）のデプロイ日１２３から一定時間経過したか否かを判定する（Ｓ９０２）。Ｓ９０２の判定結果が真の場合（Ｓ９０２：Ｙｅｓ）、確信度比較部６１は、モデル管理テーブル１１０及び運用管理テーブル１２０を参照し、アクティベーション１２４が“０”である（つまり、運用中ではない）モデルＭ１００／Ｎを選択する（Ｓ９０５）。

Ｓ９０１の判定結果が真の場合（Ｓ９０１：Ｙｅｓ）、要因判定部６３が、入力された検査データについてコンセプトドリフトが生じているか否かを判定する（Ｓ９０３）。「コンセプトドリフトが生じているか否か」の判定は、Ｃ_{（Ｎ－１）}＜Ｔｈの要因がデータであるか否かの判定の一例である。コンセプトドリフトの一例としては、検査データが表す計測値の平均値が一定値以上に変化したことである。Ｓ９０３の判定結果が真の場合（Ｓ９０３：Ｙｅｓ）、要因判定部６３が、報告処理を行う（Ｓ９０４）。この報告処理では、要因判定部６３が、運用中のモデルに入力された検査データが表す製品の製造ラインの担当者に、コンセプトドリフトが生じたことを意味する情報を送信してよい。

Ｓ９０３の判定結果が偽の場合（Ｓ９０３：Ｎｏ）、確信度比較部６１は、Ｓ９０５を行う、すなわち、モデルＭ１００／Ｎを選択する。

確信度比較部６１は、Ｃ_Ｎ＞Ｃ_{（Ｎ－１）}か否かを判定する（Ｓ９０６）。Ｃ_Ｎは、モデルＭ１００／Ｎの確信度であり、Ｃ_{（Ｎ－１）}は、モデルＭ１００／（Ｎ－１）の確信度である。Ｃ_Ｎ及びＣ_{（Ｎ－１）}は、モデル管理テーブル１１０の確信度１１７が表す値でもよい。或いは、確信度比較部６１は、モデルＭ１００／ＮとモデルＭ１００／（Ｎ－１）との各々に、検査データを入力して、そのときのモデルＭ１００／Ｎの確信度とモデルＭ１００／（Ｎ－１）の確信度が、Ｃ_Ｎ及びＣ_{（Ｎ－１）}を取得してもよい。また、Ｓ９０６とＳ９０５が一体でもよい。すなわち、Ｃ_{（Ｎ－１）}より高い確信度のバージョンのモデルＭ１００がＳ９０５で選択され、Ｓ９０６が無くてもよい。

Ｓ９０６の判定結果が偽の場合（Ｓ９０６：Ｎｏ）、確信度比較部６１は、Ｎを１インクリメントして（Ｓ９０８）、Ｓ９０５を行う。

Ｓ９０６の判定結果が真の場合（Ｓ９０６：Ｙｅｓ）、確信度比較部６１は、モデルＭ１００／Ｎに、検査データＴ及び検査データ（Ｔ＋１）の各々を入力し、Ｃ_Ｎ：Ｔ≦Ｃ_{Ｎ：（Ｔ＋１）}か否かを判定する（Ｓ９０７）。Ｃ_Ｎ：Ｔは、検査データＴが入力された場合のモデルＭ１００／Ｎの確信度である。Ｃ_{Ｎ：（Ｔ＋１）}は、検査データ（Ｔ＋１）が入力された場合のモデルＭ１００／Ｎの確信度である。検査データＴは、旧い検査データの一例であり、例えば、モデルＭ１００の事前学習で使用された検査データである。検査データ（Ｔ＋１）は、検査データＴよりも新しい検査データの一例であり、例えば、モデルＭ１００の運用中に受信された検査データである。Ｓ９０７の判定結果が偽の場合（Ｓ９０７：Ｎｏ）、確信度比較部６１は、Ｓ９０８を行う。

Ｓ９０７の判定結果が真の場合（Ｓ９０７：Ｙｅｓ）、モデル差替部６５が、モデルＭ１００／Ｎをデプロイする（Ｓ９０９）。すなわち、モデル差替部６５が、運用対象のＭ００１を、モデルＭ１００／（Ｎ－１）からモデルＭ１００／Ｎに差し替える。
［実施形態２］

実施形態２を説明する。その際、実施形態１との相違点を主に説明し、実施形態１との共通点については説明を省略又は簡略する。

図１０は、実施形態２に係る運用監視装置が行う処理のフローの一部を示す図である。

本実施形態では、再学習処理の開始条件が、Ｃ_{（Ｎ－１）}（モデルＭ１００／（Ｎ－１）の確信度）がＴｈ_２（第２の閾値）よりも小さいことである。言い換えれば、実施形態１では、再学習処理に関する処理は、バックグラウンド処理であるのに対し、本実施形態では、リアルタイム処理であると言うことができる。

確信度比較部６１が、Ｃ_{（Ｎ－１）}＜Ｔｈ_２か否かを判定する（Ｓ１００１）。Ｓ１００１の判定結果が真の場合（Ｓ１００１：Ｙｅｓ）、学習部５５が、モデルＭ１００の再学習処理を行う（Ｓ１００２）。

その後、確信度比較部６１は、Ｃ_{（Ｎ－１）}＜Ｔｈ_１か否かを判定する（Ｓ１００３）。Ｔｈ_１は、第１の閾値である。Ｔｈ_１とＴｈ_２との技術的意義については、後述する。

Ｓ１００３の判定結果が偽の場合（Ｓ１００３：Ｎｏ）、Ｓ１００２が行われる。

Ｓ１００３の判定結果が真の場合（Ｓ１００３：Ｙｅｓ）、図９のＳ９０３以降の処理が行われる。

図１１は、Ｔｈ_１とＴｈ_２の技術的意義の説明図である。

モデルＭ１００について、過去の確信度の分布（又はその他の情報）を基に決められたＴｈ_Ｂ（基準確信度）を基に、Ｔｈ_１とＴｈ_２が設定される。例えば、確信度比較部６１は、定期的にＴｈ_Ｂを算出し、算出したＴｈ_Ｂを基にＴｈ_１とＴｈ_２の少なくとも一つを変更してもよい。

Ｔｈ_１として、上限としてのＴｈ_１を意味するＴｈ_１Ｕと、下限としてのＴｈ_１を意味するＴｈ_１Ｄとがある。Ｔｈ_２として、上限としてのＴｈ_２を意味するＴｈ_２Ｕと、下限としてのＴｈ_２を意味するＴｈ_２Ｄとがある。Ｔｈ_２Ｕ＜Ｔｈ_１Ｕであり、Ｔｈ_２Ｄ＞Ｔｈ_１Ｄである。つまり、Ｔｈ_２の方がＴｈ_１よりもＴｈ_Ｂに近い。Ｔｈ_２Ｕ～Ｔｈ_２Ｄの確信度範囲で、通常、確信度が変化する。運用中のモデルＭ１００／（Ｎ－１）の確信度がＴｈ_２を超えた（下回った又は上回った）場合に、学習部５５が、モデルＭ１００の再学習によりモデルＭ１００／Ｎを準備しておく。運用中のモデルＭ１００／（Ｎ－１）の確信度がＴｈ_１を超えた（下回った又は上回った）場合に、モデル差替部６５が、モデルＭ１００／Ｎをデプロイする。

以上のように、Ｔｈ_１とＴｈ_２があることで、モデルの準備と差替を適切なタイミングで行うことができる。
［実施形態３］

実施形態３を説明する。その際、実施形態１及び２との相違点を主に説明し、実施形態１及び２との共通点については説明を省略又は簡略する。

図１２は、実施形態３に係る運用監視装置が行う処理のフローの一部を示す図である。

確信度比較部６１が、Ｃ_{（Ｎ－１）}＜Ｔｈ_２か否かを判定する（Ｓ１２０１）。

Ｓ１２０１の判定結果が真の場合（Ｓ１２０１：Ｙｅｓ）、モデル評価、すなわち、Ｓ９０５～Ｓ９０７：Ｙｅｓが行われる。

その後、確信度比較部６１は、Ｃ_{（Ｎ－１）}＜Ｔｈ_１か否かを判定する（Ｓ１２０２）。

Ｓ１２０２の判定結果が真の場合（Ｓ１２０２：Ｙｅｓ）、要因判定部６３が、コンセプトドリフトが生じているか否かを判定する（Ｓ１２０３）。Ｓ１２０３の判定結果が真の場合（Ｓ１２０３：Ｙｅｓ）、要因判定部６３が、報告処理を行う（Ｓ１２０５）。

Ｓ１２０３の判定結果が偽の場合（Ｓ１２０３：Ｎｏ）、モデル差替部６５が、モデルＭ１００／Ｎをデプロイする（Ｓ１２０４）。
［実施形態４］

図１３は、実施形態４に係る運用支援システムの概要を示す図である。

実施形態１～３では、アノテーション部５１、プリプロセス部５３、学習部５５、運用部５７、監視部５９及び表示部７１といった機能が、コア装置の一例である運用支援装置に集約されているが、これらの機能は、コア装置に代えてエッジ装置に集約されてもよいし、エッジ装置とコア装置に分散されていてもよい。すなわち、運用支援システムは、データを送信するエッジ装置とデータを受信するコア装置との一方、又は、双方でよい。

図１３が示す例によれば、複数のエッジ装置９２Ａ、９２Ｂ、…と、コア装置９６とがある。エッジ装置９２（例えば９２Ａ）が、アノテーション部５１、プリプロセス部５３、学習部５５、運用部５７、監視部５９及び表示部７１を有し、且つ、教師データ管理テーブル１３０、アノテーション管理テーブル１４０及び検査データ管理テーブル１５０を格納する。コア装置９６が、複数のエッジ装置９２Ａ、９２Ｂ、…にそれぞれ対応した複数の記憶空間９８Ａ、９８Ｂ、…を提供する。記憶空間９８（例えば９８Ａ）には、当該記憶空間９８に対応するエッジ装置９２に対応するモデル管理テーブル１１０及び運用管理テーブル１２０が格納される。エッジ装置９２での再学習により作成されたモデルを表す情報が、当該エッジ装置９２に対応した記憶空間９８内のテーブル１１０及び１２０に登録される。また、モデルそれ自体も、記憶空間９８に格納されてよい。

以上の実施形態１～４の説明を、例えば下記のように総括することができる。

運用支援システム５０が、運用中のモデルＭ１００／（Ｎ－１）の確信度をリアルタイムに監視する。具体的には、運用支援システム５０が、バージョンの異なる一つ又は複数のモデルを作成することである再学習を行う学習部５５と、運用中のモデルの監視である運用監視を行う監視部５９とを備える。監視部５９が、確信度比較部６１と、モデル差替部６５とを備える。確信度比較部６１が、検査データ（入力データの一例）が入力された運用中のモデルＭ１００／（Ｎ－１）が検査結果データ（出力データの一例）を出力する都度にＣ_{（Ｎ－１）}＜Ｔｈ_１か否かの第１の確信度比較を行う。Ｃ_{（Ｎ－１）}＜Ｔｈ_１である場合、モデル差替部６５が、モデル差替を行う、すなわち、運用対象のモデルＭ１００を、一つ以上の候補モデル（運用中のモデルＭ１００／（Ｎ－１）のバージョンと異なるバージョンの一つ以上のモデルＭ１００）のうち、当該真の結果が得られた運用中のモデルＭ１００／（Ｎ－１）の確信度よりも高いいずれかの候補モデルＭ１００／Ｎに、運用中のモデルＭ１００／（Ｎ－１）から差し替える。これにより、製品（対象の一例）について検査データが表す内容（例えば、良品又は不良品）と検査結果データが表す内容（例えば、良品又は不良品）が異なることが続いてしまうことを低減できる。なお、「Ｃ_{（Ｎ－１）}＜Ｔｈ_１」とは、Ｔｈ_１の種類によって（例えば、Ｔｈ_１が上限と下限のどちらであるかによって）、Ｃ_{（Ｎ－１）}がＴｈ_１を上回ることと下回ることとのいずれでもよい。

運用支援システム５０が、要因判定部６３を備えてよい。要因判定部６３は、Ｃ_{（Ｎ－１）}＜Ｔｈ_１である場合に、当該結果が得られた運用中のモデルＭ１００／（Ｎ－１）に入力された検査データが当該結果の要因であるか否かの要因判定を行ってよい。要因判定の結果が偽の場合に、モデル差替部６５が、上述のモデル差替を行ってよい。モデルＭ１００／（Ｎ－１）の運用中は、不適切な検査データ（例えば、モデルＭ１００／（Ｎ－１）の作成の学習で使用された検査データと特徴（例えば傾向）が異なるデータ）を運用支援システム５０が受信し得る。不適切な検査データが要因でＣ_{（Ｎ－１）}がＴｈ_１未満となることも考えられる。そこで、Ｃ_{（Ｎ－１）}＜Ｔｈ_１の要因がデータなのか否かを判定し、当該要因が、データではないことが特定された場合に、言い換えれば、モデルＭ１００／（Ｎ－１）であることが特定された場合に、モデル差替が行われる。これにより、不要なモデル差替を避けることができる。なお、要因判定は、Ｃ_{（Ｎ－１）}＜Ｔｈ_１が得られた運用中のモデルＭ１００／（Ｎ－１）に入力された検査データを基にコンセプトドリフトが特定されたか否かの判定でよい。コンセプトドリフトの生じた後の検査データがモデルＭ１００／（Ｎ－１）に入力されることの継続を避けることが期待できる。

確信度比較部６１は、検査データが入力された運用中のモデルＭ１００／（Ｎ－１）が検査結果データを出力する都度に、Ｃ_{（Ｎ－１）}＜Ｔｈ_２か否かの第２の確信度比較を行ってよい。Ｃ_{（Ｎ－１）}＜Ｔｈ_２である場合に、確信度比較部６１が、候補モデルＭ１００／Ｎ（一つ以上の候補モデルの少なくとも一つの候補モデルの一例）に評価用のデータを入力することで当該候補モデルＭ１００／Ｎを評価することであるモデル評価を行ってよい。すなわち、モデルＭ１００／Ｎを選択してからデプロイするまでの間に、Ｃ_Ｎが評価されてよい。これにより、差し替え後のモデルＭ１００／Ｎの信頼性が期待される。モデル評価では、例えば、確信度比較部６１は、モデルＭ１００／Ｎ（一つ以上の候補モデルの一例）を選択し、当該候補モデルＭ１００／Ｎに検査データ（評価用データの一例）を入力することで、Ｃ_Ｎを評価してよい。Ｃ_{（Ｎ－１）}＜Ｔｈ_１であり、且つ、上記要因判定の結果が偽の場合、上記モデル差替において、差し替え後のモデルは、モデル評価においてＣ_{（Ｎ－１）}よりも高い確信度Ｃ_Ｎが得られた候補モデルＭ１００／Ｎでよい。なお、モデル評価で使用される検査データは、候補モデルＭ１００／Ｎの作成に使用された検査データＴと当該検査データＴよりも新しい検査データ（Ｔ＋１）でよい。候補モデルＭ１００／Ｎは、Ｃ_Ｎ：Ｔ≦Ｃ_{Ｎ：（Ｔ＋１）}であるモデルでよい。これにより、差し替え後のモデルが、最近の特徴の検査データに適したモデルであることが期待される。Ｃ_Ｎ：Ｔは、モデルＭ１００／Ｎの作成に使用された検査データＴが当該モデルＭ１００／Ｎに入力された場合の確信度である。Ｃ_{Ｎ：（Ｔ＋１）}は、検査データＴよりも新しい検査データ（Ｔ＋１）がモデルＭ１００／Ｎに入力された場合の確信度である。

学習部５５は、運用監視と非同期に定期的に又は不定期的に再学習を行ってよい。これにより、運用監視の結果に依存すること無しに、バージョンの異なるモデルを増やしていくこと、つまりモデル差替のための準備をしておくことができる。

Ｃ_{（Ｎ－１）}＜Ｔｈ_２である場合に、学習部５５が、モデルＭ１００について運用中のモデルＭ１００／（Ｎ－１）と異なるバージョンのモデルを作成する再学習を行ってよい。これにより、Ｃ_{（Ｎ－１）}＜Ｔｈ_２が特定された適切なタイミングで差し替え後のモデルの候補を作成する準備処理を開始することができる。

運用支援システム５０は、プリプロセス部５３を備えてよい。プリプロセス部５３は、製品が良品であることを表すデータの条件（例えば、アノテーションが表す条件の一例）に該当する検査データをモデルに入力し、当該条件に該当しない検査データをモデルに入力しないでよい。製品検査工程の運用中は、通常、不良品を表す検査データよりも良品を表す検査データの方が多く得られる。このため、良品を表す検査データのみを入力対象とすることで、モデルの精度を高めることが期待できる。なお、製品が良品であることを表すデータの条件は、対象を表すデータに関する所定の条件の一例でよい。所定の条件は、製品が良品であることを表すデータの条件に代えて又は加えて、運用支援システムが適用される分野や目的に応じた他の条件（例えば、製品が不良品であることを表すデータの条件）を含んでもよい。

モデル差替部６５が、モデルＭ１００／Ｎを選択してモデル評価を行ってよい。Ｃ_{（Ｎ－１）}＜Ｔｈ_１であり、且つ、上記要因判定の結果が偽の場合、これにより、差し替え後のモデルＭ１００／Ｎの信頼性が期待される。なお、差し替え後のモデルＭ１００／Ｎは、Ｃ_Ｎ：Ｔ≦Ｃ_{Ｎ：（Ｔ＋１）}であるモデルでよい。これにより、差し替え後のモデルが、最近の特徴の検査データに適したモデルであることが期待される。

以上、幾つかの実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実行することが可能である。例えば、上述したように、本発明は、製造検査工程以外の分野にも適用可能である。例えば、本発明は、マーケティング分野に適用可能であり、その場合、入力データの一例は販売実績を表すデータでよく、モデルの一例は需要予測のモデルでよく、出力データの一例は必要仕入れ数を表すデータでよい。

５０…運用支援システム

Claims (18)

1. バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行う学習部と、
   運用中の学習モデルの監視である運用監視を行う監視部と、
   要因判定部と
   を備え、
   前記監視部が、
   前記運用中の学習モデルの確信度が第１の閾値未満か否かの第１の確信度比較を行う確信度比較部と、
   前記第１の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた前記運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、前記運用中の学習モデルから差し替えることであるモデル差替を行うモデル差替部と
   を備え、
   前記要因判定部が、前記第１の確信度比較の結果が真である場合に、当該真の結果が得られた運用中の学習モデルに入力された入力データが当該結果の要因であるか否かの要因判定を行い、
   前記要因判定の結果が偽の場合に、前記モデル差替部が、前記モデル差替を行う、
   運用支援システム。
2. 前記確信度比較部は、前記運用中の学習モデルの確信度が、前記第１の閾値よりも基準確信度に近い第２の閾値の未満か否かの第２の確信度比較を行い、
   前記第２の確信度比較の結果が真である場合に、前記確信度比較部が、前記一つ以上の候補学習モデルの少なくとも一つの候補学習モデルを当該候補学習モデルに評価用のデータを入力することで評価することであるモデル評価を行い、
   前記第１の確信度比較の結果が真であり、且つ、前記要因判定の結果が偽の場合、前記モデル差替において、前記いずれかの候補学習モデルは、前記モデル評価において運用中の学習モデルの確信度よりも高い確信度が得られた候補学習モデルである、
   請求項１に記載の運用支援システム。
3. 前記評価用のデータは、前記少なくとも一つの候補学習モデルの作成に使用された入力データと当該入力データよりも新しい入力データであり、
   前記いずれかの候補学習モデルは、当該候補学習モデルの作成に使用された入力データよりも新しい入力データが当該候補学習モデルに入力された場合の確信度が、当該候補学習モデルの作成に使用された入力データが当該候補学習モデルに入力された場合の確信度と同じかそれよりも高い候補学習モデルである、
   請求項２に記載の運用支援システム。
4. 前記要因判定は、前記第１の確信度比較の結果として真の結果が得られた運用中の学習モデルに入力された入力データを基にコンセプトドリフトが特定されたか否かの判定である、
   請求項１乃至３のうちのいずれか１項に記載の運用支援システム。
5. 前記確信度比較部が、前記一つ以上の候補学習モデルの少なくとも一つの候補学習モデルを当該候補学習モデルに評価用のデータを入力することで評価することであるモデル評価を行い、
   前記第１の確信度比較の結果が真であり、且つ、前記要因判定の結果が偽の場合、前記モデル差替において、前記いずれかの候補学習モデルは、前記モデル評価において運用中の学習モデルの確信度よりも高いことが得られた候補学習モデルである、
   請求項１乃至４のうちのいずれか１項に記載の運用支援システム。
6. 前記評価用のデータは、前記少なくとも一つの候補学習モデルの作成に使用された入力データと当該入力データよりも新しい入力データであり、
   前記いずれかの候補学習モデルは、当該候補学習モデルの作成に使用された入力データが当該候補学習モデルに入力されたときの確信度よりも、当該候補学習モデルの作成に使用された入力データよりも新しい入力データが当該候補学習モデルに入力されたときの確信度の方が高い候補学習モデルである、
   請求項５に記載の運用支援システム。
7. バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行う学習部と、
   運用中の学習モデルの監視である運用監視を行う監視部と
   を備え、
   前記監視部が、
   前記運用中の学習モデルの確信度が第１の閾値未満か否かの第１の確信度比較を行う確信度比較部と、
   前記第１の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた運用中の前記学習モデルの確信度よりも高いいずれかの候補学習モデルに、前記運用中の学習モデルから差し替えることであるモデル差替を行うモデル差替部と
   を備え、
   前記確信度比較部は、前記運用中の学習モデルの確信度が、前記第１の閾値よりも基準確信度に近い第２の閾値未満か否かの第２の確信度比較を行い、
   前記第２の確信度比較の結果が真である場合に、前記学習部が、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルを作成することである前記再学習を行う、
   運用支援システム。
8. バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行う学習部と、
   運用中の学習モデルの監視である運用監視を行う監視部と
   を備え、
   前記監視部が、
   前記運用中の学習モデルの確信度が第１の閾値未満か否かの第１の確信度比較を行う確信度比較部と、
   前記第１の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた前記運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、前記運用中の学習モデルから差し替えることであるモデル差替を行うモデル差替部と
   を備え、
   前記第１の閾値は、過去の確信度の分布を基に決められた基準確信度に基づく閾値である、
   運用支援システム。
9. 対象を表すデータに関する所定の条件に該当する入力データを学習モデルに前記再学習のために入力し、前記所定の条件に該当しない入力データを当該学習モデルに前記再学習のために入力しないプリプロセス部、
   を更に備える請求項１乃至８のうちのいずれか１項に記載の運用支援システム。
10. 前記対象は、製品検査において検査対象となる製品であり、
    前記所定の条件は、製品が良品であることを表すデータの条件である、
    請求項９に記載の運用支援システム。
11. 前記学習部は、前記運用監視と非同期に定期的に又は不定期的に前記再学習を行う、
    請求項１乃至１０のうちのいずれか１項に記載の運用支援システム。
12. 前記確信度比較部が、入力データが入力された前記運用中の学習モデルが出力データを出力する都度に前記第１の確信度比較を行う、
    請求項１乃至１１のうちのいずれか１項に記載の運用支援システム。
13. コンピュータが、バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行い、
    コンピュータが、運用中の学習モデルの確信度が第１の閾値未満か否かの第１の確信度比較を行い、
    コンピュータが、前記第１の確信度比較の結果が真である場合、当該真の結果が得られた運用中の学習モデルに入力された入力データが当該結果の要因であるか否かの要因判定を行い、当該要因判定の結果が偽の場合に、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた前記運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、前記運用中の学習モデルから差し替えることであるモデル差替を行う、
    運用支援方法。
14. コンピュータが、バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行い、
    コンピュータが、運用中の学習モデルの確信度が第１の閾値未満か否かの第１の確信度比較を行い、
    コンピュータが、前記第１の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた前記運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、前記運用中の学習モデルから差し替えることであるモデル差替を行い、
    コンピュータが、前記運用中の学習モデルの確信度が、前記第１の閾値よりも基準確信度に近い第２の閾値未満か否かの第２の確信度比較を行い、
    前記第２の確信度比較の結果が真である場合に、コンピュータが、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルを作成することである前記再学習を行う、
    運用支援方法。
15. コンピュータが、バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行い、
    コンピュータが、運用中の学習モデルの確信度が第１の閾値未満か否かの第１の確信度比較を行い、
    コンピュータが、前記第１の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた前記運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、前記運用中の学習モデルから差し替えることであるモデル差替を行い、
    前記第１の閾値は、過去の確信度の分布を基に決められた基準確信度に基づく閾値である、
    運用支援方法。
16. バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行い、
    運用中の学習モデルの確信度が第１の閾値未満か否かの第１の確信度比較を行い、
    前記第１の確信度比較の結果が真である場合、当該真の結果が得られた運用中の学習モデルに入力された入力データが当該結果の要因であるか否かの要因判定を行い、当該要因判定の結果が偽の場合に、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた前記運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、前記運用中の学習モデルから差し替えることであるモデル差替を行う、
    ことをコンピュータに実行させるコンピュータプログラム。
17. バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行い、
    運用中の学習モデルの確信度が第１の閾値未満か否かの第１の確信度比較を行い、
    前記第１の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた前記運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、前記運用中の学習モデルから差し替えることであるモデル差替を行い、
    前記運用中の学習モデルの確信度が、前記第１の閾値よりも基準確信度に近い第２の閾値未満か否かの第２の確信度比較を行い、
    前記第２の確信度比較の結果が真である場合に、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルを作成することである前記再学習を行う、
    ことをコンピュータに実行させるコンピュータプログラム。
18. バージョンの異なる一つ又は複数の学習モデルを作成することである再学習を行い、
    運用中の学習モデルの確信度が第１の閾値未満か否かの第１の確信度比較を行い、
    前記第１の確信度比較の結果が真である場合、運用対象の学習モデルを、前記運用中の学習モデルのバージョンと異なるバージョンの一つ以上の学習モデルである一つ以上の候補学習モデルのうち、当該真の結果が得られた前記運用中の学習モデルの確信度よりも高いいずれかの候補学習モデルに、前記運用中の学習モデルから差し替えることであるモデル差替を行う、
    ことをコンピュータに実行させ、
    前記第１の閾値は、過去の確信度の分布を基に決められた基準確信度に基づく閾値である、
    コンピュータプログラム。

Images