JP7442550B2 - 推論演算装置、モデル訓練装置、及び推論演算システム - Google Patents

推論演算装置、モデル訓練装置、及び推論演算システム Download PDF

Info

Publication number
JP7442550B2
JP7442550B2 JP2021571382A JP2021571382A JP7442550B2 JP 7442550 B2 JP7442550 B2 JP 7442550B2 JP 2021571382 A JP2021571382 A JP 2021571382A JP 2021571382 A JP2021571382 A JP 2021571382A JP 7442550 B2 JP7442550 B2 JP 7442550B2
Authority
JP
Japan
Prior art keywords
inference
model
training
inference model
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021571382A
Other languages
English (en)
Other versions
JP2023514466A (ja
Inventor
ジャオユエ リー
ドン チャイ
ユエンユエン ルー
ホン ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of JP2023514466A publication Critical patent/JP2023514466A/ja
Application granted granted Critical
Publication of JP7442550B2 publication Critical patent/JP7442550B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)

Description

本発明は、クラウドコンピューティング技術分野に関し、特に、推論演算装置、モデル訓練装置、推論演算システムに関する。
クラウドコンピューティング技術は、高度な演算能力、高汎用性、高スケーラビリティなどの特徴を有する。また、クラウドコンピューティングでは、アプリケーションがクラウド機器に設置され、ユーザは必要に応じてクラウド機器からアプリケーションサービスを取得することができる。そのため、アプリケーションサービスを取得する利便性、及び全体的な演算資源の使用率を向上させることができる。
一態様では、少なくとも１つのプロセッサとメモリを含む推論演算装置が提供され、前記メモリにはプログラム命令が記憶される。
前記プログラム命令は、前記少なくとも１つのプロセッサによって実行可能であり、
モデル訓練装置からの第１の推論モデルを受信する動作と、
前記第１の推論モデルに基づいて、生産製造段階で生成された処理待ちデータの推論演算を行い、推論結果を取得し、前記推論結果をユーザ側機器に送信する動作と、
前記第１の推論モデルを更新する必要があるか否かを定めるように、前記第１の推論モデルの性能を評価し、そうである場合、前記第１の推論モデルを更新する動作と、を前記推論演算装置に実行させ、
前記第１の推論モデルは、前記モデル訓練装置が、第１の訓練サンプルライブラリに基づいてモデル訓練を行うことで取得されたものであり、
前記第１の訓練サンプルライブラリは、生産製造段階で生成された履歴データからの訓練サンプルを含み、
前記モデル訓練装置は、クラウド機器を含み、
前記推論演算装置は、モデル訓練装置よりもユーザ側機器に近い。
いくつかの実施例では、前記履歴データは、欠陥情報がラベル付けされた製品画像を含み、
前記処理待ちデータは、生産製造段階で生成された原始製品画像を含み、
前記推論結果は、前記原始製品画像における欠陥情報を含む。
いくつかの実施例では、前記第１の推論モデルに対して行う更新は、
第２の訓練サンプルライブラリに基づいて、モデル訓練を行い、第２の推論モデルを取得するか、又は前記モデル訓練装置にモデル更新要求を送信し、第２の推論モデルを取得することと、
前記第２の推論モデルが更新条件を満たす場合、前記第２の推論モデルを用いて前記第１の推論モデルを更新することと、を含み、
前記第２の訓練サンプルライブラリは、履歴データからの訓練サンプル、又は前記推論結果からの再判定を受けた訓練サンプル、又は履歴データからの訓練サンプル及び前記推論結果からの再判定を受けた訓練サンプルを含む。
いくつかの実施例では、前記更新条件は、前記第２の推論モデルに対してテストを行い、前記第２の推論モデルが前記テストに合格することを含み、
前記テストは、テストサンプルに基づいて前記第２の推論モデルの性能を評価することを含み、性能が評価要件を満たす場合、テストに合格したと判定される。
いくつかの実施例では、前記更新条件は、前記第２の推論モデルに対してグレースケールデプロイを行い、かつ前記グレースケールデプロイの過程中に前記第２の推論モデルの性能を評価し、前記第２の推論モデルの性能が評価要件を満たすことをさらに含む。
いくつかの実施例では、前記更新条件は、前記第２の推論モデルの配置情報を検証し、前記配置情報が、行われる必要のある推論演算と一致することをさらに含む。
いくつかの実施例では、モデル訓練を行って第２の推論モデルを取得するか、又はモデル訓練装置にモデル更新要求を送信して第２の推論モデルを取得する前に、
行われたモデル訓練に必要な訓練パラメータが設定された訓練パラメータ範囲内にあるか否かを判定し、
前記訓練パラメータが前記訓練パラメータ範囲内にある場合、前記モデル訓練を行い、
前記訓練パラメータが前記訓練パラメータ範囲内にない場合、前記モデル訓練装置にモデル更新要求を送信する、動作をさらに実行する。
いくつかの実施例では、前記訓練パラメータは、モデル訓練に必要なデータサイズ、訓練継続時間、および演算能力のうちの少なくとも１つを含む。
いくつかの実施例では、前記第１の推論モデルの性能を評価するための評価パラメータは、推論演算の過程中の前記第１の推論モデルの正解率、適合率、再現率、及びＦ値のうちの少なくとも１つを含み、
性能評価に基づいて前記第１の推論モデルを更新する必要がある状況は、第１の推論モデルの性能が変動又は低下したことを含み、
前記評価パラメータの連続した期間内の変化状況に基づいて、前記第１の推論モデルの性能が変動又は低下したか否かを判定する。
いくつかの実施例では、性能評価に基づいて前記第１の推論モデルを更新することは、
第３の推論モデルを受信することと、
前記第１の推論モデルと前記第３の推論モデルとの性能を比較し、前記第３の推論モデルの性能が前記第１の推論モデルの性能よりも高い場合に、又は前記第１の推論モデルに異常が発生した場合に、前記第３の推論モデルを用いて前記第１の推論モデルを更新することと、を含み、
前記第３の推論モデルは、前記モデル訓練装置が前記モデル更新要求を受信していない状況で、更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行って取得されたものであり、
前記更新後の第１の訓練サンプルライブラリは、前記推論結果からの、再判定を受けた訓練サンプルを含む。
いくつかの実施例では、前記第２の推論モデルを用いて前記第１の推論モデルを更新する場合、
前記第２の推論モデルの性能を評価し、前記第１の推論モデルの性能と前記第２の推論モデルの性能を比較する動作と、
前記第２の推論モデルの性能が前記第１の推論モデルの性能よりも劣っている場合、前記第２の推論モデルを前記第１の推論モデルにロールバックし、モデル訓練を改めて行う動作、又はモデル訓練を行うように前記モデル訓練装置に改めて要求する動作と、をさらに実行する。
いくつかの実施例では、前記推論結果を取得した後、
前記推論結果に基づいて、決定命令を生成する動作をさらに実行し、
前記欠陥情報は、欠陥があることが識別された原始製品画像と、欠陥位置及び欠陥タイプに関する情報と、を含み、
前記決定命令は、前記原始製品画像の欠陥情報に基づいて、欠陥のある前記原始製品画像に対応する製品に対して、対応する欠陥処理を行う。
別の態様では、少なくとも１つのプロセッサとメモリを含むモデル訓練装置が提供され、前記メモリにはプログラム命令が記憶され、
前記プログラム命令は、前記少なくとも１つのプロセッサによって実行可能であり、
第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第１の推論モデルを取得する動作と、
前記第１の推論モデルを推論演算装置に送信する動作と、
前記推論演算装置からのモデル更新要求を受信した場合、更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第２の推論モデルを取得する動作と、
前記第２の推論モデルを前記推論演算装置に送信する動作と、を前記モデル訓練装置に実行させ、
前記第１の訓練サンプルライブラリは、生産製造段階で生成された履歴データからの訓練サンプルを含み、
前記更新後の第１の訓練サンプルライブラリは、第１の推論モデルの推論結果からの、再判定を受けた訓練サンプルを含む。
いくつかの実施例では、前記第１の訓練サンプルライブラリ、又は前記更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行う過程中に、
訓練タスク情報を生成する動作と、
前記訓練タスク情報に基づいて訓練配置データを生成する動作と、
対応する訓練サンプルライブラリから訓練サンプルを取得し、前記訓練サンプルと前記訓練配置データに基づいてモデル訓練を行い、対応する推論モデルを取得する動作と、を実行する。
いくつかの実施例では、前記対応する訓練サンプルライブラリから訓練サンプルを取得し、前記訓練サンプルと前記訓練配置データに基づいてモデル訓練を行い、対応する推論モデルを取得する過程中に、
モデル訓練の過程を監視する動作と、
モデル訓練の過程に異常が発生した場合、前記訓練配置データを更新する動作と、
前記訓練サンプルと更新後の訓練配置データに基づいてモデル訓練を行う動作と、をさらに実行する。
いくつかの実施例では、前記第１の推論モデル又は前記第２の推論モデルを前記推論演算装置に送信する前に、
対応する推論モデルのモデルバージョン情報を検証し、前記モデルバージョン情報が正しいか否かを判定する動作と、
前記モデルバージョン情報が正しい場合、対応する推論モデルを前記推論演算装置に送信する動作と、
前記モデルバージョン情報が正しくない場合、モデルバージョンが要件を満たす推論モデルを検索し、検出された場合は検出された推論モデルを前記推論演算装置に送信し、検出されなかった場合は通知情報を前記推論演算装置に送信する動作と、をさらに実行する。
いくつかの実施例では、前記モデル訓練装置は、前記第１の訓練サンプルライブラリをさらに含み、
前記第１の訓練サンプルライブラリを更新する動作と、
前記モデル更新要求を受信していない状況で、前記更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第３の推論モデルを取得する動作と、
前記第３の推論モデルを前記推論演算装置に送信する動作と、をさらに実行する。
さらに別の態様では、プログラム命令が記憶されたコンピュータ可読記憶媒体が提供され、前記プログラム命令は、プロセッサによって実行可能であり、
推論演算装置に、
第１の推論モデルを受信するする動作と、
前記第１の推論モデルに基づいて、工業生産中の処理待ちデータの推論演算を行い、推論結果を取得する動作と、
前記第１の推論モデルを更新する必要があるか否かを判定するように、前記第１の推論モデルの性能を評価し、前記第１の推論モデルを更新する必要がある場合、前記第１の推論モデルを更新する動作と、を実行させ、
前記第１の推論モデルは、第１の訓練サンプルライブラリに基づいて、モデル訓練を行うことで取得されたものであり、
前記第１の訓練サンプルライブラリは、履歴データからの訓練サンプルを含む。
さらに別の態様では、プログラム命令が記憶されたコンピュータ可読記憶媒体が提供され、前記プログラム命令は、プロセッサによって実行可能であり、
モデル訓練装置に、
第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第１の推論モデルを取得する動作と、
前記第１の推論モデルを推論演算装置に送信する動作と、
前記推論演算装置からのモデル更新要求を受信した場合、更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第２の推論モデルを取得する動作と、
前記第２の推論モデルを前記推論演算装置に送信する動作と、を実行させ、
前記第１の推論モデルは、履歴データからの訓練サンプルを含み、
前記更新後の第１の訓練サンプルライブラリは、第１の推論モデルの推論結果からの再判定を受けた訓練サンプルを用いて、前記第１の訓練サンプルライブラリを更新して取得されたものである。
さらに別の態様では、推論演算装置及びモデル訓練装置を含む、推論演算システムが提供され、
前記モデル訓練装置は、少なくとも１つの第２のプロセッサと第２のメモリを含み、
前記第２のメモリには第２のプログラム命令が記憶され、
前記第２のプログラム命令は、前記少なくとも１つの第２のプロセッサによって実行可能であり、
前記モデル訓練装置に、
第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第１の推論モデルを取得する動作と、
前記第１の推論モデルを推論演算装置に送信する動作と、
前記推論演算装置からのモデル更新要求を受信した場合、更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第２の推論モデルを取得する動作と、
前記第２の推論モデルを前記推論演算装置に送信する動作と、を実行させ、
前記第１の訓練サンプルライブラリは、生産製造段階で生成された履歴データからの訓練サンプルを含み、
前記更新後の第１の訓練サンプルライブラリは、前記第１の推論モデルの推論結果からの、再判定を受けた訓練サンプルを含み、
前記推論演算装置は、少なくとも１つの第１のプロセッサと第１のメモリを含み、
前記第１のメモリには、第１のプログラム命令が記憶され、
前記第１のプログラム命令は、前記少なくとも１つの第１のプロセッサによって実行可能であり、
前記推論演算装置に、
前記モデル訓練装置からの前記第１の推論モデルを受信する動作と、
前記第１の推論モデルに基づいて、生産製造段階で生成された処理待ちデータの推論演算を行い、推論結果を取得し、前記推論結果をユーザ側機器に送信する動作と、
前記第１の推論モデルを更新する必要があるか否かを判定するように、前記第１の推論モデルの性能を評価し、前記第１の推論モデルを更新する必要がある場合、前記第１の推論モデルを更新する動作と、
を実行させ、
前記モデル訓練装置は、クラウド機器を含み、
前記推論演算装置は、モデル訓練装置よりもユーザ側機器に近い。
関連技術に係るユーザ側－クラウドコンピューティングアーキテクチャの構成を示す概略図である。 関連技術に係るクラウドユーザ側－エッジ側－クラウドコンピューティングアーキテクチャの構成を示す概略図である。 本開示のいくつかの実施例に係る推論演算装置の構成を示す概略図である。 本開示のいくつかの実施例に係る推論演算装置とモデル訓練装置とのインタラクティブを示す図である。 本開示のいくつかの実施例に係るモデル訓練装置の構成を示す概略図である。 本発明のいくつかの実施例に係る推論演算装置とモデル訓練装置との別のインタラクティブを示す図である。 本開示のいくつかの実施例に係る推論演算装置とモデル訓練装置とのもう一つの別のインタラクティブを示す図である。 本開示のいくつかの実施例に係るモデル訓練装置の動作手順のフローチャートである。 本開示のいくつかの実施例に係る別のモデル訓練装置の動作手順のフローチャートである。 本開示のいくつかの実施例に係る推論演算システムの構成を示す概略図である。 本開示のいくつかの実施例に係る推論演算装置の構成とモデル訓練装置の構成とを示す図である。
以下、図面を参照しながら、本開示の幾つかの実施例を説明する。もちろん、ここに説明される実施例は、あくまで本開示の実施例の一部であり、本開示のすべての実施例ではない。本開示の実施例に基づいて、当業者が容易に想到できる他のすべての実施例は、本開示の保護範囲に属するものとする。
工業生産中に、設備、パラメータ、操作、環境干渉などの一環で発生した問題により、製造された製品が工程要件を満たさず、ひいては不良が発生することがある。不良品が発生し続けことを避けるため、各工程の後に要件を満たさない不良品と欠陥品を見つけなくてはならない。
ここで、生産設備の温度、圧力、湿度などのリアルタイム監視データの変化に基づいて、生産システムの稼働状況を予測し、製品の不良や設備の破損などを事前に防ぐことができる。
人工知能の継続的な発展に伴い、工場は、生成された大量の生産データに基づいて機械学習の方法を利用してモデル訓練を行い、推論モデルを取得できる。これによって、工場は、工場の作業員とデータアナリストを代替し、このモデルを後続の生産過程に適用して推論と予測をして、生産効率を向上させ、人件費を削減することができる。
機械学習アルゴリズムは、サポートベクターマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ，ＳＶＭ）、カスケードアルゴリズム（Ａｄａｂｏｏｓｔ）、決定木、ランダムフォレスト、ニューラルネットワークに基づく深層学習アルゴリズムを含む。
クラウドコンピューティング（Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ）は、分散コンピューティングの一種であり、ネットワーク「クラウド」を介してデータ演算処理プログラムを複数の小さな演算処理プログラムに分解することができる。クラウドコンピューティングは、高度な演算能力、高可用性、高スケーラビリティなどの特徴を有する。
工場の生産過程では、大量の生産データが生成されている。クラウドコンピューティングは、この大量の生産データを処理するための推論モデルを訓練し、推論モデルにより生産データに対して推論演算を実行できる。
これにより、複数のサーバで構成されるシステム（即ち、クラウド機器）は、ユーザ側機器（即ち、工場の生産設備）によってアップロードされた処理待ちデータに対して推論演算を行って推論結果を取得する。そして、この推論結果を分析してクラウド決定結果を取得し、かつこのクラウド決定結果をユーザ側機器に送信する。これにより生産過程中におけるユビキタスネットワークを実現することができる。
ここで、上記のようなコンピューティングアーキテクチャをユーザ側－クラウドコンピューティングアーキテクチャと呼ぶ。
以下、図１を参照しながら、ユーザ側－クラウドコンピューティングアーキテクチャを例示的に紹介する。
ユーザ側機器３００は、処理待ちデータ、即ち、生産設備によって生成された生産データをクラウド機器２００にアップロードする。
クラウド機器２００は、アップロードされた処理待ちデータに対して推論演算を行い、決定結果を取得し、それから決定結果をユーザ側機器３００に返送する。
ユーザ側機器３００は、受信した決定結果に基づいて、対応する動作を行い、それによってユーザ側機器３００の統合管理を実現することができる。
しかしながら、ユーザ側機器３００によってアップロードされた処理待ちデータは大量であり、処理待ちデータがアップロードされる過程中に、アップロードが必要とされるネットワーク帯域幅とネットワーク管理権限により、アップロード速度が大いに制限されるため、データ処理の時効性が悪くなる。
また、大量の処理待ちデータがクラウド機器２００にアップロードされた後、まず記憶される必要があるため、クラウド機器２００の多くのリソースを占有し、クラウド機器に大きな負担をもたらす。
上記のユーザ側‐クラウドコンピューティングアーキテクチャに存在する問題を解決するために、ユーザ側‐エッジ側‐クラウドコンピューティングアーキテクチャを採用すると、生産製造過程中に生成された生産データを処理することができる。
図３～図５に示すように、本開示のいくつかの実施例では、少なくとも１つのプロセッサ１１０とメモリ１２０を含む推論演算装置１００が提供される。メモリ１２０にはプログラム命令が記憶される。
ここで、当該プログラム命令は、前記少なくとも１つのプロセッサ１１０によって実行可能であり、推論演算装置１００に、以下の動作Ｓ１０～Ｓ４０を実行させる。
まず始めに、推論演算装置１００は、モデル訓練装置２００から、第１の推論モデルを受信する（動作Ｓ１０）。
ここで、第１の推論モデルは、モデル訓練装置２００が、第１の訓練サンプルライブラリに基づいて、モデル訓練を行って取得されたものである。
第１の訓練サンプルライブラリは、生産製造段階で生成された履歴データからの訓練サンプルを含む。
また、当該モデル訓練装置２００は、クラウド機器を含む。即ち、モデル訓練装置２００は、クラウド機器であってもよい。
一例では、モデル訓練装置２００がニューラルネットワークモデルを訓練することは、ネットワークトポロジーを選択するステップと、ネットワークによってモデル化された問題を表す訓練データを使用するステップと、ネットワークモデルが訓練データセットのすべてのインスタンスに対して最小誤差で表現されるまで重みを調整するステップと、を含む。
例えば、モデル訓練装置２００は、ニューラルネットワークのための教師あり学習の過程の間、訓練データセット内のインスタンスを表す入力に応答してネットワークによって生成された出力を、当該インスタンスの「正しい」とラベル付けされた出力と比較する。そして、モデル訓練装置２００は、前記出力と前記ラベル付けされた出力との差を表す誤差信号を演算し、誤差信号がネットワーク層を通じて逆方向に伝搬する際、当該誤差を最小化にするように前記接続に関連付けられた重みを調整する。
訓練データセットのインスタンスから生成された各々の出力の誤差が最小化されたとき、当該ニューラルネットワークモデルは「訓練済み」と見なされ、人工知能の推論タスクに使用できる。
ニューラルネットワークモデルの推論と訓練の過程中に、大量のパラメータ、アクティブ化値、勾配値のバッファーが関与し、これらの各値は、訓練の反復毎に完全に更新する必要があるため、演算とスループット能力が高く要求される。
ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィックスプロセッサ）は、簡単なプログラミングモデル、強力な並列能力、広いビデオメモリ帯域幅を有し、深層ニューラルネットワークの訓練に関連する演算を処理する際、極めて効率的である。
従って、複数のＧＰＵが統合されたＧＰＵクラスタを使用することにより、ニューラルネットワークモデルの訓練と推論の速度を効果的に向上させることができる。
推論モデルは、フィードフォワードニューラルネットワークモデル、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮと略称する）モデル、リカレントニューラルネットワーク（ＲＮＮ、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデル、敵対的生成ネットワーク（ＧＡＮ、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）モデル等のニューラルネットワークモデルであってもよいが、これに限定されず、当業者に知られている他のニューラルネットワークモデルであってもよい。
次に、推論演算装置１００は、第１の推論モデルに基づいて、生産製造段階で生成された処理待ちデータの推論演算を行い、推論結果を取得し、当該推論結果をユーザ側機器に送信する（動作Ｓ２０）。
前記推論演算装置１００は、モデル訓練装置よりもユーザ側機器に近い。
一例では、図２に示すように、推論演算装置１００はエッジ側機器１’であり、モデル訓練機器２００はクラウド機器２’である。
エッジ側機器１’の設置場所は、ユーザ側機器３’とクラウド機器２’の間に位置し、かつユーザ側機器３’の一端に近い。
エッジ側機器１’は、推論モデルを用いて、ユーザ側機器３’からの処理待ちデータに対して推論演算を行い、エッジ側決定結果を取得する。エッジ側機器１’は、このエッジ側決定結果をユーザ側機器３’に送信する。
もしくは、エッジ側機器１’は、推論演算が行われた演算結果をクラウド機器２’にアップロードする。この場合、クラウド機器２’が、アップロードされた当該決定結果を処理及び分析して、クラウド決定結果を取得する。そして、クラウド機器２’が、クラウド決定結果をユーザ側機器３’に送信する。
別の例では、エッジ側機器１’をユーザ側機器３’に統合してもよい。即ち、ユーザ側機器３’は、生産データを生成すると同時に、生成された生産データに対して推論演算を行う。
エッジ側機器１’は、クラウド機器２’よりもユーザ側機器３’に近いため、処理待ちデータの送信過程にかかる時間が比較的短くなり、データ処理の時効性を向上させることができる。
また、処理待ちデータをクラウド機器２’にアップロードする必要がないため、クラウド機器２’に対するリソースの占有が少なくなり、クラウド機器の負担が軽減される。
また、上記のユーザ側－エッジ側－クラウドコンピューティングアーキテクチャでは、クラウド機器２’は、その高度な演算能力を最大限に活用することができ、リアルタイムで決定をフィードバックする必要がないモデル訓練を行うことができる。
なお、エッジ側機器１’における推論モデルとは、機械学習アルゴリズム等の、特定のアルゴリズムを用いて推論演算を行うアルゴリズム構造である。ここでは、モデル訓練により、エッジ側機器１’の推論演算要件を満たす推論モデルを取得する必要がある。
ただし、モデル訓練とは、多くの訓練サンプルに対して複数回の反復と演算を行うことで、これらの訓練サンプルの特定特徴を抽出し、最終的にその特定特徴を有するデータセットに収束できるアルゴリズム構造とパラメータ値を取得することをいう。つまり、モデル訓練とは、特定特徴を有するデータを識別できる推論モデルを取得することをいう。
ここで、モデル訓練に用いられる大量の訓練データセットサンプル、検証データセット、及び訓練されたモデルをテストするためのテストデータセットは、すべて原始画像サンプルと対応するラベル付き情報を含む。
３つのデータセットの原始画像サンプルは、完全に重複してもよく、部分的に重複してもよく、又は全く重複しなくてもよい。それに対応して、訓練データセット、検証データセット及びテストデータセットは、完全に重複するか、部分的に重複するか、又は全く重複しない。ただし、この３つのデータセットは、全く重複しないことが理想的であり、こうして訓練されたモデルは比較的信頼できる。
例えば、表示パネルの生産過程中では、各工程が完了した後に、表示パネルの写真を撮影し、アレイ基板の画像等の表示パネルの画像を取得する。そして、画像に欠陥があるか否か、欠陥タイプと位置を識別することによって、表示パネルの欠陥情報を取得し、欠陥がある表示パネルとその欠陥情報をラベル付けする。そして、異なる欠陥に応じて、対応する修復技術を使用して修復する。
画像識別は、深層学習のニューラルネットワークモデルによりコンピュータビジョン識別を実現することができる。
クラウド機器２’によってサンプル訓練が行われた後、推論モデルはエッジ側機器１’に送信される。ユーザ側機器３’が生成した画像は、エッジ側機器１’により、推論演算が直接かつ迅速に行われるため、クラウド演算に伝送する帯域幅の負担と遅延を省く。
一例では、ニューラルネットワークモデルにより画像内の欠陥内容を識別する実施方法は、まず始めに、製品画像を一定ピクセルサイズＭ×Ｎにスケーリングする。ただし、このスケーリングは行わなくてもよい。
次に、Ｍ×Ｎ画像をＶＧＧＮｅｔ、ＲｅｓＮｅｔ、ＭｏｂｉｌｅＮｅｔなどの深層畳み込みニューラルネットワークに送信し、多層畳み込み層、活性化層、プーリング層を通じて、画像全体の特徴マップ（ｆｅａｔｕｒｅ ｍａｐｓ）を取得する。
次に、特徴マップをスクリーニング・エリア・ネットワーク（ＺＦ／ＳＳＤ／ＲＰＮなど）に入力し、演算により候補領域（ｐｒｏｐｏｓａｌ ｒｅｇｉｏｎ）を取得する。
次に、候補領域に対して畳み込みプーリング等の動作を行い、候補領域の領域特徴マップ（ｐｒｏｐｏｓａｌ ｆｅａｔｕｒｅ）を取得する。
次に、領域特徴マップ（ｐｒｏｐｏｓａｌ ｆｅａｔｕｒｅ）を後続の完全接続ネットワークとｓｏｆｔｍａｘネットワークに送信して分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、即ち、ｐｒｏｐｏｓａｌがどんな欠陥かを分類し、最も確率の高い欠陥タイプを最終的な分類結果として取得し、タイプと確率を記録する。
ただし、候補領域（ｐｒｏｐｏｓａｌ ｒｅｇｉｏｎ）の座標とサイズは、欠陥の位置や大きさを意味する。
なお、欠陥モデルに基づいて製品の欠陥内容を識別する方法は、上記の方法に類似する変形又は当業者に知られている他の方法であってもよく、本開示はここで限定されない。
次に、推論演算装置１００は、第１の推論モデルを更新する必要があるか否かを判定するために、第１の推論モデルの性能を評価する（動作Ｓ３０）。
ユーザ側装置３’からの処理待ちデータが連続的に生成及び更新され、新しい特徴を有する処理待ちデータが連続的に出現すると、推論モデルの推論演算能力は徐々に低下し、それに伴って、推論モデルによって取得されたエッジ側決定結果の正確さは低下する。
ただし、新しいとは、特徴モデル訓練の時に出現しなかった特徴を指す。
表示パネルの生産製造を例にとると、新型番の製品の生産製造、生産工程の更新とアップグレード、生産設備の更新と交換などの要因により、製造された表示パネルには新しいタイプの欠陥が生じることがある。この新しいタイプの欠陥は、推論モデルがモデルを訓練する時の訓練サンプルに出現しなかったものであるため、推論モデルは新しいタイプの欠陥を識別することができない。そのため、推論モデルが生産製造過程中の欠陥識別と分類の要件を満たさなくなる。
前述のように、推論モデルは、大量の訓練サンプルを用いたモデル訓練によって取得されるものである。
ここで、訓練サンプルは、少なくとも１つのデータによって形成されるデータセットと見なされてもよい。なおかつ、訓練サンプルは、画像、映像、音声などの様々な形態の訓練データを含み得るが、これらに限定されない。
第１の推論モデルを訓練するための大量の訓練サンプルは、第１の訓練サンプルライブラリからのものであり、第１の訓練サンプルライブラリ内の訓練サンプルは、履歴データからの訓練サンプルを含む。
ここで、履歴データとは、既に判断されかつ正解結果がラベル付けされた生産データを指す。履歴データは、例えば、人の手による判断を受けた、又は正確に判断可能な他の設備により生産データを判断して取得された、上記のような履歴データである。
履歴データは正解結果がラベル付けされているため、モデル訓練中の訓練サンプルとして使用することができる。
例えば、表示パネルの生産製造を例にとると、第１の推論モデルが処理しようとする処理待ちデータは、生産製造段階で生成された原始製品画像を含み、第１の推論モデルの推論結果は、原始製品画像における欠陥情報を含む。
ここで、原始製品画像は未処理の画像である。
第１の推論モデルは、原始製品画像における欠陥情報を取得するために、例えば、欠陥の位置と欠陥のタイプを識別するために、原始製品画像に対して推論演算を行う必要がある。
上述のような履歴データは、欠陥タイプがラベル付けされた製品画像を含み、ここで、ラベル付けされた欠陥タイプが正解結果である。
なお、推論演算装置１００は、第１の推論モデルの性能を評価するとき、第１の推論モデルが推論演算を行った推論結果と正解結果とを比較し、これにより第１の推論モデルの性能を評価することができる。
ここで、正解結果は、人の手による判断を受けて、推論演算装置１００に入力されるものでありうる。
例えば、表示パネルの生産製造を例にとると、一定期間（例えば、毎日１４：００～１５：００）の製造ラインの表示パネルの原始製品画像に対して作業者が判断を行って、欠陥のある原始表示パネル画像を判断し、欠陥タイプをラベル付けする。そして、この人の手による判断の結果を正解結果として推論演算装置１００に入力する。
他の例では、一定数の原始製品画像をランダムに抽出して人の手による判断を行い、人の手による判断の結果を取得する。
他の例では、指定されたバッチの表示パネルの原始製品画像に対して人の手による判断を行い、人の手による判断結果を取得する。
例えば、動作Ｓ２０において、第１の推論モデルに基づいて、生産製造段階で生成された処理待ちデータの推論演算を行う過程中に、動作Ｓ３０を行って第１の推論モデルの性能を評価する。
推論演算装置１００が、第１の推論モデルを更新する必要があると判定した場合、推論演算装置１００は、第１の推論モデルを更新する（動作Ｓ４０）。
上記のような推論演算装置１００は、第１の推論モデルの性能を評価することによって、第１の推論モデルの性能が現在の推論需要を満たしているか否かを知ることができる。また、推論演算装置１００は、性能評価結果に基づいて第１の推論モデルの性能の変化傾向を予め判断することができる。そのため、推論演算装置１００は、第１の推論モデルを更新する必要があるか否かを判定することができる。
推論演算装置１００は、第１の推論モデルの性能が現在の推論需要を満たさないと検知した場合、又は、第１の推論モデルの性能が推論需要を満たさないと予め判定によって検知した場合、即ち、第１の推論モデルを更新する必要があると判定した場合、第１の推論モデルを更新する。
これにより、第１の推論モデルの性能をモニタリングすることができ、その性能が推論需要を満たさない場合、それを即時に検知して、第１の推論モデルを更新することができる。そのため、推論演算装置１００に用いられる第１の推論モデルの性能が要求を満たすことを保証し、推論演算装置１００の推論結果の正確さを向上させることができる。さらに、この推論結果に基づいて行われた決定指令の正確さを向上させることができる。
なお、推論演算装置１００の適用シーンは特に限定されず、例えば、推論演算装置１００は、エッジ側機器として使用されてもよい。
また、推論演算装置１００は、ユーザ側の機器、即ち生産機器に統合されてもよい。
一例として、表示パネルの生産製造を例にとると、推論演算装置１００は、ユーザ側機器から表示パネルの生産製造段階に生成された原始製品画像を取得し、これらの原始製品画像を、推論演算装置１００による処理を要する未処理データとする。
ユーザ側機器は、自動光学検出（ Ａｕｔｏｍａｔｅｄ Ｏｐｔｉｃａｌ Ｉｎｓｐｅｃｔｉｏｎ、ＡＯＩと略称する）機器、分散ファイルシステム（Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ、ＤＦＳと略称する）又は画像サーバを含んでよい。また、当該ユーザ側機器は、例えばファイル転送プロトコル（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ＦＴＰと略称する）に基づいた方法を採用し、生産過程中の表示パネルの画像を、原始製品画像、即ち、処理待ちデータとしてリアルタイムでキャプチャしてもよい。
なお、ここでは、処理待ちデータとして画像格式を例示しているが、実際に処理待ちデータは、様々な格式のデータを含んでよい。
例えば、処理待ちデータは、ドキュメントファイル、写真、図面資料、マイクロフィルム、映像、音声などの非構造化データのうちの少なくとも１つを含んでもよい。また、処理待ちデータは、データベースで管理される情報などの構造化情報のうちの少なくとも１つを含んでもよいが、これらに限定されない。
そして、推論演算装置１００は、第１の推論モデルに基づいて推論演算を行う。
ここで、ニューラルネットワークモデルが第１の推論モデルである場合を例にとると、ニューラルネットワークモデルは、原始製品画像から欠陥を識別し、欠陥情報をラベル付けする。ラベル付けされた欠陥情報は、以下に列挙するもののうちの少なくとも１つを含む。
欠陥情報は、欠陥タイプについての情報を含んでもよい。
例示的に、欠陥タイプとしては、パーティクル（ｐａｒｔｉｃｌｅ）、残渣（ｒｅｍａｉｎ）、ライン不良（ｌｉｎｅ）、穴（ｈｏｌｅ）、スプラッシュ（ｓｐｌａｓｈ）、静電破壊、しわ（ｗｒｉｎｋｌｅ）、膜変色（ｆｉｌｍ ｃｏｌｏｒ）、気泡（ｂｕｂｂｌｅ）などの分類が挙げられる。
なお、これらの分類は、さらにいくつかの等級に区分することができ、例えば、欠陥タイプがパーティクルであり、Ｐがパーティクルを表す場合、形成されるパーティクルの形態別に、この欠陥タイプはさらに複数の等級に区分することができる。例えば、Ｐ０が通常微粒子（Ｎｏｒｍａｌ Ｐａｒｔｉｃｌｅ）、Ｐ１が沈降性微粒子（Ｗａｌｌ Ｐａｒｔｉｃｌｅ）、Ｐ２が砂微粒子（Ｓａｎｄ Ｐａｒｔｉｃｌｅ）などを表す。
欠陥情報は、欠陥位置についての情報を含んでもよい。
例示的に、欠陥位置としては、識別された欠陥が位置する回路基板、欠陥が位置する階層、又は欠陥が位置するマスク層などの欠陥位置を示すことができる情報のうちの少なくとも１つを含む。
識別された欠陥がある回路基板に位置する場合を例にとると、欠陥位置は、当該回路基板における当該欠陥の具体的な座標で示すことができる。また、矩形枠又は円形枠などの表示枠によって当該欠陥を選定し、表示枠に関連するある点の座標、例えば、矩形枠のある頂点の座標、又は円形枠の円心の座標で当該欠陥の座標で示すこともできる。
欠陥情報は、欠陥とアレイ基板（Ａｒｒａｙ Ｓｕｂｓｔｒａｔｅ）の回路素子との関係についての情報を含んでもよい。これは、例えば、欠陥領域が覆ったゲート電極の数、欠陥が完全にゲート電極内にあるか、交わっているか、その近傍にあるか等についての情報である。
欠陥情報は、欠陥のサイズについての情報を含んでもよい。欠陥のサイズについての情報は、欠陥の長さ又は欠陥の領域面積であってもよく、例えば、欠陥が有効表示領域に占める面積であってもよい。
また、一例として、上記欠陥情報は、コード（例えば、パーティクルという欠陥タイプの分類に対応するコードはＰ０～Ｐ２である）、座標値、数字、文字記述等、種々の形態で示されてもよい。
一例では、原始製品画像内の欠陥を識別した後、第１の推論モデルは、識別された欠陥に欠陥タイプと欠陥位置をラベル付けする。ここで、識別された欠陥タイプのコードによって、それに対応する欠陥タイプをラベル付けして、矩形線枠で原始画像における欠陥位置をラベル付けして、対応する画像における矩形線枠の座標情報を記録する。
これに基づいて、いくつかの実施例では、第１の推論モデルが処理待ちデータに対して推論演算を行う過程中に、第１の推論モデルの性能を評価する（動作Ｓ３０）。この場合、一例として、第１の推論モデルの性能を評価するための評価パラメータは、推論演算における第１の推論モデルの正解率（Ａｃｃｕｒａｃｙ）、適合率（Ｐｒｅｃｉｓｉｏｎ）、再現率（Ｒｅｃａｌｌ）、Ｆ値（ＦＳｃｏｒｅ）のうちの少なくとも１つを含む。
ここで、正解率は、下記の数式（１）によって算出され、適合率は、下記の数式（２）によって算出され、再現率は、下記の数式（３）によって算出され、Ｆ値は、以下の数式（４）によって算出される。
Figure 0007442550000001
 ・・・数式（１）
Figure 0007442550000002
 ・・・数式（２）
Figure 0007442550000003
 ・・・数式（３）
Figure 0007442550000004
 ・・・数式（４）
ここで、ＴＰ（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ、真陽性）は、演算結果が正であり、実際の結果も正であることを示す。つまり、ＴＰは、推論モデルが推論演算を行った後に得られた演算結果がＡ（ここで、Ａは結果の一種を意味する）で、実際の結果もＡであることを示す。この場合、演算結果と実際の結果は一致する。
ＦＰ（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ、偽陽性）は、演算結果が正であるが、実際の結果が負であることを示す。つまり、ＦＰは、推論モデルが推論演算を行った後に得られた演算結果がＡで、実際の結果がＡでないことを示す。この場合、演算結果と実際の結果は一致しない。
ＦＮ（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ、偽陰性）は、演算結果が負であるが、実際の結果が正であることを示す。つまり、ＦＮは、推論モデルが推論演算を行った後に得られた演算結果がＡではなく、実際結果がＡであることを示す。この場合、演算結果と実際の結果は一致しない。
ＴＮ（Ｔｒｕｅ Ｎｅｇａｔｉｖｅ、真陰性）は、演算結果が負であり、実際の結果も負であることを示す。つまり、ＴＮは、推論モデルが推論演算を行った後に得られた演算結果がＡではなく、実際の結果もＡでないことを示す。この場合、演算結果と実際の結果は一致する。
なお、正解率、適合率、再現率、及びＦ値は、第１推論モデルの性能を特徴付ける評価パラメータである。第１の推論モデルの性能を評価するとき、選択される評価パラメータは、推論演算装置１００の実際の推論演算需要に基づいて定められてもよい。
一例として、推論演算装置１００の推論演算需要では、適合率がより重視される場合、適合率が、推論モデルの性能を評価するための評価パラメータとして用いられる。
別の例として、第１の推論モデルの性能評価は、Ｆ値を用いて行われる。ここで、Ｆ値は、適合率と再現率に重み付けして取得した評価パラメータである。
ここで、Ｆ値の算出に用いられるβは、重み係数であり、βの大きさを調整することにより、性能評価時の適合率と再現率の偏重比率を調整することができる。βの大きさは、適用する場面に応じて適宜調整することができ、例えば、βを１とすると、第１の推論モデルの性能を評価するとき、適合率と再現率は評価結果に同じ影響を与える。即ち適合率と再現率の偏重比率は同一である。
一例では、推論演算装置１００は、第１の推論モデルの推論演算によって、１０００枚の画像について猫であるか犬であるかを判断する必要がある。ここで、推論演算装置１００の判断結果は、第１の推論モデルの推論演算による決定である。
人の手による判断によると、この１０００枚の画像は、いずれも犬の画像であったとする。即ち、実際の結果としては、この１０００枚の画像は、いずれも犬の画像であったとする。
第１の推論モデルによる推論演算を行い、得られた演算結果は、犬であると判断された画像は７２０枚、猫であると判断された画像は８０枚、残りの２００枚は判断できないと判定されたとする。
この場合、演算結果が犬であり、実際の結果も犬である画像は７２０枚である。また、演算結果が猫であり、実際の結果も猫である画像は０枚である。即ちＴＰは７２０である。
演算結果が犬であり、実際の結果が犬でない画像は０枚である。また、演算結果が猫であり、実際の結果が猫でない画像は８０枚である。即ちＦＰは８０である。
演算結果が犬ではなく、実際の結果が犬である画像は２８０枚である。また、演算結果が猫ではなく、実際の結果が猫である画像は０枚である。即ちＦＮは２８０である。
ただし、演算結果が犬ではないと判断された画像は、演算結果が猫である画像の数と判断できない画像の数とを含む。
演算結果が犬ではなく、実際の結果も犬ではない画像は０枚である。また、演算結果が猫ではなく、実際の結果も猫ではない画像は９２０枚である。即ちＴＮは９２０である。
ただし、演算結果が猫ではないと判断された画像は、演算結果が犬である画像の数と判断できない画像の数とを含む。
数式（１）、（２）、（３）、及び（４）にＴＰ、ＦＰ、ＦＮとＴＮの値を代入すると、βが１の場合、正解率が０．８２、適合率が０．９、再現率が０．７２、Ｆ値が０．８、ということが得られる。
いくつかの実施例では、推論演算装置１００の実際の推論演算需要に基づいて、評価パラメータの下限値を設定する。
例えば、第１推論モデルに対する少なくとも１回の性能評価において、得られた評価パラメータ値がすべて該下限値よりも低い場合、評価結果は、第１の推論モデルの性能が低下したと判定する。また、得られた評価パラメータが下限値以上である場合、評価結果は、第１の推論モデルの性能が要求を満たすと判定する。
また、例えば、数回の連続した性能評価において、得られた評価パラメータが、時々該下限値以上となり、時々該前記下限値より低くなる場合、評価結果は、推論モデルの性能が変動したと判定する。得られたパラメータがいずれも下限値以上である場合、評価結果は、第１の推論モデルの性能が要求を満たすと判定する。
例えば、適合率を評価パラメータとする場合を例にとると、適合率の下限値が０．９５に設定され、１回の性能評価で、得られた第１の推論モデルの適合率が０．９２である場合、性能が低下したという評価結果になる。別の例では、５回の連続した性能評価において、得られた第１の推論モデル適合率が、順に０．９６、０．９３、０．９７、０．９２、０．９５である場合、性能が変動したという評価結果になる。
幾つかの実施例では、動作Ｓ３０において、第１の推論モデルの性能を評価することによって、第１の推論モデルを更新する必要がある状況は、第１の推論モデルの性能が変動又は低下したことを含む。ここで、評価パラメータの連続した期間内の変化状況に基づいて、第１の推論モデルの性能が変動又は低下したか否かを判断する。
幾つかの実施例では、図３と図６に示すように、動作Ｓ４０において第１の推論モデルに対して行う更新として、以下を含む。
第１の推論モデルに対して行う更新は、第２の訓練サンプルライブラリに基づいて、モデル訓練を行い、第２の推論モデルを取得すること（動作Ｓ４０１ａ）を含む。
また、第１の推論モデルに対して行う更新は、モデル訓練装置２００にモデル更新要求を送信し、第２の推論モデルを取得すること（動作Ｓ４０１ｂ）を含む。
ここで、第２の訓練サンプルライブラリは、履歴データからの訓練サンプル、及び／又は推論結果からの、再判定を受けた訓練サンプルを含む。
第１の推論モデルに対して行う更新は、第２の推論モデルを取得し、第２の推論モデルが更新条件を満たす場合、第２の推論モデルを用いて第１の推論モデルを更新すること（動作Ｓ４０２）を含む。
なお、上記「推論結果」とは、動作Ｓ２０において、第１の推論モデルによる推論演算が行われた後に得られた推論結果を意味する。
ここで、後述する「推論結果からの、再判定を受けた」とは、第１の推論モデルによる推論結果に対して再判定を行うことを意味する。例えば、第１の推論モデルによる推論結果に対して、人の手による判断処理を行い、正解結果がラベル付けされた生産データを取得する。
表示パネルの生産製造を例にとると、処理待ちデータは、表示パネルの原始製品画像である。これらの表示パネルの原始製品画像を推論演算装置１００に送信し、第１推論モデルによって推論演算を行い、推論結果を取得する。それから当該推論結果を再判定した後、正解結果とラベル付けされた表示パネルの製品画像を取得し、これを第２のサンプル訓練ライブラリの訓練サンプルのソースとする。
第２の訓練サンプルライブラリは、推論結果からの、再判定を受けた訓練サンプルを含む。
推論結果は、生産製造過程中に連続的に推論演算装置１００によって生成される。そのため、これを第２の訓練サンプルライブラリの訓練サンプルのソースとすると、第２の訓練サンプルライブラリの訓練サンプルをより新しくして、生産製造過程中の生産データで新たに出現された特徴を有する訓練サンプルを含むようにできる。
これにより、推論演算装置１００がモデル訓練で新しい訓練サンプルを用いることが確保できるため、第１の推論モデルに比べて、得られた第２の推論モデルは、新たに出現した、新しい特徴を有する処理待ちデータに対する推論演算能力が高い。
第２の推論モデルを用いて第１の推論モデルを更新する場合、推論演算装置１００による推論結果の正確さを向上させることができる。
ここで、Ｓ４０１ａにおける第２の訓練サンプルライブラリは、一例として、図３に示すように、推論演算装置１００は当該第２の訓練サンプルライブラリを含み、第２の訓練サンプルライブラリは、メモリ１２０に記憶される。
他の例として、第２の訓練サンプルライブラリは、他のメモリに記憶され、推論演算装置１００は、当該他のメモリから第２の訓練サンプルライブラリを取得してもよい。
一例として、図３に示すように、推論演算装置１００は、エッジ側機器としてよく、モデル訓練装置は、クラウド機器としてよい。即ち、推論演算装置１００（エッジ側機器）は、モデル訓練装置２００（クラウド機器）よりもユーザ側装置に近い。
さらに、推論演算装置１００は、さらに、有線又は無線の方法で推論演算装置１００がユーザ側機器と通信して情報のインタラクションを実現する結合インターフェース１５０を含んでよい。ここで、結合インターフェース１５０は、有線又は無線接続を可能にする任意のハードウェア又はソフトウェアのインターフェースであり得る。
推論演算装置１００は、さらに、モデル訓練装置２００と通信接続して情報のインタラクションを実現するネットワークインターフェース１４０を含んでよい。
ここで、推論演算装置１００は、このネットワークインターフェース１４０を介して、伝送制御プロトコル／インターネットプロトコル（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ、ＴＣＰ／ＩＰと略称する）又はハイパーテキスト転送プロトコル（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ＨＴＴＰと略称する）などのプロトコルのうちの少なくとも１つを利用して、例えば、モデル訓練装置２００等の外部と、情報のインタラクションを行う。
例えば、推論演算装置１００は、ネットワークインターフェース１４０を介して、モデル訓練装置２００と通信接続し、第１の推論モデルを受信する。又は、Ｓ４０１ｂにおいてモデル訓練装置２００にモデル更新要求を送信し、第２の推論モデルを取得する。即ち、モデル訓練装置２００との情報のインタラクションを実現する。
幾つかの実施例では、図６に示すように、第２の推論モデルが満たす必要がある更新条件は、第２の推論モデルに対してテストを行い、第２の推論モデルが前記テストに合格することを含む。
ここで、前記テストは、テストサンプルに基づいて第２の推論モデルの性能を評価することを含む。性能が評価要件を満たす場合、テストに合格したと判定される。
ここで、テストサンプルソースは、特に限定されず、例えば、当該テストサンプルは、前記履歴データ、即ち、正しい識別情報がラベル付けされた生産データから得られる。
また、別の例として、当該テストサンプルは、人の手による判断を受けた処理待ちデータから得られる。
また、さらに別の例として、当該テストサンプルの一部は、前記履歴データから得られ、一部は、人の手による判断を受けた処理待ちデータから得られるものである。
もちろん、上記のようなテストサンプルソースは、これらに限定されない。
また、一定のテスト頻度や一定のテスト度合いに応じて、複数のテストサンプルの中から特定のテストサンプルを選び出し、これに基づいて少なくとも１つのテストスケジュールを生成してもよい。そして、推論演算装置１００は、前記少なくとも１つのテストスケジュールに基づいて前記第２の推論モデルをテストしてもよい。
これに基づいて、いくつかの実施例では、上記更新条件は、さらに、第２の推論モデルでグレースケールデプロイを行い、かつグレースケールデプロイの過程中に当該第２の推論モデルの性能を評価し、当該第２の推論モデルの性能が評価要件を満たすことを含む。
ただし、「グレースケールデプロイ」とは、予定時間内に、推論演算装置１００が、第２の推論モデルを用いて、処理待ちデータのシミュレーション処理を行うことである。
一例として、グレースケールデプロイの過程中に、推論演算装置１００は、第１の推論モデルと第２の推論モデルを同時に用いて、ユーザ側機器から送信された処理待ちデータを処理する。
この過程中に、推論演算装置１００は、第１の推論モデルの推論結果を出力する。第２の推論モデルの推論結果は、その性能を評価するためにのみ使用され、本当の推論結果として出力されない。
即ち、推論演算装置１００は、グレースケールデプロイの過程中に第２の推論モデルによる推論結果に基づいて決定命令を生成しない。そのため、第２の推論モデルに対するグレースケールは、推論演算手段１００が処理待ちデータを処理することに影響を与えず、生産ラインの正常生産にも影響を与えない。
第２の推論モデルに対してシミュレーション処理の過程中の性能を評価することにより、第２の推論モデルの性能が要求を満たすことができるか否かを予測する。
グレースケールデプロイの過程中に、第２の推論モデルが推論演算を行う処理待ちデータは、いずれも人の手による判断をさらに行う必要がある。
ここで、人の手による判断の結果を正解結果として、推論演算装置１００は、人の手による判断の結果と第２の推論モデルの推論結果とを比較する。これによって、推論演算装置１００は、グレースケールデプロイの過程中に当該第２の推論モデルの性能を評価する。
一例として、ユーザ側機器から送信された表示パネルの原始製品画像の１枚のコピーを、推論演算装置１００に送信し、グレースケールデプロイの過程における第２の推論モデルのシミュレーション処理に使用する。そして、もう一枚のコピーを、人の手による判断で正解結果を取得するために使用する。推論演算装置１００は、推論結果と正解結果とを比較することで、第２の推論モデルに対する性能評価を実現する。
当業者であれば、グレースケールデプロイで第２の推論モデルの性能を評価するとき、同様に、正解率（Ａｃｃｕｒａｃｙ）、適合率（Ｐｒｅｃｉｓｉｏｎ）、再現率（Ｒｅｃａｌｌ）、及びＦ値（ＦＳｃｏｒｅ）のうちの少なくとも１つを評価パラメータとして、第２の推論モデルの性能を評価できることを理解でき、ここでは、特に限定しない。
なお、上記のようなテストとグレースケールデプロイでは、人の手による判断を受けた処理待ちデータには、すでに正解結果がラベル付けされていた。従って、正解結果がラベル付けされた処理待ちデータを、第１の訓練サンプルライブラリ及び／又は第２の訓練サンプルライブラリに送信して、モデル訓練中の訓練サンプルとすることができる。
これにより第１の訓練サンプルライブラリ及び／又は第２の訓練サンプルライブラリの更新を実現することができる。
ただし、第１の訓練サンプルライブラリは、モデル訓練装置２００がモデル訓練を行う際に基づいた訓練サンプルライブラリである。
いくつかの実施例では、上述のような更新条件は、さらに、第２の推論モデルの配置情報を検証し、第２の推論モデルの配置情報が、行われる必要のある推論演算と一致することを含む。
ここで、「行われる必要のある推論演算」は、推論演算装置１００が処理待ちデータに対して行う推論演算を指す。
表示パネルの生産製造過程において、欠陥と欠陥タイプを識別する必要がある場合を例にとると、「行われる必要のある推論演算」とは、推論演算装置１００が、原始製品画像における欠陥を識別し、さらに欠陥種類を識別する必要があることをいう。
このように、第２の推論モデルの配置情報を検証することにより、第２の推論モデルが伝達過程でそのデータが破壊されたり改ざんされたりしたか否かを検出することができ、推論演算装置１００が得られた第２の推論モデルと推論演算装置１００の推論演算需要との一致を保証する。
いくつかの実施例では、図６に示すように、第２の訓練サンプルライブラリに基づいてモデル訓練を行う（動作Ｓ４０１ａ）前に、又は、モデル訓練装置２００にモデル更新要求を送信する（Ｓ４０１ｂ）前に、推論演算装置１００は、さらに以下の動作を行う。
推論演算装置１００は、モデル訓練に必要な訓練パラメータが設定された訓練パラメータ範囲内にあるか否かを判定する（動作Ｓ３５）。
モデル訓練に必要な訓練パラメータが設定された訓練パラメータ範囲内にある場合、推論演算装置１００は、モデル訓練を行う（動作Ｓ４０１ａ）。即ち、このような場合、推論演算装置１００は、モデル訓練を行い、第２の推論モデルを取得する。
モデル訓練に必要な訓練パラメータが設定された訓練パラメータ範囲内にない場合、推論演算装置１００は、モデル訓練装置２００にモデル更新要求を送信する。即ち、このような場合、モデル訓練装置２００は、モデル訓練を行い、第２の推論モデルを取得する。
ここで、「設定された訓練パラメータ範囲」とは、推論演算装置１００の訓練能力が、行われるモデル訓練の要件に合致する場合に対応する訓練パラメータ範囲を意味する。
つまり、行われるモデル訓練の訓練パラメータが、設定された訓練パラメータ範囲内にある場合、推論演算装置１００のモデル訓練能力は、行われるモデル訓練の要件に合致する。
この場合、推論演算装置１００自身のモデル訓練能力は、今回のモデル訓練を完成することができるため、推論演算装置１００は、今回のモデル訓練を行うことで第２の推論モデルを取得することができる。
逆に、行われるモデル訓練の訓練パラメータが、設定された訓練パラメータの範囲内にない場合、推論演算装置１００のモデル訓練能力は、設定されたモデル訓練の要件に合致しない。
この場合、推論演算装置１００自身のモデル訓練能力は、今回のモデル訓練を完成することができないため、モデル訓練装置２００にモデル更新要求を送信して、モデル訓練装置２００により今回のモデル訓練を行い、第２の推論モデルを取得する必要がある。
一例として、モデル訓練装置２００は、クラウド機器である。
いくつかの実施例では、上述のような訓練パラメータは、モデル訓練に必要なデータサイズ、訓練継続時間、及び演算能力のうちの少なくとも１つを含む。
例えば、訓練パラメータがモデル訓練時に必要なデータサイズと予測訓練継続時間である場合を例にとる。あるモデル訓練に必要なデータサイズは、２０００枚の画像及び対応する２０００個のラベルであり、必要な訓練継続時間は、１５ｍｉｎであるとする。また、設定されたデータサイズは、３０００枚の画像及び対応する３０００枚のラベルであり、設定された訓練継続時間は、２０ｍｉｎであるとする。
この場合、モデル訓練に必要なデータサイズが設定されたデータサイズの範囲内にあり、必要な訓練継続時間が設定された訓練時間の範囲内にある。つまり、推論演算装置１００のモデル訓練能力がモデル訓練要件に合致し、推論演算装置１００は今回のモデル訓練を行う。つまり、Ｓ４０１ａを実行する。
逆に、別のモデル訓練に必要なデータサイズが設定されたデータサイズの範囲内でなく、必要な訓練時間が設定された訓練時間の範囲内でない場合、エッジ側機器のモデル訓練能力が今回のモデル訓練要件に合致しないことを意味する。そのため、推論演算装置１００は、モデル訓練装置２００に今回のモデル訓練を行わせるために、モデル更新要求をモデル訓練装置２００に送信する。
このように、推論演算装置１００のモデル訓練能力が１回のモデル訓練要件に合致する場合、推論演算装置１００にモデル訓練を行わせる。このようにすると、モデル訓練装置２００に要求を送信する時間と、モデル訓練装置２００からの第２の推論モデルを受信する時間とを省ける。その結果として、推論演算装置１００は、よりタイムリーに推論演算需要を満たす推論モデルを取得して、推論モデルを更新することができ、推論結果の正確性をさらに向上させる。
また、上述したようなモデル訓練装置２００がクラウド機器である場合、クラウド機器にモデル訓練を全て要求する必要がある場合と比較して、推論演算装置１００がモデル訓練要件に合致する場合に、推論演算装置１００に自律的にモデル訓練を行わせる場合、クラウド機器の負担を軽減し、クラウド機器リソースの無駄な占有を減らし、クラウド機器のリソース利用率を向上させることができる。
いくつかの実施例では、図６に示すように、第２の推論モデルを用いて第１推論モデルを更新する場合、即ち、Ｓ４０２が実行された場合、推論演算装置１００は、以下の動作をさらに実行する。
Ｓ４０２が実行された場合、推論演算装置１００は、第２の推論モデルの性能を評価し、第１の推論モデルの性能と第２の推論モデルの性能を比較する（動作Ｓ５０）。
第２の推論モデルの性能が第１の推論モデルの性能よりも劣っている場合、推論演算装置１００は、第２の推論モデルを第１の推論モデルにロールバックし、モデル訓練を改めて行うか、又はモデル訓練を行うようにモデル訓練装置２００に改めて要求する。
このように、実際に処理待ちデータを処理する過程では、第２の推論モデルの性能が第１の推論モデルの性能よりも劣っている場合、推論演算装置１００は、更新後の第２の推論モデルを更新前の第１の推論モデルにロールバックすることができる。その後、推論演算装置１００は、モデル訓練を改めて行うか、又はモデル訓練を行うようにモデル訓練装置２００に改めて要求することができる。
いくつかの実施例では、図７に示すように、動作Ｓ３０において、第１の推論モデルの性能を評価し、第１の推論モデルを更新することは以下の動作を含む。
推論演算装置１００は、第３の推論モデルを受信する（動作Ｓ８０）。
当該第３の推論モデルは、モデル訓練装置２００が推論演算装置１００のモデル更新要求を受信していない状況で、更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行って取得されたものである。
ここで、更新後の第１の訓練サンプルライブラリは、前記推論結果からの、再判定を受けた訓練サンプルを含む。つまり、更新後の第１の訓練サンプルライブラリは、推論結果からの、再判定を受けた訓練サンプルを用いて、第１の訓練サンプルライブラリを更新することで取得されたものである。
推論演算装置１００は、第１の推論モデルと第３の推論モデルの性能を比較する（動作Ｓ８１）。
推論演算装置１００は、第３の推論モデルの性能が第１の推論モデルの性能よりも高い又は第１の推論モデルに異常が発生した場合、第３の推論モデルを用いて第１の推論モデルを更新する（動作Ｓ８２）。
こうして、更新後の第１の訓練サンプルライブラリの訓練サンプルはより新しいものとなり、生産準備過程において生産データに新たに出現した特徴を有する訓練サンプルを含み、モデル訓練装置２００がモデル訓練中により新しい訓練サンプルを使用することを保証できる。このため、第１の推論モデルに比べて、得られた第３の推論モデルは、新たに出現した新しい特徴を持つ処理待ちデータに対する推論演算能力が高い。第３の推論モデルを用いて第１の推論モデルを更新する場合、推論演算装置１００による推論結果の正確さを向上させることができる。
また、第１の推論モデルに異常が発生したとは、第１の推論モデルが正しい推論結果を出力できないことを指す。
例えば、第１の推論モデルの性能が突然低下する場合や、第１の推論モデルが要件通りに推論結果を出力しなくなる場合や、又は、第１の推論モデルの推論演算時間が長すぎてタイムアウトが深刻となる場合である。
即ち、第３の推論モデルは、バックアップ推論モデルとして、第１の推論モデルに異常が発生した場合に、それを置換することができる。
また、第１の推論モデルの性能を評価して、第１の推論モデルを更新する必要がある場合、つまり第１の推論モデルの性能が要件を満たさなくなった場合、推論演算装置１００又はモデル訓練装置２００がモデル訓練を行っている間に、推論演算装置１００は、性能が要件を満たさない第１の推論モデルに代えて第３の推論モデルを用いて処理待ちデータを処理する。これにより推論演算装置１００の正常な動作を保証することができる。
いくつかの実施例では、図６に示すように、推論結果を取得した（動作Ｓ２０）後、推論演算装置１００は、さらに、推論結果に基づいて、決定命令を生成する（動作Ｓ７０）動作を実行する。
ここで、欠陥情報は、欠陥があると識別された原始製品画像、及び欠陥位置と欠陥タイプを含む。決定命令は、原始製品画像の欠陥情報に基づいて、欠陥のある前記原始製品画像に対応する製品に対して、対応する欠陥処理を行うことを含む。
一例として、識別された欠陥タイプに基づいて、この欠陥タイプに対応する修復対策を提供する。
別の例として、履歴データの分析に基づいて、このタイプの欠陥を生じ得る原因を提供する。ただし、欠陥を生じ得る原因とは、例えば、１つ又は複数の工程機器の故障や、幾つかの工程パラメータの設定が合理的でないこと等である。
また別の例として、未知欠陥や大規模な欠陥があった場合、警告を通報する。
なお、決定命令は、推論演算装置１００によって生成されなくてもよい。
例えば、推論演算装置１００が推論結果を取得した後、推論結果をクラウド機器にアップロードし、クラウド機器が該推論結果に対して演算分析を行い、決定結果命令を生成して、さらに推論演算装置１００に返信する。
この場合、推論演算装置１００は、前述のユーザ側－エッジ側－クラウド演算アーキテクチャにおけるエッジ側機器として用いられる。
エッジ側装置は、処理待ちデータに対して初歩的な処理（推論演算）を行った後、推論結果をクラウド機器に送信する。クラウド機器は、その高度な演算能力により、決定命令を生成してエッジ側装置に返信する。
これにより、工場生産設備の統一的な計画、管理、配置等を実現することができる。
図５～図６に示すように、本開示のいくつかの実施例では、少なくとも１つのプロセッサ２１０とメモリ２２０を含むモデル訓練装置２００が提供される。ここで、メモリ１２０にはプログラム命令が記憶される。
当該プログラム命令は、前記少なくとも１つのプロセッサ２１０によって実行可能であり、モデル訓練装置２００は、以下の動作Ａ１０～Ａ４０を行う。
モデル訓練装置２００は、第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第１の推論モデルを取得する（動作Ａ１０）。
ここで、第１の訓練サンプルライブラリは、生産製造段階で生成された履歴データからの訓練サンプルを含む。
ここで、履歴データとは、人の手による判断を受けた生産データであり、正解結果がラベル付けされた生産データである。
一例として、モデル訓練装置２００は、メモリ２２０に記憶された第１の訓練サンプルライブラリを含む。別の例として、第１の訓練サンプルライブラリは、メモリ２２０以外の他のメモリに記憶される。
モデル訓練装置２００は、第１の推論モデルを推論演算装置１００に送信する（動作Ａ２０）。
モデル訓練装置２００は、推論演算装置１００からのモデル更新要求を受信した場合、以下の動作を行う。
モデル訓練装置２００は、更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第２の推論モデルを取得する（動作Ａ３０）。ここで、更新後の第１の訓練サンプルライブラリは、第１の推論モデルの推論結果からの、再判定を受けた訓練サンプルを含む。
モデル訓練装置２００は、第２の推論モデルを推論演算装置１００に送信する（動作Ａ４０）。
更新後の第１の訓練サンプルライブラリの訓練サンプルは新しく、生産製造過程において生産データに新たに出現した特徴を有する訓練サンプルを含む。これによりモデル訓練装置２００がモデル訓練中により新しい訓練サンプルを使用することが保証できる。
更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行った後に得られた第２の推論モデルは、新たに出現した新しい特徴を有する処理待ちデータに対する推論演算能力が高い。
第２の推論モデルを用いて第１の推論モデルを更新すると、推論演算装置１００による推論結果の正確さを向上させることができる。
一例として、図５に示すように、モデル訓練装置２００は、ネットワークインターフェース２４０をさらに含む。モデル訓練装置２００は、ネットワークインターフェース２４０を介して、他の機器（例えば、ユーザ側機器及び／又はモデル訓練装置２００）と通信接続して、情報のインタラクションを実現することができる。
ここで、モデル訓練装置２００は、このネットワークインターフェース２４０を介して、伝送制御プロトコル／インターネットプロトコル（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ、ＴＣＰ／ＩＰと略称する）又はハイパーテキスト転送プロトコル（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ＨＴＴＰと略称する）などのプロトコルのうちの少なくとも１つを利用して、例えば、推論演算装置１００等の外部と情報のインタラクションを行う。
例えば、モデル訓練装置２００は、ネットワークインターフェース２４０を介して推論演算モデル１００と通信し、第１の推論モデルを推論演算装置１００に送信したり、推論演算装置１００からのモデル更新要求を受信したり、第２の推論モデルを推論演算装置１００に送信したりすることができる。
いくつかの実施例では、第１の訓練サンプルライブラリに基づくモデル訓練の過程中、即ち動作Ａ１０において、又は更新後の第１の訓練サンプルライブラリに基づくモデル訓練の過程中、即ち動作Ａ３０において、図８に示すように、モデル訓練装置２００は、以下の動作を行う。
モデル訓練装置２００は、訓練タスク情報を生成する（動作Ｂ１）。
モデル訓練装置２００は、訓練タスク情報に基づいて、訓練配置データを生成する（動作Ｂ２）。
モデル訓練装置２００は、対応する訓練サンプルライブラリから訓練サンプルを取得し、訓練サンプルと訓練配置データに基づいてモデル訓練を行い、対応する推論モデルを取得する（動作Ｂ３）。
上記の、及び後述する「対応する訓練サンプルライブラリ」と「対応する推論モデル」は、行われるモデル訓練に対するものである。即ち、動作Ａ１０が行われると、第１の訓練サンプルライブラリから訓練サンプルを取得し、モデル訓練を行った後、第１の推論モデルを取得する。動作Ａ３０が行われると、更新後の第１の訓練サンプルライブラリから訓練サンプルを取得し、モデル訓練を行った後、第２の推論モデルを取得する。
また、訓練タスク情報は、受信した推論演算装置１００から送信されたモデル更新要求に基づいて生成され、モデル訓練の訓練要件を含む。
例えば、今回のモデル訓練により得られた第２の推論モデルは、特定の推論演算機能を有し、演算結果を取得できる必要がある。
訓練配置データは、訓練要件に応じて生成された訓練スケジュール情報を含み、訓練スケジュール情報に基づいて今回のモデル訓練に必要な呼び出しの訓練サンプルを知っていることができる。一例として、訓練スケジュール情報は、データ識別子を含み、このデータ識別子によりモデル訓練に必要な呼び出しの訓練サンプルを見つけることができる。
一例として、図９に示すように、Ｂ３において、モデル訓練を行う過程で、モデル訓練装置２００は、以下の動作をさらに行う。
モデル訓練装置２００は、モデル訓練の過程を監視する（動作Ｂ３１）。
モデル訓練装置２００は、モデル訓練の過程に異常が発生した場合、訓練配置データを更新する（動作Ｂ３２）。
モデル訓練装置２００は、訓練サンプルと更新後の訓練配置データに基づいてモデル訓練を行う（動作Ｂ３３）。
幾つかの実施例では、第１の推論モデルを推論演算装置１００に送信する前、即ち、図６の動作Ａ２０の前、又は第２の推論モデルを推論演算装置１００に送信する前、即ち、図６の動作Ａ４０の前に、モデル訓練装置２００は、以下の動作をさらに行う。
モデル訓練装置２００は、対応する推論モデルのモデルバージョン情報を検証し、モデルバージョン情報が正しいか否かを判定する。
モデルバージョン情報が正しい場合、対応する推論モデルを推論演算装置１００に送信する。
ここで、第１の推論モデルが送信される場合、モデル訓練装置２００は、モデルバージョン情報が正しいと判定すると、動作Ａ２０を行う。第２の推論モデルが送信される場合、モデル訓練装置２００は、モデルバージョン情報が正しいと判定すると、動作Ａ４０を行う。
モデルバージョン情報が正しくない場合、モデルバージョンが要件を満たす対応する推論モデルを検索する。検出された場合、モデル訓練装置２００は、それを推論演算装置１００に送信する。また、検出されなかった場合、モデル訓練装置２００は、通知情報を推論演算装置１００に送信する。
推論演算装置１００は、受信した通知情報に基づいて、モデル訓練を改めて行うようにモデル訓練装置に要求するか、又は動作を停止する。
こうして、第１の推論モデル及び／又は第２の推論モデルを送信する前に、そのモデルのバージョン情報が正しいかどうかを検出することで、正しいバージョンの第１の推論モデル又は第２の推論モデルを推論演算装置１００に送信することを保証することができる。
いくつかの実施例では、図５と図７に示すように、モデル訓練装置２００は、第１の訓練サンプルライブラリを含み、モデル訓練装置２００は、さらに以下の動作を行う。
モデル訓練装置２００は、第１の訓練サンプルライブラリを更新する（動作Ａ５０）。
モデル訓練装置２００は、推論演算装置１００から送信されたモデル更新要求を受信していない状況で、更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第３の推論モデルを取得する（動作Ａ６０）。
モデル訓練装置２００は、第３の推論モデルを推論演算装置１００に送信する（動作Ａ７０）。
なお、第３の推論モデルは、モデル訓練装置２００がモデル更新要求を受信していない状況で、モデル訓練を行って取得されたものである。つまり、第３の推論モデルは、モデル訓練装置２００が、更新後の第１の訓練サンプルライブラリに基づいて、自らモデル訓練を行って取得されたものである。
第３推論モデルについては、前文で詳細に説明されているので、ここでは省略する。
本開示のいくつかの実施例では、さらに、上記のいずれかの実施例における推論演算装置１００に設けられたコンピュータ可読記憶媒体が提供される。
当該コンピュータ可読記憶媒体には、プログラム命令が記憶され、プログラム命令は、推論演算装置１００の少なくとも１つのプロセッサ１１０によって実行可能であり、推論演算装置１００に以下の動作Ｓ１０～Ｓ４０を実行させる。
推論演算装置１００は、第１の推論モデルを受信する（動作Ｓ１０）。
ここで、第１の推論モデルは、第１の訓練サンプルライブラリに基づいて、モデル訓練を行うことで取得されたものであり、第１の訓練サンプルライブラリは、履歴データからの訓練サンプルを含む。
推論演算装置１００は、第１の推論モデルに基づいて、工業生産中の処理待ちデータの推論演算を行い、推論結果を取得する（動作Ｓ２０）。
推論演算装置１００は、第１の推論モデルを更新する必要があるか否かを定めるように、第１の推論モデルの性能を評価する（動作Ｓ３０）。
推論演算装置１００は、第１の推論モデルを更新する必要がある場合、第１の推論モデルを更新する（動作Ｓ４０）。
このコンピュータ可読記憶媒体は、同様に推論結果の正確さを向上させる効果があるが、ここでは詳細を省略する。
本開示のいくつかの実施例では、さらに、上記のいずれかの実施例に記載のモデル訓練装置２００に設けられたコンピュータ可読記憶媒体が提供される。
当該コンピュータ可読記憶媒体にはプログラム命令が記憶され、当該プログラム命令は、モデル訓練装置２００の少なくとも１つのプロセッサ２１０によって実行可能であり、モデル訓練装置２００に以下の動作Ａ１０～Ａ４０を実行させる。
モデル訓練装置２００は、第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第１の推論モデルを取得する（動作Ａ１０）。
第１の訓練サンプルライブラリは、履歴データからの訓練サンプルを含む。
モデル訓練装置２００は、第１の推論モデルを推論演算装置１００に送信する（動作Ａ２０）。
モデル訓練装置２００は、推論演算装置１００からのモデル更新要求を受信した場合、以下の動作Ａ３０を実行する。
モデル訓練装置２００は、更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第２の推論モデルを取得する（動作Ａ３０）。
当該更新後の第１の訓練サンプルライブラリは、第１の推論モデルの推論結果からの、再判定を受けた訓練サンプルを用いて第１の訓練サンプルライブラリを更新したものである。
モデル訓練装置２００は、第２の推論モデルを推論演算装置１００に送信する（動作Ａ４０）。
このコンピュータ可読記憶媒体は、同様に推論結果の正確さを向上させる効果があるが、ここでは詳細を省略する。
本開示のいくつかの実施例では、図１０に示すように、上記のいずれかの実施例に記載の推論演算装置１００と、上記のいずれかの実施例に記載のモデル訓練装置２００とを含む推論演算システム１０００がさらに提供される。
該推論演算システム１０００に含まれる推論演算装置１００とモデル訓練装置２００は、推論結果の正確さを向上させる効果があるため、当該推論演算システム１０００も同様に推論結果の正確さを向上させる効果があるが、ここでは詳細を省略する。
なお、本開示の実施例で言及されたプロセッサ（例えば、プロセッサ１１０とプロセッサ２１０）は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、汎用プロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、現場でプログラム可能なゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェアコンポーネント、又はこれらの任意の組み合わせであってもよい。本開示に記載の様々な例示的なロジックブロックとモジュールを実装又は実行し得る。プロセッサ２１０は、例えば、１つ又は複数のマイクロプロセッサの組み合わせ、ＤＳＰとマイクロプロセッサの組み合わせなどを含む、演算機能を実装する組み合わせであってもよい。
さらに、本開示の実施例で言及されるメモリ（例えば、メモリ１２０とメモリ２２０）は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ、リードオンリメモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＥＰＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ、ＥＥＰＲＯＭ）、レジスタ、ハードディスク、モバイルハードディスク、コンパクトディスク（ＣＤ－ＲＯＭ）、又は当技術分野でよく知られている任意の他の形態の記憶媒体であってもよい。
本開示のいくつかの実施例では、推論演算装置５００が提供される。図１１に示すように、この推論演算装置５００は、機能モジュールを機能毎に分ける場合、性能評価モジュール１１、推論モデルモジュール１３、モデルタスク管理モジュール１４を含む。
ここで、モデルタスク管理モジュール１４は、モデル訓練装置４００からの第１の推論モデルを受信するように構成される。
推論モデルモジュール１３は、受信した第１の推論モデルに基づいて、生産製造段階で生成された、ユーザ側機器３からの処理待ちデータの推論演算を行い、推論結果を取得し、推論結果をユーザ側機器３に送信するように構成される。
性能評価モジュール１１は、第１の推論モデルの性能を評価して、第１の推論モデルを更新する必要があるか否かを定めるように構成される。第１の推論モデルを更新する必要がある場合、モデルタスク管理モジュール１４によって、第１の推論モデルが更新される。
幾つかの実施例では、推論演算装置５００は、さらに、第２のモデル訓練モジュール１２と第２の訓練サンプルライブラリ１９とを含む。
第１の推論モデルを更新する必要がある場合、第２のモデル訓練モジュール１２は、第２の訓練サンプルライブラリ１９に基づいてモデル訓練を行い、第２の推論モデルを取得するように構成され、又は、性能評価モジュール１１がさらにモデル更新要求をモデル訓練装置４００に送信して、第２の推論モデルを取得するように構成される。
第２の訓練サンプルライブラリ１９は、推論モデルモジュール１３及び／又はモデルタスク管理モジュール１４からの、モデル訓練に必要な訓練サンプルを記憶する。
これに基づいて、いくつかの実施例では、モデルタスク管理モジュール１４は、さらに、モデル訓練装置４００からの第２の推論モデルを受信し、受信した第２の推論モデルに対してテスト、グレースケールデプロイ、又は配置情報検証のうちの少なくとも１つを行うように構成される。
一例として、図１１に示すように、モデルタスク管理モジュール１４は、検証ユニット１４１、テストユニット１４２、及びグレースケールデプロイユニット１４３を含む。
ここで、検証ユニット１４１は、受信した第２の推論モデルに対して配置情報検証を行うように構成される。
テストユニット１４２は、受信した第２の推論モデルをテストするように構成される。
グレースケールデプロイユニット１４３は、受信した第２の推論モデルに対してグレースケールデプロイを行うように構成される。
幾つかの実施例では、推論演算装置５００は、モデル訓練決定モジュール１８をさらに含む。
当該モデル訓練決定モジュール１８は、行われるモデル訓練に必要な訓練パラメータが設定された訓練パラメータ範囲内にあるか否かを判断するように構成される。
訓練パラメータが設定された訓練パラメータ範囲内にある場合、性能評価モジュール１１にモデル更新要求を第２のモデル訓練モジュール１２に送信させる。即ち、第２のモデル訓練モジュール１２にモデル訓練を行わせて第２の推論モデルを取得する。
訓練パラメータが設定された訓練パラメータ範囲内にない場合、性能評価モジュール１１にモデル更新要求をモデル訓練装置４００に送信させる。即ち、モデル訓練装置４００にモデル訓練を行わせて第２の推論モデルを取得する。
幾つかの実施例では、推論演算装置５００は、第３の推論モデルを受信するように構成されたバックアップモジュール１５をさらに含む。
第３の推論モデルの性能が推論モデルモジュール１３における第１の推論モデルの性能よりも高い場合、又は推論モデルモジュール１３における第１の推論モデルに異常が発生した場合、バックアップモジュール１５は、第３の推論モデルをモデルタスク管理モジュール１４に送信し、モデルタスク管理モジュール１４によって第３の推論モデルを用いて第１の推論モデルを更新する。
幾つかの実施例では、性能評価モジュール１１は、さらに、第２の推論モデルに対して性能を評価し、第１の推論モデルの性能と第２の推論モデルの性能とを比較するように構成される。
第２の推論モデルの性能が第１の推論モデルの性能よりも劣っている場合、モデルタスク管理モジュール１４は、さらに、第２の推論モデルを第１の推論モデルにロールバックするように構成される。
性能評価モジュール１１は、さらに、モデル訓練要求を、第２のモデル訓練モジュール１２又はモデル訓練装置４００に改めて送信するように構成される。
幾つかの実施例では、図１１に示すように、推論演算装置５００は、推論モデルモジュール１３とタスク管理モジュール１４の機能を拡張又は修正するように構成された機能拡張管理モジュール１６をさらに含む。
例えば、機能拡張管理モジュール１６は、導入された推論モデルを受信し、推論モデルモジュール１３における推論モデルを、その導入された推論モデルに切り替えるように制御する。
また、図１１に示すように、モデル訓練装置４００が第１の訓練サンプルライブラリ２３を含む場合、機能拡張管理モジュール１６は第１の訓練サンプルライブラリの機能をさらに拡張することができる。
一例として、機能拡張管理モジュール１６は、機能拡張インターフェースを含む。
いくつかの実施例では、図１１に示すように、推論演算装置５００は、原始データ集約モジュール１７と推論モデルモジュール１３とをさらに含む。
ここで、原始データ集約モジュール１７は、ユーザ側機器３からの原始データを集約して処理待ちデータを取得し、処理待ちデータを推論モデルモジュール１３に送信するように構成される。
本開示のいくつかの実施例では、モデル訓練装置４００が提供される。図１１に示すように、当該モデル訓練装置４００は、機能モジュールを機能毎に分ける場合、訓練管理モジュール２１、第１のモデル訓練モジュール２２、第１の訓練サンプルライブラリ２３を含む。
ここで、第１のモデル訓練モジュール２２は、第１の訓練サンプルライブラリ２３に基づいてモデル訓練を行い、第１の推論モデルを取得し、及び／又は、更新後の第１の訓練サンプルライブラリ２３に基づいてモデル訓練を行い、第２の推論モデルを取得するように構成される。
モデル管理モジュール２１は、第１の推論モデル及び／又は第２の推論モデルを推論演算装置５００に送信するように構成される。
一例として、図１１に示すように、訓練管理モジュール２１は、タスク管理ユニット２１１、訓練スケジューリングユニット２１２、及びブランチ管理ユニット２１３を含む。
ここで、タスク管理ユニット２１１は、推論演算装置５００から送信されたモデル更新要求に基づいて、訓練タスク情報を生成するように構成される。
訓練スケジューリングユニット２１２は、訓練タスク情報に基づいて訓練配置データを生成し、対応する訓練サンプルライブラリから訓練サンプルを取得するように構成される。
ブランチ管理ユニット２１３は、対応する推論モデルのモデルバージョン情報を検証し、モデルバージョン情報が正しいか否かを判断するように構成される。モデルのバージョン情報が正しい場合、ブランチ管理ユニット２１３は、さらに、バージョン情報が正しい対応する推論モデルを推論演算装置５００に送信するように構成される。
一例として、訓練スケジューリング部２１２は、さらに、第１のモデル訓練モジュール２２のモデル訓練過程を監視し、モデル訓練過程に異常が発生した場合、訓練配置データを更新し、更新後の訓練配置データを第１のモデル訓練モジュール２２に送信するように構成される。この場合、第１のモデル訓練モジュール２２は、さらに、更新後の訓練配置データと訓練サンプルに基づいてモデル訓練を行うように構成される。
いくつかの実施例では、図１１に示すように、モデル訓練装置４００は、第１の訓練サンプルライブラリ２３をさらに含む。
当該第１の訓練サンプルライブラリ２３は、推論演算装置５００によって送信された正解結果がラベル付けされた訓練サンプルを受信するように構成される。
例えば、再判定されて正解結果がラベル付けされた後に、推論演算装置５００の推論モデルモジュール１３の推論結果を第１の訓練サンプルライブラリ２３に送信し、それによって第１の訓練サンプルライブラリ２３を更新する。
この場合、第１のモデル訓練モジュール２２は、さらに、モデル更新要求を受信していないときに、更新後の第１の訓練サンプルライブラリ２３に基づいてモデル訓練を行い、第３の推論モデルを取得するように構成される。
一例として、訓練管理モジュール２１がブランチ管理ユニット２１３を含む場合、第１のモデル訓練モジュール２２は、第３の推論モデルをブランチ管理ユニット２１３に送信し、ブランチ管理ユニット２１３が第３の推論モデルを推論演算装置５００に送信するように構成される。
上記は本開示の具体的な実施形態に過ぎず、本開示の保護範囲はこれに限定されず、本開示の技術的範囲内で当業者が容易に想到できる変更又は置換は、すべて本開示の技術的範囲内に包含するものである。従って、本開示の保護範囲は、特許請求の範囲の保護範囲に準ずるものとする。

Claims (18)

  1. 推論演算装置であって、
    少なくとも１つのプロセッサとメモリを含み、
    前記メモリにはプログラム命令が記憶され、
    前記プログラム命令は、少なくとも１つの前記プロセッサによって実行可能であり、
    モデル訓練装置からの第１の推論モデルを受信する動作と、
    前記第１の推論モデルに基づいて、生産製造段階で生成された処理待ちデータの推論演算を行い、推論結果を取得し、前記推論結果をユーザ側機器に送信する動作と、
    前記第１の推論モデルを更新する必要があるか否かを定めるように、前記第１の推論モデルの性能を評価し、そうである場合、前記第１の推論モデルを更新する動作であって、前記第１の推論モデルに対して行う更新は、第２の訓練サンプルライブラリに基づいて、モデル訓練を行い、第２の推論モデルを取得するか、又は前記モデル訓練装置にモデル更新要求を送信し、第２の推論モデルを取得することと、前記第２の推論モデルが更新条件を満たす場合、前記第２の推論モデルを用いて前記第１の推論モデルを更新することと、を含み、前記第２の訓練サンプルライブラリは、履歴データからの訓練サンプル、又は前記推論結果からの再判定を受けた訓練サンプル、又は履歴データからの訓練サンプル及び前記推論結果からの再判定を受けた訓練サンプルを含む動作と、を前記推論演算装置に実行させ、
    前記第１の推論モデルは、前記モデル訓練装置が、第１の訓練サンプルライブラリに基づいてモデル訓練を行うことで取得されたものであり、
    前記第１の訓練サンプルライブラリは、生産製造段階で生成された履歴データからの訓練サンプルを含み、
    前記モデル訓練装置は、クラウド機器を含み、
    前記推論演算装置は、モデル訓練装置よりもユーザ側機器に近く、
    前記更新条件は、前記第２の推論モデルに対してグレースケールデプロイを行い、かつ前記グレースケールデプロイの過程中に前記第２の推論モデルの性能を評価し、前記第２の推論モデルの性能が評価要件を満たすことをさらに含む、
    推論演算装置。
  2. 前記履歴データは、欠陥情報がラベル付けされた製品画像を含み、
    前記処理待ちデータは、生産製造段階で生成された原始製品画像を含み、
    前記推論結果は、前記原始製品画像における欠陥情報を含む、
    請求項１に記載の推論演算装置。
  3. 前記更新条件は、さらに、
    前記第２の推論モデルに対してテストを行い、前記第２の推論モデルが前記テストに合格することを含み、
    前記テストは、テストサンプルに基づいて前記第２の推論モデルの性能を評価することを含み、性能が評価要件を満たす場合、テストに合格したと判定される、
    請求項１に記載の推論演算装置。
  4. 前記更新条件は、前記第２の推論モデルの配置情報を検証し、前記配置情報が、行われる必要のある推論演算と一致することをさらに含む、
    請求項１に記載の推論演算装置。
  5. モデル訓練を行って第２の推論モデルを取得するか、又はモデル訓練装置にモデル更新要求を送信して第２の推論モデルを取得する前に、
    行われたモデル訓練に必要な訓練パラメータが設定された訓練パラメータ範囲内にあるか否かを判定し、
    前記訓練パラメータが前記訓練パラメータ範囲内にある場合、前記モデル訓練を行い、
    前記訓練パラメータが前記訓練パラメータ範囲内にない場合、前記モデル訓練装置にモデル更新要求を送信する、動作をさらに実行する、
    請求項１に記載の推論演算装置。
  6. 前記訓練パラメータは、モデル訓練に必要なデータサイズ、訓練継続時間、および演算能力のうちの少なくとも１つを含む、
    請求項５に記載の推論演算装置。
  7. 前記第１の推論モデルの性能を評価するための評価パラメータは、推論演算の過程中の前記第１の推論モデルの正解率、適合率、再現率、及びＦ値のうちの少なくとも１つを含み、
    性能評価に基づいて前記第１の推論モデルを更新する必要がある状況は、第１の推論モデルの性能が変動又は低下したことを含み、
    前記評価パラメータの連続した期間内の変化状況に基づいて、前記第１の推論モデルの性能が変動又は低下したか否かを判定する、
    請求項１に記載の推論演算装置。
  8. 性能評価に基づいて前記第１の推論モデルを更新することは、
    第３の推論モデルを受信することと、
    前記第１の推論モデルと前記第３の推論モデルとの性能を比較し、前記第３の推論モデルの性能が前記第１の推論モデルの性能よりも高い場合に、又は前記第１の推論モデルに異常が発生した場合に、前記第３の推論モデルを用いて前記第１の推論モデルを更新することと、を含み、
    前記第３の推論モデルは、前記モデル訓練装置が前記モデル更新要求を受信していない状況で、更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行って取得されたものであり、
    前記更新後の第１の訓練サンプルライブラリは、前記推論結果からの、再判定を受けた訓練サンプルを含む、
    請求項１に記載の推論演算装置。
  9. 前記第２の推論モデルを用いて前記第１の推論モデルを更新する場合、
    前記第２の推論モデルの性能を評価し、前記第１の推論モデルの性能と前記第２の推論モデルの性能を比較する動作と、
    前記第２の推論モデルの性能が前記第１の推論モデルの性能よりも劣っている場合、前記第２の推論モデルを前記第１の推論モデルにロールバックし、モデル訓練を改めて行う動作、又はモデル訓練を行うように前記モデル訓練装置に改めて要求する動作と、をさらに実行する、
    請求項１に記載の推論演算装置。
  10. 前記推論結果を取得した後、
    前記推論結果に基づいて、決定命令を生成する動作をさらに実行し、
    前記欠陥情報は、欠陥があることが識別された原始製品画像と、欠陥位置及び欠陥タイプに関する情報と、を含み、
    前記決定命令は、前記原始製品画像の欠陥情報に基づいて、欠陥のある前記原始製品画像に対応する製品に対して、対応する欠陥処理を行う、
    請求項２に記載の推論演算装置。
  11. モデル訓練装置であって、
    少なくとも１つのプロセッサと、メモリと、を含み、
    前記メモリにはプログラム命令が記憶され、
    前記プログラム命令は、少なくとも１つの前記プロセッサによって実行可能であり、
    第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第１の推論モデルを取得する動作と、
    前記第１の推論モデルを推論演算装置に送信する動作と、
    前記推論演算装置からのモデル更新要求を受信した場合、更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第２の推論モデルを取得する動作と、
    前記第２の推論モデルを前記推論演算装置に送信する動作であって、前記第２の推論モデルが更新条件を満たす場合、前記第２の推論モデルを用いて前記第１の推論モデルを更新し、前記更新条件は、前記第２の推論モデルに対してグレースケールデプロイを行い、かつ前記グレースケールデプロイの過程中に前記第２の推論モデルの性能を評価し、前記第２の推論モデルの性能が評価要件を満たすことをさらに含む動作と、を前記モデル訓練装置に実行させ、
    前記第１の訓練サンプルライブラリは、生産製造段階で生成された履歴データからの訓練サンプルを含み、
    前記更新後の第１の訓練サンプルライブラリは、第１の推論モデルの推論結果からの、再判定を受けた訓練サンプルを含む、
    モデル訓練装置。
  12. 前記第１の訓練サンプルライブラリ、又は前記更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行う過程中に、
    訓練タスク情報を生成する動作と、
    前記訓練タスク情報に基づいて訓練配置データを生成する動作と、
    対応する訓練サンプルライブラリから訓練サンプルを取得し、前記訓練サンプルと前記訓練配置データに基づいてモデル訓練を行い、対応する推論モデルを取得する動作と、を実行する、
    請求項１１に記載のモデル訓練装置。
  13. 前記対応する訓練サンプルライブラリから訓練サンプルを取得し、前記訓練サンプルと前記訓練配置データに基づいてモデル訓練を行い、対応する推論モデルを取得する過程中に、
    モデル訓練の過程を監視する動作と、
    モデル訓練の過程に異常が発生した場合、前記訓練配置データを更新する動作と、
    前記訓練サンプルと更新後の訓練配置データに基づいてモデル訓練を行う動作と、をさらに実行する、
    請求項１２に記載のモデル訓練装置。
  14. 前記第１の推論モデル又は前記第２の推論モデルを前記推論演算装置に送信する前に、
    対応する推論モデルのモデルバージョン情報を検証し、前記モデルバージョン情報が正しいか否かを判定する動作と、
    前記モデルバージョン情報が正しい場合、対応する推論モデルを前記推論演算装置に送信する動作と、
    前記モデルバージョン情報が正しくない場合、モデルバージョンが要件を満たす推論モデルを検索し、検出された場合は検出された推論モデルを前記推論演算装置に送信し、検出されなかった場合は通知情報を前記推論演算装置に送信する動作と、をさらに実行する、
    請求項１１～１３のいずれか１項に記載のモデル訓練装置。
  15. 前記第１の訓練サンプルライブラリをさらに含み、
    前記第１の訓練サンプルライブラリを更新する動作と、
    前記モデル更新要求を受信していない状況で、前記更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第３の推論モデルを取得する動作と、
    前記第３の推論モデルを前記推論演算装置に送信する動作と、をさらに実行する、
    請求項１１に記載のモデル訓練装置。
  16. プログラム命令が記憶され、
    前記プログラム命令は、プロセッサによって実行可能であり、
    推論演算装置に、
    第１の推論モデルを受信する動作と、
    前記第１の推論モデルに基づいて、工業生産中の処理待ちデータの推論演算を行い、推論結果を取得する動作と、
    前記第１の推論モデルを更新する必要があるか否かを判定するように、前記第１の推論モデルの性能を評価し、前記第１の推論モデルを更新する必要がある場合、前記第１の推論モデルを更新する動作であって、前記第１の推論モデルに対して行う更新は、第２の訓練サンプルライブラリに基づいて、モデル訓練を行い、第２の推論モデルを取得するか、又はモデル更新要求を送信し、第２の推論モデルを取得することと、前記第２の推論モデルが更新条件を満たす場合、前記第２の推論モデルを用いて前記第１の推論モデルを更新することと、を含み、前記第２の訓練サンプルライブラリは、履歴データからの訓練サンプル、又は前記推論結果からの再判定を受けた訓練サンプル、又は履歴データからの訓練サンプル及び前記推論結果からの再判定を受けた訓練サンプルを含む動作と、を実行させ、
    前記第１の推論モデルは、第１の訓練サンプルライブラリに基づいて、モデル訓練を行うことで取得されたものであり、
    前記第１の訓練サンプルライブラリは、履歴データからの訓練サンプルを含み、
    前記更新条件は、前記第２の推論モデルに対してグレースケールデプロイを行い、かつ前記グレースケールデプロイの過程中に前記第２の推論モデルの性能を評価し、前記第２の推論モデルの性能が評価要件を満たすことをさらに含む、
    コンピュータ可読記憶媒体。
  17. プログラム命令が記憶され、
    前記プログラム命令は、プロセッサによって実行可能であり、
    モデル訓練装置に、
    第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第１の推論モデルを取得する動作と、
    前記第１の推論モデルを推論演算装置に送信する動作と、
    前記推論演算装置からのモデル更新要求を受信した場合、更新後の第１の訓練サンプルライブラリに基づいてモデル訓練を行い、第２の推論モデルを取得する動作と、
    前記第２の推論モデルを前記推論演算装置に送信する動作であって、前記第２の推論モデルが更新条件を満たす場合、前記第２の推論モデルを用いて前記第１の推論モデルを更新し、前記更新条件は、前記第２の推論モデルに対してグレースケールデプロイを行い、かつ前記グレースケールデプロイの過程中に前記第２の推論モデルの性能を評価し、前記第２の推論モデルの性能が評価要件を満たすことをさらに含む動作と、を実行させ、
    前記第１の推論モデルは、履歴データからの訓練サンプルを含み、
    前記更新後の第１の訓練サンプルライブラリは、第１の推論モデルの推論結果からの再判定を受けた訓練サンプルを用いて、前記第１の訓練サンプルライブラリを更新して取得されたものである、
    コンピュータ可読記憶媒体。
  18. 請求項１～１０のいずれか１項に記載の推論演算装置及び請求項１１～１５のいずれか１項に記載のモデル訓練装置を含む、
    推論演算システム。
JP2021571382A 2019-12-20 2019-12-20 推論演算装置、モデル訓練装置、及び推論演算システム Active JP7442550B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/127048 WO2021120181A1 (zh) 2019-12-20 2019-12-20 推理计算装置、模型训练装置、推理计算系统

Publications (2)

Publication Number Publication Date
JP2023514466A JP2023514466A (ja) 2023-04-06
JP7442550B2 true JP7442550B2 (ja) 2024-03-04

Family

ID=76478141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021571382A Active JP7442550B2 (ja) 2019-12-20 2019-12-20 推論演算装置、モデル訓練装置、及び推論演算システム

Country Status (6)

Country Link
US (1) US20210209488A1 (ja)
EP (1) EP4080407A4 (ja)
JP (1) JP7442550B2 (ja)
KR (1) KR20220117194A (ja)
CN (1) CN113597618A (ja)
WO (1) WO2021120181A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574246B2 (en) * 2020-01-21 2023-02-07 Microsoft Technology Licensing, Llc Updating training examples for artificial intelligence
KR20220030339A (ko) * 2020-08-27 2022-03-11 삼성디스플레이 주식회사 이물 불량 검출 방법 및 이물 불량 검출 시스템
KR20220049165A (ko) * 2020-10-14 2022-04-21 삼성에스디에스 주식회사 추론 데이터 기반 예측 모델 보정 시스템 및 방법
US12008487B2 (en) * 2020-12-15 2024-06-11 International Business Machines Corporation Inference model optimization
CN114741269B (zh) * 2022-04-14 2022-09-23 网思科技股份有限公司 一种推理系统业务性能评估的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170154246A1 (en) 2015-11-30 2017-06-01 Seematics Systems Ltd Apparatus and method for inferring information using a computer network
JP2019114116A (ja) 2017-12-25 2019-07-11 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
JP2019158684A (ja) 2018-03-14 2019-09-19 オムロン株式会社 検査システム、識別システム、及び識別器評価装置
WO2019229910A1 (ja) 2018-05-30 2019-12-05 株式会社ウフル 顔認証を用いた入国審査システム、入国審査方法、プログラム、および認証装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242549A (zh) * 2007-11-22 2008-08-13 中国移动通信集团山东有限公司 通信网络告警关联的神经网络构建方法
TWI385492B (zh) * 2008-12-16 2013-02-11 Ind Tech Res Inst 機台設備的維護分析系統及其方法
US11127020B2 (en) * 2009-11-20 2021-09-21 Palo Alto Research Center Incorporated Generating an activity inference model from contextual data
SG189840A1 (en) * 2010-10-19 2013-06-28 3M Innovative Properties Co Computer-aided assignment of ratings to digital samples of a manufactured web product
US8700658B2 (en) * 2011-09-01 2014-04-15 Knf Technologies, Inc. Relational meta model and associated domain context-based knowledge inference engine for knowledge discovery and organization
CN103078897B (zh) * 2012-11-29 2015-11-18 中山大学 一种实现Web业务细粒度分类与管理的系统
US10614373B1 (en) * 2013-12-23 2020-04-07 Groupon, Inc. Processing dynamic data within an adaptive oracle-trained learning system using curated training data for incremental re-training of a predictive model
US20150324686A1 (en) * 2014-05-12 2015-11-12 Qualcomm Incorporated Distributed model learning
US20180322623A1 (en) * 2017-05-08 2018-11-08 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
WO2018223000A1 (en) * 2017-06-02 2018-12-06 Aspen Technology, Inc. Computer system and method for building and deploying predictive inferential models online
CN107256009B (zh) * 2017-06-30 2019-08-02 武汉理工大学 一种基于深度学习的产品数字模型智能装配系统
CN107316083B (zh) * 2017-07-04 2021-05-25 北京百度网讯科技有限公司 用于更新深度学习模型的方法和装置
CN109754105B (zh) * 2017-11-07 2024-01-05 华为技术有限公司 一种预测方法及终端、服务器
US11030071B2 (en) * 2018-04-16 2021-06-08 Armory, Inc. Continuous software deployment
CN109635171B (zh) * 2018-12-13 2022-11-29 成都索贝数码科技股份有限公司 一种新闻节目智能标签的融合推理系统和方法
US20200193313A1 (en) * 2018-12-14 2020-06-18 Parallel Machines, Inc. Interpretability-based machine learning adjustment during production
CN109740661B (zh) * 2018-12-28 2022-10-28 沈阳工业大学 一种基于模糊评估的油井动液面自适应预测方法
US10481579B1 (en) * 2019-02-28 2019-11-19 Nanotronics Imaging, Inc. Dynamic training for assembly lines
CN110378900B (zh) * 2019-08-01 2020-08-07 北京迈格威科技有限公司 产品缺陷的检测方法、装置及系统
CN110554047B (zh) * 2019-09-06 2021-07-02 腾讯科技（深圳）有限公司 产品缺陷检测数据处理方法、装置、系统和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170154246A1 (en) 2015-11-30 2017-06-01 Seematics Systems Ltd Apparatus and method for inferring information using a computer network
JP2019114116A (ja) 2017-12-25 2019-07-11 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
JP2019158684A (ja) 2018-03-14 2019-09-19 オムロン株式会社 検査システム、識別システム、及び識別器評価装置
WO2019229910A1 (ja) 2018-05-30 2019-12-05 株式会社ウフル 顔認証を用いた入国審査システム、入国審査方法、プログラム、および認証装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jianguo CHEN et al.，"Distributed Deep Learning Model for Intelligent Video Surveillance Systems with Edge Computing"，IEEE Transactions on Industrial Informatics，IEEE，2020年，pp.1-8
川上明久，実践ＡＷＳ！ 企業クラウドの設計パターン 特別編 ＡＩとＩｏＴ ＡＩの学習と試行を効率化 エッジのＩｏＴと協調処理，日経ＳＹＳＴＥＭＳ ，日本，日経ＢＰ社，2018年01月14日，第３１０号，pp.54～61

Also Published As

Publication number Publication date
US20210209488A1 (en) 2021-07-08
KR20220117194A (ko) 2022-08-23
WO2021120181A1 (zh) 2021-06-24
EP4080407A4 (en) 2023-02-01
JP2023514466A (ja) 2023-04-06
CN113597618A (zh) 2021-11-02
EP4080407A1 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
JP7442550B2 (ja) 推論演算装置、モデル訓練装置、及び推論演算システム
US20200160207A1 (en) Automated model update based on model deterioration
US11042145B2 (en) Automatic health indicator learning using reinforcement learning for predictive maintenance
JP7393515B2 (ja) 分散型製品欠陥分析システム、方法及びコンピュータ可読記憶媒体
US9569298B2 (en) Multi-stage failure analysis and prediction
US10795655B1 (en) Provisioning of software applications on edge devices in an internet-of-things environment
US20230083744A1 (en) Combined Learned and Dynamic Control System
JP2018513490A (ja) 自動化システムを動作させる方法及び装置
JP2017224027A (ja) データのラベリングモデルに係る機械学習方法、コンピュータおよびプログラム
US20230176562A1 (en) Providing an alarm relating to anomaly scores assigned to input data method and system
JP2023547849A (ja) ラベルなしセンサデータを用いた産業システム内の稀な障害の自動化されたリアルタイムの検出、予測、及び予防に関する、方法または非一時的コンピュータ可読媒体
CN114787831B (zh) 改进分类模型的准确性
KR102151756B1 (ko) 작업자 관리 및 중개 방법 및 장치
CN113095508A (zh) 回归模型构建优化方法、设备、介质及计算机程序产品
CN115546218B (zh) 置信度阈值确定方法和装置、电子设备和存储介质
US11995477B2 (en) Verification of updated analytical procedures in monitoring systems
WO2021120179A1 (zh) 产品制造消息处理方法、设备和计算机存储介质
CN113632099B (en) Distributed product defect analysis system, method and computer readable storage medium
US12020516B2 (en) Method and device for processing product manufacturing messages, electronic device, and computer-readable storage medium
US20240160198A1 (en) Industrial data source writeback
US20240160164A1 (en) Industrial automation data quality and analysis
Wang et al. Human-AI Interaction
WO2022177567A1 (en) Dependability assessment framework for railroad asset management
WO2024043888A1 (en) Real time detection, prediction and remediation of machine learning model drift in asset hierarchy based on time-series data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240220

R150 Certificate of patent or registration of utility model

Ref document number: 7442550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150