JP7332028B2 - アイテムの検査を実行するための方法、装置、コンピュータプログラムおよびコンピュータ命令を含む媒体 - Google Patents

アイテムの検査を実行するための方法、装置、コンピュータプログラムおよびコンピュータ命令を含む媒体 Download PDF

Info

Publication number
JP7332028B2
JP7332028B2 JP2022507505A JP2022507505A JP7332028B2 JP 7332028 B2 JP7332028 B2 JP 7332028B2 JP 2022507505 A JP2022507505 A JP 2022507505A JP 2022507505 A JP2022507505 A JP 2022507505A JP 7332028 B2 JP7332028 B2 JP 7332028B2
Authority
JP
Japan
Prior art keywords
neural network
local
defective
item
central
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022507505A
Other languages
English (en)
Other versions
JP2022543291A (ja
Inventor
宏之 宮浦
正樹 諏訪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of JP2022543291A publication Critical patent/JP2022543291A/ja
Application granted granted Critical
Publication of JP7332028B2 publication Critical patent/JP7332028B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32368—Quality control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、アイテムの検査を実行するための、特に処理されているアイテムが欠陥であるか非欠陥であるかを決定するためのコンピュータ命令を含む方法、デバイス、コンピュータプログラムおよび媒体に関する。
製造ラインでは、製造中の製品に欠陥がないかどうかを確認するための目視検査装置が使用されている。このようなデバイスは、通常、画像処理および一般的な処理を実行するためのカメラ、メモリ、およびＣＰＵなどのイメージセンサを備えている。これらのデバイスは、製造ラインのコンポーネント（ロボットなど）にインストールするのに十分小さいため、応答時間が短い、他のデバイスとの通信の問題を回避する、構造とインストールを維持するなど、様々な理由でローカルでのみ機能する。できるだけシンプルなど。
画像が欠陥のある製品を指しているのか、欠陥のない製品を指しているのかを判断するために、様々な画像処理技術を利用できる。このような技術はそれぞれ、それぞれのアプリケーションや使用シナリオに適しており、それぞれが特定のエラーと対応する計算の複雑さを特徴としている。
さらに、他のタイプの検査システムがあり、必ずしも視覚的な分析に基づくのではなく、たとえば実際の製品のパラメータを測定して、製品に欠陥があるかどうかを判断することに基づいている。
ただし、既知の手法ではエラーが発生したり、大規模な処理機能が必要になったりする場合がある。
したがって、本発明の目的の１つは、検査を実行するための既存のシステムを改善すること、および／または従来技術の解決策に存在する問題の少なくともいくつかを克服することにある。
この目的は、次の方法で実現される。
態様Ａ１によれば、処理されているアイテムが欠陥であるか非欠陥であるかを決定するための検査方法が提供される。この方法は、ローカルニューラルネットワーク（１１）によって、およびアイテムが処理されている間に前記アイテムに実行された感知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示すローカル分類結果を決定するステップ（Ｓ１０）と、前記ローカル分類結果が正しいという信頼度を示す信頼指数を決定するステップ（Ｓ２０）と、前記信頼指数が所与の閾値を下回っていることに応答して、中央ニューラルネットワーク（２１）によって、及び前記感知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示す中央分類結果を決定するステップ（Ｓ３０）と
を包含し、前記ローカルニューラルネットワーク（１１）は前記中央ニューラルネットワーク（２１）よりも少ない計算資源を有する。
Ａ２．態様Ａ１による方法では、前記信頼指数は、前記ローカルニューラルネットワーク（１１）を訓練時に決定され、前記所与の閾値は経験的に、好ましくは前記ローカルニューラルネットワーク（１１）の訓練時に決定される。
Ａ３．態様Ａ１および／またはＡ２による方法において、前記信頼指数は、前記ローカル分類結果の決定時に前記ローカルニューラルネットワーク（１１）の複数のノードによって示される実際の（actual）活性化パターンを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）の前記複数のノードによって示される参照（reference）活性化パターンと関連付けることによって決定され、前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む。
Ａ４．前述の態様のいずれかによる方法では、前記信頼指数は、前記分類結果の決定時に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つのそれぞれの参照特徴ベクトルと関連付けることによって決定される。
態様Ａ５によれば、処理されているアイテムが欠陥であるか非欠陥であるかを決定するための検査装置（１０）が提供される。このローカル検査装置（１０）は、
前記アイテムが処理されている間に前記アイテムに実行された感知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示すローカル分類結果を決定するように構成されたローカルニューラルネットワーク（１１）と、
前記ローカル分類結果が正しいという信頼水準を示す信頼指数を決定するように構成されたプロセッサ（１２）と、
前記信頼指数が所与の閾値を下回ったことに応答して、処理中のアイテムが欠陥であるか非欠陥であるかを示す結果が中央ニューラルによって実行されることを通知する中央分類通知を出力するように構成された出力部（１３）と
を備え、前記ローカルニューラルネットワーク（１１）は前記中央ニューラルネットワーク（２１）よりも少ない計算資源を有する。
Ａ６．アスペクトＡ５のローカル検査装置（１０）では、
中央分類表示通知は、中央ニューラルネットワークによる中央分類結果を決定する要求を含み、前記出力部（１３）は、前記中央ニューラルネットワーク（２１）を含む中央検査装置（２０）に要求を送信するように構成されている。
Ａ７．態様Ａ５またはＡ６による検査装置において、前記信頼指数は、前記ローカルニューラルネットワーク（１１）の訓練時に決定され、前記所与の閾値は経験的に決定され、好ましくは前記ローカルニューラルネットワーク（１１）の訓練時に決定される。
Ａ８．態様Ａ５からＡ７のいずれかによる検査において、前記信頼指数は、前記ローカル分類結果の決定時に前記ローカルニューラルネットワーク（１１）の複数のノードによって示される実際の活性化パターンを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）の前記複数のノードによって示される参照活性化パターンと関連付けることによって決定され、前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む。
Ａ９．態様Ａ５からＡ８のいずれかによる方法において、前記信頼指数は、前記分類結果を決定している間に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）によって取得された少なくともそれぞれの参照特徴ベクトルと関連付けることによって決定される。
態様Ａ１０によれば、処理されるアイテムが欠陥であるか非欠陥であるかを決定するための検査装置（２０）が提供される。前記検査装置（２０）は、
アイテムの処理中に前記アイテムに実行された検知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示す分類結果を決定するよう構成された中央ニューラルネットワーク（２１）と、
前記中央分類を実行するための命令であって、所与の閾値未満の信頼水準を有する感知測定に基づいて前記分類結果を決定したことを示す命令を受信するよう構成された受信機（２２）と
を備える。前記ローカルニューラルネットワーク（１１）は前記中央ニューラルネットワーク（２１）よりも少ない計算資源を有する。
Ａ１１．態様Ａ１０の検査装置では、前記中央検査装置（２０）は、前記ローカルニューラルネットワークで利用可能な計算資源よりも多くの計算資源を使用することによって前記中央ニューラルネットワーク（２０２１）を動作させるよう構成されている。
Ａ１２．態様Ａ１０またはＡ１１の検査装置において、前記信頼指数は、前記ローカルニューラルネットワーク（１１）の訓練時に決定され、前記所与の閾値は経験的に、好ましくは前記ローカルニューラルネットワーク（１１）の訓練時に決定される。
Ａ１３．態様Ａ１０からＡ１２のいずれかの検査装置において、前記信頼指数は、前記ローカル分類結果の決定時に前記ローカルニューラルネットワーク（１１）の複数のノードによって示される活性化パターンを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）の前記複数のノードによって示される参照活性化パターンと関連付けることによって決定され、前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む。
Ａ１４．態様Ａ１０からＡ１３のいずれかの検査装置において、前記信頼指数は、前記分類結果を決定している間に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）によって取得された少なくともそれぞれの参照特徴ベクトルと関連付けることによって決定される。
態様Ａ１５によれば、ローカルニューラルネットワーク（１１）及び中央ニューラルネットワーク（２１）の少なくとも１つを使用して、アイテムの処理中に前記アイテムに実行された検知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを決定するための検査システムであって、前記ローカルニューラルネットワークは、前記中央ニューラルネットワークよりも少ない計算資源を有し、
ローカル分類結果が正しいという信頼水準を示すローカル信頼指数が所定の信頼水準を超えていないという決定に応答して、前記中央ニューラルネットワーク（２１）は、得られた検知測定値が不良アイテムであるか非不良アイテムであるかを示す中央分類結果を決定するように構成され、
中央の分類結果は、前記システムの分類結果になる。
Ａ１６．態様Ａ１５の検査システムでは、前記信頼指数は、前記ローカルニューラルネットワーク（１１）の訓練時に決定され、前記所与の閾値は経験的に、好ましくは前記ローカルニューラルネットワーク（１１）の訓練時に決定される。
Ａ１７．態様Ａ１５またはＡ１６の検査システムにおいて、前記信頼指数は、前記ローカル分類結果の決定時に前記ローカルニューラルネットワーク（１１）の複数のノードによって示される活性化パターンを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）の前記複数のノードによって示される参照活性化パターンと関連付けることによって決定され、
前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む。
Ａ１８．態様Ａ１５からＡ１７のいずれかの検査システムにおいて、前記信頼指数は、前記分類結果を決定している間に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）によって取得された少なくともそれぞれの参照特徴ベクトルと関連付けることによって決定される。
態様Ａ１９によれば、前記命令がコンピュータ上で実行されるときに、態様Ａ１からＡ４のいずれかのステップを実行するように構成された命令を含むコンピュータプログラムが提供される。
態様Ａ２０によれば、処理されているアイテムが欠陥であるか非欠陥であるかを決定するための検査方法が提供される。前記方法は、ニューラルネットワーク（１１）によって、及びアイテムが処理されている間に前記アイテムに実行された感知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示す分類結果を決定するステップ（Ｓ１０）と、前記分類結果が正しいという信頼度を示す信頼指数を決定するステップ（Ｓ２０）と、前記信頼指数が所定の閾値を下回ったことに応答して、前記アイテムが欠陥であるか非欠陥であるかを示す分類結果が所定のレベルを下回る信頼水準を有することを通知する通知メッセージを出力するステップ（Ｓ３０）とを包含する。
Ａ２１．通知メッセージが通知のためにデバイスに、および／またはさらなる処理のためにデバイスに出力される、態様Ａ２０に記載の方法。
Ａ２２．態様Ａ２０またはＡ２１による方法であって、前記信頼指数は、前記ニューラルネットワーク（１１）の訓練時に決定され、前記所与の閾値は経験的、好ましくは前記ニューラルネットワーク（１１）の訓練時に決定される。
Ａ２３．態様Ａ２０からA２２のいずれかの方法であって、前記信頼指数は、前記分類結果の決定時に前記ニューラルネットワーク（１１）の複数のノードによって示される実際の活性化パターンを、前記ニューラルネットワーク（１１）の訓練中に前記ニューラルネットワーク（１１）の前記複数のノードによって示される参照活性化パターンと関連付けることによって決定され、前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む。
Ａ２４．態様Ａ２０からA２３のいずれかの方法であって、前記信頼指数は、前記分類結果を決定している間に前記ニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ニューラルネットワーク（１１）の訓練中に前記ニューラルネットワーク（１１）によって取得された少なくともそれぞれの参照特徴ベクトルと関連付けることによって決定され、前記ニューラルネットワーク（１１）によって取得された前記少なくとも１つの特徴ベクトルは、前記ニューラルネットワーク（１１）の１以上の層の少なくとも１つのノードによって取得された特徴パラメータを含むベクトルを好ましくは含む。
Ａ２５．処理中のアイテムが欠陥であるか非欠陥であるかを決定するための検査装置（１０）であって、前記検査装置（１０）は、前記アイテムが処理されている間に前記アイテムに実行された感知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示す分類結果を決定するように構成されたニューラルネットワーク（１１）と、前記分類結果が正しいという信頼水準を示す信頼指数を決定するように構成されたプロセッサ（１２）と、前記信頼指数が所与の閾値を下回ったことに応答して、処理中のアイテムが欠陥であるか非欠陥であるかを示す結果が所与のレベルを下回る信頼水準を有していることを通知する通知メッセージを出力するよう構成された出力部（１３）とを備えている。
Ａ２６．前記出力部（１３）は、さらに、通知のためのデバイス、および／またはさらなる処理を行うデバイスに前記通知メッセージを出力するよう構成されている、請求項２５に記載の検査デバイス（１０）。
Ａ２７．態様Ａ２５またはＡ２６に記載の検査装置（１０）であって、前記信頼指数は、前記ニューラルネットワーク（１１）の訓練時に決定され、前記所与の閾値は経験的、好ましくは前記ニューラルネットワークの訓練時に決定される（１１）。
Ａ２８．態様Ａ２５からＡ２７のいずれかの検査装置（１０）であって、前記信頼指数は、前記分類結果の決定時に前記ニューラルネットワーク（１１）の複数のノードによって示される実際の活性化パターンを、前記ニューラルネットワーク（１１）の訓練中に前記ニューラルネットワーク（１１）の前記複数のノードによって示される参照活性化パターンと関連付けることによって決定され、前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む。
Ａ２９．態様Ａ２５からＡ２８のいずれかに記載の検査装置（１０）であって、前記信頼指数は、前記分類結果を決定している間に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）によって取得された少なくともそれぞれの参照特徴ベクトルと関連付けることによって決定される。
Ａ３０．前記命令がコンピュータ上で実行されるときに、態様Ａ１からＡ５のいずれかのステップ、または態様Ａ２０からＡ２４のいずれかのステップを実行するように構成された命令を含むコンピュータプログラム。
Ａ３１．前記命令がコンピュータ上で実行されるとき、態様Ａ１からＡ５のいずれかまたは態様Ａ２０からＡ２４のいずれかのステップを実行するように構成された命令を含む媒体。
本発明の一実施形態による方法を示すフローチャート 本発明の一実施形態による装置のブロック図 本発明の一実施形態による装置のブロック図 本発明の一実施形態によるシステムのブロック図 本発明の一実施形態による命令を実行するのに適したコンピュータのブロック図 ニューラルネットワーク活性化監視方式の例を示す図 ニューラルネットワーク出力監視方式の例を示す図
目視検査装置またはシステムは、例えば「写真マッチング」または「パラメータマッチング」プロセスの１つまたは組み合わせのように、製品に欠陥があるかどうかを判断するために様々な技術を使用できる。
－「写真マッチング」プロセス：製造中の製品の写真が撮影される。撮影した写真を製品の参照写真と比較する。撮影した写真が参照写真と一致する場合、製品は（一致の結果として）欠陥がない（または「良好」）、そうでない場合は欠陥がある（または「不良」）と見なされる。参照画像は、例えば、欠陥がない、または許容できる量および／または欠陥のタイプを含む製品の写真である。撮影された写真と参照写真との間の一致は、２つの写真の間に所与の（例えば、所定の）程度の類似性があるときに決定される。マッチングを確立するために、たとえばピクセルごとの比較などに基づいて、様々な手法を利用できる。
－「パラメータマッチング」プロセス：特定のパラメータを抽出するために、撮影した写真に対して画像処理を実行する。抽出されたパラメータは、参照パラメータと比較される。抽出されたパラメータと参照パラメータが一致する場合は、不良ではない（「良好」）が出力され、そうでない場合は不良（「不良」）が出力される。パラメータの例は、色、明るさ／コントラスト、形状、これらのいずれかまたは組み合わせの機能などである。参照パラメータは、欠陥がないと見なされる製品で撮影された１枚以上の写真に基づいて決定できる。欠陥がある；したがって、それぞれの抽出されたパラメータと参照パラメータが同じであるか、特定の範囲内でそれらの間で異なる場合、パラメータの一致がある。
ＡＩ技術は、たとえば上記の基本的な技術の１つまたは組み合わせに基づいて、製造ラインに設置された検査装置に適用できる。たとえば、ＡＩマシンは、欠陥のある製品と欠陥のない製品に対応することがわかっている一連の撮影写真で訓練できる。機械が訓練されると、訓練されたＡＩ機械にそのような製品をライン上で撮影した写真を分類させることにより、製造中の製品を検査するために使用できる。訓練は、上記の方法の１つまたは組み合わせを使用して実装できる（ただし、他の方法も、独立して、または組み合わせて使用できる）。例えば、パラメータマッチングプロセスに関して、ＡＩマシンは、利用可能な画像のセットから抽出されたパラメータ（または特定のプロセスまたはタスクのために決定された特徴空間内の特徴）に基づいて訓練され得る。これらの写真のうち、欠陥のある製品を指しているのか、欠陥のない製品を指しているのかがわかる。学習が完了すると、ＡＩマシンは、訓練されたモデルを使用して対応して抽出されたパラメータを処理することにより、新しく撮影された写真を欠陥と非欠陥に分類できる。
ただし、そのようなＡＩマシンにはエラーが発生する可能性があるため、製品を誤って分類する可能性がある。たとえば、偽の欠陥（実際の製品は良好）または偽の非欠陥（実際の製品は実は不良）である。さらに、オプションで、そのようなＡＩ検査システムは、たとえばＡＩマシンが、製品を欠陥として、または非欠陥として分類する必要があるかどうかをある程度の信頼水準を持って判断できない状況で、（欠陥のある出力と欠陥のない出力を超えて）第３のタイプの出力を提供できる。言い換えると、第３のタイプの出力は、ＡＩマシンが画像とそれぞれの製品を分類できないことを示している可能性がある。このような場合、製品に欠陥があるかどうかを判断するために、製品を人手で検査することを要する場合がある。この第３の出力タイプは、誤った欠陥／非欠陥分類の数を減らすことができる（そして、とにかく欠陥および非欠陥アイテムを決定するプロセスを有利に支援する）が、分類を正確に行うことができない、および／またはタイムリーに完了できない場合がある。ＡＩマシンでは、一般に、所与のタスク、本例ではアイテムを検査すること、を実行するための既知のアイテムに基づいて訓練され得るニューラルネットワークを含むエンティティを指す。動作中、つまり訓練が完了し、ＡＩマシンが実際に使用するために配備されると、ＡＩマシンは通常、未知のアイテムに対して特定のタスクを実行できる。「完了した訓練」とは、運用を開始するために十分な訓練が実行されることを意味する。訓練は、運用開始後、たとえば新しいデータが利用可能になったとき、および／または定期的に継続することもできる。
精度を向上させる１つの方法は、ＡＩマシンに含まれるニューラルネットワークの層数を増やすなどして、ＡＩマシンの計算能力を高めること、および／またはニューラルネットワークのより複雑な構成を選択することである。さらに、たとえば、より大きなデータセットで同じものを訓練し、おそらくこれをよりパフォーマンスの高いニューラルネットワーク（つまり、より高い計算パフォーマンスを持つニューラルネットワーク）と組み合わせることによって、訓練されたモデルの精度を向上させることが考えられる。
上記の考えられるＡＩソリューションは、依然としてローカル実装に基づいているため、検査を実行する際の重要な要素と見なされる最小の遅延と待ち時間を確保するために、製品が取り扱われている現場で検査を実行する一般的な慣行に沿っている。たとえば、欠陥のあるアイテムを見つける確率は、欠陥のないアイテムを見つける確率よりも比較的小さい。したがって、決定の遅延と待ち時間を最小限に抑えることが特に重要である。そうしないと、プロセス全体が大幅に遅延する可能性がある。同時に、決定が正しいことも重要である。たとえば、不良品を見逃さないことが重要である。
上記の考察と認識に基づいて、本発明者らは、検査分析をローカルＡＩマシンとリモートＡＩマシンとの間で分散させるという考えを着想した。すなわち、ローカルマシンは、リモートマシンよりも計算性能が低くてもよい。それにより、ローカルマシンはコンパクトになり、製品が取り扱われている（近くの）現場に導入するのに適し得る。リモートＡＩの関わりは、一般的に適切なソリューションではないと考えられているが、リモート分析によってもたらされる可能性のある遅延と待ち時間が、ローカルＡＩマシンの不正確さ、または失敗によって引き起こされる遅延と待ち時間を十分に補償して（つまり、全体的に小さくして）適切な判断を行うため、ローカルＡＩマシンと組み合わせて使用すると、実際には有利であることがわかった。重要なことに、このソリューションは、現場で使用するための構築および／または導入において、現地の検査装置を十分にコンパクトかつ簡素に維持しながら、これらの効果を達成することを可能にする。説明されたローカルおよびリモートＡＩマシンに加えて、リモートマシン（後に中央ニューラルネットワークとも呼ばれる）は、本発明者によって着想された変形例に従って省略され得ることに留意されたい。実際、ローカルＡＩマシンは、特定のレベルの精度／信頼性の範囲内で欠陥または非欠陥の決定に到達したことの表示を出力できる。例えば、アイテムに欠陥があるか、欠陥がないかをより正確に決定するために必要とされる追加の評価および／または確認が必要とされ得る。
図１を参照して、第１の実施形態は、処理されているアイテムが欠陥であるか非欠陥であるかを決定するための方法を対象として説明される。欠陥および非欠陥とは、アイテムが設計された技術仕様および／または品質基準にそれぞれ準拠しているかどうかを意味する。たとえば、その（機械的、電気的、化学的、および／または光学的などの）値が所与の許容範囲外である、および／または、処理によって傷が現れている場合は、その製品は欠陥である。この方法は、ローカルニューラルネットワーク（１１）によって、アイテムが処理されている間にアイテムに実行された感知測定に基づくローカル分類結果を決定するステップＳ１０を含む。ローカル分類の結果は、アイテムに欠陥があるかどうかを示す。「ローカル」という用語は、分類結果がローカルニューラルネットワーク１１によって、言い換えれば、ローカルニューラルネットワークの動作によって得られることを示す。ローカルとは、処理中のアイテムの近くに配置されているニューラルネットワークを指す。センシング測定値は、アイテムに結合されたセンサ（つまり、測定目的でアイテムと相互作用または係合できるセンサ。「係合」は機械に限定されない。）によって得られた測定結果を示す。測定結果は、例として、アイテムの写真を撮るカメラセンサを用いて取得された画像データ、レーザベースの測定装置などを用いて取得された長さデータのような機械的測定結果、それぞれのセンサによって測定される（電圧、電流などのような）電気的な値、アイテムの組成に関する密度測定結果、それぞれの適切なセンサなどによって取得されたアイテムの光学特性を示す測定結果を含む。測定は、処理されているアイテムに行われ、アイテムが特定のプロセス内で取り扱われていることを示す。また測定は、例として、製造ライン上のアイテムの移動および／または処理、輸送が損害をもたらしたかを検証するための、たとえばチェックポイントでの輸送に沿ったアイテムの取り扱い、などを含む。完全を期すために、ローカル分類結果は、アイテムの欠陥状態と非欠陥状態のいずれかを決定することができないことも示し得ることに留意されたい。したがって、一例では、分類結果は、アイテムの（ｉ）欠陥のある表示および（ｉｉ）欠陥のない表示のうちの１つを出力できる。他の例では、分類結果は、欠陥または非欠陥への分類が（ｉ）可能または（ｉｉ）可能でないか、を出力できる。他の例では、分類結果は、（ｉ）アイテムに欠陥があることの表示、（ｉｉ）アイテムに欠陥がないことの表示、および（ｉｉｉ）（欠陥のある／欠陥のない）それぞれの決定ができないことの表示、のうちの１つを出力できる。これらの例を組み合わせて、そのような構成間で動的に変更するようにデバイスを構成できる。上記および下記の説明では、処理中のアイテムに欠陥があるかどうかを決定することに関連して、決定の仕方を例示している。ただし、処理中のアイテムが所与の領域内に存在するか存在しないかを決定する場合にも、同じ考慮事項を適用する。したがって、「アイテムに欠陥があるかどうか」は、「アイテムが存在するかどうか」とも理解できる。所与の領域は次のようになる。
・事前に定義されている（たとえば、座標を用いる。）
・たとえば、センシング測定を実行するセンサに基づいて決定される（たとえば、カメラでキャプチャし得るシーンに対応する領域、ロボットなどの製造コンポーネントに対応して定義し得るシーンに対応する領域、上記の検知測定をセンサが行い得る距離に対応する領域、及びそれらの組み合わせ）
ステップＳ２０で、信頼指数が決定され、信頼指数は、ローカル分類結果が正しいという信頼の水準を示す。機械学習の分野でよく知られている信頼度は、ＡＩマシンによって生成された結果が真または正しいことの尤度を表し、たとえばＡＩ推定が実際の値に合致する尤度をパーセンテージ（または信頼指数の例として、範囲内の値など）で表すことができる。一例では、９０％の信頼水準は、欠陥／非欠陥の結果の１つへのローカルＡＩマシンの分類が、製品が実際に欠陥またはそれぞれ非欠陥である尤度が９０％に一致することを示している。同じまたは異なる閾値レベルを、欠陥のある／欠陥のない決定のそれぞれに割り当てることができる。信頼水準は、よく知られている様々な方法で取得できる。たとえば、「ニューラルネットワーク分類器の距離ベースの信頼スコア」、Amit Mandelbaum and Daphna Weinshall, arXiv:1709.09844v1 [cs.AI] 28 Sep 2017 (https://arxiv.org/pdf/1709.09844.pdf)。
欠陥／非欠陥への分類が不可能であるという上記の決定を参照すると、これは、そのような分類を取得することが不可能であるか、またはそのような決定が所与または所定の信頼水準内に到達しないことを示し得る。したがって、例えば、欠陥または非欠陥の分類結果がそれぞれの第１および第２の信頼水準閾値内で出力できない場合（１つの非限定的な例では、両方の閾値が同じである可能性がある）、ＡＩマシンは、不良品／非不良品に分類することはできない。
信頼指数が所与の閾値を下回ることに応答して、ステップＳ３０において、中央分類結果は、感知測定に基づいて、すなわち好ましくはローカルニューラルネットワーク１１によって使用される同じ情報に基づいて、中央ニューラルネットワーク２１によって決定される。ローカル分類結果と同様に、中央分類結果は、アイテムに欠陥があるかどうかを示す。しかしながら、ローカルニューラルネットワークとは異なり、中央ニューラルネットワーク２１は、ローカルニューラルネットワーク１１よりも多くの計算資源を有している。したがって、中央ニューラルネットワークの処理能力はローカルネットワークの処理能力よりも高いことを示す。これにより、たとえば、中央ニューラルネットワークのより複雑な構築が可能になる。好ましくは、中央ニューラルネットワークは、処理されているアイテムから離れている、すなわち、処理されているアイテムおよび／またはローカルニューラルネットワークの近くではない。したがって、中央ニューラルネットワーク２１は、欠陥のある／欠陥のない分類結果を決定できるより高い能力を持つ。言い換えると、中央の分類結果が最終または実際の分類結果になるであろう。ただし、ローカル分類結果が指定された閾値を上回っている（あるいは等しい）場合は、ローカル分類結果が実際の分類結果になる。このとき、中央ニューラルネットワークを活性化する必要はない。このように、ローカルニューラルネットワークの介入によって発生する追加の遅延と待ち時間は、ローカル中央ネットワークの計算資源が正確な結果を提供するには不十分な場合のみに制限される。したがって、ほとんどの検出はローカルで実行されるため、システム全体のパフォーマンスは引き続き高く、必要な場合にのみ、他のシステムよりも高速かつ／または正確に結果を取得できる中央ニューラルネットワークに検出が委ねられる。これにより、全体的に高いパフォーマンスが実現される。なぜなら、中央ネットワークの活性化に関連する遅延／待ち時間は、ローカルネットワークが正確な結果を決定できないことによって発生する可能性のある遅延／待ち時間を十分に補償するからである。一例では、中央ニューラルネットワークは、ＡＩモデルを有する計算資源を表すかまたは含み、インターネットおよび／またはイントラネットなどの通信ネットワークを介してローカル検査機に接続され、ローカルよりも高い計算能力を有する。さらに、中央ニューラルネットワークは必ずしもローカルマシンと同じ場所に配置する必要はない。
より大きな計算資源は、例えば、中央ニューラルネットワーク２１がより多くの層を備えている場合（例えば、ニューラルネットワークのより多くの中間層；これは、ローカルニューラルネットワークに中間層がない場合を含む）、および中央ネットワークは１つまたは複数、より一般的には、例として、中央ニューラルネットワークはローカルニューラルネットワークよりも少なくとも１つ多くの層を持つ。他の例では、中央ニューラルネットワークはローカルニューラルネットワークよりも多くのノードを持つ。ローカルニューラルネットワーク１１よりも多くの層と組み合わせる、および／またはより大きな／より複雑な構造を犠牲にしてより正確なニューラルネットワーク構造、および／またはニューラルネットワークを作るより大きなメモリより多くの情報などを処理できる；加えて、または代替として、より大きな計算資源は、中央ニューラルネットワーク２１がより大きなデータセットで訓練され、および／またはより複雑な訓練されたモデルなどを管理できる場合を含み得る。
好ましくは、上記の検査方法は、信頼指数がローカル分類結果の正しさである信頼度を示す場合にはローカル分類結果に基づいて、またはそうでない場合には中央分類結果に基づいて、アイテムが不良品または非不良品のうちの少なくとも１つであるかどうかを示す分類結果を出力するステップを含む。言い換えると、ローカルニューラルネットワークの結果および／または中央ニューラルネットワークの結果は、ローカルニューラルネットワークによって決定された分類結果の信頼度に応じて、実際の分類結果を決定するために使用される。特に、ローカルの結果と中央の結果を組み合わせて、精度をさらに向上させることが考えられる。本開示から明らかなように、分類結果（ローカル的、中央的、または最終的なものである）は、欠陥または非欠陥のうちの１つのみを示し得る。例えば、この方法は、欠陥のないアイテムに対応する結果のみを出力するように（または欠陥のあるアイテムに対してのみ）構成できる。結果が提供されない場合、アイテムに欠陥がある（またはそれに応じて欠陥がない）と暗黙的に判断できる。
第１の実施形態の変形例では、上記のステップＳ１０およびＳ２０を含む方法が見込まれる。ここでは、ローカルニューラルネットワークは、好ましくは、処理されるアイテムの近く、アイテムを処理する機器の近く、またはアイテムに行われる検知測定を提供するセンサの近く、に配置されるニューラルネットワークである。この変形例の方法で使用されるニューラルネットワークはまた、オンプレミスニューラルネットワークと呼ばれることがあり、好ましくは（必ずしも必要ではないが）ローカルニューラルネットワークと同じ特性を有し、特にオンプレミスニューラルネットワークは限られた処理能力を有するニューラルネットワークであり得る。たとえば、処理資源が限られているデバイス（たとえば、生産ラインに配置するための機器などのデバイスにインストールされるクライアントコンピュータまたはクライアントコントローラ）で実行するのに適したニューラルネットワークであり、たとえば、大規模なサーバまたは動作するのにクラウドベースの実行を必要とするニューラルネットワークではない。しかしながら、現在の変形例は、計算資源の特定の制限に限定されない。オンプレミスとローカルニューラルネットワークの両方に、アイテムの処理中にアイテムに実行されるセンシングが提供される。これは、ローカルニューラルネットワークを参照して前述したように、対応するセンサが処理中のアイテムと結合されていることを意味する。簡単にするために、本発明の変形例はオンプレミスとも呼ばれ、上記の第１の実施形態の方法はまた、ローカル／中央と呼ばれる。本変形例では、ステップＳ３０において、通知メッセージが出力される。通知メッセージは、分類結果（アイテムに欠陥があるかどうかを示す）の信頼水準が特定のレベルを下回っていることを通知する。通知には、オプションで、アイテムに欠陥があるかどうかに関する表示、またはアイテムに欠陥がないかどうかに関する表示を含めることができる。この場合、精度に関する表示は、通知に含まれる欠陥または非欠陥の表示を指すことが好ましい。与えられた信頼水準は、静的または動的に設定できる所定の信頼水準である可能性がある。さらに、所与の信頼水準は、閾値を含み得、好ましくは、決定ステップＳ２０によって使用される閾値と同じまたは異なる閾値であり得る。言い換えれば、ステップＳ３０において、特定の欠陥のあるまたは欠陥のない決定が、到達されたとしても、高度にまたは十分に正確ではない可能性があるという指示が提供される。結果として、アイテムに欠陥があるか欠陥がないかを確認するために、さらなる評価および／または確認が必要であると判断されることが好ましい場合がある。
好ましくは、本変形例によれば、通知メッセージは、通知のために（または、言い換えれば、デバイスによって通知を作動させるために）デバイスに、および／またはさらなる処理のためにデバイスに出力される。好ましくは、通知メッセージは、例えば、決定が正確に実行できなかったことを示す警報メッセージおよび／または警告メッセージを含み得る。好ましくは、代替的または追加的に、通知メッセージは、（オンプレミスの）ニューラルネットワークによって行われた決定が正しいことを確認するための要求を含み得る。このような確認は、中央ニューラルネットワーク（ローカル／中央の場合のような）、オペレータなどによって、など、別の検査自動分析（たとえば、アイテムに行われた画像認識、測定および／またはテストなど）によって実行され得る。好ましくは、出力（例えば、変形のステップＳ３０のように）は、そのようなデバイスが、オンプレミスデバイスと同じではないか、出力を生成する検査デバイスの近くにないデバイスである場合、通知メッセージをデバイスに送信することを含む。さらに好ましくは、通知の出力は、デバイス上で作動している通知を指し、例えば、欠陥のある／欠陥のない決定が正確でないことをオペレータに通知すること、および／またはアプリケーション（例えば、監視アプリケーション）に決定は正確ではないことを通知することを含み得る。デバイスによって作動される通知は、特にオペレータに宛てられた場合、ディスプレイおよび／または音響信号のいずれかによるものであり得、他のタイプの通知を含み得る。このような通知の例には、警報メッセージ、警告メッセージ、特定のＧＵＩ構成など、またはそれらの任意の組み合わせが含まれる。上記のように、メッセージはさらに処理するためのデバイスに出力される場合がある。このデバイスには、可能性のある欠陥／非欠陥アイテムに関連するデータを収集するためのデバイス（たとえば、アイテムの取り扱いまたは処理の歩留まりを決定するための歩留まり決定デバイス）、アイテムの処理を監視するためのデバイス、アイテムの処理を制御するためのデバイス（たとえば、処理を停止するか、および／または処理中のアイテムの速度を変化させるかなどを判断するデバイス）が含まれる。一例では、通知は、例えば、リモートニューラルネットワークによって、より正確なＡＩ決定を実行するための通知であり得る（この場合、通知メッセージは、リモートニューラルネットワークに送信されたメッセージを含み得る）。
上記から明らかなように、ここでは、ローカルネットワークと中央ネットワークの方法の場合とオンプレミスニューラルネットワークの場合の両方を説明するために、図１を参照する。また、第１および／または他の実施形態、および／または他の例を参照して本明細書で説明されることは、本発明の変形体および当業者に明らかな他の変形体にも適用され、繰り返しを回避する。
あるいは、信頼指数が比較される信頼閾値は、中央ニューラルネットワークによる予想される介入率が所定の介入閾値内に収まるように設定できる。介入閾値は、経験的に、および／またはシステムの１つまたは複数のコンポーネントの特性、および／または、システムの１つまたは複数のコンポーネントのモデルまたは機能に基づいて設定できる。特性は、センサからの測定値の精度(like accuracy of measurements)、ローカルおよび／または中央ニューラルネットワークの精度のレベル、中央ニューラルネットワークとローカルニューラルネットワーク間の通信の遅延および／または待ち時間などである。さらに、介入閾値は、経験的な値および／またはシステムの１つまたは複数の構成要素の特性および／またはそのモデル／機能にも基づいて、動的に設定され得る、すなわち動的に変更され得る。
あるいは、信頼指数は、ローカルニューラルネットワーク１１を訓練するときに決定される。つまり、訓練プロセス中または訓練プロセスの最後に、訓練されたニューラルネットワークによって提供される分類結果が正しい尤度が決定される。あるいは、所与の閾値は経験的に決定される。好ましくは、ローカルニューラルネットワークを訓練するとき（つまり、訓練プロセス中または訓練プロセスの終了時）に決定される。経験的には、ローカルニューラルネットワークの信頼水準を決定するために、訓練データセットに対して実験またはテストを行うことができることを意味する。しかしながら、前述のように、所与の閾値は、システムの１つまたは複数の構成要素の特性などに基づいて決定することもできる。
ここで、この方法の２つの選択的な方式を説明する。これらを、ニューラルネットワーク活性化監視方式（または略して活性化監視）、及びニューラルネットワーク出力監視方式（または略して出力監視）と呼ぶ。これらの方法を組み合わせることもできる。
活性化監視オプション方式によれば、信頼指数は、実際の(actual)活性化パターンと参照(reference)活性化パターンとの間の相関によって決定できる。実際の活性化パターンは、ローカル分類結果（たとえば、ネットワークが生産ラインで動作している場合）を決定する際にローカルニューラルネットワーク１１によって示されるパターンである。参照活性化パターンは、ローカルニューラルネットワークの訓練を行っているときにローカルニューラルネットワークによって示されるパターンである。なお、「ネットワークの訓練中」には、表示パターンは、ネットワークが訓練されているときに示されるパターンであり、訓練と同時に、または訓練終了後に分析される。その場合、表示パターンは、それらが分析されるまで、蓄積されるか少なくともキャッシュされる。実際のおよび参照の活性化パターンは、好ましくは、ローカルニューラルネットワークの１つまたは複数のノードを参照する。例：「欠陥データの訓練の際に表示される活性化されたノード」は、欠陥が存在する場合の参照活性化パターンを表す場合がある。これは、「欠陥」パターンまたは欠陥のある参照パターンとも呼ばれる。動作中に、活性化されたノードは実際の活性化パターンを生成し、それは欠陥のある参照パターンと関連付けられる（たとえば比較される）。実際の活性化パターンと参照活性化パターンのそれぞれは、データ構造（ベクトル、配列、リンクリスト、行列など）で表すことができる。ここで、各ノードは、それぞれのノードが活性化されているかどうかを示す１つの値（例えばビット、フラグなど）で表される。以下の１つまたは組み合わせが可能である。
・１つの層のすべてのノードをデータ構造で表すことができる。
・２つ以上の層のすべてのノードを表すことができる。
・１つ以上の層の少なくとも１つのノードまたは複数のノードをデータ構造で表すことができる。（たとえば、テーブル状、または行列の構造、または他の同様の表現。発火または発火していないノードに対応して０または１のような値を取る。慣習的な０と１は反転され得る）。
一例では、そのようなデータ構造は、それぞれのノードの発火状態を示すバイナリ値を含む。活性化監視方式において、所与の閾値は、所定のレベルの相関を示す相関閾値を含む。すなわち、使用中に示されるパターンは、訓練中に示されるパターンと正確に同じであるか、または所定のレベル／規則に従って異なる可能性がある（例えば、与えられた数のノードは、パターンや特定のレイヤに属するノードなどが異なる場合がある。例については、後で図６を参照して説明する）。たとえば、訓練中に、欠陥のある結果に対応して1組の活性化されたパターンが検出されたと仮定し、その組の各パターンにＰｄ１、Ｐｄ２、…、Ｐｄｉ、…Ｐｄｎという名前を付ける。Ｐｄｉは、不良結果が出力されたときに活性化されるノードのみを含む。たとえば、Ｐｄｉとして、Ｎ１Ｐｄｉ、Ｎ２Ｐｄｉ、・・・、ＮｎＰｄｉであり、したがってＮｊＰｄｉは、不良結果を生成する際にパターンＰｄｉのノードＮｊが活性化されていることを示す。動作中、つまりネットワークを実行して測定項目の結果分類を生成する場合、ローカルニューラルネットワークによって欠陥が出力されたと仮定する。欠陥が分類結果であると結論付ける前に、実際の分類プロセス中に活性化されたノードがパターンＰｄ１、…Ｐｄｎのいずれかに含まれるかどうかが比較される（ここでは、相関の１つの例）。いずれかに含まれる場合、実際の分類結果として「不良」が確認される。そうでない場合は、「不良品ではない」が出力されるか、不良品／不良品を判別できないことを示すしるし（indication）が出力される。したがって、活性化パターンの相関を用いると、欠陥のあるまたは欠陥のない予測を決定する精度を高めることが可能である。上記は、欠陥状態を決定するときに、活性化される傾向のあるノードに一種のバイアスが存在し、すべての仮想ノードの組み合わせによって表される空間と比較して、比較的まばらな数の活性化パターンをもたらすという発明者の認識に基づいている。欠陥のない状態を判断する場合にも、同様の考慮事項が適用される。
出力監視方式では、信頼指数は、少なくとも１つの実際の特徴ベクトルを少なくとも１つのそれぞれの参照特徴ベクトルと関連付けることによって決定される。実際の参照ベクトルは、処理中のアイテムの分類結果を決定している間、すなわち、訓練が完了した後にニューラルネットワークが動作しているときに、ローカルニューラルネットワーク１１によって取得される。参照特徴ベクトルは、代わりに、ローカルニューラルネットワーク１１を訓練している間、ローカルニューラルネットワーク１１によって取得される（「決定中」に関しては、上記の活性化監視の場合を参照されたい）。ローカルニューラルネットワークによって得られる（実際のおよび／または参照）特徴ベクトルは、好ましくは、ローカルニューラルネットワークの１つまたは複数の層の少なくとも１つのノードによって（例えば、出力として）得られる特徴パラメータを含むベクトルを含む。言い換えると、ベクトルには、ローカルニューラルネットワークの１つまたは複数の層の少なくとも１つのノードの出力に対応する値が含まれる。したがって、このようなベクトルには通常、ネットワークが予測する少なくとも特定の機能を表す値が含まれる。通常、このようなベクトルには非バイナリ値が含まれる。これは、各値が特徴要素の表現だからである。たとえば、一例では、特徴ベクトルは、最終層のすべてのノードの出力に対応する値を含み得る。この場合、特徴ベクトルは、全ネットワークによって生成された（実際のまたは参照）特徴推定を表す。他の例では、ベクトルには、１つ（または複数）の中間層からのすべてのノードの出力（またはすべてのノードの出力）に対応する値が含まれている。それにより、ベクトルはネットワークの中間（実際のまたは参照）推定として理解される。さらなる例では、ベクトルは、ローカルニューラルネットワークの１つまたは複数の層のノードのサブセット（すなわち、１つまたは複数のノード、しかし所与の層のすべてのノードより少ない）の出力に対応する値を含む。この場合も、（実際のまたは参照）ベクトルは、ネットワークによって生成された中間推定を表す。先の例では、参照または実際のベクトルを決定する際に、係数をノードおよび／またはレイヤに関連付けることができる（これらの係数は、ニューラルネットワークのタイプなどに基づいて訓練フェーズで決定され得る）。先の例は、任意の方法で互いに組み合わせることができる。中間推定の利点の１つは、ネットワーク出力全体が処理されるのを待たずに、早い段階で決定を下せるため、中央ニューラルネットワークを呼び出すかどうかを決定するために必要となる遅延を低減できることである。したがって、中間推定を使用することにより（つまり、ローカルニューラルネットワークの最終出力ではない１つ以上のノードを取得することにより）、中央ニューラルネットワークを呼び出すために必要な時間が短縮され、全体的な待ち時間の削減量を向上させることができる。（実際のまたは参照）ベクトルを取得するために、どの層および／またはどのノードおよび／または所与の層内のいくつのノードが選択されるかは、信頼指数を決定する精度とシステムは、訓練中に、または実装されているネットワークのタイプに応じて特定のルールに基づいて決定される場合がある。したがって、特徴ベクトルは、特にニューラルネットワークの非最終出力に関する場合、ローカルニューラルネットワークのある層における活性化ノードの数（及びノードによってそれぞれ生成された特徴）、または、ローカルニューラルネットワークのある層におけるノードの収集されたローカル出力などの特徴に関する、一種の圧縮されたノード情報を表すと言うこともできる。好ましくは、参照特徴ベクトルについて決定された（または選択された）ノードは、実際のベクトルについて決定された（または選択された）ノードと同じである。ただし、ノードは異なる場合がある。特に、実際のベクトルのノード数は、参照ネットワークのノードよりも少ない場合がある。オプションで、中央ニューラルネットワークのアーキテクチャは、ローカルニューラルネットワークの一部またはすべての層を含むようにできる（たとえば、中央ネットワークの複雑さは、「出力に向かって下流」の層に付随する）。この場合、中間結果は中央ニューラルネットワークに送信される可能性がある。中央ニューラルネットワークは、最初からではなく、そのような中間推定から処理を開始できるため、全体的な遅延がさらに短縮される。上記の場合と同様に、本発明者らは、欠陥のある出力（および同様に、欠陥のない出力）が、特徴空間内の非密な（例えば、まばらな）数の特徴ベクトルをもたらすことを認識した。オプションで、実際の特徴ベクトルと参照特徴ベクトルの間で決定された相関は、指定された範囲または許容範囲またはルール内にある。したがって、実際の特徴パターンが欠陥のある出力の参照特徴パターンと相関していることを確認することにより、実際の分類結果に欠陥があることを確認できる。欠陥のない場合にも同様の考慮事項が適用される。
言い換えれば、オプションの活性化および出力監視方式を参照して、第１レベルの信頼指数と第２レベルの信頼指数を取得することが可能である。第１レベルの信頼指数は、ニューラルネットワークによって出力される分類結果の１つである可能性がある（たとえば、既知の手法または経験的ルールまたはモデルに基づく）。第２のレベルの信頼指数は、第１のレベルの信頼指数が正しいことを検証するために、活性化および／または出力監視方式によって取得され得る。第２レベルの信頼指数（つまり、上記の方式の１つまたは両方）は、常に、または特定の状況でのみ、たとえば第１レベルの信頼指数が特定の閾値を超えていない場合に機能する。第２レベルの信頼性の場合が常に使用される場合、第１レベルの指標も省略され得る（すなわち、先行技術または経験的方法／モデルが省略され得、信頼性指標は、活性化および／または出力監視方式に基づいて計算される）。ただし、前述のように、一方または両方の方式の適用はオプションである。
あるいは、本明細書に記載の方法では、中央ニューラルネットワークは、ローカルニューラルネットワークのニューラルネットワークと同じニューラルネットワークを含む。ローカルニューラルネットワークは、ローカルニューラルネットワークによって取得された特徴ベクトルを中央ニューラルネットワークに送信し、中央ニューラルネットワークは、ローカルニューラルネットワークによって受信された特徴ベクトルに基づいて処理を開始する。
たとえば、ローカルニューラルネットワークのすべての層のすべてのノードは、中央のローカルネットワークにおいても見出せる。ローカルニューラルネットワークによって生成された出力（特徴ベクトル）は中央ニューラルネットワークに送信され、中央ニューラルネットワークはローカルニューラルネットワークの出力層に対応する層の直後の層から処理を開始する。同様に、特徴ベクトルが１つの中間層（または複数のノード）から取得されて中央ニューラルネットワークに送信されたものである場合、中央ニューラルネットワークは対応する層（または複数のノード）から処理を開始する。ローカルニューラルネットワークによって生成された中間特徴ベクトルを表す中間推定に関する上記の例も参照されたい。
上記で述べたことは、特に明記しない限り、以下のさらなる実施形態および例に等しく適用され、逆もまた同様であり、その結果、繰り返しが回避されることに留意されたい。
図２を参照して、次に、処理されるアイテムが欠陥であるか非欠陥であるかを決定するための検査デバイス１０に向けられた第２の実施形態が説明される。デバイス１０は、ローカルニューラルネットワーク１１、プロセッサ１２、および出力部１３を含む。ローカルニューラルネットワーク１１は、アイテムが処理されている間にアイテムに実行された感知測定に基づいて、アイテムが欠陥であるか非欠陥であるかを示すローカル分類結果を決定するように構成される。プロセッサ１２は、ローカル分類結果が正しい、すなわち、おそらく決定された欠陥または非欠陥状態が、実際に欠陥があるか、またはそれぞれ非欠陥であるアイテムに対応する可能性が高いという信頼水準を示す信頼指数を決定するように構成される。出力部１３は、信頼指数が所与の（所定の）閾値を下回ったことに応答して、処理中のアイテムが欠陥であるか非欠陥であるかに関するしるし（indication）が、中央ニューラルネットワークによって実行されるべきであることを通知する中央分類通知を出力するように構成される。ローカルニューラルネットワーク１１は、中央ニューラルネットワーク２１よりも少ない計算資源を有する。言い換えれば、中央分類通知は、ローカル分類結果ではなく中央分類結果が好ましくは取得されるべきであり、したがって中央ニューラルネットワーク２１の出力が実際の（または最終的な）分類結果と見なされ得ることを示すフラグを立てる。言い換えると、通知は、ローカル結果が正確でない可能性があり、中央結果がより適切である可能性があり、したがってローカル結果をオーバーライドする可能性があることを示す。中央分類通知は、感知測定に基づいて結果を分類するために中央活性化ネットワークを活性化する必要があるかどうかを示すフラグ、例えば１ビットによって表すことができる。次に、通知は別のデバイスによって読み取られたり受信されたりする可能性がある。別のデバイスは、分類を実行するように中央ニューラルネットワークに命令する可能性がある。あるいは、中央分類通知は、そのような中央分類結果を取得するために、中央ニューラルネットワークまたは別のデバイスに直接送信されるコマンドまたは命令を含み得る。ローカル分類結果および中央分類結果における「ローカル」および「中央」は、それぞれローカルまたは中央ニューラルネットワークによって得られる分類結果を指すことに留意されたい。
あるいは、中央分類通知は、中央ニューラルネットワークによって中央分類結果を決定する要求、すなわち、分類結果が中央ニューラルネットワークによって決定されるという要求を含む。この場合、出力部１３は、中央ニューラルネットワーク２１または中央ニューラルネットワーク２１を含む中央検査装置２０に要求を送信するように構成され得る。ただし、通知は、たとえば管理デバイスなどの別のネットワークデバイスに送信される場合がある。管理デバイスは、ローカルニューラルネットワークよりも強力な適切なニューラルネットワークを指示する（たとえば、クラウド環境では、中央ニューラルネットワークはクラウド；あるいは、クラウドデバイスは、クラウドに導入された複数のニューラルネットワークの１つにタスクを向けることができる）。
第２の実施形態の変形例では、決定ユニット１１と、図２を参照して上記のようにプロセッサとを備える検査装置が見込まれる。本変形の出力部１３は、信頼指数が所与の閾値を下回ることに応答して、処理中のアイテムが欠陥であるか非欠陥であるかを示す結果が与えられたレベル以下の信頼水準を有することを通知する通知メッセージを出力するように構成される。したがって、第２の実施形態の本発明の変形は、オンプレミス（第１の実施形態の変形と同様にかつ対応して）と名付けられ得、第２の実施形態は、ローカル／中央と名付けられ得る。好ましくは、本変形例では、出力部（１３）は、通知メッセージを通知のためにデバイスに、および／またはさらなる処理のためにデバイスに出力するようにさらに構成される。上記から明らかなように、本明細書では、第２の実施形態の装置の場合と第２の実施形態の変形例の両方の場合を説明するために、図２を参照する。また、第１および／または第２および／または他の実施形態、および／または他の実施例、および／または第１の実施形態の第１の変形例を参照して本文書で説明されることは、第２の実施形態の現在の変形例にも、当業者に明らかな他の変形に対しても適用され、繰り返しが回避される。
あるいは、信頼指数は、ローカルニューラルネットワーク１１を訓練するときに決定され、所与の閾値は、経験的に、好ましくはローカルニューラルネットワーク１１を訓練する際に決定される。
あるいは、ニューラルネットワーク活性化監視方式によれば、信頼指数は、ローカル分類結果を決定する際に、ローカルニューラルネットワーク１１の複数のノードによって表される（実際の）活性化パターンを、ローカルニューラルネットワーク１１の訓練中に、ローカルニューラルネットワーク１１の対応する複数のノードによって表される参照活性化パターンに関連付けることによって決定される。所定の閾値は、実際の活性化ボタンと参照活性化ボタンの間の所定のレベルの相関を示す相関閾値を含む。「実際の活性化パターン」の「実際の」とは、分類が取得される項目が処理されている間に動作しているニューラルネットワークを指す。
あるいは、ニューラルネットワーク出力監視方式において、信頼指数は、分類結果を決定する際に、ローカルニューラルネットワーク１１によって取得された少なくともそれぞれの参照特徴ベクトルを、ローカルニューラルネットワーク１１の訓練中にローカルニューラルネットワーク１１によって取得された少なくとも１つの参照特徴ベクトルと関連付けることによって決定される。言い換えれば、第１の実施形態に関して上記で述べたように、実際の分類中に生成された１つまたは複数の特徴ベクトルが、訓練中に得られた参照特徴ベクトルと同じであるか、または所与の範囲または許容範囲またはルール内にあるかどうかが決定される。
図３を参照して、処理されているアイテムが欠陥であるか非欠陥であるかを決定するための検査装置２０に向けられた第３の実施形態が説明される。デバイス２０は、中央ニューラルネットワーク２１および受信機２２を含む。中央ニューラルネットワーク２１は、アイテムが処理されている間にアイテムに実行された感知測定に基づいて、アイテムが欠陥であるか非欠陥であるかを示す分類結果を決定するように構成される。受信機２２は、中央分類を実行するための命令を受信するように構成される。命令は、ローカルニューラルネットワーク１１が、同じ感知測定に基づいて分類結果を以前に決定した（または決定しようとした）が、所与の閾値を下回る信頼水準に達したことを示している。ローカルニューラルネットワーク１１は、中央ニューラルネットワーク２１よりも少ない計算資源を有する。したがって、命令は、ローカルニューラルネットワークによって試行される分類プロセスよりも、中央ニューラルネットワーク２１によってより正確な分類プロセスが実行されなければならないことを示している。
あるいは、中央検査装置２０は、ローカルニューラルネットワークで利用可能なものよりも多くの計算資源を使用することによって中央ニューラルネットワーク２１を動作させるように構成される。
あるいは、信頼指数は、ローカルニューラルネットワーク１１を訓練するときに決定され、所与の閾値は、経験的に、好ましくはローカルニューラルネットワーク１１を訓練するときに決定される。
必要に応じて、ニューラルネットワーク活性化監視方式に従って、信頼指数は、実際の活性化パターンと参照活性化パターンを関連付けることによって決定される。実際の活性化パターンは、ローカル分類結果を決定するときにローカルニューラルネットワーク１１の複数のノードによって示されるパターンであり、一方、参照活性化パターンは、ローカルニューラルネットーク１１を訓練している間、ローカルニューラルネットワーク１１の複数のノードによって示される。所与の閾値は、２つのパターン間の所定のレベルの相関を示す相関閾値を含む。
あるいは、ニューラルネットワーク出力監視方式に従って、信頼指数は、分類結果を決定する間にローカルニューラルネットワーク１１によって取得された少なくとも１つの特徴ベクトルを、ローカルニューラルネットワーク１１の訓練中にローカルニューラルネットワーク１１によって得られた少なくともそれぞれの参照特徴ベクトルに関連付けることによって決定される。
図４を参照して、第４の実施形態は、アイテムが処理されている間にアイテムに実行された感知測定に基づいて、ローカルニューラルネットワーク１１および中央ニューラルネットワーク２１の少なくとも１つを使用することによって欠陥があるか欠陥がないかを決定するための検査システムに関して説明される。ローカルニューラルネットワークは、中央ニューラルネットワークよりも計算資源が少ない。ローカルおよび中央ニューラルネットワークは、無線および／または有線相互接続ネットワークを介した無線および／または有線通信が可能である。ローカルニューラルネットワークは、アイテムに欠陥があるかどうかを判断するように構成されている。さらに、システムは、ローカル分類結果が正しいという信頼の水準を示すローカル信頼指数を決定できる。次に、ローカル信頼指数が所定の信頼水準を超えていない（すなわち、結果が正しくない可能性が高い）という決定に応答して、中央ニューラルネットワークは、得られた感知測定値が欠陥アイテムを表すか、不良品ではない。言い換えれば、ニューラルネットワーク１１によってローカル的に到達された分類結果が十分に正確でないと考えられる場合、分類結果は中央ニューラルネットワークによって得られる。したがって、中央分類結果はシステムの分類結果になる。
あるいは、ローカルニューラルネットワーク１１は、ローカル検査デバイスの一部であるか、またはそれ自体がローカル検査デバイスを表すことができる。同様に、中央ニューラルネットワーク２１は、その一部またはそれ自体が中央検査装置を表すことができる。ローカルニューラルネットワークは、通常、処理されるアイテムの近くに配置されているため、処理されるアイテムの測定を実行するセンサの近くに配置される。中央ローカルネットワークは、ローカルニューラルネットワークから離れていて、ネットワークを介して接続されている場合がある。
あるいは、上記のシステムにおいて、信頼指数は、ローカルニューラルネットワーク１１を訓練するときに決定され、所与の閾値は、経験的に、好ましくはローカルニューラルネットワークを訓練するときに決定される。
図５を参照して、第５の実施形態は、命令がコンピュータ上で実行されるときに、上記の方法のステップおよびその変形のいずれかまたは組み合わせを実行するように構成された命令を含むコンピュータプログラムに向けられて説明される。例えば、第１の実施形態を参照する。図５は、前述のプログラムを実行できるコンピュータ（５００）を例示するブロック図を示している。特に、コンピュータ（５００）は、プログラム命令および／またはその実行に必要なデータを格納するためのメモリ（５３０）、命令自体を実行するためのプロセッサ（５２０）、および入出力インターフェース（５１０）を備える。
別の図示されていない実施形態では、プログラムがコンピュータ上で実行されるときに、例えば第１の実施形態を参照して、上記の方法によるステップの１つまたは組み合わせを実行するように構成されたコンピュータプログラムをサポートするための媒体が提供される。メディアの例としては、静的および／または動的メモリ、固定ディスク、またはＣＤ、ＤＶＤ、ブルーレイなどの他の媒体がある。媒体はまた、ケーブル伝送の手段、または無線伝送（セルラー、衛星、地上デジタルなど）の手段（イーサネット、光など）を含む、命令を表す信号をサポート可能な手段を含む。
すでに述べた例によれば、センサはカメラによって代表され得、感知測定値は、カメラによって得られた画像データに対応し得る。例えば、カメラは、同じものが生産ライン上にある間に、アイテム（例えば、製品）の写真を撮ることができる。別の例では、ある場所のポイントから別の場所のポイントにアイテムが移動または移動している間に、カメラがアイテムの写真を撮ることができる。
別の例によれば、センサは、電子製品が製造されている間、またはあるポイントからポイントに転送されている間に、電子製品でそれぞれの測定を行うのに適した電圧および／または電流センサによって表すことができる。他の例は、アイテムの長さおよび／または幅および／または高さ、アイテムの光学的特性、アイテムの機械的および／または化学的特性などを測定するセンサによって表される。
ここで、ニューラルネットワーク活性化監視方式の例を図１および図２を参照して説明する。図６は、Ｌ個の層を有するニューラルネットワークを示しており、各層ｉは、ノードの数ＮＲｉを有する。レイヤｉのノードには、Ｎｉ，１，Ｎｉ，２，・・・Ｎｉ，Ｒｉの番号が付けられる。訓練中に、欠陥のある製品（たとえば、欠陥のある製品に対応することがわかっている画像）がノードの活性化につながり、各レイヤで第１および／または第２のノードのみが活性化され、そのような各レイヤの残りのノードは活性化されない。これは、図６の下部にグラフで表され、各レイヤに配列が示され、第１の２つの位置のみがゼロとは異なる（１は活性化を表し、０は非活性化を表す）。これは、欠陥のあるアイテムを決定するときのノードの活性化の参照パターンを表す場合があり、したがって、欠陥のあるアイテムの表示（第２レベルの信頼指数の一例、上記を参照）に関連付けることができる。動作中、つまり訓練後、結果を分類するためにニューラルネットワークが設置されると、ノードがどのように活性化されるかが観察され、さらにネットワークの出力が観察される。動作中に検出されたノードのパターンは、ここでは実際のパターンとも呼ばれる。動作中にニューラルネットワークが（ａ）製品に欠陥がないことを示す分類結果を生成し、同時に（ｂ）第１の２つのノードの１つだけが活性化されている実際のパターンが検出された場合、システムは、活性化パターンが参照活性化パターンに対応していないため、分類結果が正しくない、と決定できる。この例では、パターンは、全ての層の観点で考慮され、各レイヤのすべてのノード（例えば、６０１、６０２～６０Lは、全て一つのパターンを作る）されている。ただし、パターンが（６０１の中の例えば１つのまたは任意の組み合わせは、６０２～６０Ｌ）１つまたは複数の層のために、各そのような層のための１つまたは複数のノードのために定義されてもよい。また、より多くのパターン（１つのパターンだけでなく）を定義することもできる。これらはすべて不良品に対応している。実際、ノードの活性化のすべての可能な組み合わせの中で、限られたサブセットのみが特定の分類結果に対応することがわかっている。さらに、特定のパターンは、一般的な分類結果だけでなく、そのサブカテゴリの１つにも関連付けられている場合がある。たとえば、上記で説明および図解されたパターンは、アイテムの引っかき傷によって表される欠陥に関連している可能性がある。上記の説明は、分類結果が「欠陥がある」ことを示している。同じ考慮事項が「欠陥がない」場合にも当てはまる。明らかに、参照パターンと実際のパターンの間の相関のレベルは、たとえば、参照パターンの各ノードを実際のパターンの各ノードと比較し、完全に一致する場合、または、活性化されたノードの少なくとも一部が参照パターンと活性化パターンの両方で見つかった場合に、相関があると結論付けることによって、状況に応じて定義できる。相関がない場合、システムは出力結果が正しくない可能性があると判断した。つまり、ローカルネットワークは（正確な）判断を下すことができない。したがって、中央ニューラルネットワークが分類結果の決定に介入する。相関は、数学的に定義することもできるし、たとえば、ｉｆ－ｔｈｅｎに基づく、などのルールを使用して定義することもできる。
ここで、ニューラルネットワーク出力監視方式の例を、図７を参照して説明する。図７は、特徴を表すデータ７２０を出力として提供するニューラルネットワーク７００を示す。出力機能は、入力７１０として与えられた特定の感知測定によって引き起こされたネットワーク７００の結果である。ネットワーク７００は、上記で論じたローカルニューラルネットワークの例であり得る。簡単にするために、この例が２軸座標系でグラフィカルに表現できるように２つのコンポーネント（Ａ、Ｂ）のみを持つベクトルであると仮定する。訓練中に、欠陥のないアイテムが常にまたは主に、図７に示されている参照特徴ベクトルＲＦ１によって特徴付けられることが観察されたと仮定する。言い換えれば、ＲＦ１は、既知の欠陥製品を表すデータによって、訓練中に励起されたときにニューラルネットワーク７００によって抽出された特徴を示す。ここで、動作中、すなわち、訓練が完了し、アイテムを分類するためにネットワークが設置されると、第１のアイテムＩ１を分析するネットワーク７００が、（ａ）分類結果として「欠陥」を出力し、（ｂ）ＡＦ１を実際の特徴ベクトルとして出力すると仮定する。第１のアイテムＩ１。第２のアイテムＩ２を分類するとき、ネットワーク７００は依然として（ａ）「欠陥」を出力するが、次に（ｂ’）ＡＦ２を第２のアイテムＩ２のために抽出された実際のベクトルとして出力する。参照特徴と実際の特徴（ＲＦ１×ＡＦ１）の間のベクトル積が所定の閾値内にある場合、分類結果は正しいことが確認される。そうでない場合、結果は正しいことが確認されない。視覚的に、この単純化された例では、閾値は、角度および／またはベクトルの長さによって表すことができる。簡単にするために、ＡＦｉがＲＦ１の４５°回転内にある場合に出力分類結果が確認されたと仮定する。光７の値を参照すると、ＡＦ１はＲＦ１に対して３０°回転していることがわかる。つまり、４５°の閾値内にあり、特徴の監視によって分類結果が確認されるため、項目Ｉ１は「不良」として確認される。出力７２０で与えられる。ただし、ＡＦ２はＲＦ１に対して９０度回転しているため、システムは「欠陥」が正しくない可能性が高いと判断する。つまり、ローカルネットワークはアイテムを分類できない。したがって、中央ニューラルネットワークが介入して分類を修正する。この例は例示的なものであり、実際には複数のＲＦが存在する可能性があり、各ベクトルは２つの値のみまたは２つ以上の値を持つ可能性がある（つまり、ここで説明する２つの値は例示のみを目的としている）。分類中、参照ベクトルの数は、所与の空間におけるすべての可能なベクトル表現と比較して比較的少ないことが見出されたので、本発明は依然として適用される。
本明細書で説明されるようなニューラルネットワークは、例えば、ローカルまたは中央のニューラルネットワークであり、ハードウェアおよび／またはソフトウェアによって実装できる。特に、中央ニューラルネットワークは、分散されたハードウェアおよび／またはソフトウェア資源（例えば、クラウド内）を介して実装され得、また、互いに遠隔接続され、それぞれがローカルニューラルネットワークに遠隔接続され得る。ローカルニューラルネットワークを分散して実装することも考えられる。ただし、これが行われる場合、ローカルニューラルネットワークの処理遅延および／または待ち時間が中央ニューラルネットワークのそれぞれのＩＤよりも小さいという点で、その分散実装のレベルは中央ニューラルネットワークのレベルよりも低くなる。
この説明では、ニューラルネットワークまたはユニット（センサ、メモリ、プロセッサなど）を参照している。本発明は、そこに記載されている特定のネットワークおよび／またはユニットに限定されず、実際、それぞれの手段に等しく適用される。したがって、ニューラルネットワーク、メモリ、プロセッサ、センサなどは、それぞれ、ニューラルネットワーク手段、メモリ手段、処理手段、感知手段などによって置き換えることができる。これらのネットワークおよび／またはユニット（またはそれぞれの手段）は、別個の／自己完結型のユニット／エンティティとして、または分散したユニット／エンティティとして実装できる（つまり、物理的に近いか離れているかにかかわらず、接続された多数のコンポーネントを介して実装される）。これらは、集中または分散されているかどうかにかかわらず、ハードウェア、ソフトウェア、またはそれらの組み合わせを介してさらに実装できる。
実施形態および実施例の多くは、方法またはプロセスのステップを参照して説明されてきた。しかしながら、説明されたことは、コンピューティングエンティティ（これも分散されている）または手段が適切に構成されているエンティティ上で実行されるプログラムに実装することもできる。上に示したように、エンティティは、ＨＷ／ＳＷまたはそれらの組み合わせを介して単一のデバイスに、または複数の相互接続されたユニットまたはデバイス（同様にＨＷ、ＳＷまたはそれらの組み合わせ）に実装できる。当然のことながら、発明者によって認識された原理を適用する実施形態および例に関する上記の説明は、これらの原理の例としてのみ提供され、したがって、本明細書で請求される本発明の範囲の限定として理解されるべきではない。

Claims (29)

  1. 処理中のアイテムが欠陥であるか非欠陥であるかを決定するための検査方法であって、
    前記アイテムは、所定の製品であり、
    前記処理は、前所定の製品の製造、および／または、前記所定の製品の移動であり、
    前記アイテムが処理されている間に前記アイテムに実行された感知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示すローカル分類結果を、ローカルニューラルネットワーク（１１）によって決定するステップ（Ｓ１０）と、
    前記ローカル分類結果が正しいという信頼度を示す信頼指数を決定するステップ（Ｓ２０）と、
    前記信頼指数が所与の閾値を下回っていることに応答して、前記感知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示す中央分類結果を、中央ニューラルネットワーク（２１）によって決定するステップ（Ｓ３０）と
    を包含し、前記ローカルニューラルネットワーク（１１）は前記中央ニューラルネットワーク（２１）よりも少ない計算資源を有する
    検査方法。
  2. 前記信頼指数は、前記ローカルニューラルネットワーク（１１）の訓練時に設定され、前記所与の閾値は前記ローカルニューラルネットワーク（１１）の訓練時に設定される、請求項１に記載の方法。
  3. 前記信頼指数は、前記ローカル分類結果の決定時に前記ローカルニューラルネットワーク（１１）の複数のノードによって示される実際の活性化パターンを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）の前記複数のノードによって示される参照活性化パターンと関連付けることによって設定され、前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む、請求項１または２に記載の方法。
  4. 前記信頼指数は、前記ローカル分類結果の決定時に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つのそれぞれの参照特徴ベクトルと関連付けることによって設定され、
    前記ローカルニューラルネットワークによって得られる１つの前記特徴ベクトルは、前記ローカルニューラルネットワークの１つまたは複数の層の少なくとも１つのノードによって得られる特徴パラメータを含むベクトルを有する、請求項１から３のいずれかに記載の方法。
  5. －前記中央ニューラルネットワークには、前記ローカルニューラルネットワークと同様のニューラルネットワークが含まれ、
    －前記ローカルニューラルネットワークは、前記ローカルニューラルネットワークによって取得された特徴ベクトルを前記中央ニューラルネットワークに送信し、
    －前記中央ニューラルネットワークは、前記ローカルニューラルネットワークによって受信された前記特徴ベクトルに基づいて処理を開始する
    請求項１から４のいずれかに記載の方法。
  6. 中央検査装置（２０）を含む検査システムにおいて用いられる、処理中のアイテムが欠陥であるか非欠陥であるかを決定するための検査装置（１０）であって、
    前記中央検査装置（２０）は所与の計算資源を有する中央ニューラルネットワーク（２１）を含み、
    前記アイテムは、所定の製品であり、
    前記処理は、前記所定の製品の製造、および／または、前記所定の製品の移動であり、
    前記検査装置（１０）は、
    前記アイテムが処理されている間に前記アイテムに実行された感知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示すローカル分類結果を決定するように構成されたローカルニューラルネットワーク（１１）と、
    前記ローカル分類結果が正しいという信頼水準を示す信頼指数を決定するように構成されたプロセッサ（１２）と、
    前記信頼指数が所与の閾値を下回ったことに応答して、処理中の前記アイテムが欠陥であるか非欠陥であるかの決定を前記中央ニューラルネットワーク（２１）で行うよう前記中央検査装置（２０）に通知する中央分類通知を出力するように構成された出力部（１３）と
    を備え、前記ローカルニューラルネットワーク（１１）は前記中央ニューラルネットワーク（２１）の前記所与の計算資源よりも少ない計算資源を有する
    検査装置（１０）。
  7. 前記中央分類通知は、前記中央ニューラルネットワークによって実行されて得られる、処理中の前記アイテムが欠陥であるか非欠陥であるかの結果である中央分類結果の取得を決定する要求を含み、
    前記出力部（１３）は、前記中央検査装置（２０）に要求を送信するように構成されている
    請求項６に記載の検査装置（１０）。
  8. 前記信頼指数は、前記ローカルニューラルネットワーク（１１）の訓練時に設定され、前記所与の閾値は前記ローカルニューラルネットワーク（１１）の訓練時に設定される、請求項６または７に記載の検査装置（１０）。
  9. 前記信頼指数は、前記ローカル分類結果の決定時に前記ローカルニューラルネットワーク（１１）の複数のノードによって示される実際の活性化パターンを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）の前記複数のノードによって示される参照活性化パターンと関連付けることによって決定され、
    前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む
    請求項６から８のいずれかに記載の検査装置（１０）。
  10. 前記信頼指数は、前記ローカル分類結果を決定している間に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）によって取得された少なくともそれぞれの参照特徴ベクトルと関連付けることによって決定される、請求項６から９のいずれかに記載の検査装置。
  11. ローカル検査装置（１０）を含む検査システムにおいて用いられる、処理中のアイテムが欠陥であるか非欠陥であるかを決定するための検査装置（２０）であって、
    前記ローカル検査装置（１０）は、所与の計算資源を有するローカルニューラルネットワーク（１１）を含み、前記ローカルニューラルネットワーク（１１）は、前記アイテムに実行された感知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示すローカル分類結果を決定するように構成されており、かつ、前記ローカル分類結果が正しいという信頼水準を示す信頼指数を有しており、
    前記アイテムは、所定の製品であり、
    前記処理は、前記所定の製品の製造、および／または、前記所定の製品の移動であり、
    前記検査装置（２０）は、
    アイテムの処理中に前記アイテムに実行された検知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示す中央分類結果を決定するよう構成された中央ニューラルネットワーク（２１）と、
    前記中央ニューラルネットワーク（２１）による、前記アイテムが欠陥であるか非欠陥であるかの分類を実行するための命令であって、前記ローカル検査装置（１０）における所与の閾値未満の信頼水準を有する感知測定に基づいて、前記中央ニューラルネットワーク（２１）による前記分類を実行するための命令を、前記ローカル検査装置（１０）から受信するよう構成された受信機（２２）と
    を備え、前記中央ニューラルネットワーク（２１）は、前記ローカルニューラルネットワーク（１１）の前記所与の計算資源よりも多くの計算資源を有する
    検査装置（２０）。
  12. 前記検査装置（２０）は、前記ローカルニューラルネットワークで利用可能な前記所与の計算資源よりも多くの計算資源を使用することによって前記中央ニューラルネットワーク（２１）を動作させるよう構成されている、請求項１１に記載の検査装置。
  13. 前記信頼指数は、前記ローカル検査装置（１０）において前記ローカルニューラルネットワーク（１１）の訓練時に設定され、
    前記所与の閾値は、前記ローカル検査装置（１０）において前記ローカルニューラルネットワーク（１１）の訓練時に設定される、請求項１１または１２に記載の検査装置。
  14. 前記信頼指数は、前記ローカル分類結果の決定時に前記ローカルニューラルネットワーク（１１）の複数のノードによって示される活性化パターンを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）の前記複数のノードによって示される参照活性化パターンと関連付けることによって決定され、
    前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む
    請求項１１から１３のいずれかに記載の検査装置。
  15. 前記信頼指数は、前記ローカル分類結果を決定している間に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）によって取得された少なくともそれぞれの参照特徴ベクトルと関連付けることによって決定される、請求項１１から１４のいずれかに記載の検査装置。
  16. ローカルニューラルネットワーク（１１）を有する検査装置（１０）及び中央ニューラルネットワーク（２１）を有する中央検査装置（２０）を有し、前記ローカルニューラルネットワーク（１１）及び前記中央ニューラルネットワーク（２１）を使用して、アイテムの処理中に前記アイテムに実行された検知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを決定するための検査システムであって、
    前記ローカルニューラルネットワーク（１１）は、前記中央ニューラルネットワーク（２１）よりも少ない計算資源を有し、
    前記検査装置（１０）は、
    前記アイテムが処理されている間に前記アイテムに実行された感知測定に基づいて、前記アイテムが欠陥であるか非欠陥であるかを示すローカル分類結果を決定するように構成されたローカルニューラルネットワーク（１１）と、
    前記ローカル分類結果が正しいという信頼水準を示すローカル信頼指数を決定するように構成されたプロセッサ（１２）と、
    前記ローカル信頼指数が所与の閾値を下回ったことに応答して、処理中の前記アイテムが欠陥であるか非欠陥であるかの決定を前記中央ニューラルネットワーク（２１）で行うよう前記中央検査装置（２０）に通知する中央分類通知を出力するように構成された出力部（１３）と
    を備え、
    前記中央検査装置（２０）は、
    前記中央ニューラルネットワーク（２１）による、前記アイテムが欠陥であるか非欠陥であるかの分類を実行するための命令であって、前記検査装置（１０）における所与の閾値未満の信頼水準を有する感知測定に基づいて、前記中央ニューラルネットワーク（２１）による前記分類を実行するための命令を、前記検査装置（１０）から受信するよう構成された受信機（２２）
    を備え、
    前記ローカル信頼指数が、前記所与の閾値を含む所定の信頼水準を超えていないという決定に応答して、前記中央ニューラルネットワーク（２１）は、得られた検知測定値が欠陥アイテムであるか非欠陥アイテムであるかを示す中央分類結果を決定するように構成され、
    前記中央分類結果は、前記検査システムの分類結果になる、検査システム。
  17. 前記ローカル信頼指数は、前記ローカルニューラルネットワーク（１１）の訓練時に設定され、
    前記所与の閾値は前記ローカルニューラルネットワーク（１１）の訓練時に設定される、請求項１６に記載の検査システム。
  18. 前記ローカル信頼指数は、前記ローカル分類結果の決定時に前記ローカルニューラルネットワーク（１１）の複数のノードによって示される活性化パターンを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）の前記複数のノードによって示される参照活性化パターンと関連付けることによって設定され、
    前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む
    請求項１６または１７に記載の検査システム。
  19. 前記ローカル信頼指数は、前記ローカル分類結果を決定している間に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）によって取得された少なくともそれぞれの参照特徴ベクトルと関連付けることによって設定される、請求項１６から１８のいずれかに記載の検査システム。
  20. 前記信頼指数が所与の閾値を下回ったことに応答して、前記アイテムが欠陥であるか非欠陥であるかを示す分類結果が所定のレベルを下回る信頼水準を有することを通知する通知メッセージを出力するステップ
    をさらに包含する、請求項１に記載の検査方法。
  21. 前記通知メッセージが、通知のためのデバイス、および／またはさらなる処理を行うデバイスに出力される、請求項２０に記載の方法。
  22. 前記信頼指数は、前記ローカルニューラルネットワーク（１１）の訓練時に設定され、前記所与の閾値は前記ローカルニューラルネットワーク（１１）の訓練時に設定される、請求項２０または２１に記載の方法。
  23. 前記信頼指数は、前記ローカル分類結果の決定時に前記ローカルニューラルネットワーク（１１）の複数のノードによって示される実際の活性化パターンを、前記ニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）の前記複数のノードによって示される参照活性化パターンと関連付けることによって決定され、
    前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む
    請求項２０から２２のいずれかに記載の方法。
  24. 前記信頼指数は、前記ローカル分類結果を決定している間に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）によって取得された少なくともそれぞれの参照特徴ベクトルと関連付けることによって決定され、
    前記ローカルニューラルネットワーク（１１）によって取得された前記少なくとも１つの特徴ベクトルは、前記ローカルニューラルネットワーク（１１）の１以上の層の少なくとも１つのノードによって取得された特徴パラメータを含むベクトルを含む、請求項２０から２３のいずれかに記載の方法。
  25. 前記出力部は、さらに、前記信頼指数が所与の閾値を下回ったことに応答して、処理中のアイテムが欠陥であるか非欠陥であるかを示す結果が所与のレベルを下回る信頼水準を有していることを通知する通知メッセージを出力するよう構成されている
    請求項６に記載の検査装置（１０）。
  26. 前記出力部（１３）は、さらに、通知のためのデバイス、および／またはさらなる処理を行うデバイスに前記通知メッセージを出力するよう構成されている、請求項２５に記載の検査装置（１０）。
  27. 前記信頼指数は、前記ローカルニューラルネットワーク（１１）の訓練時に設定され、前記所与の閾値は前記ローカルニューラルネットワーク（１１）の訓練時に設定される、請求項２５または２６に記載の検査装置（１０）。
  28. 前記信頼指数は、前記ローカル分類結果の決定時に前記ローカルニューラルネットワーク（１１）の複数のノードによって示される実際の活性化パターンを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）の前記複数のノードによって示される参照活性化パターンと関連付けることによって決定され、
    前記所与の閾値は、所定のレベルの相関を示す相関閾値を含む
    請求項２５から２７のいずれかに記載の検査装置（１０）。
  29. 前記信頼指数は、前記ローカル分類結果を決定している間に前記ローカルニューラルネットワーク（１１）によって取得された少なくとも１つの特徴ベクトルを、前記ローカルニューラルネットワーク（１１）の訓練中に前記ローカルニューラルネットワーク（１１）によって取得された少なくともそれぞれの参照特徴ベクトルと関連付けることによって決定される、請求項２５から２８のいずれかに記載の検査装置（１０）。
JP2022507505A 2019-08-13 2020-08-11 アイテムの検査を実行するための方法、装置、コンピュータプログラムおよびコンピュータ命令を含む媒体 Active JP7332028B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/IB2019/056861 WO2021028714A1 (en) 2019-08-13 2019-08-13 Method, apparatuses, computer program and medium including computer instructions for performing inspection of an item
IBPCT/IB2019/056861 2019-08-13
PCT/IB2020/057536 WO2021028828A1 (en) 2019-08-13 2020-08-11 Method, apparatuses, computer program and medium including computer instructions for performing inspection of an item

Publications (2)

Publication Number Publication Date
JP2022543291A JP2022543291A (ja) 2022-10-11
JP7332028B2 true JP7332028B2 (ja) 2023-08-23

Family

ID=67982112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022507505A Active JP7332028B2 (ja) 2019-08-13 2020-08-11 アイテムの検査を実行するための方法、装置、コンピュータプログラムおよびコンピュータ命令を含む媒体

Country Status (5)

Country Link
US (1) US20220269252A1 (ja)
EP (1) EP4014167A1 (ja)
JP (1) JP7332028B2 (ja)
CN (1) CN114127744A (ja)
WO (2) WO2021028714A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199391A (ja) 2002-12-18 2004-07-15 Manabu Tanaka 画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体
US20160086078A1 (en) 2014-09-22 2016-03-24 Zhengping Ji Object recognition with reduced neural network weight precision
WO2018098039A1 (en) 2016-11-23 2018-05-31 Vital Images, Inc. Distributed clinical workflow training of deep learning neural networks
JP2018198053A (ja) 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019109577A (ja) 2017-12-15 2019-07-04 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043264B2 (en) * 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
WO2017176714A1 (en) * 2016-04-06 2017-10-12 Cardiac Pacemakers, Inc. Confidence of arrhythmia detection
US10226204B2 (en) * 2016-06-17 2019-03-12 Philips North America Llc Method for detecting and responding to falls by residents within a facility
CN109564166A (zh) * 2016-07-08 2019-04-02 Ats自动化加工系统公司 用于自动和人工的组合检查的系统和方法
EP3293682A1 (en) * 2016-09-13 2018-03-14 Alcatel Lucent Method and device for analyzing sensor data
US11902396B2 (en) * 2017-07-26 2024-02-13 Amazon Technologies, Inc. Model tiering for IoT device clusters
US10416660B2 (en) * 2017-08-31 2019-09-17 Rockwell Automation Technologies, Inc. Discrete manufacturing hybrid cloud solution architecture
CN108038843A (zh) * 2017-11-29 2018-05-15 英特尔产品（成都）有限公司 一种用于缺陷检测的方法、装置和设备
KR102093899B1 (ko) * 2017-12-01 2020-03-26 주식회사 코이노 서버와의 연계를 통해 기계학습의 효율성을 높이는 클라이언트 단말 및 이를 포함한 기계학습 시스템
WO2019212501A1 (en) * 2018-04-30 2019-11-07 Hewlett-Packard Development Company, L.P. Trained recognition models
US20200027009A1 (en) * 2018-07-23 2020-01-23 Kabushiki Kaisha Toshiba Device and method for optimising model performance
US20220172335A1 (en) * 2019-02-20 2022-06-02 International Electronic Machines Corp. Machine Vision Based Inspection
KR20200113744A (ko) * 2019-03-26 2020-10-07 한국전자통신연구원 심층 신경망 분할 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199391A (ja) 2002-12-18 2004-07-15 Manabu Tanaka 画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体
US20160086078A1 (en) 2014-09-22 2016-03-24 Zhengping Ji Object recognition with reduced neural network weight precision
WO2018098039A1 (en) 2016-11-23 2018-05-31 Vital Images, Inc. Distributed clinical workflow training of deep learning neural networks
JP2018198053A (ja) 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019109577A (ja) 2017-12-15 2019-07-04 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム

Also Published As

Publication number Publication date
WO2021028714A1 (en) 2021-02-18
CN114127744A (zh) 2022-03-01
JP2022543291A (ja) 2022-10-11
EP4014167A1 (en) 2022-06-22
WO2021028828A1 (en) 2021-02-18
US20220269252A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
US10776911B2 (en) Information processing apparatus, identification system, setting method, and program
US11710045B2 (en) System and method for knowledge distillation
WO2018035878A1 (zh) 缺陷分类方法和缺陷检查系统
JP7059883B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
KR20210038143A (ko) 인공지능(ai) 기반 대상물 검사 시스템 및 방법
JP7054436B2 (ja) 検出システム、情報処理装置、評価方法及びプログラム
CN115668286A (zh) 训练自动缺陷分类的检测仪器的方法与系统
JP2020198092A (ja) 教師なし異常検出及び高次元センサデータの多数決投票による原因説明のための方法及びシステム
WO2019176990A1 (ja) 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム
JP7332028B2 (ja) アイテムの検査を実行するための方法、装置、コンピュータプログラムおよびコンピュータ命令を含む媒体
CN117745678A (zh) 一种输送带滚筒包胶检测方法、装置、设备及存储介质
CN117372424A (zh) 一种缺陷检测方法、装置、设备及存储介质
JP6847898B2 (ja) 予防保全装置及び予防保全システム
CN111078480A (zh) 一种异常恢复方法和服务器
WO2022215446A1 (ja) 画像判定装置、画像判定方法、及び、プログラム
US11493901B2 (en) Detection of defect in edge device manufacturing by artificial intelligence
US20220335254A1 (en) Computer vision inferencing for non-destructive testing
KR102319386B1 (ko) 고장 강도 산출 장치 및 방법
US11790508B2 (en) Computer vision predictions for non-destructive testing
US20240112325A1 (en) Automatic Optical Inspection Using Hybrid Imaging System
JP7257470B2 (ja) 欠陥検査装置、欠陥検査方法および予測モデル生成方法
WO2022209301A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114627093A (zh) 质检方法及装置、质检系统、电子设备、可读介质
JP2023036131A (ja) 検査システム、方法、及びプログラム
JP2024139881A (ja) 検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R150 Certificate of patent or registration of utility model

Ref document number: 7332028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150