JP2023516776A - 製造プロセスのためのシステム、方法及び媒体 - Google Patents

製造プロセスのためのシステム、方法及び媒体 Download PDF

Info

Publication number
JP2023516776A
JP2023516776A JP2022553668A JP2022553668A JP2023516776A JP 2023516776 A JP2023516776 A JP 2023516776A JP 2022553668 A JP2022553668 A JP 2022553668A JP 2022553668 A JP2022553668 A JP 2022553668A JP 2023516776 A JP2023516776 A JP 2023516776A
Authority
JP
Japan
Prior art keywords
quality metric
final quality
station
image data
tooling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022553668A
Other languages
English (en)
Inventor
シー プットマン，マシュー
ピンスキー，バディム
サンドストローム，アンドリュー
アスウィン，ラーギャフ ニルマルスワレン
キム，ウンソル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanotronics Imaging Inc
Original Assignee
Nanotronics Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/091,393 external-priority patent/US20210132593A1/en
Application filed by Nanotronics Imaging Inc filed Critical Nanotronics Imaging Inc
Publication of JP2023516776A publication Critical patent/JP2023516776A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32193—Ann, neural base quality management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32216—If machining not optimized, simulate new parameters and correct machining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)
  • Image Analysis (AREA)

Abstract

本出願では製造システムを開示する。製造システムは１つ以上のステーション、監視プラットフォーム及び制御モジュールを含む。１つ以上のステーションの各ステーションは要素の複数ステップ製造プロセスの少なくとも１つのステップを実行するように構成される。監視プラットフォームは複数ステップ製造プロセスにわたって要素の進行を監視するように構成される。制御モジュールは、複数ステップ製造プロセスの各ステップの処理パラメータを動的に調整して要素の所望の最終クオリティメトリックを達成するように構成される。

Description

関連出願の相互参照
本出願は２０２０年３月９日に出願された米国仮出願第６２／９８６，９８７号の優先権を主張する。本仮出願の全体が参照により本明細書に援用される。本出願は、２０１９年１１月６日に出願された米国仮出願第６２／９３１，４４８号、２０１９年１１月７日に出願された米国仮出願第６２／９３２，０６３号及び２０１９年１１月６日に出願された米国仮出願第６２／９３１，４５３号の優先権を主張する２０２０年１１月６日に出願された米国出願１７／０９１，３９３の一部継続出願である。これらの出願の全体が参照により本明細書に援用される。
本開示は概して製造プロセスのためのシステム、方法及び媒体に関する。
１８世紀の産業革命の黎明期から、自動化は商品の製造を左右してきた。今日の工場では重点方針として、大量製造環境においてロボットによって多くの反復作業が行なわれる自動化を完全に受け入れてきたが、多くの組立て作業が人員によって行なわれることが続いている。このような作業はコスト、重大な障害のリスクや、少量製造運用の場合にロボットシステムの展開のロジスティックスの問題により自動化するのが困難である。このような製造ラインは、所定時間内に所定のクオリティメトリック（ｑｕａｌｉｔｙ ｍｅｔｒｉｃ）を達成するように組立員を指導したり、組立員を別の操作員に交代させたりするような標準的なプロセス制御と人員による管理とによって監督される。このようなプロセスは組立ての出現からほとんど変わらないままになっている。
いくつかの実施形態について、本出願では製造システムが開示されている。製造システムは１つ以上のステーション、監視プラットフォーム及び制御モジュールを含む。各ステーションは要素の複数ステップ製造プロセスの少なくとも１つのステップを実行するように構成される。監視プラットフォームは複数ステップ製造プロセスにわたって要素の進行を監視するように構成される。Ｔ制御モジュールは、複数ステップ製造プロセスのステップの処理パラメータを動的に調整して要素の所望の最終クオリティメトリックを達成するように構成され、制御モジュールは動作を実行するように構成される。動作は、１つ以上のステーションの第１のステーションのツーリングの画像データを受け取るステップを含む。動作は、画像データからキーポイントの集合を特定するステップをさらに含む。キーポイントは第１のステーションでの処理中のツーリングの位置情報に対応する。動作は、キーポイントに基づいて要素の最終クオリティメトリックを機械学習モデルによって決定するステップをさらに含む。動作は、決定に基づいて、機械学習モデルによって生成された最終クオリティメトリックと要素の標準的な最終クオリティメトリックとの比較に基づいて要素を要素の分類に割り当てるステップをさらに含む。
いくつかの実施形態について、本出願では複数ステップ製造プロセスを制御するコンピュータ実施方法が開示されている。複数ステップ製造プロセスは製造システムの１つ以上のステーションをともなう。各ステーションは要素の複数ステップ製造プロセスの少なくとも１つのステップを実行するように構成される。製造システムに関連するコンピューティングシステムが１つ以上のステーションの第１のステーションのツーリングの画像データを受け取る。コンピューティングシステムが画像データからキーポイントの集合を特定し、キーポイントの集合は第１のステーションでの処理中のツーリングの位置情報に対応する。キーポイントの集合に基づいて要素の最終クオリティメトリックをコンピューティングシステムに関連する機械学習モデルによって決定する。決定に基づいて、コンピューティングシステムが機械学習モデルによって生成された最終クオリティメトリックと要素の標準的な最終クオリティメトリックとの比較に基づいて要素を要素の分類に割り当てる。
いくつかの実施形態について、本出願では製造システムが開示されている。製造システムは１つ以上のステーション、監視プラットフォーム及び制御モジュールを含む。各ステーションは要素の複数ステップ製造プロセスの少なくとも１つのステップを実行するように構成される。監視プラットフォームは複数ステップ製造プロセスにわたって要素の進行を監視するように構成される。Ｔ制御モジュールは、複数ステップ製造プロセスのステップの処理パラメータを動的に調整して要素の所望の最終クオリティメトリックを達成するように構成され、制御モジュールは動作を実行するように構成される。動作は、１つ以上のステーションの第１のステーションのツーリングの画像データを受け取るステップを含む。動作は、画像データからキーポイントの集合を特定するステップをさらに含む。キーポイントは第１のステーションでの処理中のツーリングの位置情報に対応する。動作は、キーポイントに基づいて要素の最終クオリティメトリックを機械学習モデルによって決定するステップをさらに含む。動作は、最終クオリティメトリックから、最終クオリティメトリックが閾値許容値以下ではないと判断するステップをさらに含む。動作は、決定に基づいて、機械学習モデルによって生成された最終クオリティメトリックと要素の標準的な最終クオリティメトリックとの比較に基づいて要素を要素の分類に割り当てるステップをさらに含む。動作は、割当てに基づいて、要素に割り当てられた分類が許容可能な分類ではないと判断するステップをさらに含む。動作は、判断に基づいて、第１の処理ステーションでの要素に対応する位置に関する情報を推測するステップをさらに含む。動作は、判断に基づいて、下流のステーションによって実行される更新済みの指示集合を生成するステップをさらに含む。動作は、更新済みの指示集合に基づいて要素の最終クオリティメトリックを機械学習モデルによって予測するステップをさらに含む。動作は、予測された最終クオリティメトリックに基づいて、更新済みの指示集合を下流のステーションに提供するステップをさらに含む。
上記によって本開示の特徴を記載した仕方を詳細に理解することができるように、上記で簡潔にまとめられた本開示のより具体的な説明を、実施形態を参照することによって得ることができ、当該実施形態のいくつかが添付の図面に示されている。一方で、添付の図面は本開示の典型的な実施形態を示すのにすぎず、したがって、本開示の範囲を限定するものとはみなされず、開示に用いられている図面から同様の効果を持つ他の実施形態に想到し得る点に留意するべきである。
実施形態に係る製造環境を示すブロック図である。
典型的な実施形態に係る制御モジュールを示すブロック図である。
実施形態に係るＬＳＴＭモデルの典型的なアーキテクチャを示すブロック図である。
実施形態に係る、ツーリングモジュール向けのフィードバック部分のプロセスフロー全体を視覚的に示すブロック図である。
実施形態に係るＧＲＵモデルのアーキテクチャを示すブロック図である。
実施形態に係る複数ステップ製造プロセスを修正する方法を示すフロー図である。
実施形態に係る複数ステップ製造プロセスを修正する方法を示すフロー図である。
実施形態に係る複数ステップ製造プロセスを修正する方法を示すフロー図である。
実施形態に係るシステムバスによるコンピューティングシステムアーキテクチャを示す。
実施形態に係る、チップセットアーキテクチャを有するコンピュータシステムを示す。
理解を容易にするために、可能な場合に、図に共通な同一の要素を示すために同一の参照番号を用いた。ある実施形態に開示されている要素が特段記載することなく他の実施形態に利用され、効果を奏する場合があると考えられる。
製造プロセスは複雑であり、製造プロセスは、最終要素が製造されるまで原材料を異なるプロセスステーション（「ステーション」ともいう）によって処理するステップを含む場合がある。いくつかの実施形態では、各プロセスステーションが処理される投入物を受け取って中間産出物を産出してもよい。中間産出物を、さらに処理を行なう次の（下流の）プロセスステーションに渡してもよい。いくつかの実施形態では、最終プロセスステーションが処理される投入物を受け取って最終要素を産出してもよい。より一般的に言えば、最終産出物を産出してもよい。
いくつかの実施形態では、各ステーションがプロセスステップの集合を実行することができる１つ以上のツール／設備を含んでもよい。典型的なプロセスステーションは、ベルトコンベア、射出成形プレス機、切断装置、プレス処理機（ｄｉｅ ｓｔａｍｐｉｎｇ ｍａｃｈｉｎｅ）、押出機、コンピュータ数値制御（ＣＮＣ）装置、研削機、組立てステーション、三次元プリンタ、品質管理ステーション、検査ステーションなどを含んでもよいが、これらに限定されない。
いくつかの実施形態では、各プロセスステーションの動作を１つ以上のプロセスコントローラによって管理してもよい。いくつかの実施形態では、各プロセスステーションが１つ以上のプロセスコントローラを含んでもよく、当該プロセスコントローラを、プロセスステーションの動作を制御するようにプログラムしてもよい。いくつかの実施形態では、各制御値の所望の値や値の範囲を表わすことができるステーションコントローラ設定値をステーションコントローラに操作員（又は制御アルゴリズム）によって提供してもよい。いくつかの実施形態では、製造プロセスにおいてフィードバック又はフィードフォワードに用いられる値を制御値と称する場合がある。典型的な制御値には、速度、温度、圧力、真空度、回転数、電流、電圧、電力、粘度、ステーションで用いられる材料／リソース、スループット率（ｔｈｒｏｕｇｈｐｕｔ ｒａｔｅ）、ダウンタイム（ｏｕｔａｇｅ ｔｉｍｅ）、有毒ガス量（ｎｏｘｉｏｕｓ ｆｕｍｅｓ）などが含まれ得るが、これらに限定されない。
本出願で提供されている１つ以上の技術を用いれば、要素の最終クオリティメトリックを予測したり予想したりするのに画像及び／又は動画データを用いることができるシステムを提供することによって従来のプロセスが改善される。いくつかの実施形態では、システムは、製造システムの各処理ノード又はステーションのツーリングの動画データ及び／又は画像データを取り込んだり記録したりするように構成される監視システムを含んでもよい。プロセスステップの際のツーリングの配置に基づいて、本システムを要素の最終クオリティメトリックを予測したり予想したりするように構成してもよい。予測された最終クオリティメトリックが許容値の範囲を外れる場合において、所望の最終クオリティメトリックが達成されるように、処理時になんらかの誤りが生じたために修正しようとするときに、本システムが更新済みの処理指示を生成して下流の処理ノード及び／又はステーションに提供してもよい。
いくつかの実施形態では、システムは、製造システムの各処理ノード又はステーションで要素の動画データ及び／又は画像データを取り込んだり記録したりするように構成される監視システムを含んでもよい。本システムを、処理ノードの終端での要素に関する映像情報に基づいて要素の最終クオリティメトリックを予測したり予想したりするように構成してもよい。予測された最終クオリティメトリックが許容値の範囲を外れる場合において、所望の最終クオリティメトリックが達成されるように、処理時になんらかの誤りが生じたために修正しようとするときに、本システムが更新済みの処理指示を生成して下流の処理ノード及び／又はステーションに提供してもよい。
このようにして、本システムは製造プロセスのあらゆる段階で要素の最終クオリティメトリックを予測したり予想したりすることができ、要素を実際に試験する必要はない。このようなシステムは、このシステムを用いなければ破壊試験が必要になったり、処理が完了するまで最終クオリティメトリックを評価することができなかったりする最終クオリティメトリックに特に有用である。
図１は実施形態に係る製造環境１００を示すブロック図である。製造環境１００は製造システム１０２、監視プラットフォーム１０４及び制御モジュール１０６を含んでもよい。製造システム１０２は複数ステップ製造システムを概略的に表わすと考えることができる。いくつかの実施形態では、製造システム１０２は組立てラインシステムを表わしてもよく、各処理ステーションは作業人員を表わしてもよい。いくつかの実施形態では、製造システム１０２はアディティブマニュファクチャリングに用いられる製造システム（たとえば３Ｄプリントシステム）を表わしてもよい。いくつかの実施形態では、製造システム１０２はサブトラクティブマニュファクチャリングに用いられる製造システム（たとえばＣＮＣ工作を表わしてもよい。いくつかの実施形態では、製造システム１０２はアディティブマニュファクチャリングとサブトラクティブマニュファクチャリングとの組合せに用いられる製造システムを表わしてもよい。より一般的には、いくつかの実施形態では、製造システム１０２は一般的な製造プロセスに用いられる製造システムを表わしてもよい。
製造システム１０２は１つ以上のステーション１０８1～１０８n（一般化して「ステーション１０８」という）を含んでもよい。各ステーション１０８は複数ステップ製造プロセスのステップ及び／又はステーションを表わしてもよい。たとえば、各ステーション１０８が３Ｄプリントプロセスの積層動作を表わしてもよい（たとえば、ステーション１０８1が層１に対応してもよい、ステーション１０８2が層２に対応してもよい、など）。別の例では、各ステーション１０８が特定の処理ステーションに対応してもよい。別の例では、各ステーション１０８が組立てライン製造プロセスで特定の作業を行なう特定の操作人員に対応してもよい。
各ステーション１０８はプロセスコントローラ１１４と制御ロジック１１６とを含んでもよい。各プロセスコントローラ１１４1～１１４nを、各ステーション１０８の動作を制御するようにプログラムしてもよい。いくつかの実施形態では、各プロセスコントローラ１１４には、各制御値の所望の値や値の範囲を表わすことができるステーションコントローラ設定値を制御モジュール１０６によって提供してもよい。制御ロジック１１６はステーション１０８のプロセスステップに関連する属性／パラメータを指す場合がある。動作時、製造プロセス全体にわたって各ステーション１０８の制御ロジック１１６を最終クオリティメトリックの現在の軌跡に応じて制御モジュール１０６によって動的に更新してもよい。
監視プラットフォーム１０４を、製造システム１０２の各ステーション１０８を監視するように構成してもよい。いくつかの実施形態では、監視プラットフォーム１０４は製造システム１０２の要素であってもよい。たとえば、監視プラットフォーム１０４は３Ｄプリントシステムの要素であってもよい。いくつかの実施形態では、監視プラットフォーム１０４は製造システム１０２から独立してもよい。たとえば、監視プラットフォーム１０４は既存の製造システム１０２にレトロフィットを施した部分であってもよい。いくつかの実施形態では、監視プラットフォーム１０４は複数ステッププロセスの各ステップで要素やツーリング（たとえば、作業員やプロセスツール）の画像を取り込むように構成される画像形成デバイスを表わしてもよい。たとえば、各ステーション１０８にある要素の画像、及び／又は各ステーション１０８にある要素を発展させた要素の画像（たとえば、ツーリング、人員など）を取り込むように監視プラットフォーム１０４を構成してもよい。通常、要素の製造に関連する情報（たとえば、画像、電圧読取り値、速度読取り値など）、及び／又はツールに関連する情報（たとえば、手の位置、ツーリングの位置など）を取り込んで、その情報を入力として評価のために制御モジュール１０６に提供するように監視プラットフォーム１０４を構成してもよい。
制御モジュール１０６は１つ以上の通信チャンネルを介して製造システム１０２及び監視プラットフォーム１０４と通信してもよい。いくつかの実施形態では、１つ以上の通信チャンネルはインターネット（たとえば、セルラネットワークやＷｉ－Ｆｉネットワーク）を介した個別接続を表わしてもよい。いくつかの実施形態では、１つ以上の通信チャンネルによって、ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ（ＲＦＩＤ）、近距離無線通信（ＮＦＣ）、Ｂｌｕｅｔｏｏｔｈ（商標）、ｌｏｗ－ｅｎｅｒｇｙ Ｂｌｕｅｔｏｏｔｈ（商標）（ＢＬＥ）、Ｗｉ－Ｆｉ（商標）、ＺｉｇＢｅｅ（商標）、ａｍｂｉｅｎｔ ｂａｃｋｓｃａｔｔｅｒ ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＡＢＣ）プロトコル、ＵＳＢ、ＷＡＮやＬＡＮなどの直接接続を用いて端末、サービスやモバイルデバイスを接続してもよい。
制御モジュール１０６を、製造システム１０２の各プロセスコントローラを制御するように構成してもよい。たとえば、監視プラットフォーム１０４によって取り込まれた情報に基づいて、特定のステーション１０８に関連するプロセス制御を調整するように制御モジュール１０６を構成してもよい。いくつかの実施形態では、予想された最終クオリティメトリックに基づいて特定のステーション１０８のプロセス制御を調整するように制御モジュール１０６を構成してもよい。
図２は典型的な実施形態に係る制御モジュール１０６を示すブロック図である。制御モジュール１０６はツーリングモジュール２０２と要素モジュール２０４とを含んでもよい。
ツーリングモジュール２０２を、監視プラットフォーム１０４によって取得された画像データに基づいて製造の所定の段階での標本の最終クオリティメトリックを予想するように構成してもよい。動作時、制御モジュール１０６は監視プラットフォーム１０４から入力を受け取ってもよい。いくつかの実施形態では、このような入力は、複数ステップ製造プロセスの所定のステップで下位プロセスを実行するツーリングの画像又は動画の形態をとってもよい。たとえば、画像データ又は動画データは複数ステップ製造プロセスの特定の下位処理を実行する際の人員の手の画像データ又は動画データを含んでもよい。別の例では、画像データ又は動画データは、多層製造プロセスの特定の層の積層を実行する三次元プリンタの画像データ又は動画データを含んでもよい。制御モジュール１０６は入力に基づいて要素の最終クオリティメトリックを予想してもよい。制御モジュール１０６は要素の予想された最終クオリティメトリックに応じて所望の最終クオリティメトリックや、閾値最終クオリティメトリックに達するために以降の製造ステップでとる１つ以上の対応を決定してもよい。たとえば、予想された最終クオリティメトリックが許容値の範囲を外れる場合、制御モジュール１０６は製造プロセスを補正する１つ以上の対応をとってもよい。いくつかの実施形態では、制御モジュール１０６は以降のステーション１０８のステーションコントローラと接続して各ステーションコントローラの制御及び／又はステーションパラメータを調整してもよい。いくつかの実施形態では、制御モジュール１０６は製造ラインの下流の各処理ステーションで実行される更新済みの指示を製造人員に提供してもよい。このように調整することで、最終クオリティメトリックが許容可能なクオリティメトリック以下になるように製造プロセスを修正することを支援することができる。
要素モジュール２０４を、監視プラットフォーム１０４によって取得された画像データに基づいて製造の所定の段階での標本の最終クオリティメトリックを予想するように構成してもよい。いくつかの実施形態では、要素モジュール２０４は監視プラットフォーム１０４から入力を受け取ってもよい。いくつかの実施形態では、このような入力は複数ステップ製造プロセスの所定のステップでの要素の画像又は動画の形態をとってもよい。いくつかの実施形態では、要素モジュール２０４はツーリングモジュール２０２から複数ステップ製造プロセスの所定のステップでの推測された要素データを受け取ってもよい。たとえば、ツーリングモジュール２０２はツーリング画像データ又はツーリング動画データに基づいて複数ステップ製造プロセスの所定のステップでの要素に関する情報を推測して、その推測された情報を入力として要素モジュール２０４に提供してもよい。当該入力に基づいて要素モジュール２０４が要素の最終クオリティメトリックを予想してもよい。要素の予想された最終クオリティメトリックに応じて、要素モジュール２０４が所望の最終クオリティメトリックや最終クオリティメトリック閾値に達するために以降の製造ステップでとる１つ以上の対応を決定してもよい。たとえば、予想された最終クオリティメトリックが許容値の範囲を外れる場合、要素モジュール２０４が製造プロセスを補正する１つ以上の対応を特定してもよい。いくつかの実施形態では、制御モジュール１０６は以降のステーション１０８のステーションコントローラと接続して各ステーションコントローラの制御及び／又はステーションパラメータを調整してもよい。いくつかの実施形態では、制御モジュール１０６は製造ラインの下流の各処理ステーションで実行される更新済みの指示を製造人員に提供してもよい。このように調整することで、最終クオリティメトリックが許容可能なクオリティメトリック以下になるように製造プロセスを修正することを支援することができる。
ツーリングモジュール２０２及び要素モジュール２０４の各々は１つ以上のソフトウェアモジュールを含んでもよい。１つ以上のソフトウェアモジュールは、１つ以上のアルゴリズムのステップを実施する一連の機械語命令（たとえばプログラムコード）を表わす、媒体（たとえば、制御モジュール１０６に関連するコンピューティングシステムのメモリ）に記憶されるコードや指示の集まりであってもよい。このような機械語命令は、指示を実施するためにプロセッサが解釈する実際のコンピュータコードであってもよいし、これの代わりに、実際のコンピュータコードを取得するために解釈される指示の高水準のコード化物（ｈｉｇｈｅｒ ｌｅｖｅｌ ｏｆ ｃｏｄｉｎｇ）であってもよい。１つ以上のソフトウェアモジュールは１つ以上のハードウェア要素も含んでもよい。典型的なアルゴリズムの１つ以上の態様をハードウェア要素（たとえば回路）それ自体によって実行してもよく、さらに言えば、指示の結果として実行してもよい。さらに、いくつかの実施形態では、ツーリングモジュール２０２及び要素モジュール２０４の各々を、当該要素間で１つ以上の信号を送るように構成してもよい。このような実施形態では、このような信号を、コンピューティングデバイスによって実行される機械語命令に限定しなくてもよい。
いくつかの実施形態では、ツーリングモジュール２０２と要素モジュール２０４とが１つ以上のローカルネットワークを介して通信してもよい。ネットワークは、セルラネットワークやＷｉ－Ｆｉネットワークなどのインターネットに介した個別接続を含むいかなる適当なタイプのネットワークであってもよい。いくつかの実施形態では、ネットワークによって、ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ（ＲＦＩＤ）、近距離無線通信（ＮＦＣ）、Ｂｌｕｅｔｏｏｔｈ（商標）、ｌｏｗ－ｅｎｅｒｇｙ Ｂｌｕｅｔｏｏｔｈ（商標）（ＢＬＥ）、Ｗｉ－Ｆｉ（商標）、ＺｉｇＢｅｅ（商標）、ａｍｂｉｅｎｔ ｂａｃｋｓｃａｔｔｅｒ ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＡＢＣ）プロトコル、ＵＳＢ、ＷＡＮやＬＡＮなどの直接接続を用いて端末、サービスやモバイルデバイスを接続してもよい。送られる情報が個人情報や機密情報である場合があるので、セキュリティ上の懸念からこの種の接続の１つ以上を暗号化したり別様に安全確保したりすることを要する場合がある。一方で、いくつかの実施形態では、送られる情報がそれほど個人的ではない場合があるので、セキュリティよりも利便性でネットワーク接続を選択してもよい。
ツーリングモジュール２０２は取得システム２０６、抽出器モジュール２０８及び予測モジュール２１０を含んでもよい。通常、製造システム１０２などの複数のノード又は複数のステーションの組立て環境を概略的に
Figure 2023516776000002
 と表現することができる。ここで、
Figure 2023516776000003
 は
Figure 2023516776000004
 個のノードすべてでの要素の状態を表わすと考えることができ、
Figure 2023516776000005
 は、
Figure 2023516776000006
 個のノードすべてでツーリングによって要素に実行される対応の集合を表わすと考えることができる。一般水準的（ｎｏｒｍ）又は標準的な（ｃａｎｏｎｉｃａｌ）品質定量値
Figure 2023516776000007
 が与えられる場合、推定されたクオリティメトリック
Figure 2023516776000008
 を用いて、
Figure 2023516776000009
 が
Figure 2023516776000010
 の閾値距離以下になるように組立てプロセスにおける誤りを最適化するようにツーリングモジュール２０２を構成してもよい。いくつかの実施形態では、ツーリングモジュール２０２は、
Figure 2023516776000011
 個のノードすべてでの要素の状態の数値表現と考えることができる状態
Figure 2023516776000012
 と、各ノードでの指示や制御値を表現すると考えることができる対応
Figure 2023516776000013
 とを推定してもよい。
取得システム２０６を、各ノード
Figure 2023516776000014
 での組立てプロセスの画像データを受け取るように構成してもよい。いくつかの実施形態では、取得システム２０６は監視プラットフォーム１０４の組立てプロセスの画像データを受け取ってもよい。いくつかの実施形態では、取得システム２０６はノード
Figure 2023516776000015
 毎に
Figure 2023516776000016
 個の画像を受け取ってもよく、ここで、
Figure 2023516776000017
 は各ノードでの組立て手順を記録することができる監視プラットフォーム１０４のカメラの個数を表わすと考えることができる。したがって、
Figure 2023516776000018
 個の画像の各画像によって処理中の要素の異なる視点の映像を取り込むことができる。画像データを受け取った後にフレームの画像の部分集合を抽出するように取得システム２０６を構成してもよい。たとえば、受け取った画像データから
Figure 2023516776000019
 個の画像を抽出するように取得システム２０６を構成してもよい。抽出された画像をランドマークフレームと称する場合がある。ランドマークフレームは激しい動きの画像フレームであってもよい。抽出された画像は要素のいくつかのランドマーク
Figure 2023516776000020
 （
Figure 2023516776000021
 ）を含む画像又はフレームを含んでもよく、要素の製造プロセス全体を表わすことができる。
所定の操作員についての動きが最小（たとえば「ランドマーク」）のフレームも、動きが最大（たとえば「激しい動き」）のフレームも、数人の操作員にわたってロバストな方法で指－手－腕データと、飛行性能データ（ｆｌｉｇｈｔ ｐｅｒｆｏｒｍａｎｃｅ ｄａｔａ）とを相関させようとしている分類手段に有用な情報を含んでもよい。いくつかの実施形態では、与えられた任意のフレーム中の動きの量を定量するのにオプティカルフローアルゴリズムを用いてもよい。取得システム２０６は最大の動きを含むフレームを選択してもよい。
抽出器モジュール２０８を、
Figure 2023516776000022
 個の画像からキーポイントを抽出するように構成してもよい。たとえば、ランドマーク
Figure 2023516776000023
 毎に
Figure 2023516776000024
 個のキーポイント、すなわち
Figure 2023516776000025
 の組を抽出するように抽出器モジュール２０８を構成してもよい。言い換えると、与えられた入力
Figure 2023516776000026
 に対して
Figure 2023516776000027
 個のキーポイントを出力するように抽出器モジュール２０８を構成してもよく、ここで、
Figure 2023516776000028
 である。出力として、抽出器モジュール２０８は１つのベクトル
Figure 2023516776000029
 を生成してもよい。このベクトルは、
Figure 2023516776000030
 として
Figure 2023516776000031
 と表わすことができる
Figure 2023516776000032
 個の
Figure 2023516776000033
 の組であるランドマーク表現を含んでもよい。
いくつかの実施形態では、
Figure 2023516776000034
 を生成するために、抽出器モジュール２０８は（１）バウンディングボックス推定（ｂｏｕｎｄｉｎｇ ｂｏｘ ｅｓｔｉｍａｔｉｏｎ）及び（２）キーポイント検出という２つの別々のアルゴリズムを実施してもよい。
バウンディングボックス推定では、
Figure 2023516776000035
 が与えられたときに、各ランドマークフレームを閾値画像セグメンテーションを用いて処理してツーリング要素毎にマスク画像を生成してもよい。たとえば、ツーリングが人員である実施形態では、抽出器モジュール２０８は使用者の手の各々のマスク画像を生成してもよい。いくつかの実施形態では、抽出器モジュール２０８はツーリングの要素の位置を特定するのにブロブ検出を実施してもよい。一例として人員を用いる場合、抽出器モジュール２０８は画像が使用者の左手と右手との両方を常に含むと仮定してもよい。フレームが両手を含むことに失敗する場合、抽出器モジュール２０８は任意の定数値
Figure 2023516776000036
 を用いて値を割り当ててもよい。
キーポイント検出では、抽出器モジュール２０８は推定されたバウンディングボックスに基づいてツーリングのキーポイントを特定してもよい。たとえば、与えられた入力を用いて、抽出器モジュール２０８は
Figure 2023516776000037
 個の箇所
Figure 2023516776000038
 をその信頼度値
Figure 2023516776000039
 とともに推定してもよい。いくつかの実施形態では、抽出器モジュール２０８はフレームにおいて見える箇所だけでなく、１つ以上の明瞭度、視点、物やツール間の作用に起因してフレームから除かれ（ｏｃｃｌｕｄｅｄ）得る箇所も推定してもよい。追跡したキーポイントを用いて品質定量値を予測することを目的とする場合があるので、推定されなかった除かれた箇所が、組立てプロセスを代表する固有の重要な特徴になる場合がある。したがって、ランドマークフレームのランダムに選択された小さい部分集合中の遮蔽された（ｏｃｃｌｕｄｅｄ）箇所の
Figure 2023516776000040
 値を監視することによってオクルージョン閾値
Figure 2023516776000041
 を導出してもよい。
Figure 2023516776000042
 を用いることで、抽出器モジュール２０８は
Figure 2023516776000043
 である推定を除外してもよい。抽出器モジュール２０８は抽出された上記の箇所に任意の定数値
Figure 2023516776000044
 を割り当ててもよい。フレームにおけるツーリング又はキーポイントの映像の有無に関係なく、抽出器モジュール２０８の出力は要素毎に
Figure 2023516776000045
 の組を含んでもよい。
言い換えると、定量された試行によるツーリング要素位置と標準的なツーリング要素位置との間の相違を定量するのにキーポイントの全体集合が使用可能になるように、遮蔽された要素に初期設定の最低レベルの信頼度を割り当てることによって上記のキーポイントを推定するように抽出器モジュール２０８を構成してもよい。いくつかの実施形態では、ツーリングモジュール２０２は所定の時刻の所定の箇所（たとえばステーション
Figure 2023516776000046
 ）での要素の状態について推測した後、定量された相違の分の修正を行なうためにとる、標準からの修正となる以降の推奨対応を出力してもよい。
予測モジュール２１０を、最終クオリティメトリック
Figure 2023516776000047
 を予測するように構成してもよい。たとえば、
Figure 2023516776000048
 個の所定時刻の箇所
Figure 2023516776000049
 （
Figure 2023516776000050
 を各処理ステーション１０８から収集してもよい）についてのツーリング追跡情報が与えられた場合に、最終クオリティメトリック
Figure 2023516776000051
 （
Figure 2023516776000052
 ）を予測するように予測モジュール２１０を構成してもよい。いくつかの実施形態では、予測モジュール２１０は最終クオリティメトリックを出力するのに長短期記憶（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ：ＬＳＴＭ）モデルを実施してもよい。ＬＳＴＭモデルを用いることで、従来の回帰型ニューラルネットワークでよく起こる勾配消失問題を予測モジュール２１０によって解決することを可能にすることができる。勾配消失問題とは、勾配の大きさが後方の層に対しては小さい場合に、ニューラルネットワークの初期の重みをモデルを用いて関連させることができないという問題である。ＬＳＴＭモデルによってこの問題が解消される。
いくつかの実施形態では、ツーリングモジュール２０２は分類モジュール２１５をさらに含んでもよい。分類モジュール２１５を、予測された最終クオリティメトリック
Figure 2023516776000053
 に基づいて標本を１つ以上の分類に分類するように構成してもよい。たとえば、動作時に、分類モジュール２１５は標本の標準的な最終クオリティメトリック又は所望の最終クオリティメトリック
Figure 2023516776000054
 を受け取ってもよい。予測された最終クオリティメトリック
Figure 2023516776000055
 と標準的な最終クオリティメトリック又は所望の最終クオリティメトリック
Figure 2023516776000056
 とを比較して差分
Figure 2023516776000057
 を生成するように分類モジュール２１５を構成してもよい。
Figure 2023516776000058
 の値に応じて、分類モジュール２１５は標本を１つ以上の分類に分類してもよい。たとえば、分類モジュール２１５が標本を不可（分類１）、良（分類２）、優（分類３）、秀（分類４）という４つの分類のうちの１つに分類してもよいと仮定する。分類モジュール２１５は関連する分類定義に基づいて標本を分類してもよい。たとえば、関連する定義は以下であってもよい。
Figure 2023516776000059
Figure 2023516776000060
Figure 2023516776000061
Figure 2023516776000062
当業者であれば理解するが、関連する定義を操作員や顧客の好みに基づいて変更してもよい。
いくつかの実施形態では、制御モジュール１０６は、要素に割り当てられた分類を用いて最終クオリティメトリックが許容可能であるか否かを判断してもよい。たとえば、分類１に分類された要素が許容可能ではなく、分類２～４のいずれかに分類された要素が許容可能であると操作員や顧客が指定してもよい。別の例では、分類１又は分類２に分類された要素が許容可能ではなく、分類３又は分類４に分類された要素が許容可能であると操作員や顧客が指定してもよい。
図３は実施形態に係るＬＳＴＭモデルの典型的なアーキテクチャを示すブロック図である。図示されているように、ＬＳＴＭモデル３００は３つの層３０２1～３０２3（一般化して層３０２という）を含んでもよい。図示されているように、各層３０２は１つ以上のセル３０４を含んでもよい。いくつかの実施形態では、各セル３０４の入力は
Figure 2023516776000063
 であってもよく、ここで、
Figure 2023516776000064
 である。ＬＳＴＭの各セルを以下のように定めることができる。
Figure 2023516776000065
Figure 2023516776000066
Figure 2023516776000067
Figure 2023516776000068
Figure 2023516776000069
 式１によって、先行するセルからの情報を保持するか否かを判断し、式（２）によって、更新する値を決定し、式（３）によって、セルを更新し、式（４）によって、出力する部分を決定する。式（５）によって、ＬＳＴＭモデル３００をプログラムして出力されるもののみを、ＬＳＴＭモデル３００が出力するように、出力された部分を抽出することができる。
いくつかの実施形態では、ＬＳＴＭモデル３００は、隠れたサイズ（ｈｉｄｄｅｎ ｓｉｚｅ）が３０である３つの層３０２を含んでもよい。いくつかの実施形態では、ＬＳＴＭモデル３００はｓｅｑｕｅｎｃｅ－ｔｏ－ｏｎｅ ＬＳＴＭモデルであってもよい。訓練では、Ｌ１（平均絶対誤差（ｍｅａｎ ａｂｓｏｌｕｔｅ ｅｒｒｏｒ：ＭＡＥ））損失関数
Figure 2023516776000070
 をＡｄａｍオプティマイザを用いて最小化してもよい。いくつかの実施形態では、誤差の方向に無関係に誤差の大きさを最小化するか減少させることを目的とすることができるので、ＭＡＥを用いてもよい。
図２を再度参照して、標準的な指示
Figure 2023516776000071
 の集合と複数の要素
Figure 2023516776000072
 とを用いて予測モジュール２１０を訓練してもよい。たとえば、
Figure 2023516776000073
 個のデータの１０個のノード動画を用いて、最初に取得システム２０６及び抽出器モジュール２０８を通じて前処理することによって予測モジュール２１０向けの入力を構築してもよい。いくつかの実施形態では、訓練に関与する各要素を、その構成（たとえば形状）をチェックする検証アルゴリズムによって検証してもよい。いくつかの実施形態では、検証アルゴリズムを用いて、構成を標準的な構成と比較することによって各ノードの終端での構成に対して類似度指数を計算してもよい。この結果、訓練に用いられた要素は標準的な構成にほぼ類似する。
いくつかの実施形態では、出力について、対応する物理的要素を管理された環境でテストしてそのクオリティメトリックを定量してもよい。用意した入力データを対応する出力データとともに用いて、たとえば、
Figure 2023516776000074
 の一部を訓練データとし、
Figure 2023516776000075
 の別の部分を検証データとして予測モジュール２１０を訓練してもよい。訓練されれば、予測モジュール２１０はツーリングの画像データに基づいて所定の処理ステップでの要素の品質定量値を予測することができると考えることができる。
次に要素モジュール２０４を参照して、要素モジュール２０４は確率的勾配降下（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ：ＳＧＤ）モジュール２１２、ゲート付き回帰型ユニット（ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ：ＧＲＵ）モデル２１４及びシミュレーションモジュール２１６を含んでもよい。ここでの説明のために、要素の構成部分を
Figure 2023516776000076
 と定めることができる。ここで、ステップ
Figure 2023516776000077
 で製造プロセスに回復不能な誤りが生じ、ステップ
Figure 2023516776000078
 はこの時点では定められない。要素モジュール２０４を、修正のための最適化された残りの対応の列
Figure 2023516776000079
 を特定するように構成してもよく、ここで、
Figure 2023516776000080
 及び
Figure 2023516776000081
 は、製造システム１０２の以降の処理ステーション（
Figure 2023516776000082
 ～
Figure 2023516776000083
 ）の各々で要素に対して行なわれる特定の動作に対応してもよい。より一般的には、任意の要素
Figure 2023516776000084
 を、製造システムの各処理ステーション
Figure 2023516776000085
 で行なわれる全動作の列として定めてもよい。数学的には、
Figure 2023516776000086
 である。各製造ステップ
Figure 2023516776000087
 において、ユークリッド空間（たとえば
Figure 2023516776000088
 ）内の要素を仮想表現システムによって、各表面の外形に沿って均一に分布させた連接表面の集合、及び連接点の集合として表わしてもよい。いくつかの実施形態では、このような表現を生成する仮想表現関数を
Figure 2023516776000089
 及び
Figure 2023516776000090
 としてそれぞれ記載してもよい。いくつかの実施形態では、
Figure 2023516776000091
 を特定の標準的な要素
Figure 2023516776000092
 の方に向けて修正するように要素モジュール２０４を構成してもよい。
シミュレーションモジュール２１６を、所定の要素
Figure 2023516776000093
 の表面モデルを再現する、すなわち生成するように構成してもよい。たとえば、シミュレーションモジュール２１６はツーリングモジュール２０２からツーリング情報を受け取ってもよい。ツーリングモジュール２０２によって生成されたキーポイントに基づいて、特定のプロセスステップ
Figure 2023516776000094
 での要素
Figure 2023516776000095
 の状態を表わす表面モデルを生成するようにシミュレーションモジュール２１６を構成してもよい。いくつかの実施形態では、表面モデルを
Figure 2023516776000096
 と表現してもよい。いくつかの実施形態では、要素
Figure 2023516776000097
 のクオリティメトリックを生成したり推定したりするようにシミュレーションモジュール２１６をさらに構成してもよい。表面モデルから、要素
Figure 2023516776000098
 の特定の座標を表わす点モデル
Figure 2023516776000099
 を生成するようにシミュレーションモジュール２１６を構成してもよい。たとえば、表面モデル
Figure 2023516776000100
 から、シミュレーションモジュール２１６は
Figure 2023516776000101
 中の表面の外形境界線（ｂｏｕｎｄｉｎｇ ｃｏｎｔｏｕｒ）の周囲に均一に離間する数個の点を配置することによって点モデル
Figure 2023516776000102
 を作成してもよい。いくつかの実施形態では、アーティファクト
Figure 2023516776000103
 の働きをシミュレーションするのに
Figure 2023516776000104
 を用いてもよい。
ＳＧＤモジュール２１２はシミュレーションモジュール２１６から点モデル
Figure 2023516776000105
 を受け取ってもよい。ＳＧＤモジュール２１２は、ステップ
Figure 2023516776000106
 での点モデル
Figure 2023516776000107
 を標準的な要素
Figure 2023516776000108
 の標準的な点モデル
Figure 2023516776000109
 と比較することによって回復不能な誤り
Figure 2023516776000110
 が生じたか否かを判断してもよい。回復不能な誤りを、ステップ
Figure 2023516776000111
 での標準的な要素からの、定量上無視できない程度の顕著な構成上の偏差であるように定めてもよい。回復不能な誤りを、ハウスドルフ距離を得ることによって検出するようにＳＧＤモジュール２１２を構成してもよい。たとえば、ＳＧＤモジュール２１２は対象の要素
Figure 2023516776000112
 の処理ステップを標準的な要素
Figure 2023516776000113
 に対応するユークリッド点集合に基づいて適合させてもよい。数学的には、
Figure 2023516776000114
 （
Figure 2023516776000115
Figure 2023516776000116
 とする）と
Figure 2023516776000117
 とのハウスドルフ距離を計算するようにＳＧＤモジュール２１２を構成してもよい。たとえば、
Figure 2023516776000118
 ここで、
Figure 2023516776000119
 は
Figure 2023516776000120
 と
Figure 2023516776000121
 とのユークリッド距離であるといえ、方向によらないハウスドルフ距離（ｕｎｄｉｒｅｃｔｅｄ Ｈａｕｓｄｏｒｆｆ ｄｉｓｔａｎｃｅ）を以下のようにしてもよい。
Figure 2023516776000122
対象の要素
Figure 2023516776000123
 と標準的な要素
Figure 2023516776000124
 とのハウスドルフ距離が所定の閾値許容値を超える場合に回復不能な誤りが存在し得る。たとえば、ＳＧＤモジュール２１２は、
Figure 2023516776000125
 の場合にステップ
Figure 2023516776000126
 で誤りが生じると判断してもよく、ここで、
Figure 2023516776000127
 は所定の適切に定められた許容値閾値である。
誤りが存在するのだとすると、回復不能な誤り
Figure 2023516776000128
 という誤りの程度までの対応の集合が得られる場合に、更新済みの対応
Figure 2023516776000129
 の集合を構築するようにＳＧＤモジュール２１２を構成してもよい。いくつかの実施形態では、更新済みの対応の当該集合を
Figure 2023516776000130
 と記載する場合がある。誤りステップ
Figure 2023516776000131
 に先行し、これを入れたステップ又は対応の列を
Figure 2023516776000132
 と記載する場合がある。
Figure 2023516776000133
 と
Figure 2023516776000134
 とを併せて要素
Figure 2023516776000135
 を定めてもよい。
Figure 2023516776000136
 に基づいて、ＳＧＤモジュール２１２は確率的勾配降下法を用いて
Figure 2023516776000137
 を求めてもよい。
ＧＲＵモデル２１４を、要素
Figure 2023516776000138
 の最終クオリティメトリックを
Figure 2023516776000139
 に基づいて予測するように構成してもよく、ここで、
Figure 2023516776000140
 はベクトル連結演算子を表わしてもよい。ＧＲＵモデル２１４で生成された最終クオリティメトリックを標準的な最終クオリティメトリックと比較して、
Figure 2023516776000141
 が適正であるか否かを判断してもよい。たとえば、
Figure 2023516776000142
 と
Figure 2023516776000143
 との組合せによって、許容値の範囲を外れた最終クオリティメトリックが得られるとすると、さらに評価するために更新済みの対応の更新済みの列を生成するようにＧＲＵモデル２１４がＳＧＤモジュール２１２に指示してもよい。
図５は実施形態に係るＧＲＵモデル２１４のアーキテクチャを示すブロック図である。図示されているように、ＧＲＵモデル２１４は
Figure 2023516776000144
 個のＧＲＵセル５０２1～５０２N（一般化してＧＲＵセル５０２という）を含んでもよく、各ＧＲＵセル５０２はそれぞれの処理ステーション１０８に対応する。各ＧＲＵセル５０２は
Figure 2023516776000145
 という入力の組と、既定のサイズの隠れた状態の出力
Figure 2023516776000146
 とを含んでもよい。当該入力の組
Figure 2023516776000147
 を併せて所定の要素
Figure 2023516776000148
 を定めてもよい。いくつかの実施形態では、各ＧＲＵセル５０２を以下によって定めてもよい。
Figure 2023516776000149
Figure 2023516776000150
Figure 2023516776000151
Figure 2023516776000152
 ここで、
Figure 2023516776000153
 は時刻
Figure 2023516776000154
 での隠れた状態であってもよく、
Figure 2023516776000155
 は時刻
Figure 2023516776000156
 での入力であってもよく、
Figure 2023516776000157
 及び
Figure 2023516776000158
 は時刻
Figure 2023516776000159
 でのリセットゲート、更新ゲート及び新しいゲートをそれぞれ表わしてもよい。
ＧＲＵモデル２１４を、それに対応する重みを生成するように訓練してもよい。たとえば、特定の部分問題を解決する方にＧＲＵモデル２１４を偏らせるようにＧＲＵモデル２１４を繰り返し訓練してもよい。いくつかの実施形態では、１回目の繰り返しの際、ＧＲＵモデル２１４は多数（たとえば、数百から数千）最良予測（ステップ
Figure 2023516776000160
 での可能な誤り１つにつき１つ）を生成して、ステップ
Figure 2023516776000161
 での所定の要素
Figure 2023516776000162
 を、各予測に対応する対応予測クオリティメトリックとともに完成させてもよい。
いくつかの実施形態では、予測された航空機完成体のすべてを仮想表現システム中で描画して、その段階的なハウスドルフ距離を計算し、その描画された表面をシミュレーションして、生成された予測と標準との距離定量値を取得してもよい。いくつかの実施形態では、標準的なクオリティメトリック定量値と予測されたクオリティメトリック定量値との間の損失値を計算してＧＲＵモデル２１４にフィードバックしてもよく、その重みを、２回目の繰り返しを発生させる逆伝播によって調整してもよい。所望の誤り閾値が得られるまで本プロセスが継続してもよい。
図４は実施形態に係る、ツーリングモジュール２０２向けのフィードバック部分４００のプロセスフロー全体を視覚的に示すブロック図である。
図示されているように、フィードバック部分４００は第１の部分４０２、第２の部分４０４及び第３の部分４０６を含んでもよい。第１の部分４０２では、ツーリングモジュール２０２が取得プロセスを実行してもよく、たとえば、取得システム２０６によって少なくとも部分的に実行される取得プロセスを実行してもよい。
図示されているように、ブロック４０８では、要素を処理するための処理指示を製造システム１０２が受け取ってもよい。いくつかの実施形態では、処理指示をステーション１０８毎に製造システム１０２が受け取ってもよい。たとえば、製造システム１０２の各ステーション１０８が独立した処理指示を受け取ってもよい。いくつかの実施形態では、処理指示は、製造についてのステーション１０８の属性（たとえば、温度、圧力など）を定める制御値を含んでもよい。いくつかの実施形態では、処理指示は、製造プロセスの処理ノードで特定の処理ステップをどのように実行するのかを操作人員に視覚的に示す動画又は画像を含んでもよい。
ブロック４１０では、取得システム２０６が監視プラットフォーム１０４から画像データを受け取ってもよい。いくつかの実施形態では、各ノードＮについて、取得システム２０６がＶ個の画像を受け取ってもよく、ここで、Ｖは、各ノードでの組立て手順を記録することができる監視プラットフォーム１０４のカメラの個数を表わしてもよい。画像データを受け取った後について、ブロック４１２で、フレームの画像の部分集合を抽出するように取得システム２０６を構成してもよい。たとえば、受け取った画像データからＬ個の画像を抽出するように取得システム２０６を構成してもよい。抽出された画像をランドマークフレームと称する場合がある。抽出された画像はいくつかのランドマークを含む画像又はフレームを含んでもよく、要素の製造プロセス全体を表わすと考えることができる。
第２の部分４０４は抽出器モジュール２０８によって実行される動作に対応してもよい。図示されているように、抽出器モジュール２０８は取得システム２０６から少なくとも、抽出された画像を受け取ってもよい。
Figure 2023516776000163
 個の画像からキーポイントを抽出するように抽出器モジュール２０８を構成してもよい。たとえば、ランドマーク
Figure 2023516776000164
 毎に
Figure 2023516776000165
 個のキーポイント、すなわち
Figure 2023516776000166
 の組を抽出するように抽出器モジュール２０８を構成してもよい。
ブロック４１４では、抽出器モジュール２０８がバウンディングボックス推定を実行してもよい。たとえば、
Figure 2023516776000167
 が与えられると、各ランドマークフレームを閾値画像セグメンテーションによって処理してツーリング要素毎にマスク画像を生成してもよい。たとえば、図示されているように、ツーリングが人員である実施形態では、抽出器モジュール２０８は使用者の手毎にマスク画像を生成してもよい。
ブロック４１６では、バウンディングボックス推定が得られた際に、抽出器モジュール２０８がキーポイント検出を実行してもよい。たとえば、得られた入力を用いて、抽出器モジュール２０８が
Figure 2023516776000168
 個の点
Figure 2023516776000169
 をその信頼度値
Figure 2023516776000170
 とともに推定してもよい。いくつかの実施形態では、抽出器モジュール２０８はフレームにおいて見える箇所だけでなく、１つ以上の明瞭度、視点、物やツール間の作用に起因してフレームから除かれ（ｏｃｃｌｕｄｅｄ）得る箇所も推定してもよい。
第３の部分４０６は予測モジュール２１０によって実行される動作に対応してもよい。図示されているように、ブロック４１８では、予測モジュール２１０が抽出器モジュール２０８からキーポイント情報を受け取ってもよく、予測モジュール２１０を、最終クオリティメトリック
Figure 2023516776000171
 を予測するように構成してもよい。いくつかの実施形態では、予測モジュール２１０は最終クオリティメトリックを出力するのに長短期記憶（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ：ＬＳＴＭ）モデルを実施してもよい。
図６Ａは実施形態に係る複数ステップ製造プロセスを修正する方法６００を示すフロー図である。方法６００をステップ６０２から開始してもよい。
ステップ６０２では、製造システム１０２に指示集合を提供してもよい。指示集合は製造システム１０２によって実行される製造プロセスに用いられる指示の集合を表わしてもよい。いくつかの実施形態では、各ステーション１０８に指示集合を提供してもよい。たとえば、各ステーション１０８に提供される各標準的な指示集合が特定の製造ステップの処理パラメータを定めてもよい。別の例では、各標準的な指示集合が、特定の処理ノード又はステーション１０８で行為を行なう人員によって行なわれる個々のステップの動画であってもよい。
ステップ６０４では、制御モジュール１０６が監視プラットフォーム１０４からツーリング（たとえばステーション１０８）の画像データを受け取ってもよい。たとえば、取得システム２０６がそれぞれの処理ノードでの組立てプロセスの画像データを受け取ってもよい。いくつかの実施形態では、取得システム２０６は
Figure 2023516776000172
 個の画像を受け取ってもよく、ここで、
Figure 2023516776000173
 は特定の進行ステーション１０８での組立て手順を記録することができる監視プラットフォーム１０４のカメラの個数を表わすと考えることができる。したがって、
Figure 2023516776000174
 個の画像の各画像は処理中のツーリングの異なる視点の映像を取り込むことができる。
ステップ６０６では、制御モジュール１０６が取得された画像データから画像の部分集合を抽出してもよい。たとえば、画像データを受け取った後にフレームの画像の部分集合を抽出するように取得システム２０６を構成してもよい。たとえば、受け取った画像データから
Figure 2023516776000175
 個の画像、すなわちランドマークフレームを抽出するように取得システム２０６を構成してもよい。抽出された画像をランドマークフレームと称する場合がある。ランドマークフレームは激しい動きの画像フレームであってもよい。抽出された画像は要素のいくつかのランドマーク
Figure 2023516776000176
 （
Figure 2023516776000177
 ）を含む画像又はフレームを含んでもよく、要素の製造プロセス全体を表わすことができる。
ステップ６０８では、制御モジュール１０６がランドマークフレームからツーリングの１つ以上のキーポイントを抽出してもよい。たとえば、抽出器モジュール２０８が
Figure 2023516776000178
 個の画像からキーポイントを抽出してもよい。抽出器モジュール２０８は与えられた入力
Figure 2023516776000179
 に対して
Figure 2023516776000180
 個のキーポイントを特定又は抽出してもよく、ここで、
Figure 2023516776000181
 である。出力として、抽出器モジュール２０８は１つのベクトル
Figure 2023516776000182
 を生成してもよい。このベクトルは、
Figure 2023516776000183
 として
Figure 2023516776000184
 と表わすことができる
Figure 2023516776000185
 個の
Figure 2023516776000186
 の組であるランドマーク表現を含んでもよい。
ステップ６１０では、制御モジュール１０６が少なくとも、特定されたキーポイントに基づいて要素の最終クオリティメトリックを予測してもよい。いくつかの実施形態では、予測モジュール２１０は最終クオリティメトリックを出力するのに長短期記憶（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ：ＬＳＴＭ）モデルを実施してもよい。
ステップ６１２では、制御モジュール１０６が最終クオリティメトリックを所望のクオリティメトリックと比較してもよい。ステップ６１２で、最終クオリティメトリックが所望のクオリティメトリックの閾値許容値であると制御モジュール１０６が判断する場合に、第１の指示集合にしたがって、製造プロセスが次の処理ステーション又はノード（たとえばステップ６１６）に進んでもよい。一方で、ステップ６１２で、最終クオリティメトリックが所望のクオリティメトリックの閾値許容値以下ではないと制御モジュール１０６が判断する場合に、ステップ６１４で、制御モジュール１０６が下流の処理ステーションの処理パラメータを調整してもよい。いくつかの実施形態では、制御モジュール１０６は以降のステーション１０８のステーションコントローラと接続して各ステーションコントローラの制御及び／又はステーションパラメータを調整してもよい。いくつかの実施形態では、制御モジュール１０６は製造ラインの下流の各処理ステーションで実行される更新済みの指示を製造人員に提供してもよい。このように調整することで、最終クオリティメトリックが許容可能なクオリティメトリック以下になるように製造プロセスを修正することを支援することができる。
図６Ｂは実施形態に係る複数ステップ製造プロセスを修正する方法６５０を示すフロー図である。方法６５０をステップ６５２から開始してもよい。
ステップ６５２では、製造システム１０２に指示集合を提供してもよい。指示集合は製造システム１０２によって実行される製造プロセスに用いられる指示の集合を表わしてもよい。いくつかの実施形態では、各ステーション１０８に指示集合を提供してもよい。たとえば、各ステーション１０８に提供される各標準的な指示集合が特定の製造ステップの処理パラメータを定めてもよい。別の例では、各標準的な指示集合が、特定の処理ノード又はステーション１０８で行為を行なう人員によって行なわれる個々のステップの動画であってもよい。
ステップ６５４では、制御モジュール１０６が監視プラットフォーム１０４からツーリング（たとえばステーション１０８）の画像データを受け取ってもよい。たとえば、取得システム２０６がそれぞれの処理ノードでの組立てプロセスの画像データを受け取ってもよい。いくつかの実施形態では、取得システム２０６は
Figure 2023516776000187
 個の画像を受け取ってもよく、ここで、
Figure 2023516776000188
 は特定の進行ステーション１０８での組立て手順を記録することができる監視プラットフォーム１０４のカメラの個数を表わすと考えることができる。したがって、
Figure 2023516776000189
 個の画像の各画像は処理中のツーリングの異なる視点の映像を取り込むことができる。
ステップ６５６では、制御モジュール１０６が取得された画像データから画像の部分集合を抽出してもよい。たとえば、画像データを受け取った後にフレームの画像の部分集合を抽出するように取得システム２０６を構成してもよい。たとえば、受け取った画像データから
Figure 2023516776000190
 個の画像、すなわちランドマークフレームを抽出するように取得システム２０６を構成してもよい。抽出された画像をランドマークフレームと称する場合がある。ランドマークフレームは激しい動きの画像フレームであってもよく、製造プロセスの進行を明確に捉える最も有意義な特徴を含むことができる。抽出された画像は要素のいくつかのランドマーク
Figure 2023516776000191
 （
Figure 2023516776000192
 ）を含む画像又はフレームを含んでもよく、要素の製造プロセス全体を表わすことができる。
ステップ６５８では、制御モジュール１０６がランドマークフレームからツーリングの１つ以上のキーポイントを抽出してもよい。たとえば、抽出器モジュール２０８が
Figure 2023516776000193
 個の画像からキーポイントを抽出してもよい。抽出器モジュール２０８は与えられた入力
Figure 2023516776000194
 に対して
Figure 2023516776000195
 個のキーポイントを特定又は抽出してもよく、ここで、
Figure 2023516776000196
 である。出力として、抽出器モジュール２０８は１つのベクトル
Figure 2023516776000197
 を生成してもよい。このベクトルは、
Figure 2023516776000198
 として
Figure 2023516776000199
 と表わすことができる
Figure 2023516776000200
 個の
Figure 2023516776000201
 の組であるランドマーク表現を含んでもよい。
ステップ６６０では、制御モジュール１０６が少なくとも、特定されたキーポイントに基づいて要素の最終クオリティメトリックを予測してもよい。いくつかの実施形態では、予測モジュール２１０が最終クオリティメトリックの推定を出力するのに長短期記憶（ＬＳＴＭ）モデルを実施してもよい。
ステップ６６２では、制御モジュール１０６が最終クオリティメトリックに基づいて要素を分類してもよい。たとえば、分類モジュール２１５が予測された最終クオリティメトリック
Figure 2023516776000202
 に基づいて要素を１つ以上の分類に分類してもよい。要素を分類するために、ツーリングモジュール２０２が要素の標準的な最終クオリティメトリック又は所望の最終クオリティメトリック
Figure 2023516776000203
 を受け取ってもよい。予測された最終クオリティメトリック
Figure 2023516776000204
 と標準的な最終クオリティメトリック又は所望の最終クオリティメトリック
Figure 2023516776000205
 とを比較して差分
Figure 2023516776000206
 を生成するようにツーリングモジュール２０２を構成してもよい。
Figure 2023516776000207
 の値に応じて、分類モジュール２１５は要素を１つ以上の分類に分類してもよい。
いくつかの実施形態では、方法６５０は動作６６４～６６８をさらに含んでもよい。
ステップ６１４では、要素に割り当てられた分類が許容可能な分類であるか否かを制御モジュール１０６が判断してもよい。ステップ６１４で、要素が許容可能な分類に割り当てられていたと制御モジュール１０６が判断する場合に、第１の指示集合にしたがって、製造プロセスが次の処理ステーション又はノード（たとえばステップ６１６）に進んでもよい。一方で、ステップ６１４で、要素が許容不能な分類に割り当てられていると制御モジュール１０６が判断する場合に、ステップ６１８で、制御モジュール１０６が下流の処理ステーションの処理パラメータを調整してもよい。いくつかの実施形態では、制御モジュール１０６は以降のステーション１０８のステーションコントローラと接続して各ステーションコントローラの制御及び／又はステーションパラメータを調整してもよい。いくつかの実施形態では、制御モジュール１０６は製造ラインの下流の各処理ステーションで実行される更新済みの指示を製造人員に提供してもよい。このように調整することで、最終クオリティメトリックが許容可能なクオリティメトリック以下になるように製造プロセスを修正することを支援することができる。
図７は実施形態に係る複数ステップ製造プロセスを修正する方法７００を示すフロー図である。
方法７００をステップ７０２から開始してもよい。
ステップ７０２では、製造システム１０２に指示集合を提供してもよい。指示集合は製造システム１０２によって実行される製造プロセスに用いられる指示の集合を表わしてもよい。いくつかの実施形態では、各ステーション１０８に指示集合を提供してもよい。たとえば、各ステーション１０８に提供される各標準的な指示集合が特定の製造ステップの処理パラメータを定めてもよい。別の例では、各標準的な指示集合が、特定の処理ノード又はステーション１０８で行為を行なう人員によって行なわれる個々のステップの動画であってもよい。
ステップ７０４では、制御モジュール１０６がそれぞれの処理ノードでの要素に対応する情報を特定してもよい。いくつかの実施形態では、シミュレーションモジュール２１６がツーリングモジュール２０２からツーリング情報を受け取ってもよい。ツーリングモジュール２０２によって生成されたキーポイントに基づいて、特定のプロセスステップ
Figure 2023516776000208
 での要素
Figure 2023516776000209
 の状態を表わす表面モデルを生成するようにシミュレーションモジュール２１６を構成してもよい。いくつかの実施形態では、表面モデルを
Figure 2023516776000210
 と表現してもよい。いくつかの実施形態では、要素
Figure 2023516776000211
 のクオリティメトリックを生成したり推定したりするようにシミュレーションモジュール２１６をさらに構成してもよい。表面モデルから、要素
Figure 2023516776000212
 の特定の座標を表わす点モデル
Figure 2023516776000213
 を生成するようにシミュレーションモジュール２１６を構成してもよい。
ステップ７０６では、回復不能な誤りが生じていたか否かを制御モジュール１０６が判断してもよい。たとえば、ＳＧＤモジュール２１２がシミュレーションモジュール２１６から点モデル
Figure 2023516776000214
 を受け取ってもよい。ステップ
Figure 2023516776000215
 での点モデル
Figure 2023516776000216
 を標準的な要素
Figure 2023516776000217
 の標準的な点モデル
Figure 2023516776000218
 と比較することによって回復不能な誤り
Figure 2023516776000219
 が生じたか否かをＳＧＤモジュール２１２が判断してもよい。点モデルと、対応する標準的な点モデルとのハウスドルフ距離を得ることによって回復不能な誤りを検出するようにＳＧＤモジュール２１２を構成してもよい。それぞれの処理ステーション又はノードでの対象の要素
Figure 2023516776000220
 と標準的な要素
Figure 2023516776000221
 とのハウスドルフ距離が所定の閾値許容値を超える場合に回復不能な誤りが存在する場合がある。
ステップ７０６では、回復不能な誤りが生じていなかったと制御モジュール１０６が判断する場合に、第１の指示集合にしたがって、製造プロセスが次の処理ステーション又はノード（ステップ７０５）に進んでもよい。一方で、ステップ７０６で、回復不能な誤りが生じていたと制御モジュール１０６が判断する場合、方法７００がステップ７０８に進む。
ステップ７０８では、制御モジュール１０６が更新済みの対応の集合を生成して回復不能な誤りを修正してもよい。ＳＧＤモジュール２１２が回復不能な誤り
Figure 2023516776000222
 という誤りの程度までの対応の集合が得られる場合に、更新済みの対応
Figure 2023516776000223
 の集合を構築してもよい。いくつかの実施形態では、更新済みの対応の当該集合を
Figure 2023516776000224
 と記載する場合がある。誤りステップ
Figure 2023516776000225
 に先行し、これを入れたステップ又は対応の列を
Figure 2023516776000226
 と記載する場合がある。
Figure 2023516776000227
 と
Figure 2023516776000228
 とを併せて要素
Figure 2023516776000229
 を定めてもよい。
Figure 2023516776000230
 に基づいて、ＳＧＤモジュール２１２は確率的勾配降下法を用いて
Figure 2023516776000231
 を求めてもよい。誤りステップ
Figure 2023516776000232
 に先行し、これを入れたステップ又は対応の列を
Figure 2023516776000233
 と記載する場合がある。
Figure 2023516776000234
 と
Figure 2023516776000235
 とを併せて要素
Figure 2023516776000236
 を定めてもよい。
Figure 2023516776000237
 に基づいて、ＳＧＤモジュール２１２は確率的勾配降下法を用いて
Figure 2023516776000238
 を求めてもよい。
ステップ７１０では、制御モジュール１０６がＳＧＤモジュール２１２によって生成された対応の集合に基づいて要素の予測された最終クオリティメトリックを生成してもよい。たとえば、要素
Figure 2023516776000239
 の最終クオリティメトリックを
Figure 2023516776000240
 に基づいて予測するようにＧＲＵモデル２１４を構成してもよく、ここで、
Figure 2023516776000241
 はベクトル連結演算子を表わしてもよい。
ステップ７１２では、予測された最終クオリティメトリックが標準的な最終クオリティメトリックの閾値許容値以下であるか否かを制御モジュール１０６が判断してもよい。たとえば、ＧＲＵモデル２１４で生成された最終クオリティメトリックを標準的な最終クオリティメトリックと比較して、
Figure 2023516776000242
 が適正であるか否かを判断してもよい。ステップ７１２で、予測されたクオリティメトリックが閾値許容値以下であると制御モジュール１０６が判断する場合に、ステップ７１４で、制御モジュール１０６が下流の処理ステーションの処理パラメータを調整してもよい。いくつかの実施形態では、制御モジュール１０６は以降のステーション１０８のステーションコントローラと接続して各ステーションコントローラの制御及び／又はステーションパラメータを調整してもよい。いくつかの実施形態では、制御モジュール１０６は製造ラインの下流の各処理ステーションで実行される更新済みの指示を製造人員に提供してもよい。このように調整することで、最終クオリティメトリックが許容可能なクオリティメトリック以下になるように製造プロセスを修正することを支援することができる。
一方で、ステップ７１２で、予測されたクオリティメトリックが閾値許容値以下ではないと制御モジュール１０６が判断する場合に、新しい
Figure 2023516776000243
 を生成するようにＧＲＵモデル２１４がＳＧＤモジュール２１２に促してもよい。たとえば、ＳＧＤモジュール２１２が更新済みの対応の新しい集合を構築するために方法７００がステップ７０８に戻ってもよい。
図８Ａは実施形態に係るシステムバスによるコンピューティングシステムアーキテクチャ８００を示す。システム８００の１つ以上の要素はバス８０５を用いて互いに電気通信してもよい。システム８００は、プロセッサ（たとえば、１つ以上のＣＰＵ、ＧＰＵや他のタイプのプロセッサ）８１０と、読出し専用メモリ（ＲＯＭ）８２０やランダムアクセスメモリ（ＲＡＭ）８２５などのシステムメモリ８１５を含む様々なシステム要素をプロセッサ８１０に接続するシステムバス８０５とを含んでもよい。システム８００は直接プロセッサ８１０の一部に接続されたりプロセッサ８１０の一部に近接したりプロセッサ８１０の一部として集積されたりする高速メモリのキャッシュを含むことができる。システム８００はプロセッサ８１０による迅速なアクセスのためにメモリ８１５及び／又は記憶装置８３０からキャッシュ８１２にデータをコピーすることができる。このようにして、データを待っている間のプロセッサ８１０の遅延を回避するパフォーマンスの向上をキャッシュ８１２によって実現することができる。上記のモジュールと他のモジュールとにより、様々な対応を実行するように制御プロセッサ８１０を制御することができるし、このような制御を行なうように上記のモジュールと他のモジュールとを構成することができる。他のシステムメモリ８１５も同様に使用に供することができてもよい。メモリ８１５は異なるパフォーマンス特性を持つ異なるタイプの複数のメモリを含んでもよい。プロセッサ８１０は単一のプロセッサを表わしてもよいし、複数のプロセッサを表わしてもよい。プロセッサ８１０は、汎用プロセッサやハードウェアモジュールや、記憶装置８３０に記憶されたサービス１ ８３２、サービス２ ８３４やサービス３ ８３６など、プロセッサ８１０を制御するように構成されるソフトウェアモジュールと、ソフトウェア指示をプロセッサの実際の設計に取り込んだ専用プロセッサとの１つ以上を含むことができる。プロセッサ８１０は、実質的に、マルチコアや複数のプロセッサ、バス、メモリコントローラ、キャッシュなどを含む完全自己完結型のコンピューティングシステムであってもよい。マルチコアプロセッサは対称型であっても非対称型であってもよい。
コンピューティングデバイス８００と使用者とのやり取りを可能にするために、音声に用いるマイク、ジェスチャ又はグラフィック入力に用いるタッチ画面、キーボード、マウス、モーション入力、音声などの任意の個数の入力機構であることが可能である入力装置８４５がある。出力装置８３５が公知のいくつかの出力機構の１つ以上であることも可能である。いくつかの例では、使用者が複数のタイプの入力を提供してコンピューティングデバイス８００とやり取りすることをマルチモーダルシステムによって可能にすることができる。通常、コミュニケーションインタフェイス８４０が使用者による入力とシステムによる出力の統制及び管理を行なうことができる。いかなる特定のハードウェア手段での動作に対しても制限がないので、ハードウェア又はファームウェア手段が発展した際に、改善されたハードウェア又はファームウェア手段の代用として本出願の基本特徴部を容易に用いることができる。
記憶装置８３０は不揮発メモリであってもよく、記憶装置８３０は、ハードディスクや、磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）８２５、読出し専用メモリ（ＲＯＭ）８２０やこれらの複合体など、コンピュータによってアクセス可能なデータを記憶することができる他のタイプのコンピュータ可読媒体であることが可能である。
記憶装置８３０はプロセッサ８１０を制御するためのサービス８３２、８３４及び８３６を含むことができる。他のハードウェアモジュール又はソフトウェアモジュールが考えられる。記憶装置８３０をシステムバス８０５に接続することができる。一態様において、特定の機能を実行するハードウェアモジュールは、プロセッサ８１０、バス８０５、ディスプレイ８３５などの必要なハードウェア要素と関連する、コンピュータ可読媒体に記憶されるソフトウェア要素を含み、機能を実行することができる。
図８Ｂは実施形態に係る、チップセットアーキテクチャを有するコンピュータシステム８５０を示す。コンピュータシステム８５０は開示されている技術を実施するのに用いることができるコンピュータハードウェア、ソフトウェア及びファームウェアの例であってもよい。システム８５０は１つ以上のプロセッサ８５５を含むことができ、１つ以上のプロセッサ８５５は、特定された計算を実行するように構成されるソフトウェア、ファームウェア及びハードウェアを実行することができる任意の個数の物理的かつ／又は論理的に異なったリソースを表わす。１つ以上のプロセッサ８５５は、１つ以上のプロセッサ８５５への入力と１つ以上のプロセッサ８５５からの出力を制御することができるチップセット８６０と通信することができる。この例では、チップセット８６０はディスプレイなどの出力部８６５に情報を出力し、たとえば磁気媒体やソリッドステート媒体を含むことができる記憶装置８７０に対する情報の読み書きを行なうことができる。チップセット８６０はＲＡＭ８７５からデータを読み出し、ＲＡＭ８７５にデータを書き込むこともできる。様々なユーザインタフェイス要素８８５と接続するブリッジ８８０を、チップセット８６０と接続するために設けることができる。このようなユーザインタフェイス要素８８５はキーボード、マイク、タッチ検出処理回路、マウスなどのポインティングデバイスなどを含むことができる。通常、システム８５０に対する入力は様々な供給元、マシンによって生成されるもの及び／又は人員によって生成されるもののいずれかに由来することが可能である。
チップセット８６０は異なる物理的なインタフェイスを有することができる１つ以上の通信インタフェイス８９０と接続することもできる。このような通信インタフェイスは有線及び無線ローカルエリアネットワーク、ブロードバンド無線ネットワーク並びにパーソナルエリアネットワークのためのインタフェイスを含むことができる。本出願で開示されているＧＵＩの生成、表示、使用を行なう方法のいくつかのアプリケーションは整列したデータセットを物理的なインタフェイスを用いて受け取る機能を含むことができるし、記憶部８７０又は８７５に記憶されたデータを解析する１つ以上のプロセッサ８５５によるマシンそれ自体によって当該アプリケーションを生成することができる。さらに、マシンは使用者からユーザインタフェイス要素８８５を通じて入力を受け取り、１つ以上のプロセッサ８５５を用いて当該入力を解釈することによってブラウジング機能などの適切な機能を実行することができる。
システム例８００及び８５０が１つ以上のプロセッサ８１０を有したり、一体的にネットワーク化されてより高い処理能力を提供するコンピューティングデバイスのグループ又はクラスタの一部になったりすることができることが分かる。
上記は本出願で説明されている実施形態を対象としているが、その基本的な範囲を逸脱しない範囲で他の実施形態及びさらなる実施形態を創出することができる。たとえば、本開示の態様をハードウェアやソフトウェアや、ハードとソフトとの組合せで実施することができる。本明細書で説明されている一実施形態をコンピュータシステムとともに用いられるプログラムプロダクトとして実施することができる。プログラムプロダクトの１つ以上のプログラムによって実施形態（本明細書で説明されている方法を含む）の機能が形成され、プログラムプロダクトの１つ以上のプログラムを様々なコンピュータ可読記憶媒体上に格納することができる。コンピュータ可読記憶媒体の例には、（ｉ）情報を永続的に記憶する書込み不能な記憶媒体（たとえば、ＣＤ－ＲＯＭドライブによって読出し可能なＣＤ－ＲＯＭディスク、フラッシュメモリ、ＲＯＭチップやあらゆるタイプのソリッドステート不揮発メモリなど、コンピュータ内の読出し専用メモリ（ＲＯＭ）デバイス）と、（ｉｉ）変更可能な情報を記憶する書込み可能な記憶媒体（たとえば、ディスケットドライブに挿入されるフロッピーディスクやハードディスクドライブやあらゆるタイプのソリッドステートランダムアクセスメモリ）とが含まれるが、これらに限定されない。このようなコンピュータ可読記憶媒体は、開示されている実施形態の機能について指示するコンピュータ可読指示を搭載すれば、本開示の実施形態になる。
上記の例は典型例であり、限定を課すものではないことは、当業者であれば理解する。明細書を読解し、図面を検討すれば、当業者には上記の例に対するあらゆる順序変更、拡張、均等物及び改善が明らかであり、これらが本開示の本来の精神及び範囲に含まれるようにしている。したがって、以下の添付の請求項が、上記の教示の本来の精神及び範囲の範囲に含まれるこのようなあらゆる修正、順序変更及び均等物を含むようにしている。

Claims (20)

  1. 各ステーションは要素の複数ステップ製造プロセスの少なくとも１つのステップを実行するように構成される、１つ以上のステーションと、
    前記複数ステップ製造プロセスにわたって前記要素の進行を監視するように構成される監視プラットフォームと、
    前記複数ステップ製造プロセスのステップの処理パラメータを動的に調整して前記要素の所望の最終クオリティメトリックを達成するように構成される制御モジュールであって、
    前記制御モジュールは、前記１つ以上のステーションの第１のステーションのツーリングの画像データを受け取るステップと、
    前記画像データからキーポイントの集合を特定するステップであって、キーポイントの前記集合は前記第１のステーションでの処理中の前記ツーリングの位置情報に対応する、ステップと、
    キーポイントの前記集合に基づいて前記要素の最終クオリティメトリックを機械学習モデルによって決定するステップと、
    前記決定に基づいて、前記機械学習モデルによって生成された前記最終クオリティメトリックと前記要素の標準的な最終クオリティメトリックとの比較に基づいて前記要素を要素の分類に割り当てるステップと
    を備える動作を実行するように構成された製造システム。
  2. 前記動作は、
    前記最終クオリティメトリックから、前記最終クオリティメトリックが閾値許容値以下ではないと判断するステップと、
    前記判断に基づいて、前記複数ステップ製造プロセスの以降のステーションの処理パラメータを更新するステップと
    をさらに備える、請求項１に記載の製造システム。
  3. 前記要素の処理が完了するまで前記最終クオリティメトリックを定量することができない、請求項１に記載の製造システム。
  4. 前記画像データは複数の画像を備え、前記複数の画像は複数のカメラにそれぞれ対応する、請求項１に記載の製造システム。
  5. 前記動作は、
    前記画像データから画像の部分集合を抽出するステップであって、画像の前記部分集合の各画像は前記第１のステーションの前記ツーリングを含む、ステップ
    をさらに備える、請求項１に記載の製造システム。
  6. 前記画像データからキーポイントの前記集合を特定するステップは、
    前記画像データ中の前記ツーリングの位置を特定するために前記画像データにブロブ検出を適用するステップ
    を備える、請求項１に記載の製造システム。
  7. 前記画像データ中の前記ツーリングに対応する複数の点を生成するステップ
    をさらに備える、請求項５に記載の製造システム。
  8. 前記機械学習モデルは長短期記憶モデルである、請求項１に記載の製造システム。
  9. 製造システムの１つ以上のステーションをともなう複数ステップ製造プロセスを制御するコンピュータ実施方法であって、各ステーションは要素の前記複数ステップ製造プロセスの少なくとも１つのステップを実行するように構成され、前記方法は、
    前記製造システムに関連するコンピューティングシステムが前記１つ以上のステーションの第１のステーションのツーリングの画像データを受け取るステップと、
    前記コンピューティングシステムが前記画像データからキーポイントの集合を特定するステップであって、キーポイントの前記集合は前記第１のステーションでの処理中の前記ツーリングの位置情報に対応する、ステップと、
    キーポイントの前記集合に基づいて前記要素の最終クオリティメトリックを前記コンピューティングシステムに関連する機械学習モデルによって決定するステップと、
    前記決定に基づいて、前記コンピューティングシステムが前記機械学習モデルによって生成された前記最終クオリティメトリックと前記要素の標準的な最終クオリティメトリックとの比較に基づいて前記要素を要素の分類に割り当てるステップと
    を備える、コンピュータ実施方法。
  10. 前記最終クオリティメトリックから、前記最終クオリティメトリックが閾値許容値以下ではないと前記コンピューティングシステムが判断するステップと、
    前記判断に基づいて、前記コンピューティングシステムが前記複数ステップ製造プロセスの以降のステーションの処理パラメータを更新するステップと
    をさらに備える、請求項９に記載のコンピュータ実施方法。
  11. 前記要素の処理が完了するまで前記最終クオリティメトリックを定量することができない、請求項９に記載のコンピュータ実施方法。
  12. 前記画像データは複数の画像を備え、前記複数の画像は複数のカメラにそれぞれ対応する、請求項９に記載のコンピュータ実施方法。
  13. 前記画像データから画像の部分集合を抽出するステップであって、画像の前記部分集合の各画像は前記第１のステーションの前記ツーリングを含む、ステップ
    をさらに備える、請求項９に記載のコンピュータ実施方法。
  14. 前記コンピューティングシステムが前記画像データからキーポイントの前記集合を特定するステップは、
    前記画像データ中の前記ツーリングの位置を特定するために前記画像データにブロブ検出を適用するステップ
    を備える、請求項９に記載のコンピュータ実施方法。
  15. 前記コンピューティングシステムが前記画像データ中の前記ツーリングに対応する複数の点を生成するステップ
    をさらに備える、請求項１４に記載のコンピュータ実施方法。
  16. 前記機械学習モデルは長短期記憶モデルである、請求項９に記載のコンピュータ実施方法。
  17. 各ステーションは要素の複数ステップ製造プロセスの少なくとも１つのステップを実行するように構成される、１つ以上のステーションと、
    前記複数ステップ製造プロセスにわたって前記要素の進行を監視するように構成される監視プラットフォームと、
    前記複数ステップ製造プロセスのステップの処理パラメータを動的に調整して前記要素の所望の最終クオリティメトリックを達成するように構成される制御モジュールであって、
    前記制御モジュールは、前記１つ以上のステーションの第１のステーションのツーリングの画像データを受け取るステップと、
    前記画像データからキーポイントの集合を特定するステップであって、キーポイントの前記集合は前記第１のステーションでの処理中の前記ツーリングの位置情報に対応する、ステップと、
    キーポイントの前記集合に基づいて前記要素の最終クオリティメトリックを機械学習モデルによって決定するステップと、
    前記決定に基づいて、前記機械学習モデルによって生成された前記最終クオリティメトリックと前記要素の標準的な最終クオリティメトリックとの比較に基づいて前記要素を要素の分類に割り当てるステップと、
    前記割当てに基づいて、前記要素に割り当てられた前記分類が許容可能な分類ではないと判断するステップと、
    前記判断に基づいて、前記第１のステーションでの前記要素に対応する位置に関する情報を推測するステップと、
    前記判断に基づいて、下流のステーションによって実行される更新済みの指示集合を生成するステップと、
    前記更新済みの指示集合に基づいて前記要素の最終クオリティメトリックを機械学習モデルによって予測するステップと、
    前記予測された最終クオリティメトリックに基づいて、前記更新済みの指示集合を前記下流のステーションに提供するステップと
    を備える動作を実行するように構成された製造システム。
  18. 前記要素の処理が完了するまで前記最終クオリティメトリックを定量することができない、請求項１７に記載の製造システム。
  19. 前記要素に対応する前記位置に関する情報に基づいて、回復不能な誤りが存在すると判断するステップ
    をさらに備える、請求項１８に記載の製造システム。
  20. 前記要素の座標に対応するキーポイントの前記集合を、標準的な要素に対応する標準的なキーポイントの集合と比較するステップ
    をさらに備える、請求項１９に記載の製造システム。
JP2022553668A 2020-03-09 2021-03-09 製造プロセスのためのシステム、方法及び媒体 Pending JP2023516776A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062986987P 2020-03-09 2020-03-09
US62/986,987 2020-03-09
US17/091,393 US20210132593A1 (en) 2019-11-06 2020-11-06 Systems, Methods, and Media for Manufacturing Processes
US17/091,393 2020-11-06
PCT/US2021/021440 WO2021183468A1 (en) 2020-03-09 2021-03-09 Systems, methods, and media for manufacturing processes

Publications (1)

Publication Number Publication Date
JP2023516776A true JP2023516776A (ja) 2023-04-20

Family

ID=77671945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022553668A Pending JP2023516776A (ja) 2020-03-09 2021-03-09 製造プロセスのためのシステム、方法及び媒体

Country Status (6)

Country Link
EP (1) EP4118512A4 (ja)
JP (1) JP2023516776A (ja)
KR (1) KR20220154135A (ja)
CN (1) CN115210744A (ja)
TW (2) TWI801820B (ja)
WO (1) WO2021183468A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580876B (zh) * 2022-02-24 2023-02-10 山西省交通新技术发展有限公司 一种基于节能环保的能源数据采集分析管控系统及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100201020B1 (ko) * 1994-03-11 1999-06-15 모리시타 요이찌 컴퓨터시뮬레이션부착 nc제어미세가공방법과 이 방법에 사용하는 장치
US7130710B2 (en) * 2002-08-07 2006-10-31 Kimberly-Clark Worldwide, Inc. System and method for tracking and exploiting per station information from a multiple repeat manufacturing device
WO2004044689A2 (en) * 2002-11-06 2004-05-27 Geometric Informatics Inc. Analysis of geometric surfaces by conformal structure
US7526463B2 (en) * 2005-05-13 2009-04-28 Rockwell Automation Technologies, Inc. Neural network using spatially dependent data for controlling a web-based process
US20070050070A1 (en) * 2005-08-05 2007-03-01 Pfizer Inc Automated batch manufactuirng
US10176408B2 (en) * 2015-08-14 2019-01-08 Elucid Bioimaging Inc. Systems and methods for analyzing pathologies utilizing quantitative imaging
CN114972180A (zh) * 2017-04-13 2022-08-30 英卓美特公司 用于预测在装配单元中的缺陷的方法
US9977425B1 (en) * 2017-07-14 2018-05-22 General Electric Company Systems and methods for receiving sensor data for an operating manufacturing machine and producing an alert during manufacture of a part
US11511373B2 (en) * 2017-08-25 2022-11-29 Massachusetts Institute Of Technology Sensing and control of additive manufacturing processes
US11175650B2 (en) * 2017-11-03 2021-11-16 Drishti Technologies, Inc. Product knitting systems and methods
KR20200123480A (ko) * 2018-03-20 2020-10-29 도쿄엘렉트론가부시키가이샤 통합형 반도체 공정 모듈을 포함하는 자기 인식 및 보정 이종 플랫폼, 및 이를 사용하기 위한 방법
US10733723B2 (en) * 2018-05-22 2020-08-04 Midea Group Co., Ltd. Methods and system for improved quality inspection
TWI696959B (zh) * 2018-06-12 2020-06-21 蟲洞科技股份有限公司 機台參數擷取裝置
US11132787B2 (en) * 2018-07-09 2021-09-28 Instrumental, Inc. Method for monitoring manufacture of assembly units
US10481579B1 (en) * 2019-02-28 2019-11-19 Nanotronics Imaging, Inc. Dynamic training for assembly lines

Also Published As

Publication number Publication date
EP4118512A1 (en) 2023-01-18
EP4118512A4 (en) 2024-04-03
WO2021183468A1 (en) 2021-09-16
CN115210744A (zh) 2022-10-18
TW202333014A (zh) 2023-08-16
TW202147051A (zh) 2021-12-16
KR20220154135A (ko) 2022-11-21
TWI801820B (zh) 2023-05-11

Similar Documents

Publication Publication Date Title
TWI760916B (zh) 用於工廠自動化生產線之製造系統
US11117328B2 (en) Systems, methods, and media for manufacturing processes
US20210263495A1 (en) Systems, Methods, and Media for Manufacturing Processes
US20210311440A1 (en) Systems, Methods, and Media for Manufacturing Processes
JP2023113719A (ja) 製造プロセスのためのシステム、方法、および媒体
JP2023516776A (ja) 製造プロセスのためのシステム、方法及び媒体
US20210192779A1 (en) Systems, Methods, and Media for Manufacturing Processes
EP4168941A1 (en) Systems, methods, and media for manufacturing processes
KR20170082412A (ko) 인식 대상 맞춤형 비전 시스템 생성 장치 및 방법
JP7320884B2 (ja) 製造プロセスのためのシステム、方法、および媒体
KR102623979B1 (ko) 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240209