TWI801820B - 用於製造流程之系統及方法 - Google Patents
用於製造流程之系統及方法 Download PDFInfo
- Publication number
- TWI801820B TWI801820B TW110108313A TW110108313A TWI801820B TW I801820 B TWI801820 B TW I801820B TW 110108313 A TW110108313 A TW 110108313A TW 110108313 A TW110108313 A TW 110108313A TW I801820 B TWI801820 B TW I801820B
- Authority
- TW
- Taiwan
- Prior art keywords
- component
- final quality
- quality metric
- image data
- station
- Prior art date
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims description 76
- 238000013442 quality metrics Methods 0.000 claims abstract description 101
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000012544 monitoring process Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 19
- 230000002427 irreversible effect Effects 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 description 21
- 238000003860 storage Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000004088 simulation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000011143 downstream manufacturing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 6
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000010146 3D printing Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009658 destructive testing Methods 0.000 description 1
- 239000003517 fume Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001746 injection moulding Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32193—Ann, neural base quality management
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32216—If machining not optimized, simulate new parameters and correct machining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Manufacturing & Machinery (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)
- Image Analysis (AREA)
Abstract
本文中揭示一種製造系統。該製造系統包含一或多個站、一監測平台及一控制模組。該一或多個站之各站經組態以在一組件之一多步驟製造流程中執行至少一個步驟。該監測平台經組態以在整個該多步驟製造流程中監測該組件之進展。該控制模組經組態以動態地調整該多步驟製造流程之各步驟之處理參數，以達成該組件之一所要最終品質度量。
Description
本發明大體上係關於一種用於製造流程之系統、方法及媒體。
自18世紀工業革命爆發以來，自動化已控管商品之生產。儘管現今之工廠已完全接受自動化作為一核心原則(其中機器人在高生產環境中執行許多可重複任務)，然許多組裝任務仍舊藉由人類執行。歸因於成本、致命故障風險、或針對一低數量生產運行部署一機器人系統之後勤(logistics)，此等任務難以自動化。藉由標準流程控制及人員管理來監督此等生產線，使得一組裝者經教示以隨時間執行一特定品質度量，或其等藉由另一操作者取代。自組裝出現以來，此流程在很大程度上保持不變。
在一些實施例中，本文中揭示一種製造系統。該製造系統包含一或多個站、一監測平台及一控制模組。各站經組態以在一組件之一多步驟製造流程中執行至少一個步驟。該監測平台經組態以在整個該多步驟製造流程中監測該組件之進展。該控制模組經組態以動態地調整該多步
驟製造流程之一步驟之處理參數，以達成該組件之一所要最終品質度量，該控制模組經組態以執行操作。該等操作包含接收該一或多個站之一第一站之工具(tooling)之影像資料。該等操作進一步包含自該影像資料識別一組關鍵點(keypoint)。該等關鍵點對應於在該第一站處之處理期間該工具之位置資訊。該等操作進一步包含藉由一機器學習模型基於該等關鍵點判定該組件之一最終品質度量。該等操作進一步包含基於該判定，基於由該機器學習模型產生之該最終品質度量與該組件之一正準(canonical)最終品質度量之間的一比較來將該組件指派至一組件等級。
在一些實施例中，本文中揭示一種用於控制一多步驟製造流程之電腦實施方法。該多步驟製造流程涉及一製造系統之一或多個站。各站經組態以在一組件之一多步驟製造流程中執行至少一個步驟。與該製造系統相關聯之一運算系統接收該一或多個站之一第一站之工具之影像資料。該運算系統自該影像資料識別一組關鍵點，該組關鍵點對應於在該第一站處之處理期間該工具之位置資訊。與該運算系統相關聯之一機器學習模型基於該組關鍵點判定該組件之一最終品質度量。基於該判定，該運算系統基於由該機器學習模型產生之該最終品質度量與該組件之一正準最終品質度量之間的一比較來將該組件指派至一組件等級。
在一些實施例中，本文中揭示一種製造系統。該製造系統包含一或多個站、一監測平台及一控制模組。各站經組態以在一組件之一多步驟製造流程中執行至少一個步驟。該監測平台經組態以在整個該多步驟製造流程中監測該組件之進展。該控制模組經組態以動態地調整該多步驟製造流程之一步驟之處理參數，以達成該組件之一所要最終品質度量，該控制模組經組態以執行操作。該等操作包含接收該一或多個站之一第一
站之工具之影像資料。該等操作進一步包含自該影像資料識別一組關鍵點。該等關鍵點對應於在該第一站處之處理期間該工具之位置資訊。該等操作進一步包含藉由一機器學習模型基於該等關鍵點判定該組件之一最終品質度量。該等操作進一步包含判定該最終品質度量未在與該最終品質度量之一臨限容限內。該等操作進一步包含基於該判定，基於由該機器學習模型產生之該最終品質度量與該組件之一正準最終品質度量之間的一比較來將該組件指派至一組件等級。該等操作進一步包含基於該指派，判定指派給該組件之該等級並非一可接受等級。該等操作進一步包含基於該判定，推斷對應於該第一處理站處之該組件之位置資訊。該等操作進一步包括基於該判定，產生待藉由一下游站執行之一經更新指令集。該等操作進一步包含藉由一機器學習模型基於該經更新指令集預測該組件之一最終品質度量。該等操作進一步包含基於該預測最終品質度量，將該經更新指令集提供至該下游站。
100:製造環境
102:製造系統
104:監測平台
106:控制模組
1081至108n:站
1141至114n:流程控制器
1161至116n:控制邏輯
202:工具模組
204:組件模組
206:獲取系統
208:提取器模組
210:預測模組
212:隨機梯度下降(SGD)模組
214:閘控遞迴單元(GRU)模型
215:分級模組
216:模擬模組
300:長短期記憶(LSTM)模型
3021至3023:層
304:胞元
400:回饋段
402:第一部分
404:第二部分
406:第三部分
408:方塊
410:方塊
412:方塊
414:方塊
416:方塊
418:方塊
500:架構
5021至502N:閘控遞迴單元(GRU)胞元
600:方法
602:步驟
604:步驟
606:步驟
608:步驟
610:步驟
612:步驟
614:步驟
616:步驟
650:方法
652:步驟
654:步驟
656:步驟
658:步驟
660:步驟
662:步驟
664:操作
666:操作
668:操作
700:方法
702:步驟
704:步驟
705:步驟
706:步驟
708:步驟
710:步驟
712:步驟
714:步驟
800:系統匯流排運算系統架構/系統/運算裝置
805:系統匯流排
810:處理器
812:快取區
815:系統記憶體
820:唯讀記憶體(ROM)
825:隨機存取記憶體(RAM)
830:儲存裝置
832:服務1
834:服務2
835:輸出裝置/顯示器
836:服務3
840:通信介面
845:輸入裝置
850:電腦系統
855:處理器
860:晶片組
865:輸出端
870:儲存裝置/儲存器
875:隨機存取記憶體(RAM)/儲存器
880:橋接器
885:使用者介面組件
890:通信介面
為了使得可詳細理解本發明之上述特徵，上文可已藉由參考實施例(一些該等實施例繪示於隨附圖式中)來簡要概述本發明之一更特定描述。然而，應注意，隨附圖式僅繪示本發明之典型實施例且因此不應被視為限制其範疇，因為本發明可用於其他同等有效的實施例。
圖1係繪示根據實例實施例之一製造環境之一方塊圖。
圖2係繪示根據例示性實施例之控制模組之一方塊圖。
圖3係繪示根據實例實施例之LSTM模型之一例示性架構之一方塊圖。
圖4係直觀地繪示根據實例實施例之工具模組之一回饋段
之總體流程(process flow)之一方塊圖。
圖5係繪示根據實例實施例之GRU模型之架構之一方塊圖。
圖6A係繪示根據實例實施例之校正一多步驟製造流程之一方法之一流程圖。
圖6B係繪示根據實例實施例之校正一多步驟製造流程之一方法之一流程圖。
圖7係繪示根據實例實施例之校正一多步驟製造流程之一方法之一流程圖。
圖8A繪示根據實例實施例之一系統匯流排運算系統架構。
圖8B繪示根據實例實施例之具有一晶片組架構之一電腦系統。
為促進理解，已在可能的情況下使用相同元件符號來指定為圖所共有之相同元件。考慮在一項實施例中揭示之元件可在未明確陳述之情況下有利地用於其他實施例。
相關申請案之交叉參考
本申請案主張2020年3月9日申請之美國臨時申請案序號62/986,987之優先權，該案之全文特此以引用的方式併入。本申請案係2020年11月6日申請之美國申請案序號17/091,393之一部分接續申請案，該案序號17/091,393主張2019年11月6日申請之美國臨時申請案序號62/931,448、2019年11月7日申請之美國臨時申請案序號62/932,063及2019年11月6日申請之美國臨時申請案序號62/931,453之優先權，該等案
之全文特此以引用的方式併入。
製造流程可為複雜的，且包含藉由不同處理站(或「站」)處理直至產生一最終組件之原料。在一些實施例中，各處理站接收一輸入以進行處理，且可輸出可向前傳遞至一後續(下游)處理站以進行額外處理之一中間輸出。在一些實施例中，一最終處理站可接收一輸入以進行處理，且可輸出最終組件或更一般而言最終輸出。
在一些實施例中，各站可包含可執行一組流程步驟之一或多個工具/設備。例示性處理站可包含但不限於輸送帶、射出成型壓機、切割機、模壓衝鍛機、擠出機、電腦數值控制(CNC)磨機、研磨機、組裝站、三維列印機、品質控制站、驗證站及類似者。
在一些實施例中，各處理站之操作可藉由一或多個流程控制器控管。在一些實施例中，各處理站可包含一或多個流程控制器，該一或多個流程控制器可經程式化以控制處理站之操作。在一些實施例中，一操作者或控制演算法可為站控制器提供可表示各控制值之所要值或值範圍之站控制器設定點。在一些實施例中，在一製造流程中用於回饋或前饋之值可被稱為控制值。例示性控制值可包含但不限於：速度、溫度、壓力、真空、旋轉、電流、電壓、功率、黏度、站處所使用之材料/資源、產出率(throughput rate)、停機時間、有毒煙氣及類似者。
本文中所提供之一或多種技術藉由提供一系統而改良習知流程，透過該系統，可使用影像及/或視訊資料來預測(predict/forecast)一組件之一最終品質度量。在一些實施例中，系統可包含一監測系統，該監測系統經組態以捕捉或記錄製造系統之各處理節點或站之工具之視訊及/或影像資料。基於一流程步驟期間之工具之定位，本系統可經組態以預測
(predict/forecast)一組件之一最終品質度量。若預測最終品質度量落在一可接受值範圍之外，則本系統可產生經更新處理指令且將經更新處理指令提供至下游處理節點及/或站，以嘗試校正處理中之任何誤差，使得可達成一所要最終品質度量。
在一些實施例中，系統可包含一監測系統，該監測系統經組態以捕捉或記錄製造系統之各處理節點或站處之一組件之視訊及/或影像資料。基於關於在一處理節點之一末尾處之組件的視覺資訊，本系統可經組態以預測(predict/forecast)一組件之一最終品質度量。若預測最終品質度量落在一可接受值範圍之外，則本系統可產生經更新處理指令且將經更新處理指令提供至下游處理節點及/或站，以嘗試校正處理中之任何誤差，使得可達成一所要最終品質度量。
以此方式，本系統能夠在製造流程之任何階段預測(predict/forecast)一組件之一最終品質度量，而不必實際測試組件。此系統對於否則將需要破壞性測試或直至處理完成才可針對其評估最終品質度量的最終品質度量尤其有用。
圖1係繪示根據實例實施例之一製造環境100之一方塊圖。製造環境100可包含一製造系統102、一監測平台104及一控制模組106。製造系統102可廣義地表示一多步驟製造系統。在一些實施例中，製造系統102可表示一組裝線系統，其中各處理站可表示一人類工人。在一些實施例中，製造系統102可表示用於積層製造(additive manufacturing)之一製造系統(例如，3D列印系統)。在一些實施例中，製造系統102可表示用於減材製造(subtractive manufacturing)(例如，CNC機械加工)之一製造系統。在一些實施例中，製造系統102可表示用於積層製造及減材製造之
一組合之一製造系統。更一般而言，在一些實施例中，製造系統102可表示用於一般製造流程之一製造系統。
製造系統102可包含一或多個站1081至108n(統稱為「站108」)。各站108可表示一多步驟製造流程中之一步驟及/或站。例如，各站108可表示一3D列印流程中之一層沈積操作(例如，站1081可對應於層1，站1082可對應於層2，等等)。在另一實例中，各站108可對應於一特定處理站。在另一實例中，各站108可對應於在一組裝線製造流程中執行一特定任務之一特定人類操作者。
各站108可包含一流程控制器114及控制邏輯116。各流程控制器1141至114n可經程式化以控制各個各自站108之操作。在一些實施例中，控制模組106可為各流程控制器114提供可表示各控制值之所要值或值範圍之站控制器設定點。控制邏輯1161-116n(統稱為「控制邏輯116」)可指代與一站108之流程步驟相關聯之屬性/參數。在操作中，取決於一最終品質度量之一當前軌跡，可藉由控制模組106在整個製造流程中動態地更新各站108之控制邏輯116。
監測平台104可經組態以監測製造系統102之各站108。在一些實施例中，監測平台104可為製造系統102之一組件。例如，監測平台104可為一3D列印系統之一組件。在一些實施例中，監測平台104可獨立於製造系統102。例如，監測平台104可改裝至一現有製造系統102上。在一些實施例中，監測平台104可表示一成像裝置，其經組態以在一多步驟流程之各步驟捕捉一組件或工具(例如，一工人或一流程工具)之一影像。例如，監測平台104可經組態以捕捉各站108處之組件之一影像及/或使各站108處之組件(例如，工具、人類等)顯影之一組件之一影像。一般
而言，監測平台104可經組態以捕捉與一組件之生產(例如，一影像、一電壓讀數、一速度讀數等)及/或工具(例如，手位置、工具位置等)相關聯之資訊，且將該資訊作為輸入提供至控制模組106以進行評估。
控制模組106可經由一或多個通信通道與製造系統102及監測平台104通信。在一些實施例中，一或多個通信通道可表示經由網際網路(諸如蜂巢式或Wi-Fi網路)之個別連接。在一些實施例中，一或多個通信通道可使用直接連接(諸如射頻識別(RFID)、近場通信(NFC)、BluetoothTM、low-energy BluetoothTM(BLE)、Wi-FiTM、ZigBeeTM、環境反向散射通信(ABC)協定、USB、WAN或LAN)連接終端機、服務及行動裝置。
控制模組106可經組態以控制製造系統102之各流程控制器。例如，基於由監測平台104捕捉之資訊，控制模組106可經組態以調整與一特定站108相關聯之流程控制。在一些實施例中，控制模組106可經組態以基於一預計(projected)最終品質度量來調整一特定站108之流程控制。
圖2係繪示根據例示性實施例之控制模組106之一方塊圖。控制模組106可包含一工具模組202及一組件模組204。
工具模組202可經組態以在一給定生產階段基於由監測平台104獲得之影像資料來預計一樣品之一最終品質度量。在操作中，控制模組106可自監測平台104接收輸入。在一些實施例中，此輸入可採取執行多步驟製造流程之一給定步驟處之一子流程之工具的一影像或視訊之形式。例如，影像或視訊資料可包含在執行多步驟製造流程之一特定子流程時一人類之手之影像或視訊資料。在另一實例中，影像或視訊資料可包含
執行沈積一多層製造流程之一特定層之一三維列印機的影像或視訊資料。基於輸入，控制模組106可預計組件之一最終品質度量。取決於組件之預計最終品質度量，控制模組106可判定在後續製造步驟中採取之一或多個動作，以達成一所要或臨限最終品質度量。例如，若預計最終品質度量落在一可接受值範圍之外，則控制模組106可採取一或多個動作以糾正製造流程。在一些實施例中，控制模組106可與後續站108中之站控制器介接以調整其等各自控制及/或站參數。在一些實施例中，控制模組106可為人類製造者提供待在一生產線之各下游處理站處執行之經更新指令。此等調整可幫助校正製造流程，使得最終品質度量可在可接受品質度量範圍內。
組件模組204可經組態以在一給定生產階段基於由監測平台104獲得之影像資料來預計一樣品之一最終品質度量。在一些實施例中，組件模組204可自監測平台104接收輸入。在一些實施例中，此輸入可採取多步驟製造流程之一給定步驟處之組件之一影像或視訊之形式。在一些實施例中，組件模組204可在多步驟製造流程之一給定步驟自工具模組202接收經推斷組件資料。例如，工具模組202可在多步驟製造流程之一給定步驟基於工具影像或視訊資料推斷關於組件之資訊，且將該經推斷資訊作為輸入提供至組件模組204。基於輸入，組件模組204可預計組件之一最終品質度量。取決於組件之經預計最終品質度量，組件模組204可判定在後續製造步驟中採取之一或多個動作，以達成一所要或臨限最終品質度量。例如，若預計最終品質度量落在一可接受值範圍之外，則組件模組204可識別一或多個動作以糾正製造流程。在一些實施例中，控制模組106可與後續站108中之站控制器介接以調整其等各自控制及/或站參數。在一些實施例中，控制模組106可為人類製造者提供待在一生產線之各下
游處理站處執行之經更新指令。此等調整可幫助校正製造流程，使得最終品質度量可在可接受品質度量範圍內。
工具模組202及組件模組204之各者可包含一或多個軟體模組。一或多個軟體模組可為儲存在一媒體(例如，與控制模組106相關聯之運算系統之記憶體)上之程式碼或指令之集合，其等表示實施一或多個演算法步驟之一系列機器指令(例如，程式碼)。此等機器指令可為處理器解譯以實施指令之實際電腦程式碼，或替代地可為經解譯以獲得實際電腦程式碼之指令之一更高等級編碼。一或多個軟體模組亦可包含一或多個硬體組件。一例示性演算法之一或多個態樣可藉由硬體組件(例如，電路)本身執行，而非作為指令之結果。此外，在一些實施例中，工具模組202及組件模組204之各者可經組態以在組件間傳輸一或多個信號。在此等實施例中，此等信號可不限於由一運算裝置執行之機器指令。
在一些實施例中，工具模組202及組件模組204可經由一或多個區域網路通信。網路可為任何適合類型，包含經由網際網路(諸如蜂巢式或Wi-Fi網路)之個別連接。在一些實施例中，網路可使用直接連接(諸如射頻識別(RFID)、近場通信(NFC)、BluetoothTM、low-energy BluetoothTM(BLE)、Wi-FiTM、ZigBeeTM、環境反向散射通信(ABC)協定、USB、WAN或LAN)連接終端機、服務及行動裝置。因為所傳輸之資訊可為個人的或機密的，所以安全顧慮可固定加密或其他方式保全此等類型之連接之一或多者。然而，在一些實施例中，所傳輸之資訊可為不太個人的，且因此，為方便優於安全性起見選擇網路連接。
工具模組202可包含獲取系統206、提取器模組208及預測模組210。一般而言，一多節點或多站組裝環境(諸如製造系統102)可廣義
地表示為G(
, 
)，其中
可表示所有i個節點處之組件之狀態，且其中
可表示待藉由所有i個節點處之工具對組件執行之該組動作。給定一規範或正準品質量測V c ，工具模組202可經組態以用一估計品質度量
最佳化組裝流程中之誤差，使得
可在V c 之一臨限距離內。在一些實施例中，工具模
組202可估計狀態
(其可為在所有N節點處之組件之一狀態
之一數值表示)，及動作
(其等可表示各節點處之指令或
控制值)。
獲取系統206可經組態以接收各節點N處之組裝流程之影像資料。在一些實施例中，獲取系統206可接收監測平台104之組裝流程之影像資料。在一些實施例中，針對各節點N，獲取系統206可接收V個影像，其中V可表示可記錄各節點處之組裝程序之監測平台104之攝影機之數目。因此，V個影像之各影像可捕捉在處理期間組件之一不同視角。在接收影像資料之後，獲取系統206可經組態以提取圖框之影像之一子集。例如，獲取系統206可經組態以自經接收影像資料提取L個影像。經提取影像可被稱為界標(landmark)圖框。界標圖框可為處於高運動(high motion)中之影像圖框。經提取影像可包含含有組件之特定界標
(其中
)且可表示組件之整個製造流程之影像或圖框。
一給定操作者之最小運動(例如，「界標」)圖框及最大運動(例如，「高運動」)圖框兩者可含有用於一分級器之有用資訊，該分級器正試圖跨若干操作者以一穩健方式關聯手指-手-手臂資料及飛行效能資料。在一些實施例中，可使用一光流演算法來量測任何給定圖框中之一運動量。獲取系統206可選擇含有最多運動之圖框。
提取器模組208可經組態以自L個影像提取關鍵點。例如，
提取器模組208可經組態以每界標I i 提取K個關鍵點(即，(x,y)對)。換言之，提取器模組208可經組態以針對一給定輸入I l 
輸出K個關鍵點，其中l 
[0,L-1]。作為輸出，提取器模組208可產生一單一向量
。此向量可包含K個(x,y)對之界標表示，該等界標表示可
藉由
表示，其中i 
[0,L-1]。
在一些實施例中，為產生
，提取器模組208可實施兩個各別演算法：(1)一定界框估計；及(2)關鍵點偵測。
關於定界框估計，給定
，可運用一臨限影像分割來處理各界標圖框以產生各工具組件之一遮罩影像。例如，在其中工具係一人類之一實施例中，提取器模組208可產生使用者之手之各者之一遮罩影像。在一些實施例中，提取器模組208可實施斑點偵測以定位工具之組件。使用一人類作為一實例，提取器模組208可假定影像始終含有使用者之左手及右手兩者。當一圖框未能包含雙手時，提取器模組208可為值指派一任意恆定值c。
關於關鍵點偵測，提取器模組208可基於估計定界框識別工具之關鍵點。例如，運用給定輸入，提取器模組208可估計K個點
以及其可信度值
。在一些實施例中，提取器模組208可不僅估計在圖框上可見之點，而且估計可歸因於清晰度(articulation)、視點、物件或工具互動之一或多者而從圖框遮擋之點。因為目標可為使用經追蹤關鍵點預測品質量測，所以未估計之遮擋點可為表示組裝流程之獨有且重要特徵。因此，可自關於界標圖框之小的隨機選取之子集中之遮擋點的c i 值之觀察導出一遮擋臨限值t o 。使用t o ，提取器模組208可濾除為c o <t o 之估計。針對經過濾點，提取器模組208可為其等指派一任意恆定值c。無關於圖框上
之工具或關鍵點之可見性，提取器模組208之輸出均可包含各組件之L．K個(x,y)對。
換言之，提取器模組208可經組態以對遮擋組件指派一預設基礎可信度，且因此，估計該等關鍵點，使得一整組關鍵點可用於量測所觀察之試驗工具組件位置與正準工具組件位置之間的差異。在一些實施例中，工具模組202可得出關於一給定時間點(例如，站i)處之組件之狀態的推斷，且接著輸出採取以校正經量測差異之建議之從正準修改之後續動作。
預測模組210可經組態以預測一最終品質度量
。例如，預測模組210可經組態以預測一最終品質度量
，其中
，給定L個時間點之工具追蹤資訊，可自各處理站108收集
，其中
。在一些實施例中，預測模組210可實施一長短期記憶(LSTM)模型以輸出最終品質度量。LSTM模型可容許預測模組210克服習知遞迴神經網路中常見之一梯度消失(vanishing gradient)問題。梯度消失問題係其中在梯度之量值對於稍後之層較小時，一模型未能關聯神經網路之早期權重之情況。LSTM模型消除此問題。
在一些實施例中，工具模組202可進一步包含一分級模組215。分級模組215可經組態以基於預測最終品質度量
將一樣品分級為一或多個等級。例如，在操作中，分級模組215可接收樣品之一正準或所要最終品質度量V c 。分級模組215可經組態以比較預測最終品質度量V c 與正準或所要最終品質度量V c 以產生一差量△v。根據△v之值，分級模組215可將樣品分類(sort)為一或多個等級。例如，假定分級模組215可將樣品分類為四個等級之一者：失敗(fail)(等級1)、一般(等級2)、優秀(等級3)及超
資格(over-qualify)(等級4)。分級模組215可基於相關聯之等級定義來對樣品進行分類。例如，相關聯之定義可為：
等級1：失敗：
等級2：一般：
等級3：優秀：
等級4：超資格：V c <
如熟習此項技術者認識到，相關聯之定義可基於操作者或用戶端偏好改變。
在一些實施例中，控制模組106可使用指派給組件之分級來判定最終品質度量是否為可接受的。例如，一操作者或用戶端可指定分級為等級1之組件係不可接受的，而分級為等級2至4之任一者之組件係可接受的。在另一實例中，一操作者或用戶端可指定分級為等級1或等級2之組件係不可接受的，而分級為等級3或等級4之組件係可接受的。
圖3係繪示根據實例實施例之LSTM模型之一例示性架構之一方塊圖。如所展示，LSTM模型300可包含三個層3021至3023(統稱為層302)。如所展示，各層302可包含一或多個胞元304。在一些實施例中，各胞元304之輸入可為p i ，其中i 
[0,L-1]。LSTM中之各胞元可定義為：方程式1：f i =σ(W f *[h i-1 ,p i ]+b f )
方程式2：I_i=σ(W_I *[h_(i-1),p_i]+b_I)
方程式3：c=f i * c t-1+I i * tanh(W c *[h i-1 ,p i ]+b c )
方程式4：o i =σ(W o *[h i-1 ,p i ]+b o )
方程式5：h i =o i * tanh c i 其中方程式1決定是否保持來自先前胞元之資訊；方程式(2)決定更新哪些
值；方程式(3)更新胞元；且方程式(4)決定輸出哪一部分。方程式(5)可過濾輸出部分，使得LSTM模型300僅輸出其經程式化以輸出之內容。
在一些實施例中，LSTM模型300可包含具有30個隱藏大小之三個層302。在一些實施例中，LSTM模型300可為序列對一(sequence-to-one)LSTM模型。針對訓練，L1(平均絕對誤差(MAE))損失函數：
可使用一亞當最佳化器(Adam optimizer)來最小化。在一些實施例中，可使用MAE，因為目標可為最小化或降低誤差之量值，而無關於誤差之方向。
返回參考圖2，可使用一正準指令集
及多個組件M來訓練預測模組210。例如，使用M個資料之10個節點視訊，可藉由首先透過獲取系統206及提取器模組208進行預處理來結構化用於預測模組210之輸入。在一些實施例中，可透過檢查其等組成規格(composition)(例如，形狀)之一驗證演算法來驗證訓練中所涉及之各組件。在一些實施例中，驗證演算法可藉由比較組成規格與正準組成規格來運算在各節點之末尾處關於組成規格之一相似度指數。因此，用於訓練之組件大致類似於正準組成規格。
在一些實施例中，針對輸出，可在一受控環境中測試對應實體組件以量測其等之品質度量。使用準備好的輸入資料與對應輸出資料，可訓練預測模組210，例如，其中M之一部分係訓練資料且M之另一部分係驗證資料。一經訓練，預測模組210便可能夠基於工具之影像資料預測在一給定處理步驟處一組件之一品質量測。
現提及組件模組204，組件模組204可包含隨機梯度下降(SGD)模組212、閘控遞迴單元(GRU)模型214及模擬模組216。為了此論述，一組件之一部分建構可定義為
，其中步驟k在製造流程中引入一不可逆誤差，且尚未定義步驟k+1、…、N。組件模組204可經組態以識別剩餘動作[{r k+1 ,t k+1},...,{r N ,t N }]之一最佳校正序列，其中r及t可對應於待在製造系統102之各後續處理站(k+1至N)處對組件執行之特定操作。更一般而言，任何組件
可定義為在製造系統之各處理站1…N處執行之一序列所
有操作。在數學上，
。在各製造步驟i=1,...,10中，虛擬
表示系統可在歐幾里德空間(Euclidean space)(例如，
)中將組件表示為一組連接表面及沿著各表面之外輪廓均勻分佈之一組連接點。在一些實施例中，產生此等表示之虛擬表示函數可分別稱為S(
)及P(
)。在一些實施例中，組件模組204可經組態以朝向一特定正準組件
校正
。
模擬模組216可經組態以模擬或產生一給定組件
之一表面模型。例如，模擬模組216可自工具模組202接收工具資訊。基於由工具模組202產生之關鍵點，模擬模組216可經組態以產生表示在一特定流程步驟i處組件
之一狀態的一表面模型。在一些實施例中，表面模型可被表示為S(
)。在一些實施例中，模擬模組216可進一步經組態以產生或估計組件
之一品質度量。自表面模型，模擬模組216可經組態以產生一點模型P(
)，其表示組件
之特定座標。例如，自表面模型S(
)，模擬模組216可藉由在S(
)中之各表面之邊界輪廓周圍放置均勻間隔之若干點而產生點模型P(
)。在一些實施例中，S(
)可用於模擬人為產物(artifact)
之效能。
SGD模組212可自模擬模組216接收點模型P(
)。SGD模組
212可藉由比較步驟i處之點模型P(
)與一正準組件
之一正準點模型P(
)而判定是否已出現一不可逆誤差k。不可逆誤差可定義為與步驟k處之一正準組件之一可量測顯著結構偏差。SGD模組212可經組態以藉由取得一Hausdorff距離而偵測一不可逆誤差。例如，SGD模組212可基於各自歐幾里德點集來將當前組件
之一處理步驟與正準組件
匹配。在數學上，SGD模組212可經組態以針對i運算P(
)與P(
)之間之Hausdorff距離，且
。例如，
其中d(x,y)可為x與y之間之歐幾里德距離，且無向Hausdorff距離可為：H(X,Y)=max{h(X,Y),h(Y,X)
在當前組件
與正準組件
之間之Hausdorff距離超過某一臨限容限時，可存在一不可逆誤差。例如，當：
時，SGD模組212可判定在步驟k處發生一誤差，其中τ H 係某一適當定義之容限臨限值。
假定存在一誤差，則SGD模組212可經組態以鑑於直至一不可逆誤差k之一誤差點之一組動作建構一組經更新動作[{r k+1 ,t k+1},...,{r N ,t N }]。在一些實施例中，此組經更新動作可被稱為x tail 。在誤差步驟k之前且包含誤差步驟k之步驟或動作之序列可被稱為x head 。x tail 及x head 可在一起定義一組件
。基於x head ，SGD模組212可使用一隨機梯度下降方法來求解x tail 。
GRU模型214可經組態以基於x tail ⊕x head 預測組件
之一最終品質度量，其中⊕可表示一向量串聯運算符(vector concatenation
operator)。可將由GRU模型214產生之最終品質度量與一正準最終品質度量進行比較以判定x tail 是否恰當。例如，假定x tail 及x head 之組合產生落在一可接受值範圍之外之一最終品質度量，則GRU模型214可指示SGD模組212產生經更新動作之一經更新序列以進行進一步評估。
圖5係繪示根據實例實施例之GRU模型214之架構500之一方塊圖。如所展示，GRU模型214可包含N個GRU胞元5021至502N(統稱為為GRU胞元502)，其中各GRU胞元502對應於一各自處理站108。各GRU胞元502可包含一(r i ,t i )輸入對及一預定大小之一隱藏狀態輸出
。此等輸入對(r i ,t i )可在一起定義一給定組件
。在一些實施例中，各GRU胞元502可藉由以下定義：
其中
可為時間t時之隱藏狀態，
可為時間t時之輸入，且
、
及
可分別表示時間t時之重設、更新及新閘。
GRU模型214可經訓練以產生對應於其之權重。例如，可迭代地訓練GRU模型214以使GRU模型214偏向於求解一特定子問題。在一些實施例中，在一第一迭代期間，GRU模型214可產生複數個(例如，幾百個至幾千個)最佳預測(步驟k處之各可能誤差對應一個)以在步驟k+1、…、N完成一給定組件
，以及對應於各預測之對應預測品質度量。
在一些實施例中，所有預測飛機完成可呈現在一虛擬表示
系統中，運算其等之逐步Hausdorff距離且模擬其等之呈現表面以獲得所產生之預測與正準之間的距離量測。在一些實施例中，可運算正準與預測品質度量量測之間之損失值且將其回饋至GRU模型214中，可經由反向傳播調整GRU模型214之權重而產生一第二迭代。此流程可繼續，直至獲得一所要誤差臨限值。
圖4係直觀地繪示根據實例實施例之工具模組202之一回饋段400之總體流程之一方塊圖。
如所展示，回饋段400可包含一第一部分402、一第二部分404及一第三部分406。在第一部分402期間，工具模組202可執行一獲取流程，諸如至少部分藉由獲取系統206實行之流程。
如所展示，在方塊408，製造系統102可接收用於處理一組件之處理指令。在一些實施例中，製造系統102可在每一站108基礎上接收處理指令。例如，製造系統102之各站108可接收獨立處理指令。在一些實施例中，處理指令可包含定義用於製造之一站108之屬性(例如，溫度，壓力等)的控制值。在一些實施例中，處理指令可包含向一人類操作者直觀地繪示如何在製造流程之一處理節點處執行一特定處理步驟的視訊或影像。
在方塊410，獲取系統206可自監測平台104接收影像資料。在一些實施例中，針對各節點N，獲取系統206可接收V個影像，其中V可表示可記錄各節點處之組裝程序之監測平台104之攝影機之數目。在接收影像資料之後，在方塊412，獲取系統206可經組態以提取圖框之影像之一子集。例如，獲取系統206可經組態以自經接收影像資料提取L個影像。經提取影像可被稱為界標圖框。經提取影像可包含含有特定界標且
可表示組件之整個製造流程之影像或圖框。
第二部分404可對應於由提取器模組208執行之操作。如所展示，提取器模組208可至少自獲取系統206接收經提取影像。提取器模組208可經組態以自L個影像提取關鍵點。例如，提取器模組208可經組態以每界標I i 提取K個關鍵點(即，(x,y)對)。
在方塊414，提取器模組208可執行定界框估計。例如，給定
，可運用一臨限影像分割來處理各界標圖框以產生各工具組件之一遮罩影像。例如，如所展示，在其中工具係一人類之一實施例中，提取器模組208可產生使用者之手之各者之一遮罩影像。
在方塊416，提取器模組208可鑑於定界框估計執行關鍵點偵測。例如，運用給定輸入，提取器模組208可估計K個點
，以及其可信度值
。在一些實施例中，提取器模組208可不僅估計在圖框上可見之點，而且估計可歸因於清晰度、視點、物件或工具互動之一或多者而從圖框遮擋之點。
第三部分406可對應於由預測模組210執行之操作。如所展示，在方塊418，預測模組210可自提取器模組208接收關鍵點資訊，且可經組態以預測一最終品質度量
。在一些實施例中，預測模組210可實施一長短期記憶(LSTM)模型以輸出最終品質度量。
圖6A係繪示根據實例實施例之校正一多步驟製造流程之一方法600之一流程圖。方法600可開始於步驟602。
在步驟602，可將一指令集提供至製造系統102。指令集可表示待藉由製造系統102實行之一製造流程之一指令集。在一些實施例中，可將指令集提供至各站108。例如，提供至各個各自站108之各正準
指令集可定義一特定製造步驟之處理參數。在另一實例中，各正準指令集可為待藉由一人類行動者在一特定處理節點或站108處執行之離散步驟的一視訊。
在步驟604，控制模組106可自監測平台104接收工具(例如，站108)之影像資料。例如，獲取系統206可接收一各自處理節點處之組裝流程之影像資料。在一些實施例中，獲取系統206可接收V個影像，其中V可表示可記錄一特定處理站108處之組裝程序之監測平台104之攝影機之數目。因此，V個影像之各影像可捕捉在處理期間工具之一不同視角。
在步驟606，控制模組106可自所獲得之影像資料提取影像之一子集。例如，在接收影像資料之後，獲取系統206可經組態以提取圖框之影像之一子集。例如，獲取系統206可經組態以自經接收影像資料提取L個影像(即，界標圖框)。經提取影像可被稱為界標圖框。界標圖框可為處於高運動中之影像圖框。經提取影像可包含含有組件之特定界標
(其
中
)且可表示組件之整個製造流程之影像或圖框。
在步驟608，控制模組106可自界標圖框提取工具之一或多個關鍵點。例如，提取器模組208可自L個影像提取關鍵點。提取器模組208可針對一給定輸入I l 
(其中l 
[0,L-1])識別或提取K個關鍵點。作
為輸出，提取器模組208可產生一單一向量
，此向量可包
含K個(x,y)對之界標表示，其等可藉由
來表
示，其中i 
[0,L-1]。
在步驟610，控制模組106可至少基於經識別關鍵點預測組件之一最終品質度量。在一些實施例中，預測模組210可實施一長短期記
憶(LSTM)模型以輸出最終品質度量。
在步驟612，控制模組106可比較最終品質度量與一所要品質度量。若在步驟612，控制模組106判定最終品質度量係所要品質度量之一臨限容限，則製造流程可根據原始指令集進行至下一處理站或節點(例如，步驟616)。然而，若在步驟612，控制模組106判定最終品質度量未在所要品質度量之一臨限容限內，則在步驟614，控制模組106可調整下游處理站之處理參數。在一些實施例中，控制模組106可與後續站108中之站控制器介接，以調整其等各自控制及/或站參數。在一些實施例中，控制模組106可為人類製造者提供待在一生產線之各下游處理站處執行之經更新指令。此等調整可幫助校正製造流程，使得最終品質度量可在可接受品質度量範圍內。
圖6B係繪示根據實例實施例之校正一多步驟製造流程之一方法650之一流程圖。方法650可開始於步驟652。
在步驟652，可將一指令集提供至製造系統102。指令集可表示待藉由製造系統102實行之一製造流程之一指令集。在一些實施例中，可提供指令集至各站108。例如，提供至各個各自站108之各正準指令集可定義一特定製造步驟之處理參數。在另一實例中，各正準指令集可為待藉由一人類行動者在一特定處理節點或站108處執行之離散步驟的一視訊。
在步驟654，控制模組106可自監測平台104接收工具(例如，站108)之影像資料。例如，獲取系統206可接收一各自處理節點處之組裝流程之影像資料。在一些實施例中，獲取系統206可接收V個影像，其中V可表示可記錄一特定處理站108處之組裝程序之監測平台104之攝影
機之數目。因此，V個影像之各影像可捕捉在處理期間工具之一不同視角。
在步驟656，控制模組106可自所獲得之影像資料提取影像之一子集。例如，在接收影像資料之後，獲取系統206可經組態以提取圖框之影像之一子集。例如，獲取系統206可經組態以自經接收影像資料提取L個影像(即，界標圖框)。經提取影像可被稱為界標圖框。界標圖框可為處於高運動中之影像圖框，且可含有清楚地捕捉製造流程之進展之最有意義的特徵。經提取影像可包含含有組件之特定界標
(其中
)且可表示組件之整個製造流程之影像或圖框。
在步驟658，控制模組106可自界標圖框提取工具之一或多個關鍵點。例如，提取器模組208可自L個影像提取關鍵點。提取器模組208可針對一給定輸入I l 
(其中l 
[0,L-1])識別或提取K個關鍵點。作
為輸出，提取器模組208可產生一單一向量
。此向量可包
含K個(x,y)對之界標表示，其等可藉由
來表
示，其中i 
[0,L-1]。
在步驟660，控制模組106可至少基於經識別關鍵點預測組件之一最終品質度量。在一些實施例中，預測模組210可實施一長短期記憶(LSTM)模型以輸出最終品質度量之估計。
在步驟662，控制模組106可基於最終品質度量對組件進行分級。例如，分級模組215可基於預測最終品質度量
將組件分級為一或多個等級。為對組件進行分級，工具模組202可接收組件之一正準或所要最終品質度量V c 。工具模組202可經組態以比較預測最終品質度量V c 與正準或所要最終品質度量V c ，以產生一差量△v。取決於△v之值，分級模組
215可將組件分類為一或多個等級。
在一些實施例中，方法650可進一步包含操作664至668。
在步驟664，控制模組106可判定指派給組件之等級是否為一可接受等級。若在步驟664，控制模組106判定組件已被指派至一可接受等級，則製造流程可根據原始指令集進行至下一處理站或節點(例如，步驟666)。然而，若在步驟664，控制模組106判定組件被指派至一不可接受等級，則在步驟668，控制模組106可調整下游處理站之處理參數。在一些實施例中，控制模組106可與後續站108中之站控制器介接，以調整其等各自控制及/或站參數。在一些實施例中，控制模組106可為人類製造者提供待在一生產線之各下游處理站處執行之經更新指令。此等調整可幫助校正製造流程，使得最終品質度量可在可接受品質度量範圍內。
圖7係繪示根據實例實施例之校正一多步驟製造流程之一方法700之一流程圖。方法700可開始於步驟702。
在步驟702，可將一指令集提供至製造系統102。指令集可表示待藉由製造系統102實行之一製造流程之一指令集。在一些實施例中，可將指令集提供至各站108。例如，提供至各個各自站108之各正準指令集可定義一特定製造步驟之處理參數。在另一實例中，各正準指令集可為待藉由一人類行動者在一特定處理節點或站108處執行之離散步驟的一視訊。
在步驟704，控制模組106可識別對應於一各自處理節點處之一組件之資訊。在一些實施例中，模擬模組216可自工具模組202接收工具資訊。基於由工具模組202產生之關鍵點，模擬模組216可經組態以產生表示在一特定流程步驟i處組件
之一狀態的一表面模型。在一些實
施例中，表面模型可被表示為S(
)。在一些實施例中，模擬模組216可進一步經組態以產生或估計組件
之一品質度量。自表面模型，模擬模組216可經組態以產生一點模型P(
)，其表示組件
之特定座標。
在步驟706，控制模組106可判定是否已出現一不可逆誤差。例如，SGD模組212可自模擬模組216接收點模型P(
)。SGD模組212可藉由比較步驟i處之點模型P(
)與一正準組件
之一正準點模型P(
)而判定是否已出現一不可逆誤差k。SGD模組212可經組態以藉由取得點模型與對應正準點模型之間之一Hausdorff距離而偵測一不可逆誤差。在各自處理站或節點處，在當前組件
與正準組件
之間之Hausdorff距離超過某一臨限容限時，可存在一不可逆誤差。
若在步驟706，控制模組106判定尚未出現一不可逆誤差，則製造流程可根據原始指令集進行至下一處理站或節點(步驟705)。然而，若在步驟706，則控制模組106判定已出現一不可逆誤差，則方法700進行至步驟708。
在步驟708，控制模組106可產生一組經更新動作以校正不可逆誤差。SGD模組212可鑑於直至一不可逆誤差k之一誤差點之一組動作建構一組經更新動作[{r k+1 ,t k+1},...,{r N ,t N }]。在一些實施例中，此組經更新動作可被稱為x tail 。在誤差步驟k之前且包含誤差步驟k之步驟或動作之序列可被稱為x head 。x tail 及x head 可在一起定義一組件
。基於x head ，SGD模組212可使用一隨機梯度下降方法來求解x tail 。
在步驟710，控制模組106可基於由SGD模組212產生之該組動作產生組件之一預測最終品質度量。例如，GRU模型214可經組態以基於x tail ⊕x head 預測組件
之一最終品質度量，其中⊕可表示一向量串聯運
算符。
在步驟712，控制模組106可判定預測最終品質度量是否在正準最終品質度量之一臨限容限內。例如，可將由GRU模型214產生之最終品質度量與一正準最終品質度量進行比較以判定x tail 是否恰當。若在步驟712，控制模組106判定預測品質度量在臨限容限內，則在步驟714，控制模組106可調整下游處理站之處理參數。在一些實施例中，控制模組106可與後續站108中之站控制器介接，以調整其等各自控制及/或站參數。在一些實施例中，控制模組106可為人類製造者提供待在一生產線之各下游處理站處執行之經更新指令。此等調整可幫助校正製造流程，使得最終品質度量可在可接受品質度量範圍內。
然而，若在步驟712，控制模組106判定預測品質度量未在臨限容限內，則GRU模型214可提示SGD模組212產生一新的x tail 。例如，方法700可回到步驟708以使SGD模組212建構一組新的經更新動作。
圖8A繪示根據實例實施例之一系統匯流排運算系統架構800。系統800之一或多個組件可使用一匯流排805彼此電通信。系統800可包含一處理器(例如，一或多個CPU、GPU或其他類型之處理器)810及一系統匯流排805，系統匯流排805將各種系統組件(包含系統記憶體815(諸如唯讀記憶體(ROM)820及隨機存取記憶體(RAM)825))耦合至處理器810。系統800可包含與處理器810直接連接、緊密靠近處理器810或整合為處理器810之部分之高速記憶體之一快取區。系統800可將資料自記憶體815及/或儲存裝置830複製至快取區812以供處理器810快速存取。以此方式，快取區812可提供避免處理器810在等待資料時延遲之一效能提升。此等及其他模組可控制或經組態以控制處理器810以執行各種動作。
其他系統記憶體815亦可供使用。記憶體815可包含具有不同效能特性之多種不同類型之記憶體。處理器810可表示一單一處理器或多個處理器。處理器810可包含一通用處理器或經組態以控制處理器810之一硬體模組或軟體模組(諸如儲存於儲存裝置830中之服務1832、服務2834及服務3836)以及其中將軟體指令併入至實際處理器設計中之一專用處理器的一或多者。處理器810基本上可為一完全自含式運算系統，其含有多個核心或處理器、一匯流排、記憶體控制器、快取區等。一多核心處理器可為對稱的或非對稱的。
為了實現與運算裝置800之使用者互動，一輸入裝置845可為任何數目個輸入機構，諸如用於語音之一麥克風、用於手勢或圖形輸入之一觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等等。一輸出裝置835亦可為熟習此項技術者已知之若干輸出機構之一或多者。在一些例項中，多模態系統可使一使用者能夠提供多種類型之輸入以與運算裝置800通信。通信介面840一般可控管及管理使用者輸入及系統輸出。不存在對任何特定硬體配置之操作之限制，且因此，此處之基本特徵可容易在其等發展時替換為經改良硬體或軟體配置。
儲存裝置830可為一非揮發性記憶體，且可為可儲存可由一電腦存取之資料之一硬碟或其他類型之電腦可讀媒體，諸如磁匣、快閃記憶卡、固態記憶體裝置、數位多功能光碟、匣式磁帶、隨機存取記憶體(RAM)825、唯讀記憶體(ROM)820及其等之混合。
儲存裝置830可包含用於控制處理器810之服務832、834及836。考量其他硬體或軟體模組。儲存裝置830可連接至系統匯流排805。在一個態樣中，執行一特定功能之一硬體模組可包含儲存於與必要硬體組
件(諸如處理器810、匯流排805、顯示器835等等)連接之一電腦可讀媒體中以實行該功能的軟體組件。
圖8B繪示根據實例實施例之具有一晶片組架構之一電腦系統850。電腦系統850可為可用於實施所揭示之技術之電腦硬體、軟體及韌體之一實例。系統850可包含一或多個處理器855，其等表示能夠執行經組態以執行所識別之運算之軟體、韌體及硬體之任何數目個實體及/或邏輯上不同之資源。一或多個處理器855可與一晶片組860通信，晶片組860可控制至一或多個處理器855之輸入及來自一或多個處理器855之輸出。在此實例中，晶片組860將資訊輸出至輸出端865(諸如一顯示器)，且可讀取資訊及將資訊寫入至儲存裝置870，儲存裝置870可包含例如磁性媒體及固態媒體。晶片組860亦可自RAM 875讀取資料及將資料寫入RAM 875。可提供用於與多種使用者介面組件885介接之一橋接器880用於與晶片組860介接。此等使用者介面組件885可包含一鍵盤、一麥克風、觸控偵測及處理電路、一指向裝置(諸如一滑鼠)等等。一般而言，至系統850之輸入可來自多種來源(機器產生及/或人類產生)之任何者。
晶片組860亦可與可具有不同實體介面之一或多個通信介面890介接。此等通信介面可包含用於有線及無線區域網路、用於寬頻無線網路以及個人區域網路之介面。用於產生、顯示及使用本文中所揭示之GUI之方法之一些應用可包含經由實體介面接收有序資料集，或藉由機器本身藉由分析儲存於儲存器870或875中之資料之一或多個處理器855來產生。此外，機器可透過使用者介面組件885自一使用者接收輸入，且藉由使用一或多個處理器855解譯此等輸入而執行適當功能，諸如瀏覽功能。
可瞭解，例示性系統800及850可具有一個以上處理器810
或為網路連結在一起以提供更大處理能力之運算裝置之一群組或叢集的部分。
雖然前文係關於本文中所描述之實施例，但可在不脫離實施例之基本範疇的情況下設想其他及進一步實施例。例如，本發明之態樣可在硬體或軟體或硬體及軟體之一組合中實施。本文中所描述之一項實施例可實施為與一電腦系統一起使用之一程式產品。程式產品之(若干)程式定義實施例之功能(包含本文中所描述之方法)，且可被包含在多種電腦可讀儲存媒體上。闡釋性電腦可讀儲存媒體包含但不限於：(i)不可寫入儲存媒體(例如，一電腦內之唯讀記憶體(ROM)裝置，諸如可由一CD-ROM驅動器讀取之CD-ROM磁碟、快閃記憶體、ROM晶片或任何類型之固態非揮發性記憶體)，在其上永久儲存資訊；及(ii)可寫入儲存媒體(例如，一軟式磁碟機(diskette drive)或硬碟機內之軟碟或任何類型之固態隨機存取記憶體)，在其上儲存可更改資訊。此等電腦可讀儲存媒體在攜載引導所揭示實施例之功能之電腦可讀指令時係本發明之實施例。
熟習此項技術者將瞭解，前述實例係例示性的且非限制性的。希望在閱讀本說明書及研究圖式之後，對其之所有排列、增強、等效物及改良對於熟習此項技術者而言顯而易見，且包含在本發明之真實精神及範圍內。因此，以下隨附發明申請專利範圍意欲包含落入此等教示之真實精神及範圍內之所有此等修改、排列及等效物。
400:回饋段
402:第一部分
404:第二部分
406:第三部分
408:方塊
410:方塊
412:方塊
414:方塊
416:方塊
418:方塊
Claims (20)
- 一種製造系統，其包括：一或多個站，各站經組態以在一組件之一多步驟製造流程中執行至少一個步驟；一監測平台，其經組態以在整個該多步驟製造流程中監測該組件之進展；及一控制模組，其經組態以動態地調整該多步驟製造流程之一步驟之處理參數，以達成該組件之一所要最終品質度量，該控制模組經組態以執行操作，該等操作包括：接收該一或多個站之一第一站之一流程工具之影像資料；自該影像資料識別一組關鍵點，該組關鍵點對應於在該第一站處之處理期間該流程工具之位置資訊；藉由一機器學習模型基於該組關鍵點判定該組件之一最終品質度量；及基於該判定，基於由該機器學習模型產生之該最終品質度量與該組件之一正準最終品質度量之間的一比較來將該組件指派至一組件等級。
- 如請求項1之製造系統，其中該等操作進一步包括：判定該最終品質度量未在與該最終品質度量之一臨限容限內；及基於該判定，更新該多步驟製造流程中之後續站之處理參數。
- 如請求項1之製造系統，其中直至該組件之處理完成才可量測該最終品質度量。
- 如請求項1之製造系統，其中該影像資料包括複數個影像，各影像對應於一各自攝影機。
- 如請求項1之製造系統，其中該等操作進一步包括：自該影像資料提取影像之一子集，其中該影像子集之各影像包含該第一站之該流程工具。
- 如請求項1之製造系統，其中自該影像資料識別該組關鍵點包括：將斑點偵測應用於該影像資料以識別該影像資料中之該流程工具之一位置。
- 如請求項5之製造系統，其進一步包括：產生對應於該影像資料中之該流程工具之若干點。
- 如請求項1之製造系統，其中該機器學習模型係一長短期記憶模型。
- 一種用於控制涉及一製造系統之一或多個站之一多步驟製造流程之電腦實施方法，各站經組態以在一組件之該多步驟製造流程中執行至少一個步驟，該方法包括：藉由與該製造系統相關聯之一運算系統接收該一或多個站之一第一 站之一流程工具之影像資料；藉由該運算系統自該影像資料識別一組關鍵點，該組關鍵點對應於在該第一站處之處理期間該流程工具之位置資訊；藉由與該運算系統相關聯之一機器學習模型基於該組關鍵點判定該組件之一最終品質度量；及基於該判定，藉由該運算系統基於由該機器學習模型產生之該最終品質度量與該組件之一正準最終品質度量之間的一比較來將該組件指派至一組件等級。
- 如請求項9之電腦實施方法，其進一步包括：藉由該運算系統判定該最終品質度量未在與該最終品質度量之一臨限容限內；及基於該判定，藉由該運算系統更新該多步驟製造流程中之後續站之處理參數。
- 如請求項9之電腦實施方法，其中直至該組件之處理完成才可量測該最終品質度量。
- 如請求項9之電腦實施方法，其中該影像資料包括複數個影像，各影像對應於一各自攝影機。
- 如請求項9之電腦實施方法，其進一步包括：自該影像資料提取影像之一子集，其中該影像子集之各影像包含該 第一站之該流程工具。
- 如請求項9之電腦實施方法，其中藉由該運算系統自該影像資料識別該組關鍵點包括：將斑點偵測應用於該影像資料以識別該影像資料中之該流程工具之一位置。
- 如請求項14之電腦實施方法，其進一步包括：藉由該運算系統產生對應於該影像資料中之該流程工具之若干點。
- 如請求項9之電腦實施方法，其中該機器學習模型係一長短期記憶模型。
- 一種製造系統，其包括：一或多個站，各站經組態以在一組件之一多步驟製造流程中執行至少一個步驟；一監測平台，其經組態以在整個該多步驟製造流程中監測該組件之進展；及一控制模組，其經組態以動態地調整該多步驟製造流程之一步驟之處理參數，以達成該組件之一所要最終品質度量，該控制模組經組態以執行操作，該等操作包括：接收該一或多個站之一第一站之一流程工具之影像資料；自該影像資料識別一組關鍵點，該組關鍵點對應於在該第一站處 之處理期間該流程工具之位置資訊；藉由一機器學習模型基於該組關鍵點判定該組件之一最終品質度量；基於該判定，基於由該機器學習模型產生之該最終品質度量與該組件之一正準最終品質度量之間的一比較來將該組件指派至一組件等級；基於該指派，判定指派給該組件之該等級並非係一可接受等級；基於該判定，推斷對應於該第一站處之該組件之位置資訊；基於該判定，產生待藉由一下游站執行之一經更新指令集；藉由一機器學習模型基於該經更新指令集預測該組件之一最終品質度量；及基於該經預測最終品質度量，將該經更新指令集提供至該下游站。
- 如請求項17之製造系統，其中直至該組件之處理完成才可量測該最終品質度量。
- 如請求項18之製造系統，其進一步包括：基於對應於該組件之該位置資訊來判定存在一不可逆誤差。
- 如請求項19之製造系統，其進一步包括：比較對應於該組件之座標之該組關鍵點與對應於一正準組件之一組正準關鍵點。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202062986987P | 2020-03-09 | 2020-03-09 | |
| US62/986,987 | 2020-03-09 | ||
| US17/091,393 US20210132593A1 (en) | 2019-11-06 | 2020-11-06 | Systems, Methods, and Media for Manufacturing Processes |
| US17/091,393 | 2020-11-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202147051A TW202147051A (zh) | 2021-12-16 |
| TWI801820B true TWI801820B (zh) | 2023-05-11 |
Family
ID=77671945
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110108313A TWI801820B (zh) | 2020-03-09 | 2021-03-09 | 用於製造流程之系統及方法 |
| TW112113077A TW202333014A (zh) | 2020-03-09 | 2021-03-09 | 用於製造流程之系統及方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112113077A TW202333014A (zh) | 2020-03-09 | 2021-03-09 | 用於製造流程之系統及方法 |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP4118512A4 (zh) |
| JP (1) | JP2023516776A (zh) |
| KR (1) | KR20220154135A (zh) |
| CN (1) | CN115210744A (zh) |
| TW (2) | TWI801820B (zh) |
| WO (1) | WO2021183468A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114580876B (zh) * | 2022-02-24 | 2023-02-10 | 山西省交通新技术发展有限公司 | 一种基于节能环保的能源数据采集分析管控系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040030431A1 (en) * | 2002-08-07 | 2004-02-12 | Popp Robert L. | System and method for tracking and exploiting per station information from a multiple repeat manufacturing device |
| US20060013505A1 (en) * | 2002-11-06 | 2006-01-19 | Shing-Tung Yau | Analysis of geometric surfaces by comformal structure |
| TW200715080A (en) * | 2005-08-05 | 2007-04-16 | Pfizer Prod Inc | Automated batch manufacturing |
| US20190180153A1 (en) * | 2015-08-14 | 2019-06-13 | Elucid Bioimaging Inc. | Methods and systems for utilizing quantitative imaging |
| US20190362480A1 (en) * | 2018-05-22 | 2019-11-28 | Midea Group Co., Ltd. | Methods and system for improved quality inspection |
| TW202001678A (zh) * | 2018-06-12 | 2020-01-01 | 蟲洞科技股份有限公司 | 機台參數擷取裝置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100201020B1 (ko) * | 1994-03-11 | 1999-06-15 | 모리시타 요이찌 | 컴퓨터시뮬레이션부착 nc제어미세가공방법과 이 방법에 사용하는 장치 |
| US7526463B2 (en) * | 2005-05-13 | 2009-04-28 | Rockwell Automation Technologies, Inc. | Neural network using spatially dependent data for controlling a web-based process |
| WO2018191698A1 (en) * | 2017-04-13 | 2018-10-18 | Instrumental, Inc. | Method for predicting defects in assembly units |
| US9977425B1 (en) * | 2017-07-14 | 2018-05-22 | General Electric Company | Systems and methods for receiving sensor data for an operating manufacturing machine and producing an alert during manufacture of a part |
| WO2019040948A1 (en) * | 2017-08-25 | 2019-02-28 | Massachusetts Institute Of Technology | DETECTION AND CONTROL OF ADDITIVE MANUFACTURING PROCESSES |
| WO2019090264A1 (en) * | 2017-11-03 | 2019-05-09 | Drishti Technologies, Inc. | Real time anomaly detection systems and methods |
| JP7348440B2 (ja) * | 2018-03-20 | 2023-09-21 | 東京エレクトロン株式会社 | 統合的な半導体処理モジュールを組み込んだ自己認識及び補正異種プラットフォーム及びその使用方法 |
| US11132787B2 (en) * | 2018-07-09 | 2021-09-28 | Instrumental, Inc. | Method for monitoring manufacture of assembly units |
| US10481579B1 (en) * | 2019-02-28 | 2019-11-19 | Nanotronics Imaging, Inc. | Dynamic training for assembly lines |
-
2021
- 2021-03-09 TW TW110108313A patent/TWI801820B/zh active
- 2021-03-09 TW TW112113077A patent/TW202333014A/zh unknown
- 2021-03-09 EP EP21767468.8A patent/EP4118512A4/en active Pending
- 2021-03-09 KR KR1020227034408A patent/KR20220154135A/ko unknown
- 2021-03-09 JP JP2022553668A patent/JP2023516776A/ja active Pending
- 2021-03-09 CN CN202180017739.1A patent/CN115210744A/zh active Pending
- 2021-03-09 WO PCT/US2021/021440 patent/WO2021183468A1/en unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040030431A1 (en) * | 2002-08-07 | 2004-02-12 | Popp Robert L. | System and method for tracking and exploiting per station information from a multiple repeat manufacturing device |
| US20060013505A1 (en) * | 2002-11-06 | 2006-01-19 | Shing-Tung Yau | Analysis of geometric surfaces by comformal structure |
| TW200715080A (en) * | 2005-08-05 | 2007-04-16 | Pfizer Prod Inc | Automated batch manufacturing |
| US20190180153A1 (en) * | 2015-08-14 | 2019-06-13 | Elucid Bioimaging Inc. | Methods and systems for utilizing quantitative imaging |
| US20190362480A1 (en) * | 2018-05-22 | 2019-11-28 | Midea Group Co., Ltd. | Methods and system for improved quality inspection |
| TW202001678A (zh) * | 2018-06-12 | 2020-01-01 | 蟲洞科技股份有限公司 | 機台參數擷取裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4118512A4 (en) | 2024-04-03 |
| KR20220154135A (ko) | 2022-11-21 |
| CN115210744A (zh) | 2022-10-18 |
| EP4118512A1 (en) | 2023-01-18 |
| JP2023516776A (ja) | 2023-04-20 |
| WO2021183468A1 (en) | 2021-09-16 |
| TW202147051A (zh) | 2021-12-16 |
| TW202333014A (zh) | 2023-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI760916B (zh) | 用於工廠自動化生產線之製造系統 | |
| US11117328B2 (en) | Systems, methods, and media for manufacturing processes | |
| US20210263495A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
| US20210311440A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
| CN115867873A (zh) | 提供与分配给输入数据方法和系统的异常分数相关的警报 | |
| TWI801820B (zh) | 用於製造流程之系統及方法 | |
| Wang et al. | A smart operator advice model by deep learning for motion recognition in human–robot coexisting assembly line | |
| TWI765403B (zh) | 用於製造程序之系統及方法與三維（３ｄ）列印系統 | |
| US20210192779A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
| KR20210135416A (ko) | 시편의 검사를 위한 알고리즘 모듈들의 자동 선택 | |
| KR20230025698A (ko) | 제조 공정을 위한 시스템, 방법 및 매체 | |
| Xia et al. | Automated manufacturability analysis in smart manufacturing systems: a signature mapping method for product-centered digital twins | |
| WO2021050508A1 (en) | Systems, methods, and media for manufacturing processes | |
| Vázquez Nava | Vision system for quality inspection of automotive parts based on non-defective samples |