KR20220154135A - 제조 공정을 위한 시스템, 방법 및 매체 - Google Patents
제조 공정을 위한 시스템, 방법 및 매체 Download PDFInfo
- Publication number
- KR20220154135A KR20220154135A KR1020227034408A KR20227034408A KR20220154135A KR 20220154135 A KR20220154135 A KR 20220154135A KR 1020227034408 A KR1020227034408 A KR 1020227034408A KR 20227034408 A KR20227034408 A KR 20227034408A KR 20220154135 A KR20220154135 A KR 20220154135A
- Authority
- KR
- South Korea
- Prior art keywords
- component
- quality metric
- final quality
- station
- image data
- Prior art date
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000013442 quality metrics Methods 0.000 claims abstract description 110
- 230000008569 process Effects 0.000 claims abstract description 38
- 238000012544 monitoring process Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 56
- 238000010801 machine learning Methods 0.000 claims description 16
- 230000002427 irreversible effect Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims 5
- 230000009471 action Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 14
- 238000004088 simulation Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 238000011143 downstream manufacturing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000010146 3D printing Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004886 process control Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009658 destructive testing Methods 0.000 description 1
- 239000003517 fume Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001746 injection moulding Methods 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32193—Ann, neural base quality management
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32216—If machining not optimized, simulate new parameters and correct machining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Factory Administration (AREA)
- Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
제조 시스템이 본원에 개시된다. 제조 시스템은 하나 이상의 스테이션과, 모니터링 플랫폼, 및 제어 모듈을 포함한다. 하나 이상의 스테이션의 각각의 스테이션은 구성요소에 대한 다단계 제조 공정에서 적어도 하나의 단계를 수행하도록 구성된다. 모니터링 플랫폼은 다단계 제조 공정 전반에 걸쳐 구성요소의 진행 상황을 모니터링하도록 구성된다. 제어 모듈은 구성요소에 대한 원하는 최종 품질 메트릭을 달성하기 위해 다단계 제조 공정의 각각의 단계의 공정 파라미터를 동적으로 조정하도록 구성된다.
Description
관련 출원에 대한 교차 참조
본 출원은 2020년 3월 9일 출원된 미국 가출원 제62/986,987호에 대한 우선권을 주장하며, 그 전체가 본원에 참조로 포함된다. 본 출원은 2019년 11월 6일 출원된 미국 가출원 제62/931,448호, 2019년 11월 7일 출원된 미국 가출원 62/932,063 및 2019년 11월 6일 출원된 미국 가출원 제62/931,453호에 대한 우선권을 주장하는, 2020년 11월 6일 출원된 미국 가출원 제17/091,393호의 일부 계속 출원이며, 이들 전체가 본원에 참조로 포함된다.
본 개시는 일반적으로 제조 공정을 위한 시스템, 방법 및 매체에 관한 것이다.
18세기 산업혁명이 시작된 이래 자동화는 상품 생산을 지배했다. 오늘날의 공장은 자동화를 핵심 원칙으로 완전히 수용했지만, 로봇이 대량 생산 환경에서 반복 가능한 많은 작업을 수행함에도 불구하고, 많은 조립 작업은 계속해서 사람에 의해 수행된다. 이러한 작업은 비용, 중대한 고장 위험, 또는 소량 생산 실행을 위한 로봇 시스템 배치의 물류로 인해 자동화하기 어렵다. 이러한 생산 라인은 표준 공정 제어 및 인력 관리에 의해 감독되고, 따라서 조립자는 시간이 지남에 따라 특정 품질 메트릭을 수행하는 법을 배우거나 또 다른 작업자에 의해 교체된다. 이러한 프로세스는 조립의 출현 이후 크게 변경되지 않았다.
일부 실시형태에서, 제조 시스템이 본원에 개시된다. 제조 시스템은 하나 이상의 스테이션과, 모니터링 플랫폼, 및 제어 모듈을 포함한다. 각각의 스테이션은 구성요소에 대한 다단계 제조 공정에서 적어도 하나의 단계를 수행하도록 구성된다. 모니터링 플랫폼은 다단계 제조 공정 전반에 걸쳐 구성요소의 진행 상황을 모니터링하도록 구성된다. 제어 모듈은 구성요소에 대한 원하는 최종 품질 메트릭을 달성하기 위해 다단계 제조 공정의 하나의 단계의 공정 파라미터를 동적으로 조정하도록 구성되고, 제어 모듈은 동작을 수행하도록 구성된다. 동작은 하나 이상의 스테이션 중 제 1 스테이션의 툴링의 이미지 데이터를 수신하는 단계를 포함한다. 동작은 이미지 데이터로부터 한 세트의 키포인트를 식별하는 단계를 더 포함한다. 키포인트는 제 1 스테이션에서 처리하는 동안의 툴링의 위치 정보에 해당한다. 동작은, 기계 학습 모델에 의해, 키포인트를 기반으로 구성요소에 대한 최종 품질 메트릭을 결정하는 단계를 더 포함한다. 동작은, 결정을 기반으로, 기계 학습 모델에 의해 생성된 최종 품질 메트릭과 구성요소에 대한 정규 최종 품질 메트릭 간의 비교를 기반으로 구성요소에 구성요소 등급을 할당하는 단계를 더 포함한다.
일부 실시형태에서, 다단계 제조 공정을 제어하기 위한 컴퓨터 구현 방법이 본원에 개시된다. 다단계 제조 공정은 제조 시스템의 하나 이상의 스테이션을 포함한다. 각각의 스테이션은 구성요소에 대한 다단계 제조 공정에서 적어도 하나의 단계를 수행하도록 구성된다. 제조 시스템과 관련된 컴퓨팅 시스템은 하나 이상의 스테이션 중 제 1 스테이션의 툴링의 이미지 데이터를 수신한다. 컴퓨팅 시스템은 이미지 데이터로부터 한 세트의 키포인트를 식별하며, 한 세트의 키포인트는 제 1 스테이션에서 처리하는 동안의 툴링의 위치 정보에 해당한다. 컴퓨팅 시스템과 관련된 기계 학습 모델은 한 세트의 키포인트를 기반으로 구성요소에 대한 최종 품질 메트릭을 결정한다. 결정을 기반으로, 컴퓨팅 시스템은 기계 학습 모델에 의해 생성된 최종 품질 메트릭과 구성요소에 대한 정규 최종 품질 메트릭 간의 비교를 기반으로 구성요소에 구성요소 등급을 할당한다.
일부 실시형태에서, 제조 시스템이 본원에 개시된다. 제조 시스템은 하나 이상의 스테이션과, 모니터링 플랫폼, 및 제어 모듈을 포함한다. 각각의 스테이션은 구성요소에 대한 다단계 제조 공정에서 적어도 하나의 단계를 수행하도록 구성된다. 모니터링 플랫폼은 다단계 제조 공정 전반에 걸쳐 구성요소의 진행 상황을 모니터링하도록 구성된다. 제어 모듈은 구성요소에 대한 원하는 최종 품질 메트릭을 달성하기 위해 다단계 제조 공정의 하나의 단계의 공정 파라미터를 동적으로 조정하도록 구성되고, 제어 모듈은 동작을 수행하도록 구성된다. 동작은 하나 이상의 스테이션 중 제 1 스테이션의 툴링의 이미지 데이터를 수신하는 단계를 포함한다. 동작은 이미지 데이터로부터 한 세트의 키포인트를 식별하는 단계를 더 포함한다. 키포인트는 제 1 스테이션에서 처리하는 동안의 툴링의 위치 정보에 해당한다. 동작은, 기계 학습 모델에 의해, 키포인트를 기반으로 구성요소에 대한 최종 품질 메트릭을 결정하는 단계를 더 포함한다. 동작은 최종 품질 메트릭이 최종 품질 메트릭으로부터의 임계 허용오차 내에 있지 않다고 결정하는 단계를 더 포함한다. 동작은, 결정을 기반으로, 기계 학습 모델에 의해 생성된 최종 품질 메트릭과 구성요소에 대한 정규 최종 품질 메트릭 간의 비교를 기반으로 구성요소에 구성요소 등급을 할당하는 단계를 더 포함한다. 동작은, 할당을 기반으로, 구성요소에 할당된 등급이 허용되는 등급이 아님을 결정하는 단계를 더 포함한다. 동작은, 결정을 기반으로, 제 1 처리 스테이션에 있는 구성요소에 대응하는 위치 정보를 추론하는 단계를 더 포함한다. 동작은, 결정을 기반으로, 다운스트림 스테이션에 의해 수행될 업데이트된 명령 세트를 생성하는 단계를 더 포함한다. 동작은, 기계 학습 모델에 의해, 업데이트된 명령 세트를 기반으로 구성요소에 대한 최종 품질 메트릭을 예측하는 단계를 더 포함한다. 동작은, 예측 최종 품질 메트릭을 기반으로, 업데이트된 명령 세트를 다운스트림 스테이션에 제공하는 단계를 더 포함한다.
위에서 언급한 본 개시의 특징이 상세히 이해될 수 있도록, 위에서 간략하게 요약한 본 개시의 보다 구체적인 설명은 첨부된 도면에 일부가 도시된 실시형태를 참조하여 제공될 수 있다. 그러나, 첨부된 도면은 본 개시의 전형적인 실시형태만을 예시하고, 따라서 본 개시가 다른 동등하게 효과적인 실시형태를 허용할 수 있기 때문에 그 범위를 제한하는 것으로 간주되어서는 안 된다는 점에 주목해야 한다.
도 1은 예시적인 실시형태에 따른 제조 환경을 도시하는 블록도이다.
도 2는 예시적인 실시형태에 따른 제어 모듈을 도시하는 블록도이다.
도 3은 예시적인 실시형태에 따른 LSTM 모델의 예시적인 아키텍처를 도시하는 블록도이다.
도 4는 예시적인 실시형태에 따른 툴링 모듈에 대한 피드백 세그먼트의 전체 프로세스 흐름을 시각적으로 도시하는 블록도이다.
도 5는 예시적인 실시형태에 따른 GRU 모델의 아키텍처를 도시하는 블록도이다.
도 6A는 예시적인 실시형태에 따른 다단계 제조 공정을 수정하는 방법을 도시하는 흐름도이다.
도 6B는 예시적인 실시형태에 따른 다단계 제조 공정을 수정하는 방법을 도시하는 흐름도이다.
도 7은 예시적인 실시형태에 따른 다단계 제조 공정을 수정하는 방법을 도시하는 흐름도이다.
도 8A는 예시적인 실시형태에 따른 시스템 버스 컴퓨팅 시스템 아키텍처를 도시한다.
도 8B는 예시적인 실시형태에 따른 칩셋 아키텍처를 갖는 컴퓨터 시스템을 도시한다.
이해를 돕기 위해, 가능한 한 동일한 참조 번호를 사용하여 도면에 공통적인 동일한 요소를 지정했다. 하나의 실시형태에 개시된 요소들은 특별한 언급 없이도 다른 실시형태에서 유리하게 활용될 수 있을 것이다.
도 1은 예시적인 실시형태에 따른 제조 환경을 도시하는 블록도이다.
도 2는 예시적인 실시형태에 따른 제어 모듈을 도시하는 블록도이다.
도 3은 예시적인 실시형태에 따른 LSTM 모델의 예시적인 아키텍처를 도시하는 블록도이다.
도 4는 예시적인 실시형태에 따른 툴링 모듈에 대한 피드백 세그먼트의 전체 프로세스 흐름을 시각적으로 도시하는 블록도이다.
도 5는 예시적인 실시형태에 따른 GRU 모델의 아키텍처를 도시하는 블록도이다.
도 6A는 예시적인 실시형태에 따른 다단계 제조 공정을 수정하는 방법을 도시하는 흐름도이다.
도 6B는 예시적인 실시형태에 따른 다단계 제조 공정을 수정하는 방법을 도시하는 흐름도이다.
도 7은 예시적인 실시형태에 따른 다단계 제조 공정을 수정하는 방법을 도시하는 흐름도이다.
도 8A는 예시적인 실시형태에 따른 시스템 버스 컴퓨팅 시스템 아키텍처를 도시한다.
도 8B는 예시적인 실시형태에 따른 칩셋 아키텍처를 갖는 컴퓨터 시스템을 도시한다.
이해를 돕기 위해, 가능한 한 동일한 참조 번호를 사용하여 도면에 공통적인 동일한 요소를 지정했다. 하나의 실시형태에 개시된 요소들은 특별한 언급 없이도 다른 실시형태에서 유리하게 활용될 수 있을 것이다.
제조 공정은 복잡할 수 있으며, 최종 구성요소가 생산될 때까지 다양한 공정 스테이션(또는 "스테이션")에 의해 처리되는 원자재를 포함할 수 있다. 일부 실시형태에서, 각각의 공정 스테이션은 처리를 위한 투입물을 수용하고, 추가 처리를 위해 후속(다운스트림) 공정 스테이션을 따라 전달될 수 있는 중간 산출물을 출력할 수 있다. 일부 실시형태에서, 최종 공정 스테이션은 처리를 위한 투입물을 수용할 수 있고, 최종 구성요소 또는 더 일반적으로는 최종 산출물을 출력할 수 있다.
일부 실시형태에서, 각각의 스테이션은 한 세트의 공정 단계를 수행할 수 있는 하나 이상의 도구/장비를 포함할 수 있다. 예시적인 공정 스테이션은 컨베이어 벨트, 사출 성형 프레스, 절단 기계, 다이 스탬핑 기계, 압출기, 컴퓨터 수치 제어(CNC) 밀, 그라인더, 조립 스테이션, 3차원 프린터, 품질 관리 스테이션, 검증 스테이션 등을 포함할 수 있지만 이에 한정되지는 않는다.
일부 실시형태에서, 각각의 공정 스테이션의 동작은 하나 이상의 공정 제어기에 의해 통제될 수 있다. 일부 실시형태에서, 각각의 공정 스테이션은, 공정 스테이션의 동작을 제어하도록 프로그램될 수 있는 하나 이상의 공정 제어기를 포함할 수 있다. 일부 실시형태에서, 작업자 또는 제어 알고리즘은 스테이션 제어기에 각각의 제어 값에 대한 원하는 값 또는 값의 범위를 나타낼 수 있는 스테이션 제어기 설정값을 제공할 수 있다. 일부 실시형태에서, 제조 공정에서 피드백 또는 피드포워드에 사용되는 값은 제어 값이라 할 수 있다. 예시적인 제어 값은 속도, 온도, 압력, 진공, 회전, 전류, 전압, 전력, 점도, 스테이션에서 사용되는 재료/자원, 처리율, 정전 시간, 유독 가스 등을 포함할 수 있지만 이에 한정되지는 않는다.
본원에 제공된 하나 이상의 기술은 이미지, 및/또는 비디오 데이터가 구성요소의 최종 품질 메트릭을 예측하거나 예상하기 위해 사용될 수 있는 시스템을 제공함으로써 종래의 공정을 개선한다. 일부 실시형태에서, 시스템은 제조 시스템의 각각의 처리 노드 또는 스테이션의 툴링의 비디오 및/또는 이미지 데이터를 캡처하거나 기록하도록 구성된 모니터링 시스템을 포함할 수 있다. 공정 단계 동안의 툴링의 위치를 기반으로, 본 시스템은 구성요소의 최종 품질 메트릭을 예측하거나 예상하도록 구성될 수 있다. 예측 최종 품질 메트릭이 허용되는 값의 범위 밖에 있는 경우, 본 시스템은, 처리하는 동안의 임의의 오류를 수정하여 원하는 최종 품질 메트릭이 달성될 수 있도록, 업데이트된 처리 명령을 생성하여 다운스트림 처리 노드 및/또는 스테이션에 제공할 수 있다.
일부 실시형태에서, 시스템은 제조 시스템의 각각의 처리 노드 또는 스테이션에 있는 구성요소의 비디오 및/또는 이미지 데이터를 캡처하거나 기록하도록 구성된 모니터링 시스템을 포함할 수 있다. 처리 노드의 끝에서의 구성요소에 대한 시각 정보를 기반으로, 본 시스템은 구성요소의 최종 품질 메트릭을 예측하거나 예상하도록 구성될 수 있다. 예측 최종 품질 메트릭이 허용되는 값의 범위 밖에 있는 경우, 본 시스템은, 처리하는 동안의 임의의 오류를 수정하여 원하는 최종 품질 메트릭이 달성될 수 있도록, 업데이트된 처리 명령을 생성하여 다운스트림 처리 노드 및/또는 스테이션에 제공할 수 있다.
이러한 방식으로, 본 시스템은 구성요소를 실제로 테스트할 필요 없이 제조 공정의 임의의 단계에 있는 구성요소의 최종 품질 메트릭을 예측하거나 예상할 수 있다. 이러한 시스템은 파괴 시험이 필요할 수 있는 최종 품질 메트릭에 유용하거나, 처리가 완료될 때까지 최종 품질 메트릭이 평가될 수 없는 경우 특히 유용하다.
도 1은 예시적인 실시형태에 따른 제조 환경(100)을 도시하는 블록도이다. 제조 환경(100)은 제조 시스템(102)과, 모니터링 플랫폼(104), 및 제어 모듈(106)을 포함할 수 있다. 제조 시스템(102)은 다단계 제조 시스템을 광범위하게 나타낼 수 있다. 일부 실시형태에서, 제조 시스템(102)은 조립 라인 시스템을 나타낼 수 있고, 여기서 각각의 처리 스테이션은 인간 작업자를 나타낼 수 있다. 일부 실시형태에서, 제조 시스템(102)은 적층 제조(예를 들어, 3D 프린팅 시스템)에서 사용하기 위한 제조 시스템을 나타낼 수 있다. 일부 실시형태에서, 제조 시스템(102)은 절삭 가공(예를 들어, CNC 기계가공)에서 사용하기 위한 제조 시스템을 나타낼 수 있다. 일부 실시형태에서, 제조 시스템(102)은 적층 제조 및 절삭 가공의 조합에서 사용하기 위한 제조 시스템을 나타낼 수 있다. 보다 일반적으로, 일부 실시형태에서, 제조 시스템(102)은 일반적인 제조 공정에서 사용하기 위한 제조 시스템을 나타낼 수 있다.
제조 시스템(102)은 하나 이상의 스테이션(1081-108n)(일반적으로, "스테이션(108)")을 포함할 수 있다. 각각의 스테이션(108)은 다단계 제조 공정 내의 단계 및/또는 스테이션을 나타낼 수 있다. 예를 들어, 각각의 스테이션(108)은 3D 프린팅 공정 내의 층 증착 작업을 나타낼 수 있다(예를 들어, 스테이션(1081)은 층(1)에 해당할 수 있고, 스테이션(1082)은 층(2)에 해당할 수 있다). 또 다른 예에서, 각각의 스테이션(108)은 특정 처리 스테이션에 해당할 수 있다. 또 다른 예에서, 각각의 스테이션(108)은 조립 라인 제조 공정 내의 특정 작업을 수행하는 특정 인간 작업자에 해당할 수 있다.
각각의 스테이션(108)은 공정 제어기(114)와 제어 로직(116)을 포함할 수 있다. 각각의 공정 제어기(1141-114n)는 각각의 스테이션(108)의 동작을 제어하도록 프로그램될 수 있다. 일부 실시형태에서, 제어 모듈(106)은 각각의 제어 값에 대해 원하는 값 또는 값의 범위를 나타낼 수 있는 스테이션 제어기 설정값을 각각의 공정 제어기(114)에 제공할 수 있다. 제어 로직(116)은 스테이션(108)의 공정 단계와 관련된 속성/파라미터를 참조할 수 있다. 동작하는 동안, 각각의 스테이션(108)에 대한 제어 로직(116)은 최종 품질 메트릭의 현재 궤적에 따라 제어 모듈(106)에 의해 제조 공정 전반에 걸쳐 동적으로 업데이트될 수 있다.
모니터링 플랫폼(104)은 제조 시스템(102)의 각각의 스테이션(108)을 모니터링하도록 구성될 수 있다. 일부 실시형태에서, 모니터링 플랫폼(104)은 제조 시스템(102)의 구성요소일 수 있다. 예를 들어, 모니터링 플랫폼(104)은 3D 프린팅 시스템의 구성요소일 수 있다. 일부 실시형태에서, 모니터링 플랫폼(104)은 제조 시스템(102)과는 독립적일 수 있다. 예를 들어, 모니터링 플랫폼(104)은 기존 제조 시스템(102)에 새로 장착될 수 있다. 일부 실시형태에서, 모니터링 플랫폼(104)은 다단계 공정의 각각의 단계에 있는 구성요소 또는 툴링(예를 들어, 작업자 또는 공정 도구)의 이미지를 캡처하도록 구성된 이미징 장치를 나타낼 수 있다. 예를 들어, 모니터링 플랫폼(104)은 각각의 스테이션(108)에서의 구성요소의 이미지 및/또는 각각의 스테이션(108)에서 구성요소를 개발하는 구성요소(예를 들어, 툴링, 사람 등)의 이미지를 캡처하도록 구성될 수 있다. 일반적으로, 모니터링 플랫폼(104)은 구성요소의 생산과 관련된 정보(예를 들어, 이미지, 전압 판독값, 속도 판독값 등) 및/또는 도구와 관련된 정보(예를 들어, 손 위치, 툴링 위치 등)를 캡처하고, 해당 정보를 입력으로서 평가를 위해 제어 모듈(106)에 제공하도록 구성될 수 있다.
제어 모듈(106)은 하나 이상의 통신 채널을 통해 제조 시스템(102) 및 모니터링 플랫폼(104)과 통신할 수 있다. 일부 실시형태에서, 하나 이상의 통신 채널은 셀룰러 또는 와이파이 네트워크와 같은 인터넷을 통한 개별 연결을 나타낼 수 있다. 일부 실시형태에서, 하나 이상의 통신 채널은 무선 주파수 식별(RFID), 근거리 통신(NFC), 블루투스(Bluetooth™), 저에너지 블루투스(BLE), 와이파이(Wi-Fi™), 지그비(ZigBee™), 주변 후방산란 통신(ambient backscatter communication, ABC) 프로토콜, USB, WAN 또는 LAN와 같은 직접 연결을 사용하여 단말, 서비스 및 모바일 장치를 연결할 수 있다.
제어 모듈(106)은 제조 시스템(102)의 각각의 공정 제어기를 제어하도록 구성될 수 있다. 예를 들어, 모니터링 플랫폼(104)에 의해 캡처된 정보를 기반으로, 제어 모듈(106)은 특정 스테이션(108)과 관련된 공정 제어를 조정하도록 구성될 수 있다. 일부 실시형태에서, 제어 모듈(106)은 예상 최종 품질 메트릭을 기반으로 특정 스테이션(108)의 공정 제어를 조정하도록 구성될 수 있다.
도 2는 예시적인 실시형태에 따른 제어 모듈(106)을 도시하는 블록도이다. 제어 모듈(106)은 툴링 모듈(202)과 구성요소 모듈(204)을 포함할 수 있다.
툴링 모듈(202)은 모니터링 플랫폼(104)에 의해 획득된 이미지 데이터를 기반으로, 주어진 생산 단계에서 표본의 최종 품질 메트릭을 예상하도록 구성될 수 있다. 동작하는 동안, 제어 모듈(106)은 모니터링 플랫폼(104)으로부터 입력을 수신할 수 있다. 일부 실시형태에서, 이러한 입력은 다단계 제조 공정의 주어진 단계에서 하위 공정을 수행하는 툴링의 이미지 또는 비디오 형태를 취할 수 있다. 예를 들어, 이미지 또는 비디오 데이터는 다단계 제조 공정의 특정 하위 공정을 수행하는 동안 사람의 손의 이미지 또는 비디오 데이터를 포함할 수 있다. 또 다른 예에서, 이미지 또는 비디오 데이터는 다층 제조 공정의 특정 층의 증착을 수행하는 3차원 프린터의 이미지 또는 비디오 데이터를 포함할 수 있다. 입력을 기반으로, 제어 모듈(106)은 구성요소의 최종 품질 메트릭을 예상할 수 있다. 구성요소의 예상 최종 품질 메트릭에 따라, 제어 모듈(106)은 원하는 또는 임계 최종 품질 메트릭에 도달하기 위해 후속 제조 단계에서 취해야 할 하나 이상의 조치를 결정할 수 있다. 예를 들어, 예상 최종 품질 메트릭이 허용되는 값의 범위 밖에 있는 경우, 제어 모듈(106)은 제조 공정을 시정하기 위한 하나 이상의 조치를 취할 수 있다. 일부 실시형태에서, 제어 모듈(106)은 후속 스테이션(108)의 스테이션 제어기와 인터페이스하여, 이들 각각의 제어 및/또는 스테이션 파라미터를 조정할 수 있다. 일부 실시형태에서, 제어 모듈(106)은 생산 라인의 각각의 다운스트림 처리 스테이션에서 수행될 업데이트된 명령을 인간 제조업자에게 제공할 수 있다. 이러한 조정은 최종 품질 메트릭이 허용되는 품질 메트릭 범위 내에 있도록 제조 공정을 수정하는 데 도움이 될 수 있다.
구성요소 모듈(204)은 모니터링 플랫폼(104)에 의해 획득된 이미지 데이터를 기반으로, 주어진 생산 단계에서 표본의 최종 품질 메트릭을 예상하도록 구성될 수 있다. 일부 실시형태에서 구성요소 모듈(204)은 모니터링 플랫폼(104)으로부터 입력을 수신할 수 있다. 일부 실시형태에서, 이러한 입력은 다단계 제조 공정의 주어진 단계에 있는 구성요소의 이미지 또는 비디오의 형태를 취할 수 있다. 일부 실시형태에서, 구성요소 모듈(204)은 툴링 모듈(202)로부터 다단계 제조 공정의 주어진 단계에서 추론된 구성요소 데이터를 수신할 수 있다. 예를 들어, 툴링 모듈(202)은 툴링 이미지 또는 비디오 데이터를 기반으로 다단계 제조 공정의 주어진 단계에 있는 구성요소에 대한 정보를 추론하고, 그 추론된 정보를 입력으로서 구성요소 모듈(204)에 제공할 수 있다. 입력을 기반으로, 구성요소 모듈(204)은 구성요소의 최종 품질 메트릭을 예상할 수 있다. 구성요소의 예상 최종 품질 메트릭에 따라, 구성요소 모듈(204)은 원하는 또는 임계 최종 품질 메트릭에 도달하기 위해 후속 제조 단계에서 취해야 할 하나 이상의 조치를 결정할 수 있다. 예를 들어, 예상 최종 품질 메트릭이 허용되는 값의 범위 밖에 있는 경우 구성요소 모듈(204)은 제조 공정을 시정하기 위한 하나 이상의 조치를 식별할 수 있다. 일부 실시형태에서, 제어 모듈(106)은 후속 스테이션(108)의 스테이션 제어기와 인터페이스하여, 이들 각각의 제어 및/또는 스테이션 파라미터를 조정할 수 있다. 일부 실시형태에서, 제어 모듈(106)은 생산 라인의 각각의 다운스트림 처리 스테이션에서 수행될 업데이트된 명령을 인간 제조업자에게 제공할 수 있다. 이러한 조정은 최종 품질 메트릭이 허용되는 품질 메트릭 범위 내에 있도록 제조 공정을 수정하는 데 도움이 될 수 있다.
툴링 모듈(202)과 구성요소 모듈(204) 각각은 하나 이상의 소프트웨어 모듈을 포함할 수 있다. 하나 이상의 소프트웨어 모듈은, 하나 이상의 알고리즘 단계를 구현하는 일련의 기계 명령(예를 들어, 프로그램 코드)에 해당하는, 매체(예를 들어, 제어 모듈(106)과 관련된 컴퓨팅 시스템의 메모리)에 저장된 코드 또는 명령의 모음일 수 있다. 이러한 기계 명령은 프로세서가 명령을 구현하기 위해 해석하는 실제 컴퓨터 코드일 수 있거나, 대안적으로 실제 컴퓨터 코드를 얻기 위해 해석되는 명령의 더 높은 수준의 코딩일 수 있다. 하나 이상의 소프트웨어 모듈은 또한 하나 이상의 하드웨어 구성요소를 포함할 수 있다. 예시적인 알고리즘의 하나 이상의 양태는, 명령의 결과로서라기보다는, 하드웨어 구성요소(예를 들어, 회로) 자체에 의해 수행될 수 있다. 또한, 일부 실시형태에서, 툴링 모듈(202)과 구성요소 모듈(204) 각각은 구성요소들 사이에서 하나 이상의 신호를 전송하도록 구성될 수 있다. 이러한 실시형태에서, 이러한 신호는 컴퓨팅 장치에 의해 실행되는 기계 명령으로 제한되지 않을 수 있다.
일부 실시형태에서, 툴링 모듈(202)과 구성요소 모듈(204)은 하나 이상의 로컬 네트워크를 통해 통신할 수 있다. 네트워크는 셀룰러 또는 와이파이 네트워크와 같은 인터넷을 통한 개별 연결을 포함하는 적절한 유형의 것일 수 있다. 일부 실시형태에서, 네트워크는 무선 주파수 식별(RFID), 근거리 통신(NFC), 블루투스(Bluetooth™), 저에너지 블루투스(BLE), 와이파이(Wi-Fi™), 지그비(ZigBee™), 주변 후방산란 통신(ABC) 프로토콜, USB, WAN 또는 LAN와 같은 직접 연결을 사용하여 단말, 서비스 및 모바일 장치를 연결할 수 있다. 전송되는 정보는 개인 정보이거나 기밀 정보일 수 있으므로, 보안 문제는 이러한 유형의 연결 중 하나 이상이 암호화되거나 다른 방식으로 보호될 것을 필요로 한다. 그러나, 일부 실시형태에서, 전송되는 정보는 덜 개인적일 수 있고, 따라서 네트워크 연결은 보안보다 편의를 위해 선택될 수 있다.
툴링 모듈(202)은 획득 시스템(206)과, 추출기 모듈(208), 및 예측 모듈(210)을 포함할 수 있다. 일반적으로, 제조 시스템(102)과 같은 다중 노드 또는 다중 스테이션 조립 환경은 광범위하게 
로 표현될 수 있으며, 여기서 
는 모든 i 개의 노드에 있는 구성요소의 상태를 나타내고, 
는 모든 i 개의 노드에 있는 구성요소에 대해 툴링에 의해 수행될 해당 세트의 조치를 나타낼 수 있다. 표준 또는 정규 품질 측정(V c )이 주어지면, 툴링 모듈(202)은 
가 V c 의 임계 거리 내에 있을 수 있도록, 추정된 품질 메트릭(
)으로 조립 공정의 오류를 최적화하도록 구성될 수 있다. 일부 실시형태에서, 툴링 모듈(202)은 모든 N 개의 노드에 있는 구성요소의 상태의 수치적 표현일 수 있는 상태(
) 및 각각의 노드에서 명령 또는 제어 값을 나타낼 수 있는 조치(
)를 추정할 수 있다.
획득 시스템(206)은 각각의 노드(N)에서 조립 공정의 이미지 데이터를 수신하도록 구성될 수 있다. 일부 실시형태에서, 획득 시스템(206)은 모니터링 플랫폼(104)의 조립 공정의 이미지 데이터를 수신할 수 있다. 일부 실시형태에서, 각각의 노드(N)에 대해, 획득 시스템(206)은 V 개의 이미지를 수신할 수 있으며, 여기서 V는 각각의 노드에서 조립 절차를 기록할 수 있는 모니터링 플랫폼(104)의 카메라의 수를 나타낼 수 있다. 따라서, V 개의 이미지 중 각각의 이미지는 처리하는 동안 구성요소의 다른 전망을 캡처할 수 있다. 이미지 데이터의 수신에 이어, 획득 시스템(206)은 서브세트의 프레임 이미지를 추출하도록 구성될 수 있다. 예를 들어, 획득 시스템(206)은 수신된 이미지 데이터로부터 L 개의 이미지를 추출하도록 구성될 수 있다. 추출된 이미지는 랜드마크 프레임이라고 할 수 있다. 랜드마크 프레임은 (움직임이 많은) 하이 모션인 이미지 프레임일 수 있다. 추출된 이미지는 구성요소의 특정 랜드마크(
)(여기서 
임)가 포함된 이미지 또는 프레임을 포함할 수 있으며, 구성요소에 대한 전체 제조 공정을 나타낼 수 있다.
주어진 작업자에 대한 최소 모션(예를 들어, "랜드마크") 프레임 및 최대 모션(예를 들어, "하이 모션") 프레임 모두는, 많은 작업자에 걸쳐 강력한 방식으로 손가락-손-팔 데이터 및 비행 성능 데이터를 연관시키려는 분류기에 대한 유용한 정보를 포함할 수 있다. 일부 실시형태에서, 임의의 주어진 프레임에서 모션의 양을 측정하기 위해 광학 흐름 알고리즘이 사용될 수 있다. 획득 시스템(206)은 가장 많은 모션을 포함하는 프레임을 선택할 수 있다.
추출기 모듈(208)은 L 개의 이미지로부터 키포인트를 추출하도록 구성될 수 있다. 예를 들어, 추출기 모듈(208)은 랜드마크(I i )당 K 개의 키포인트, 즉 (x,y) 쌍을 추출하도록 구성될 수 있다. 다시 말해서, 추출기 모듈(208)은 주어진 입력(
)(여기서 
임)에 대해 K 개의 키포인트를 출력하도록 구성될 수 있다. 출력으로서, 추출기 모듈(208)은 단일 벡터(
)를 생성할 수 있다. 이 벡터는 
(여기서 
임)로 표시될 수 있는 K 개의 (x,y) 쌍의 랜드마크 표현을 포함할 수 있다.
일부 실시형태에서, 
를 생성하기 위해, 추출기 모듈(208)은: (1) 경계 상자(bounding box) 추정; 및 (2) 키포인트 검출의 두 개의 개별 알고리즘을 구현할 수 있다.
경계 상자 추정과 관련하여, 
가 주어지면, 각각의 랜드마크 프레임은 임계 이미지 분할(threshold image segmentation)로 처리되어 각각의 툴링 구성요소에 대한 마스크 이미지를 생성할 수 있다. 예를 들어, 툴링이 인간인 실시형태에서, 추출기 모듈(208)은 사용자의 손 각각에 대한 마스크 이미지를 생성할 수 있다. 일부 실시형태에서, 추출기 모듈(208)은 툴링의 구성요소를 찾기 위해 블롭 검출(blob detection)을 구현할 수 있다. 예로서 인간을 사용하여, 추출기 모듈(208)은 이미지가 항상 사용자의 왼손 및 오른손 모두를 포함한다고 가정할 수 있다. 프레임이 양손을 포함하는 데 실패하면, 추출기 모듈(208)은 값에 임의의 상수 값(c)을 할당할 수 있다.
키포인트 검출과 관련하여, 추출기 모듈(208)은 추정된 경계 상자를 기반으로 툴링의 키포인트를 식별할 수 있다. 예를 들어, 주어진 입력으로, 추출기 모듈(208)은 그 신뢰 값(
)과 함께 K 개의 점(
)을 추정할 수 있다. 일부 실시형태에서, 추출기 모듈(208)은 프레임 상에서 보이는 점뿐만 아니라 관절, 시점, 객체 또는 도구 상호작용 중 하나 이상으로 인해 프레임에서 가려질 수 있는 점도 추정할 수 있다. 목표는 추적된 키포인트를 사용하여 품질 측정을 예측하는 것일 수 있기 때문에, 추정되지 않은 가려진 점은 조립 공정을 나타내는 고유하고 중요한 특징일 수 있다. 따라서, 가려진 임계값(t o )은 작은 무작위로 선택된 서브세트의 랜드마크 프레임의 가려진 점)에 대한 c i 값의 관찰로부터 도출될 수 있다. t o 를 사용하여, 추출기 모듈(208)은 c o <t o 인 추정을 필터링할 수 있다. 이러한 필터링된 점에 대해, 추출기 모듈(208)은 임의의 상수 값(c)을 할당할 수 있다. 프레임 상의 툴링 또는 키포인트의 가시성에 관계없이, 추출기 모듈(208)의 출력은 각각의 구성요소에 대한 L*K(x,y) 쌍을 포함할 수 있다.
다시 말해서, 추출기 모듈(208)은 가려진 구성요소에 대한 기본 신뢰 수준을 할당하도록 구성될 수 있으며, 따라서 관찰된 툴링 구성요소 위치와 정규 툴링 구성요소 위치 간의 불일치를 측정하기 위해 전체 세트의 키포인트가 사용될 수 있도록 이들 키포인트를 추정할 수 있다. 일부 실시형태에서, 툴링 모듈(202)은 주어진 시점(예를 들어, 스테이션(i))에서 구성요소의 상태에 대한 추론을 도출하고, 이후 측정된 불일치를 수정하기 위해 취해야 할, 정규로부터 수정된 권장되는 후속 조치를 출력할 수 있다.
예측 모듈(210)은 최종 품질 메트릭(
)을 예측하도록 구성될 수 있다. 예를 들어, 예측 모듈(210)은, L 개의 시점(
)(여기서 
은 각각의 처리 스테이션(108)으로부터 수집될 수 있음)에 대한 툴링 추적 정보가 주어지면, 최종 품질 메트릭(
)(여기서 
임)을 예측하도록 구성될 수 있다. 일부 실시형태에서, 예측 모듈(210)은 최종 품질 메트릭을 출력하기 위해 장단기 메모리(LSTM) 모델을 구현할 수 있다. LSTM 모델은 예측 모듈(210)이 종래의 순환 신경망에서 공통적인 기울기 소실 문제를 극복하도록 할 수 있다. 기울기 소실 문제는 후속 계층에 대해 기울기의 크기가 작을 때 모델이 신경망의 초기 가중치를 연관시키지 못하는 경우에 해당한다. LSTM 모델은 이 문제를 제거한다.
일부 실시형태에서, 툴링 모듈(202)은 분류 모듈(215)을 더 포함할 수 있다. 분류 모듈(215)은 예측 최종 품질 메트릭(
)을 기반으로 표본을 하나 이상의 등급으로 분류하도록 구성될 수 있다. 예를 들어, 동작하는 동안, 분류 모듈(215)은 표본에 대한 정규 또는 원하는 최종 품질 메트릭(V c )을 수신할 수 있다. 분류 모듈(215)은 예측 최종 품질 메트릭(
)을 정규 또는 원하는 최종 품질 메트릭(V c )과 비교하여 델타(△ v )를 생성하도록 구성될 수 있다. △ v 의 값에 따라, 분류 모듈(215)은 표본을 하나 이상의 등급으로 분류할 수 있다. 예를 들어, 분류 모듈(215)이 표본을 네 개의 등급, 즉 불합격(등급 1), 보통(등급 2), 우수(등급 3), 및 과적격(등급 4) 중 하나로 분류할 수 있다고 가정하자. 분류 모듈(215)은 관련된 분류 정의를 기반으로 표본을 분류할 수 있다. 예를 들어, 관련된 정의는 다음과 같을 수 있다:
본 기술 분야의 숙련자가 인식하는 바와 같이, 관련된 정의는 작업자 또는 클라이언트 선호도에 따라 변경될 수 있다.
일부 실시형태에서, 제어 모듈(106)은 구성요소에 할당된 분류를 사용하여 최종 품질 메트릭이 허용되는지 여부를 결정할 수 있다. 예를 들어, 작업자 또는 클라이언트는 등급 1로 분류된 구성요소는 허용되지 않는 반면 등급 2 내지 등급 4 중 하나로 분류된 구성요소는 허용되는 것으로 지정할 수 있다. 또 다른 예에서, 작업자 또는 클라이언트는 등급 1 또는 등급 2로 분류된 구성요소는 허용되지 않는 반면, 등급 3 또는 등급 4로 분류된 구성요소는 허용되는 것으로 지정할 수 있다.
도 3은 예시적인 실시형태에 따른 LSTM 모델의 예시적인 아키텍처를 도시하는 블록도이다. 도시된 바와 같이, LSTM 모델(300)은 세 개의 층(3021-3023)(일반적으로 층(302))을 포함할 수 있다. 도시된 바와 같이, 각각의 층(302)은 하나 이상의 셀(304)을 포함할 수 있다. 일부 실시형태에서, 각각의 셀(304)의 입력은 p i 일 수 있고, 여기서 
이다. LSTM의 각각의 셀은 다음과 같이 정의될 수 있다:
여기서 방정식 1은 이전 셀의 정보를 유지할지 여부를 결정하고; 방정식 2는 업데이트할 값을 결정하고; 방정식 3은 셀을 업데이트하며, 방정식 4는 출력할 부분을 결정한다. 방정식 5는 LSTM 모델(300)이 출력하도록 프로그램된 것만 출력하도록 출력 부분을 필터링할 수 있다.
일부 실시형태에서, LSTM 모델(300)은 30 개의 숨겨진 크기를 갖는 세 개의 층(302)을 포함할 수 있다. 일부 실시형태에서, LSTM 모델(300)은 시퀀스 대 하나의 LSTM 모델일 수 있다. 훈련의 경우, L1, 평균 절대 오차(MAE), 손실 함수:
아담 옵티마이저(Adam optimizer)를 사용하여 최소화될 수 있다. 일부 실시형태에서, 목표는 오류의 방향에 관계없이, 오류의 크기를 최소화하거나 감소시키는 것일 수 있기 때문에 MAE가 사용될 수 있다.
도 2를 다시 참조하면, 예측 모듈(210)은 정규 세트의 명령(
) 및 다수의 구성요소(M)를 사용하여 훈련될 수 있다. 예를 들어, M 개 데이터의 10 개 노드 비디오를 사용하여, 예측 모듈(210)에 대한 입력이 먼저 획득 시스템(206)과 추출기 모듈(208)을 통해 사전 처리됨으로써 구성될 수 있다. 일부 실시형태에서, 훈련에 관련된 각각의 구성요소는 이들의 구성(예를 들어, 형태)을 확인하는 검증 알고리즘을 통해 검증될 수 있다. 일부 실시형태에서, 검증 알고리즘은 구성을 정규 구성과 비교함으로써 각각의 노드의 끝에서 구성에 대한 유사도 지수(similarity index)를 계산할 수 있다. 그 결과, 훈련을 위한 구성요소는 정규 구성과 거의 유사하다.
일부 실시형태에서, 출력을 위해, 대응하는 물리적 구성요소가 이들의 품질 메트릭을 측정하기 위해 제어된 환경에서 테스트될 수 있다. 대응하는 출력 데이터와 함께 준비된 입력 데이터를 사용하여, 예측 모듈(210)은 예를 들어, 훈련 데이터인 M의 일부 및 검증 데이터인 M의 또 다른 일부로 훈련될 수 있다. 일단 훈련되면, 예측 모듈(210)은 툴링의 이미지 데이터를 기반으로 주어진 처리 단계에서 구성요소의 품질 측정을 예측할 수 있다.
이제 구성요소 모듈(204)을 참조하면, 구성요소 모듈(204)은 확률적 기울기 강하(stochastic gradient descent, SGD) 모듈(212)과, 게이트 순환 유닛(gated recurrent unit, GRU) 모델(214), 및 시뮬레이션 모듈(216)을 포함할 수 있다. 이 논의를 위해, 구성요소의 부분적 구성이 
로 정의될 수 있고, 여기서 단계 k는 제조 공정 내의 비가역적 오류를 도입하고, 단계(k+1,... N)는 아직 정의되지 않았다. 구성요소 모듈(204)은 나머지 조치(
)의 최적의 수정 시퀀스를 식별하도록 구성될 수 있고, 여기서 r 및 t는 제조 시스템(102)의 각각의 후속 처리 스테이션(k+1 내지 N)에서 구성요소에 대해 수행될 특정 작업에 해당할 수 있다. 보다 일반적으로, 임의의 구성요소(
)는 제조 시스템의 각각의 처리 스테이션(1...N)에서 수행되는 모든 작업의 시퀀스로 정의될 수 있다. 수학적으로 
이다. 각각의 제조 단계(i=1,...,10)에서, 가상 표현 시스템은 유클리드 공간의 구성요소(예를 들어, 
)를 각각의 표면의 외부 윤곽을 따라 균일하게 분포된 연결된 표면 집합 및 연결된 점 집합으로 나타낼 수 있다. 일부 실시형태에서, 이러한 표현을 생성하는 가상 표현 함수는 각각 
및 
이라 할 수 있다. 일부 실시형태에서, 구성요소 모듈(204)은 특정 정규 구성요소(
)를 향해 
를 수정하도록 구성될 수 있다.
시뮬레이션 모듈(216)은 주어진 구성요소(
)에 대한 표면 모델을 시뮬레이션하거나 생성하도록 구성될 수 있다. 예를 들어, 시뮬레이션 모듈(216)은 툴링 모듈(202)로부터 툴링 정보를 수신할 수 있다. 툴링 모듈(202)에 의해 생성된 키포인트를 기반으로, 시뮬레이션 모듈(216)은 특정 공정 단계(i)에 있는 구성요소(
)의 상태를 나타내는 표면 모델을 생성하도록 구성될 수 있다. 일부 실시형태에서, 표면 모델은 
로 표현될 수 있다. 일부 실시형태에서, 시뮬레이션 모듈(216)은 구성요소(
)의 품질 메트릭을 생성하거나 추정하도록 더 구성될 수 있다. 표면 모델로부터, 시뮬레이션 모듈(216)은 구성요소(
)의 특정 좌표에 해당하는 점 모델(
)을 생성하도록 구성될 수 있다. 예를 들어, 표면 모델(
)로부터, 시뮬레이션 모듈(216)은 
내의 각각의 표면의 경계 윤곽 주위에 균일하게 이격된 다수의 점을 배치함으로써 점 모델(
)을 생성할 수 있다. 일부 실시형태에서, 
는 아티팩트(
)의 성능을 시뮬레이션하기 위해 사용될 수 있다.
SGD 모듈(212)은 시뮬레이션 모듈(216)로부터 점 모델(
)을 수신할 수 있다. SGD 모듈(212)은 단계(i)에서의 점 모델(
)을 정규 구성요소(
)의 정규 점 모델(
)과 비교함으로써 비가역적 오류(k)가 발생했는지 여부를 결정할 수 있다. 비가역적 오류는 단계(k)에서의 정규 구성요소로부터의 측정 가능하게 커다란 구조적 편차로 정의될 수 있다. SGD 모듈(212)은 하우스도르프 거리(Hausdorff distance)를 취함으로써 비가역적 오류를 검출하도록 구성될 수 있다. 예를 들어, SGD 모듈(212)은 각각의 유클리드 점 집합을 기반으로 현재 구성요소(
)의 처리 단계를 정규 구성요소(
)에 매칭할 수 있다. 수학적으로, SGD 모듈(212)은 
에 대해 
와 
사이의 하우스도르프 거리를 계산하도록 구성될 수 있다. 예를 들어,
여기서 d(x,y)는 x와 y 사이의 유클리드 거리이며, 무방향 하우스도르프 거리는 다음과 같을 수 있다:
현재 구성요소(
)와 정규 구성요소(
) 사이의 하우스도르프 거리가 일부 임계 허용오차를 초과하면 비가역적 오류가 존재할 수 있다. 예를 들어, SGD 모듈(212)은 다음과 같은 경우 단계(k)에서 오류가 발생한다고 결정할 수 있다:
여기서 
는 적절하게 정의된 허용오차 임계값이다.
오류가 존재한다고 가정하면, SGD 모듈(212)은 비가역적 오류(k)인 오류 지점까지의 조치 세트가 주어지면, 업데이트된 조치 세트(
)를 구성하도록 구성될 수 있다. 일부 실시형태에서, 이 업데이트된 조치 세트는 
이라 할 수 있다. 오류 단계(k) 이전에 포함된 단계 또는 조치의 시퀀스는 
라 할 수 있다. 
과 
는 함께 구성요소(
)를 정의할 수 있다. 
를 기반으로, SGD 모듈(212)은 확률적 기울기 강하 방법을 사용하여 
을 풀 수 있다.
GRU 모델(214)은 
을 기반으로 구성요소(
)에 대한 최종 품질 메트릭을 예측하도록 구성될 수 있으며, 여기서 
는 벡터 결합 연산자(vector concatenation operator)를 나타낼 수 있다. GRU 모델(214)에 의해 생성된 최종 품질 메트릭은 
이 적절한지를 결정하기 위해 정규 최종 품질 메트릭과 비교될 수 있다. 예를 들어, 
과 
의 조합이 허용되는 값의 범위 밖에 있는 최종 품질 메트릭을 산출한다고 가정하면, GRU 모델(214)은 추가 평가를 위해 업데이트된 조치의 업데이트된 시퀀스를 생성하도록 SGD 모듈(212)에 지시할 수 있다.
도 5는 예시적인 실시형태에 따른 GRU 모델(214)의 아키텍처를 도시하는 블록도이다. 도시된 바와 같이, GRU 모델(214)은 N 개의 GRU 셀(5021-502N)(일반적으로, GRU 셀(502))을 포함할 수 있고, 각각의 GRU 셀(502)은 각각의 처리 스테이션(108)에 해당한다. 각각의 GRU 셀(502)은 미리 결정된 크기의 입력 쌍(
) 및 은닉 상태 출력(
)을 포함할 수 있다. 함께, 이들 입력 쌍(
)은 주어진 구성요소(
)를 정의할 수 있다. 일부 실시형태에서, 각각의 GRU 셀(502)은 다음과 같이 정의될 수 있다:
여기서 
는 시간(t)에서의 은닉 상태일 수 있고, 
는 시간(t)에서의 입력일 수 있으며, 
, 
및 
는 각각 시간(t)에서의 리셋, 업데이트 및 새로운 게이트를 나타낼 수 있다.
GRU 모델(214)은 그에 대응하는 가중치를 생성하도록 훈련될 수 있다. 예를 들어, GRU 모델(214)은 GRU 모델(214)이 특정 하위 문제를 해결하는 경향을 갖도록 반복적으로 훈련될 수 있다. 일부 실시형태에서, 제 1 반복 동안, GRU 모델(214)은, 각각의 예측에 대응하는 해당 예측된 품질 메트릭과 함께, 단계(k+1...,N)에서 주어진 구성요소(
)를 완료하기 위해 다수의(예를 들어, 수백 내지 수천) 최상의 예측(단계(k)에서 각각의 가능한 오류에 대해 하나씩)을 생성할 수 있다.
일부 실시형태에서, 모든 예측된 비행기 완성은 가상 표현 시스템에서 제공되고, 이들의 단계적 하우스도르프 거리가 계산되며, 이들의 제공된 표면이 시뮬레이션되어, 생성된 예측과 정규 사이의 거리 측정값을 얻을 수 있다. 일부 실시형태에서, 정규 및 예측된 품질 메트릭 측정치 사이의 손실 값이 계산되어 GRU 모델(214)로 피드백될 수 있으며, 이들의 가중치는 역전파(backpropagation)를 통해 조정되어 제 2 반복을 생성할 수 있다. 이러한 프로세스는 원하는 오류 임계값을 얻을 때까지 계속될 수 있다.
도 4는 예시적인 실시형태에 따른 툴링 모듈(202)에 대한 피드백 세그먼트(400)의 전체 프로세스 흐름을 시각적으로 도시하는 블록도이다.
도시된 바와 같이, 피드백 세그먼트(400)는 제 1 부분(402), 제 2 부분(404), 및 제 3 부분(406)을 포함할 수 있다. 제 1 부분(402) 동안, 툴링 모듈(202)은 획득 시스템(206)에 의해 적어도 부분적으로 수행되는 것과 같은 획득 프로세스를 수행할 수 있다.
도시된 바와 같이, 블록 408에서, 제조 시스템(102)은 구성요소를 처리하기 위한 처리 명령을 수신할 수 있다. 일부 실시형태에서, 제조 시스템(102)은 스테이션(108)별로 처리 명령을 수신할 수 있다. 예를 들어, 제조 시스템(102)의 각각의 스테이션(108)은 독립적인 처리 명령을 수신할 수 있다. 일부 실시형태에서, 처리 명령은 제조를 위한 스테이션(108)의 속성(예를 들어, 온도, 압력 등)을 정의하는 제어 값을 포함할 수 있다. 일부 실시형태에서, 처리 명령은 제조 공정의 처리 노드에서 특정 처리 단계를 수행하는 방법을 인간 작업자에게 시각적으로 설명하는 비디오 또는 이미지를 포함할 수 있다.
블록 410에서, 획득 시스템(206)은 모니터링 플랫폼(104)으로부터 이미지 데이터를 수신할 수 있다. 일부 실시형태에서, 각각의 노드(N)에 대해, 획득 시스템(206)은 V 개의 이미지를 수신할 수 있고, 여기서 V는 각각의 노드에서의 조립 절차를 기록할 수 있는 모니터링 플랫폼(104)의 카메라의 수를 나타낼 수 있다. 이미지 데이터의 수신 이후, 블록 412에서, 획득 시스템(206)은 서브세트의 프레임 이미지를 추출하도록 구성될 수 있다. 예를 들어, 획득 시스템(206)은 수신된 이미지 데이터로부터 L 개의 이미지를 추출하도록 구성될 수 있다. 추출된 이미지는 랜드마크 프레임이라고 할 수 있다. 추출된 이미지는 특정 랜드마크가 포함된 이미지 또는 프레임을 포함할 수 있으며, 구성요소에 대한 전체 제조 공정을 나타낼 수 있다.
제 2 부분(404)은 추출기 모듈(208)에 의해 수행되는 동작에 해당할 수 있다. 도시된 바와 같이, 추출기 모듈(208)은 획득 시스템(206)으로부터 적어도 추출된 이미지를 수신할 수 있다. 추출기 모듈(208)은 L 개의 이미지들로부터 키포인트들을 추출하도록 구성될 수 있다. 예를 들어, 추출기 모듈(208)은 랜드마크(l i )당 K 개의 키포인트, 즉 (x,y) 쌍을 추출하도록 구성될 수 있다.
블록 414에서, 추출기 모듈(208)은 경계 상자 추정을 수행할 수 있다. 예를 들어, 
가 주어지면, 각각의 랜드마크 프레임은 임계 이미지 분할로 처리되어 각각의 툴링 구성요소에 대한 마스크 이미지를 생성할 수 있다. 예를 들어, 도시된 바와 같이, 툴링이 인간인 실시형태에서, 추출기 모듈(208)은 사용자의 손 각각에 대한 마스크 이미지를 생성할 수 있다.
블록 416에서, 추출기 모듈(208)은 경계 상자 추정이 주어지면 키포인트 검출을 수행할 수 있다. 예를 들어, 주어진 입력으로, 추출기 모듈(208)은 신뢰 값(
)과 함께 K 개의 점(
)을 추정할 수 있다. 일부 실시형태에서, 추출기 모듈(208)은 프레임 상에서 보이는 점뿐만 아니라 관절, 시점, 객체 또는 도구 상호작용 중 하나 이상으로 인해 프레임에서 가려질 수 있는 점도 추정할 수 있다.
제 3 부분(406)은 예측 모듈(210)에 의해 수행되는 동작에 해당할 수 있다. 도시된 바와 같이, 블록 418에서, 예측 모듈(210)은 추출기 모듈(208)로부터 키포인트 정보를 수신할 수 있고, 최종 품질 메트릭(
)을 예측하도록 구성될 수 있다. 일부 실시형태에서, 예측 모듈(210)은 최종 품질 메트릭을 출력하기 위해 장단기 메모리(LSTM) 모델을 구현할 수 있다.
도 6A는 예시적인 실시형태에 따른, 다단계 제조 공정을 수정하는 방법(600)을 도시하는 흐름도이다. 방법(600)은 단계 602에서 시작할 수 있다.
단계 602에서, 제조 시스템(102)에 명령 세트가 제공될 수 있다. 명령 세트는 제조 시스템(102)에 의해 수행될 제조 공정에 대한 명령 세트를 나타낼 수 있다. 일부 실시형태에서, 명령 세트는 각각의 스테이션(108)에 제공될 수 있다. 예를 들어, 각각의 스테이션(108)에 제공되는 각각의 정규 명령 세트는 특정 제조 단계에 대한 공정 파라미터를 정의할 수 있다. 또 다른 예에서, 각각의 정규 명령 세트는 특정 처리 노드 또는 스테이션(108)에서 인간 행위자에 의해 수행될 개별 단계의 비디오일 수 있다.
단계 604에서, 제어 모듈(106)은 모니터링 플랫폼(104)으로부터 툴링(예를 들어, 스테이션(108))의 이미지 데이터를 수신할 수 있다. 예를 들어, 획득 시스템(206)은 각각의 처리 노드에서 조립 공정의 이미지 데이터를 수신할 수 있다. 일부 실시형태에서, 획득 시스템(206)은 V 개의 이미지를 수신할 수 있고, 여기서 V는 특정 처리 스테이션(108)에서 조립 절차를 기록할 수 있는 모니터링 플랫폼(104)의 카메라의 수를 나타낼 수 있다. 따라서, V 개의 이미지의 각각의 이미지는 처리하는 동안의 툴링의 다른 전망을 캡처할 수 있다.
단계 606에서, 제어 모듈(106)은 획득된 이미지 데이터로부터 서브세트의 이미지를 추출할 수 있다. 예를 들어, 이미지 데이터의 수신에 이어, 획득 시스템(206)은 서브세트의 프레임 이미지를 추출하도록 구성될 수 있다. 예를 들어, 획득 시스템(206)은 수신된 이미지 데이터로부터 L 개의 이미지, 즉, 랜드마크 프레임을 추출하도록 구성될 수 있다. 추출된 이미지는 랜드마크 프레임이라고 할 수 있다. 랜드마크 프레임은 하이 모션인 이미지 프레임일 수 있다. 추출된 이미지는 구성요소의 특정 랜드마크(
)(여기서 
임)이 포함된 이미지 또는 프레임을 포함할 수 있으며, 구성요소에 대한 전체 제조 공정을 나타낼 수 있다.
단계 608에서, 제어 모듈(106)은 랜드마크 프레임으로부터 툴링의 하나 이상의 키포인트를 추출할 수 있다. 예를 들어, 추출기 모듈(208)은 L 개의 이미지로부터 키포인트를 추출할 수 있다. 추출기 모듈(208)은 주어진 입력(
) (여기서 
임)에 대해 K 개의 키포인트를 식별하거나 추출할 수 있다. 출력으로서, 추출기 모듈(208)은 단일 벡터(
)를 생성할 수 있다. 이 벡터는 
(여기서 
임)로 표시될 수 있는 K 개의 (x,y) 쌍의 랜드마크 표현을 포함할 수 있다.
단계 610에서, 제어 모듈(106)은 적어도 식별된 키포인트를 기반으로 구성요소에 대한 최종 품질 메트릭을 예측할 수 있다. 일부 실시형태에서, 예측 모듈(210)은 최종 품질 메트릭을 출력하기 위해 장단기 메모리(LSTM) 모델을 구현할 수 있다.
단계 612에서, 제어 모듈(106)은 최종 품질 메트릭을 원하는 품질 메트릭과 비교할 수 있다. 단계 612에서, 최종 품질 메트릭이 원하는 품질 메트릭의 임계 허용오차라고 제어 모듈(106)이 결정하면, 제조 공정은 원래 명령 세트에 따라 다음 처리 스테이션 또는 노드(예를 들어, 단계 616)로 진행할 수 있다. 그러나, 단계 612에서 최종 품질 메트릭이 원하는 품질 메트릭의 임계 허용오차 내에 있지 않다고 제어 모듈(106)이 결정하면, 단계 614에서 제어 모듈(106)은 다운스트림 처리 스테이션의 공정 파라미터를 조정할 수 있다. 일부 실시형태에서, 제어 모듈(106)은 후속 스테이션(108)의 스테이션 제어기와 인터페이스하여 이들 각각의 제어 및/또는 스테이션 파라미터를 조정할 수 있다. 일부 실시형태에서, 제어 모듈(106)은 생산 라인의 각각의 다운스트림 처리 스테이션에서 수행될 업데이트된 명령을 인간 제조업자에게 제공할 수 있다. 이러한 조정은 최종 품질 메트릭이 허용되는 품질 메트릭 범위 내에 있도록 제조 공정을 수정하는 데 도움이 될 수 있다.
도 6B는 예시적인 실시형태에 따른, 다단계 제조 공정을 수정하는 방법(650)을 도시하는 흐름도이다. 방법(650)은 단계 652에서 시작할 수 있다.
단계 652에서, 제조 시스템(102)에 명령 세트가 제공될 수 있다. 명령 세트는 제조 시스템(102)에 의해 수행될 제조 공정에 대한 명령 세트를 나타낼 수 있다. 일부 실시형태에서, 명령 세트는 각각의 스테이션(108)에 제공될 수 있다. 예를 들어, 각각의 스테이션(108)에 제공되는 각각의 정규 명령 세트는 특정 제조 단계에 대한 공정 파라미터를 정의할 수 있다. 또 다른 예에서, 각각의 정규 명령 세트는 특정 처리 노드 또는 스테이션(108)에서 인간 행위자에 의해 수행될 개별 단계의 비디오일 수 있다.
단계 654에서, 제어 모듈(106)은 모니터링 플랫폼(104)으로부터 툴링(예를 들어, 스테이션(108))의 이미지 데이터를 수신할 수 있다. 예를 들어, 획득 시스템(206)은 각각의 처리 노드에서 조립 공정의 이미지 데이터를 수신할 수 있다. 일부 실시형태에서, 획득 시스템(206)은 V 개의 이미지를 수신할 수 있으며, 여기서 V는 특정 처리 스테이션(108)에서 조립 절차를 기록할 수 있는 모니터링 플랫폼(104)의 카메라의 수를 나타낼 수 있다. 따라서, V 개의 이미지의 각각의 이미지는 처리하는 동안 툴링의 다른 전망을 캡처할 수 있다.
단계 656에서, 제어 모듈(106)은 획득된 이미지 데이터로부터 서브세트의 이미지를 추출할 수 있다. 예를 들어, 이미지 데이터의 수신에 이어, 획득 시스템(206)은 서브세트의 프레임 이미지를 추출하도록 구성될 수 있다. 예를 들어, 획득 시스템(206)은 수신된 이미지 데이터로부터 L 개의 이미지, 즉 랜드마크 프레임을 추출하도록 구성될 수 있다. 추출된 이미지를 랜드마크 프레임이라고 할 수 있다. 랜드마크 프레임은 하이 모션인 이미지 프레임일 수 있으며 제조 공정의 진행 상황을 명확하게 캡처하는 가장 의미 있는 기능을 포함할 수 있다. 추출된 이미지는 구성요소의 특정 랜드마크(
)(여기서 
임)를 포함하는 이미지 또는 프레임을 포함할 수 있으며, 구성요소에 대한 전체 제조 공정을 나타낼 수 있다.
단계 658에서, 제어 모듈(106)은 랜드마크 프레임으로부터 툴링의 하나 이상의 키포인트를 추출할 수 있다. 예를 들어, 추출기 모듈(208)은 L 개의 이미지로부터 키포인트를 추출할 수 있다. 추출기 모듈(208)은 주어진 입력(
) (여기서 
임)에 대해 K 개의 키포인트를 식별하거나 추출할 수 있다. 출력으로서, 추출기 모듈(208)은 단일 벡터(
)를 생성할 수 있다. 이 벡터는 
(여기서 
임)로 표시될 수 있는 K 개의 (x,y) 쌍의 랜드마크 표현을 포함할 수 있다.
단계 660에서, 제어 모듈(106)은 적어도 식별된 키포인트를 기반으로 구성요소에 대한 최종 품질 메트릭을 예측할 수 있다. 일부 실시형태에서, 예측 모듈(210)은 최종 품질 메트릭의 추정치를 출력하기 위해 장단기 메모리(LSTM) 모델을 구현할 수 있다.
단계 662에서, 제어 모듈(106)은 최종 품질 메트릭을 기반으로 구성요소를 분류할 수 있다. 예를 들어, 분류 모듈(215)은 예측 최종 품질 메트릭(
)을 기반으로 구성요소를 하나 이상의 등급으로 분류할 수 있다. 구성요소를 분류하기 위해, 툴링 모듈(202)은 구성요소에 대한 정규 또는 원하는 최종 품질 메트릭(V c )을 수신할 수 있다. 툴링 모듈(202)은 예측 최종 품질 메트릭(
)을 정규 또는 원하는 최종 품질 메트릭(V c )과 비교하여 델타(△ v )를 생성하도록 구성될 수 있다. △ v 의 값에 따라, 분류 모듈(215)은 구성요소를 하나 이상의 등급으로 분류할 수 있다.
일부 실시형태에서, 방법(650)은 동작(단계 664 내지 단계 668)을 더 포함할 수 있다.
단계 614에서, 제어 모듈(106)은 구성요소에 할당된 등급이 허용되는 등급인지 여부를 결정할 수 있다. 단계 614에서 구성요소에 허용되는 등급이 할당되었다고 제어 모듈(106)이 결정하면, 제조 공정은 원래 명령 세트에 따라 다음 처리 스테이션 또는 노드(예를 들어, 단계 616)로 진행할 수 있다. 그러나, 단계 614에서 구성요소에 허용되지 않는 등급이 할당되었다고 제어 모듈(106)이 결정하면, 단계 618에서 제어 모듈(106)은 다운스트림 처리 스테이션의 공정 파라미터를 조정할 수 있다. 일부 실시형태에서, 제어 모듈(106)은 후속 스테이션(108)의 스테이션 제어기와 인터페이스하여 이들 각각의 제어 및/또는 스테이션 파라미터를 조정할 수 있다. 일부 실시형태에서, 제어 모듈(106)은 생산 라인의 각각의 다운스트림 처리 스테이션에서 수행될 업데이트된 명령을 인간 제조업자에게 제공할 수 있다. 이러한 조정은 최종 품질 메트릭이 허용되는 품질 메트릭 범위 내에 있도록 제조 공정을 수정하는 데 도움이 될 수 있다.
도 7은 예시적인 실시형태에 따른, 다단계 제조 공정을 수정하는 방법(700)을 도시하는 흐름도이다. 방법(700)은 단계 702에서 시작할 수 있다.
단계 702에서, 제조 시스템(102)에 명령 세트가 제공될 수 있다. 명령 세트는 제조 시스템(102)에 의해 수행될 제조 공정에 대한 명령 세트를 나타낼 수 있다. 일부 실시형태에서, 명령 세트는 각각의 스테이션(108)에 제공될 수 있다. 예를 들어, 각각의 스테이션(108)에 제공되는 각각의 정규 명령 세트는 특정 제조 단계에 대한 공정 파라미터를 정의할 수 있다. 또 다른 예에서, 각각의 정규 명령 세트는 특정 처리 노드 또는 스테이션(108)에서 인간 행위자에 의해 수행될 개별 단계의 비디오일 수 있다.
단계 704에서, 제어 모듈(106)은 각각의 처리 노드에 있는 구성요소에 해당하는 정보를 식별할 수 있다. 일부 실시형태에서, 시뮬레이션 모듈(216)은 툴링 모듈(202)로부터 툴링 정보를 수신할 수 있다. 툴링 모듈(202)에 의해 생성된 키포인트를 기반으로, 시뮬레이션 모듈(216)은 특정 공정 단계(i)에 있는 구성요소(
)의 상태를 나타내는 표면 모델을 생성하도록 구성될 수 있다. 일부 실시형태에서, 표면 모델은 
로 표현될 수 있다. 일부 실시형태에서, 시뮬레이션 모듈(216)은 구성요소(
)의 품질 메트릭을 생성하거나 추정하도록 더 구성될 수 있다. 표면 모델로부터, 시뮬레이션 모듈(216)은 구성요소(
)의 특정 좌표에 해당하는 점 모델(
)을 생성하도록 구성될 수 있다.
단계 706에서, 제어 모듈(106)은 비가역적 오류가 발생했는지 여부를 결정할 수 있다. 예를 들어, SGD 모듈(212)은 시뮬레이션 모듈(216)로부터 점 모델(
)을 수신할 수 있다. SGD 모듈(212)은 단계(i)에서의 점 모델(
)을 정규 구성요소(
)의 정규 점 모델(
)과 비교함으로써 비가역적 오류(k)가 발생했는지 여부를 결정할 수 있다. SGD 모듈(212)은 점 모델 및 대응하는 정규 점 모델 사이의 하우스도르프 거리를 취함으로써 비가역적 오류를 검출하도록 구성될 수 있다. 각각의 처리 스테이션 또는 노드에서, 현재 구성요소(
)와 정규 구성요소(
) 사이의 하우스도르프 거리가 일부 임계 허용오차를 초과하면 비가역적 오류가 존재할 수 있다.
단계 706에서 제어 모듈(106)이 비가역적 오류가 발생하지 않았다고 결정하면, 제조 공정은 원래 명령 세트에 따라 다음 처리 스테이션 또는 노드(단계 705)로 진행할 수 있다. 그러나, 단계 706에서 제어 모듈(106)이 비가역적 오류가 발생했다고 결정하면, 방법(700)은 단계 708로 진행한다.
단계 708에서, 제어 모듈(106)은 비가역적 오류를 수정하기 위해 업데이트된 세트의 조치를 생성할 수 있다. SGD 모듈(212)은 비가역적 오류(k)인 오류 지점까지의 조치 세트가 주어지면, 업데이트된 조치 세트(
)를 구성할 수 있다. 일부 실시형태에서, 이 업데이트된 조치 세트는 
이라 할 수 있다. 오류 단계(k) 이전에 포함된 단계 또는 조치의 시퀀스는 
라 할 수 있다. 
및 
는 함께 구성요소 
를 정의할 수 있다. 
를 기반으로, SGD 모듈(212)은 확률적 기울기 강하 방법을 사용하여 
을 풀 수 있다. 오류 단계(k) 이전에 포함된 단계 또는 조치의 시퀀스는 
라 할 수 있다. 
및 
는 함께 구성요소 
를 정의할 수 있다. 
를 기반으로, SGD 모듈(212)은 확률적 기울기 강하 방법을 사용하여 
을 풀 수 있다.
단계 710에서, 제어 모듈(106)은 SGD 모듈(212)에 의해 생성된 조치 세트를 기반으로 구성요소에 대한 예측 최종 품질 메트릭을 생성할 수 있다. 예를 들어, GRU 모델(214)은 
을 기반으로 구성요소(
)에 대한 최종 품질 메트릭을 예측하도록 구성될 수 있으며, 여기서 
는 벡터 결합 연산자를 나타낼 수 있다.
단계 712에서, 제어 모듈(106)은 예측 최종 품질 메트릭이 정규 최종 품질 메트릭의 임계 허용오차 내에 있는지 결정할 수 있다. 예를 들어, GRU 모델(214)에 의해 생성된 최종 품질 메트릭은 
이 적절한지를 결정하기 위해 정규 최종 품질 메트릭과 비교될 수 있다. 단계 712에서 예측 품질 메트릭이 임계 허용오차 내에 있다고 제어 모듈(106)이 결정하면, 단계 714에서 제어 모듈(106)은 다운스트림 처리 스테이션의 공정 파라미터를 조정할 수 있다. 일부 실시형태에서, 제어 모듈(106)은 후속 스테이션(108)의 스테이션 제어기와 인터페이스하여 이들 각각의 제어 및/또는 스테이션 파라미터를 조정할 수 있다. 일부 실시형태에서, 제어 모듈(106)은 생산 라인의 각각의 다운스트림 처리 스테이션에서 수행될 업데이트된 명령을 인간 제조업자에게 제공할 수 있다. 이러한 조정은 최종 품질 메트릭이 허용되는 품질 메트릭 범위 내에 있도록 제조 공정을 수정하는 데 도움이 될 수 있다.
그러나, 단계 712에서, 예측 품질 메트릭이 임계 허용오차 내에 있지 않다고 제어 모듈(106)이 결정하면, GRU 모델(214)은 SGD 모듈(212)에 새로운 
을 생성하도록 메시지를 보낼 수 있다. 예를 들어, 방법(700)은 SGD 모듈(212)이 새로운 세트의 업데이트된 조치를 구성하도록 단계 708로 되돌아갈 수 있다.
도 8A는 예시적인 실시형태에 따른 시스템 버스 컴퓨팅 시스템 아키텍처(800)를 도시하고 있다. 시스템(800)의 하나 이상의 구성요소는 버스(805)를 사용하여 서로 전기적으로 통신할 수 있다. 시스템(800)은 프로세서(예를 들어, 하나 이상의 CPU, GPU 또는 다른 유형의 프로세서)(810) 및 판독 전용 메모리(ROM)(820) 및 랜덤 액세스 메모리(RAM)(825)와 같은 시스템 메모리(815)를 포함하는 다양한 시스템 구성요소를 프로세서(810)에 결합시키는 시스템 버스(805)를 포함할 수 있다. 시스템(800)은, 프로세서(810)에 직접 연결되거나, 이에 근접하거나, 이의 일부로서 통합된 고속 메모리의 캐시를 포함할 수 있다. 시스템(800)은 프로세서(810)에 의한 빠른 액세스를 위해 메모리(815) 및/또는 저장 장치(830)로부터 캐시(812)로 데이터를 복사할 수 있다. 이러한 방식으로, 캐시(812)는 데이터를 기다리는 동안의 프로세서(810) 지연을 피하는 성능 향상을 제공할 수 있다. 이들 및 다른 모듈은 다양한 동작을 수행하도록 프로세서(810)를 제어하거나 제어하도록 구성될 수 있다. 다른 시스템 메모리(815)도 사용할 수 있다. 메모리(815)는 다양한 성능 특성을 갖는 다수의 다양한 유형의 메모리를 포함할 수 있다. 프로세서(810)는 단일 프로세서 또는 다수의 프로세서를 나타낼 수 있다. 프로세서(810)는, 프로세서(810)를 제어하도록 구성된, 저장 장치(830)에 저장된 서비스 1(832), 서비스 2(834) 및 서비스 3(836)과 같은, 범용 프로세서 또는 하드웨어 모듈 또는 소프트웨어 모듈, 및 소프트웨어 명령이 실제 프로세서 설계에 통합되는 특수 목적 프로세서 중 하나 이상을 포함할 수 있다. 프로세서(810)는 본질적으로 다수의 코어 또는 프로세서, 버스, 메모리 제어기, 캐시 등을 포함하는 완전히 자체 완비된 컴퓨팅 시스템일 수 있다. 다중 코어 프로세서는 대칭 또는 비대칭일 수 있다.
컴퓨팅 장치(800)와의 사용자 상호작용을 가능하게 하기 위해, 입력 장치(845)는 음성용 마이크, 제스처 또는 그래픽 입력용 터치 감지 스크린, 키보드, 마우스, 모션 입력, 음성 등과 같은 임의의 수의 입력 메커니즘일 수 있다. 출력 장치(835)는 또한 본 기술 분야의 숙련자에게 알려진 다수의 출력 메커니즘 중 하나 이상일 수 있다. 경우에 따라, 다중 모드 시스템은 사용자가 컴퓨팅 장치(800)와 통신하기 위해 여러 유형의 입력을 제공할 수 있도록 할 수 있다. 통신 인터페이스(840)는 일반적으로 사용자 입력 및 시스템 출력을 통제하고 관리할 수 있다. 특정 하드웨어 장치에서 작동하는 데 제한이 없고, 따라서 여기의 기본 기능은 개발될 때 개선된 하드웨어 또는 펌웨어 장치로 쉽게 대체될 수 있다.
저장 장치(830)는 비휘발성 메모리일 수 있고, 자기 카세트, 플래시 메모리 카드, 반도체 메모리 장치, 디지털 다용도 디스크, 카트리지, 랜덤 액세스 메모리(RAM)(825), 판독 전용 메모리(ROM)(820) 및 이들의 하이브리드와 같이, 컴퓨터에 의해 액세스 가능한 데이터를 저장할 수 있는 하드 디스크 또는 다른 유형의 컴퓨터 판독 가능 매체일 수 있다.
저장 장치(830)는 프로세서(810)를 제어하기 위한 서비스(832, 834, 836)를 포함할 수 있다. 다른 하드웨어 또는 소프트웨어 모듈이 고려된다. 저장 장치(830)는 시스템 버스(805)에 연결될 수 있다. 일 양태에서, 특정 기능을 수행하는 하드웨어 모듈은, 기능을 수행하기 위해 프로세서(810), 버스(805), 디스플레이(835) 등과 같은 필요한 하드웨어 구성요소와 관련하여 컴퓨터 판독 가능 매체에 저장된 소프트웨어 구성요소를 포함할 수 있다.
도 8B는 예시적인 실시형태에 따른 칩셋 아키텍처를 갖는 컴퓨터 시스템(850)을 도시하고 있다. 컴퓨터 시스템(850)은 개시된 기술을 구현하기 위해 사용될 수 있는 컴퓨터 하드웨어, 소프트웨어, 및 펌웨어의 예일 수 있다. 시스템(850)은 식별된 계산을 수행하도록 구성된 소프트웨어, 펌웨어 및 하드웨어를 실행할 수 있는 임의의 수의 물리적 및/또는 논리적으로 구별되는 리소스를 나타내는 하나 이상의 프로세서(855)를 포함할 수 있다. 하나 이상의 프로세서(855)는 하나 이상의 프로세서(855)에 대한 입력 및 출력을 제어할 수 있는 칩셋(860)과 통신할 수 있다. 이 예에서, 칩셋(860)은 디스플레이와 같은 출력(865)에 정보를 출력하고, 예를 들어 자기 매체 및 반도체 매체를 포함할 수 있는 저장 장치(870)에 대해 정보를 읽고 기록할 수 있다. 칩셋(860)은 또한 RAM(875)에 대해 데이터를 읽고 기록할 수 있다. 다양한 사용자 인터페이스 구성요소(885)와 인터페이스하기 위한 브리지(880)는 칩셋(860)과 인터페이싱하기 위해 제공될 수 있다. 이러한 사용자 인터페이스 구성요소(885)는 키보드, 마이크로폰, 터치 검출 및 처리 회로, 마우스와 같은 포인팅 장치 등을 포함할 수 있다. 일반적으로, 시스템(850)에 대한 입력은 기계가 생성하고 및/또는 인간이 생성한 다양한 소스 중 임의의 것에서 비롯될 수 있다.
칩셋(860)은 또한 다양한 물리적 인터페이스를 가질 수 있는 하나 이상의 통신 인터페이스(890)와 인터페이스할 수 있다. 이러한 통신 인터페이스는 유선 및 무선 근거리 통신망용, 광대역 무선 통신망용 및 개인 통신망용 인터페이스를 포함할 수 있다. 본원에 개시된 GUI를 생성, 디스플레이 및 사용하기 위한 방법의 일부 응용은 물리적 인터페이스를 통해 정렬된 데이터세트를 수신하는 단계를 포함하거나, 저장 장치(870 또는 875)에 저장된 데이터를 분석하는 하나 이상의 프로세서(855)에 의해 기계 자체에 의해 생성될 수 있다. 또한, 기계는 사용자 인터페이스 구성요소(885)를 통해 사용자로부터 입력을 수신하고, 하나 이상의 프로세서(855)를 사용하여 이러한 입력을 해석함으로써 브라우징 기능과 같은 적절한 기능을 실행할 수 있다.
예시적인 시스템(800 및 850)은 하나 이상의 프로세서(810)를 가질 수 있거나, 더 큰 처리 능력을 제공하기 위해 함께 네트워크화된 컴퓨팅 장치의 그룹 또는 클러스터의 일부일 수 있다는 것을 인식할 수 있을 것이다.
상기한 내용은 본원에 설명된 실시형태에 관한 것이지만, 그 기본 범위를 벗어나지 않으면서 다른 및 추가 실시형태가 고안될 수 있다. 예를 들어, 본 개시의 양태는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 본원에 설명된 일 실시형태는 컴퓨터 시스템과 함께 사용하기 위한 프로그램 제품으로 구현될 수 있다. 프로그램 제품의 프로그램(들)은 실시형태의 기능(본원에 설명된 방법을 포함함)을 정의하고, 다양한 컴퓨터 판독 가능 저장 매체에 포함될 수 있다. 예시적인 컴퓨터 판독 가능 저장 매체는: (i) 정보가 영구적으로 저장되는 기록 불가능한 저장 매체(예를 들어, CD-ROM 드라이브로 판독 가능한 CD-ROM 디스크와 같은 컴퓨터 내의 판독 전용 메모리(ROM) 장치, 플래시 메모리, ROM 칩, 또는 임의의 유형의 반도체 비휘발성 메모리); 및 (ii) 변경 가능한 정보가 저장되는 기록 가능한 저장 매체(예를 들어, 디스켓 드라이브 또는 하드 디스크 드라이브 내의 플로피 디스크 또는 임의의 유형의 반도체 랜덤 액세스 메모리)를 포함하지만 이에 한정되지는 않는다. 이러한 컴퓨터 판독 가능 저장 매체는 개시된 실시형태의 기능을 지시하는 컴퓨터 판독 가능 명령을 운반할 때 본 개시의 실시형태이다.
앞의 예들은 예시적이며 제한적이지 않다는 것이 본 기술 분야의 숙련자는 인정할 것이다. 이에 대한 모든 치환, 향상, 등가물 및 개선은 명세서를 읽고 도면을 연구할 때 본 기술 분야의 숙련자에게 자명한 것으로 본 개시의 진정한 사상 및 범위 내에 포함되기 위한 것이다. 따라서 다음의 첨부된 청구범위는 이러한 교시의 진정한 사상 및 범위에 속하는 모든 수정, 치환 및 등가물을 포함하기 위한 것이다.
Claims (20)
- 하나 이상의 스테이션과, 모니터링 플랫폼, 및 제어 모듈을 포함하는 제조 시스템으로서,
각각의 스테이션은 구성요소에 대한 다단계 제조 공정에서 적어도 하나의 단계를 수행하도록 구성되고;
모니터링 플랫폼은 다단계 제조 공정 전반에 걸쳐 구성요소의 진행 상황을 모니터링하도록 구성되고; 및
제어 모듈은 구성요소에 대한 원하는 최종 품질 메트릭을 달성하기 위해 다단계 제조 공정의 하나의 단계의 공정 파라미터를 동적으로 조정하도록 구성되고, 제어 모듈은:
하나 이상의 스테이션 중 제 1 스테이션의 툴링의 이미지 데이터를 수신하는 단계와;
이미지 데이터로부터 한 세트의 키포인트를 식별하는 단계로서, 한 세트의 키포인트는 제 1 스테이션에서 처리하는 동안의 툴링의 위치 정보에 해당하는, 단계와;
기계 학습 모델에 의해, 한 세트의 키포인트를 기반으로 구성요소에 대한 최종 품질 메트릭을 결정하는 단계; 및
결정을 기반으로, 기계 학습 모델에 의해 생성된 최종 품질 메트릭과 구성요소에 대한 정규 최종 품질 메트릭 간의 비교를 기반으로 구성요소에 구성요소 등급을 할당하는 단계를 포함하는 동작을 수행하도록 구성되는, 제조 시스템.
- 제 1 항에 있어서,
동작은:
최종 품질 메트릭이 최종 품질 메트릭으로부터의 임계 허용오차 내에 있지 않다고 결정하는 단계; 및
결정을 기반으로, 다단계 제조 공정 내의 후속 스테이션의 공정 파라미터를 업데이트하는 단계를 더 포함하는, 제조 시스템.
- 제 1 항에 있어서,
최종 품질 메트릭은 구성요소의 처리가 완료될 때까지 측정될 수 없는, 제조 시스템.
- 제 1 항에 있어서,
이미지 데이터는 다수의 이미지를 포함하고, 각각의 이미지는 각각의 카메라에 대응하는, 제조 시스템.
- 제 1 항에 있어서,
동작은:
이미지 데이터로부터 서브세트의 이미지를 추출하는 단계를 더 포함하고, 서브세트의 이미지의 각각의 이미지는 제 1 스테이션의 툴링을 포함하는, 제조 시스템.
- 제 1 항에 있어서,
이미지 데이터로부터 한 세트의 키포인트를 식별하는 단계는:
이미지 데이터 내의 툴링의 위치를 식별하기 위해 이미지 데이터에 블롭 검출을 적용하는 단계를 포함하는, 제조 시스템.
- 제 5 항에 있어서,
동작은:
이미지 데이터 내의 툴링에 해당하는 다수의 점을 생성하는 단계를 더 포함하는 제조 시스템.
- 제 1 항에 있어서,
기계 학습 모델은 장단기 메모리(LSTM) 모델인, 제조 시스템.
- 제조 시스템의 하나 이상의 스테이션을 포함하는 다단계 제조 공정을 제어하기 위한 컴퓨터 구현 방법으로서, 각각의 스테이션은 구성요소에 대한 다단계 제조 공정에서 적어도 하나의 단계를 수행하도록 구성되고,
방법은:
제조 시스템과 관련된 컴퓨팅 시스템에 의해, 하나 이상의 스테이션 중 제 1 스테이션의 툴링의 이미지 데이터를 수신하는 단계와;
컴퓨팅 시스템에 의해, 이미지 데이터로부터 한 세트의 키포인트를 식별하는 단계로서, 한 세트의 키포인트는 제 1 스테이션에서 처리하는 동안의 툴링의 위치 정보에 해당하는, 단계와;
컴퓨팅 시스템과 관련된 기계 학습 모델에 의해, 한 세트의 키포인트를 기반으로 구성요소에 대한 최종 품질 메트릭을 결정하는 단계; 및
결정을 기반으로, 컴퓨팅 시스템에 의해, 기계 학습 모델에 의해 생성된 최종 품질 메트릭과 구성요소에 대한 정규 최종 품질 메트릭 간의 비교를 기반으로 구성요소에 구성요소 등급을 할당하는 단계를 포함하는 컴퓨터 구현 방법.
- 제 9 항에 있어서,
컴퓨터 시스템에 의해, 최종 품질 메트릭이 최종 품질 메트릭으로부터의 임계 허용오차 내에 있지 않다고 결정하는 단계; 및
결정을 기반으로, 컴퓨터 시스템에 의해, 다단계 제조 공정 내의 후속 스테이션의 공정 파라미터를 업데이트하는 단계를 더 포함하는 컴퓨터 구현 방법.
- 제 9 항에 있어서,
최종 품질 메트릭은 구성요소의 처리가 완료될 때까지 측정될 수 없는, 컴퓨터 구현 방법.
- 제 9 항에 있어서,
이미지 데이터는 다수의 이미지를 포함하고, 각각의 이미지는 각각의 카메라에 대응하는, 컴퓨터 구현 방법.
- 제 9 항에 있어서,
이미지 데이터로부터 서브세트의 이미지를 추출하는 단계를 더 포함하고, 서브세트의 이미지의 각각의 이미지는 제 1 스테이션의 툴링을 포함하는, 컴퓨터 구현 방법.
- 제 9 항에 있어서,
컴퓨터 시스템에 의해, 이미지 데이터로부터 한 세트의 키포인트를 식별하는 단계는:
이미지 데이터 내의 툴링의 위치를 식별하기 위해 이미지 데이터에 블롭 검출을 적용하는 단계를 포함하는, 컴퓨터 구현 방법.
- 제 14 항에 있어서,
컴퓨터 시스템에 의해, 이미지 데이터 내의 툴링에 해당하는 다수의 점을 생성하는 단계를 더 포함하는 컴퓨터 구현 방법.
- 제 9 항에 있어서,
기계 학습 모델은 장단기 메모리(LSTM) 모델인, 컴퓨터 구현 방법.
- 하나 이상의 스테이션과, 모니터링 플랫폼, 및 제어 모듈을 포함하는 제조 시스템으로서,
각각의 스테이션은 구성요소에 대한 다단계 제조 공정에서 적어도 하나의 단계를 수행하도록 구성되고;
모니터링 플랫폼은 다단계 제조 공정 전반에 걸쳐 구성요소의 진행 상황을 모니터링하도록 구성되고; 및
제어 모듈은 구성요소에 대한 원하는 최종 품질 메트릭을 달성하기 위해 다단계 제조 공정의 하나의 단계의 공정 파라미터를 동적으로 조정하도록 구성되고, 제어 모듈은:
하나 이상의 스테이션 중 제 1 스테이션의 툴링의 이미지 데이터를 수신하는 단계와;
이미지 데이터로부터 한 세트의 키포인트를 식별하는 단계로서, 한 세트의 키포인트는 제 1 스테이션에서 처리하는 동안의 툴링의 위치 정보에 해당하는, 단계와;
기계 학습 모델에 의해, 한 세트의 키포인트를 기반으로 구성요소에 대한 최종 품질 메트릭을 결정하는 단계와;
결정을 기반으로, 기계 학습 모델에 의해 생성된 최종 품질 메트릭과 구성요소에 대한 정규 최종 품질 메트릭 간의 비교를 기반으로 구성요소에 구성요소 등급을 할당하는 단계와;
할당을 기반으로, 구성요소에 할당된 등급이 허용되는 등급이 아님을 결정하는 단계와;
결정을 기반으로, 제 1 스테이션에 있는 구성요소에 대응하는 위치 정보를 추론하는 단계와;
결정을 기반으로, 다운스트림 스테이션에 의해 수행될 업데이트된 명령 세트를 생성하는 단계와;
기계 학습 모델에 의해, 업데이트된 명령 세트를 기반으로 구성요소에 대한 최종 품질 메트릭을 예측하는 단계; 및
예측 최종 품질 메트릭을 기반으로, 업데이트된 명령 세트를 다운스트림 스테이션에 제공하는 단계를 포함하는 동작을 수행하도록 구성되는, 제조 시스템.
- 제 17 항에 있어서,
최종 품질 메트릭은 구성요소의 처리가 완료될 때까지 측정될 수 없는, 제조 시스템.
- 제 18 항에 있어서,
동작은:
구성요소에 대응하는 위치 정보를 기반으로, 비가역적 오류가 존재하는지를 결정하는 단계를 더 포함하는, 제조 시스템.
- 제 19 항에 있어서,
동작은:
구성요소의 좌표에 해당하는 한 세트의 키포인트를 정규 구성요소에 해당하는 정규 세트의 키포인트와 비교하는 단계를 더 포함하는, 제조 시스템.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202062986987P | 2020-03-09 | 2020-03-09 | |
| US17/091393 | 2020-11-06 | ||
| US17/091,393 US20210132593A1 (en) | 2019-11-06 | 2020-11-06 | Systems, Methods, and Media for Manufacturing Processes |
| PCT/US2021/021440 WO2021183468A1 (en) | 2020-03-09 | 2021-03-09 | Systems, methods, and media for manufacturing processes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220154135A true KR20220154135A (ko) | 2022-11-21 |
Family
ID=77671945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227034408A KR20220154135A (ko) | 2020-03-09 | 2021-03-09 | 제조 공정을 위한 시스템, 방법 및 매체 |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP4118512A4 (ko) |
| JP (1) | JP2023516776A (ko) |
| KR (1) | KR20220154135A (ko) |
| CN (1) | CN115210744A (ko) |
| TW (1) | TWI801820B (ko) |
| WO (1) | WO2021183468A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114580876B (zh) * | 2022-02-24 | 2023-02-10 | 山西省交通新技术发展有限公司 | 一种基于节能环保的能源数据采集分析管控系统及方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100201020B1 (ko) | 1994-03-11 | 1999-06-15 | 모리시타 요이찌 | 컴퓨터시뮬레이션부착 nc제어미세가공방법과 이 방법에 사용하는 장치 |
| US7130710B2 (en) * | 2002-08-07 | 2006-10-31 | Kimberly-Clark Worldwide, Inc. | System and method for tracking and exploiting per station information from a multiple repeat manufacturing device |
| WO2004044689A2 (en) * | 2002-11-06 | 2004-05-27 | Geometric Informatics Inc. | Analysis of geometric surfaces by conformal structure |
| US7526463B2 (en) | 2005-05-13 | 2009-04-28 | Rockwell Automation Technologies, Inc. | Neural network using spatially dependent data for controlling a web-based process |
| MX2008001785A (es) * | 2005-08-05 | 2008-11-10 | Pfizer Prod Inc | Fabricacion en lotes automatizada. |
| JP2016157357A (ja) * | 2015-02-26 | 2016-09-01 | 株式会社日立製作所 | 作業者品質管理方法及び作業者品質管理装置 |
| US10176408B2 (en) * | 2015-08-14 | 2019-01-08 | Elucid Bioimaging Inc. | Systems and methods for analyzing pathologies utilizing quantitative imaging |
| US11132787B2 (en) * | 2018-07-09 | 2021-09-28 | Instrumental, Inc. | Method for monitoring manufacture of assembly units |
| CN110709688B (zh) * | 2017-04-13 | 2022-03-18 | 英卓美特公司 | 用于预测在装配单元中的缺陷的方法 |
| US9977425B1 (en) * | 2017-07-14 | 2018-05-22 | General Electric Company | Systems and methods for receiving sensor data for an operating manufacturing machine and producing an alert during manufacture of a part |
| US11511373B2 (en) * | 2017-08-25 | 2022-11-29 | Massachusetts Institute Of Technology | Sensing and control of additive manufacturing processes |
| US11054811B2 (en) * | 2017-11-03 | 2021-07-06 | Drishti Technologies, Inc. | Systems and methods for line balancing |
| WO2019182913A1 (en) | 2018-03-20 | 2019-09-26 | Tokyo Electron Limited | Self-aware and correcting heterogenous platform incorporating integrated semiconductor processing modules and method for using same |
| US10733723B2 (en) * | 2018-05-22 | 2020-08-04 | Midea Group Co., Ltd. | Methods and system for improved quality inspection |
| US11225039B2 (en) * | 2018-06-08 | 2022-01-18 | Aurora Flight Sciences Corporation | Systems and methods to automate composite manufacturing quality checks |
| TWI696959B (zh) * | 2018-06-12 | 2020-06-21 | 蟲洞科技股份有限公司 | 機台參數擷取裝置 |
| US10481579B1 (en) * | 2019-02-28 | 2019-11-19 | Nanotronics Imaging, Inc. | Dynamic training for assembly lines |
-
2021
- 2021-03-09 TW TW110108313A patent/TWI801820B/zh active
- 2021-03-09 WO PCT/US2021/021440 patent/WO2021183468A1/en active Application Filing
- 2021-03-09 EP EP21767468.8A patent/EP4118512A4/en active Pending
- 2021-03-09 KR KR1020227034408A patent/KR20220154135A/ko unknown
- 2021-03-09 JP JP2022553668A patent/JP2023516776A/ja active Pending
- 2021-03-09 CN CN202180017739.1A patent/CN115210744A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| TW202333014A (zh) | 2023-08-16 |
| EP4118512A1 (en) | 2023-01-18 |
| EP4118512A4 (en) | 2024-04-03 |
| WO2021183468A1 (en) | 2021-09-16 |
| TW202147051A (zh) | 2021-12-16 |
| JP2023516776A (ja) | 2023-04-20 |
| CN115210744A (zh) | 2022-10-18 |
| TWI801820B (zh) | 2023-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7320885B2 (ja) | 製造プロセスのためのシステム、方法、および媒体 | |
| US20210311440A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
| US11117328B2 (en) | Systems, methods, and media for manufacturing processes | |
| US20210263495A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
| US20210138735A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
| CN115769235A (zh) | 提供与训练函数的准确度有关的警报的方法和系统 | |
| Sinha et al. | Object shape error response using Bayesian 3-D convolutional neural networks for assembly systems with compliant parts | |
| KR20220154135A (ko) | 제조 공정을 위한 시스템, 방법 및 매체 | |
| JP7517740B2 (ja) | 製造プロセスのためのシステム、方法、および媒体 | |
| US12125236B2 (en) | Systems, methods, and media for manufacturing processes | |
| US20210192779A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
| TWI854583B (zh) | 用於製造流程之系統及方法 | |
| EP4354336A1 (en) | Automatic generation of as-run results in a three demensional model using augmented reality | |
| JP2023145546A (ja) | 製造プロセスのためのシステム、方法、および媒体 |