KR20220005434A

KR20220005434A - 조립 라인에 대한 조립 오차 수정

Info

Publication number: KR20220005434A
Application number: KR1020217030700A
Authority: KR
Inventors: 매튜 씨. 풋맨; 바딤 핀스키; 은솔 김; 앤드류 선드스트롬
Original assignee: 나노트로닉스 이미징, 인코포레이티드
Priority date: 2019-04-19
Filing date: 2020-04-20
Publication date: 2022-01-13
Also published as: JP2022522159A; JP7207790B2; CN113544604A; JP2023040079A

Abstract

개시된 기술의 양태는, 수동 조립 공정 동안 오차를 검출하고, 및 검출된 오차를 완화하기 위해, 수동 조립 공정을 완료하기 위한 단계의 순서를 결정하기 위해 기계 학습을 활용하는 계산 모델을 제공한다. 일부 구현형태에서, 개시된 기술은 공칭 물체에 대해 오차가 검출되는 조립 공정의 단계에서 표적 물체를 평가하여 비교를 얻는다. 이 비교를 기반으로, 표적 물체의 조립 공정을 완료하기 위한 단계의 순서가 얻어진다. 표적 물체를 생성하기 위한 조립 지시는 이런한 단계의 순서를 기반으로 수정된다.

Description

조립 라인에 대한 조립 오차 수정

관련 출원에 대한 교차 참조

본 출원은 2019년 2월 28일 출원된 "조립 라인을 위한 동적 훈련(DYNAMIC TRAINING FOR ASSEMBLY LINES)"이라는 명칭의 미국 특허 출원 제16/289,422호(현재는 미국 특허 제10,481,579호)의 계속 출원인, 2019년 9월 30일 출원된 "조립 라인을 위한 동적 훈련(DYNAMIC TRAINING FOR ASSEMBLY LINES)"이라는 명칭의 미국 특허 출원 제16/587,366호의 일부 계속 출원이다. 또는 본 출원은 2019년 4월 19일 출원된 "제조에서의 의사 결정 및 조립 최적화를 위한 컴퓨팅 모델(A COMPUTATION MODEL FOR DECISION-MAKING AND ASSEMBLY OPTIMIZATION IN MANUFACTURING)"이라는 명칭의 미국 가출원 제62/836,192호; 2019년 11월 6일 출원된 "제조에서의 의사 결정 및 조립 최적화를 위한 컴퓨팅 모델(A COMPUTATION MODEL FOR DECISION-MAKING AND ASSEMBLY OPTIMIZATION IN MANUFACTURING)"이라는 명칭의 미국 가출원 제62/931,448호; 및 2019년 11월 7일 출원된 "수동 조립 비디오 분석을 위한 딥 러닝 품질 예측기(DEEP LEARNING QUALITY PREDICTOR FOR MANUAL ASSEMBLY VIDEO ANALYSIS)"라는 명칭의 미국 가출원 제62/932,063호의 이익을 청구한다. 상기한 출원 및 특허의 전체 내용이 본원에 참조로 포함된다.

주제 기술은 조립 라인 잡업 흐름에 대한 개선을 제공하고, 특히 기계 학습 모델을 사용하여 수행된 피드백 및 피드포워드 오차-전파 예측(error-propagation prediction)을 기반으로 조립 라인 오퍼레이터 지시(operator instruction)를 적응적으로 업데이트하기 위한 시스템 및 방법을 포함한다. 아래에서 더 자세히 논의되는 바와 같이, 기술의 일부 양태는 제조 또는 조립 편차에 대해 수행된 추론을 기반으로 하나 이상의 오퍼레이터 스테이션에 제공되는 안내 비디오를 자동으로 수정하기 위한 시스템 및 방법을 포함한다.

기존의 조립 라인 잡업 흐름에서, 제조 오차를 검출하고, 하류 공정에서의 수정을 통해 오차를 교정할 수 있는 방법을 결정하기 위해서는 인간(오퍼레이터) 모니터링 및 전문 지식이 필요하다. 조립과 제조, 및 조립 라인과 생산 라인은 본원에서 상호 교환적으로 사용되는 것에 주목한다. 인간의 조립 오차 검출에 대한 의존으로 인해, 오차가 눈에 띄지 않고(또는 보고되지 않고), 나중에 조립 공정의 하류로 전파될 가능성이 높다. 또한, 많은 조립 작업자는 좁은 범위의 작업만 수행하도록 훈련을 받으므로, 조립 잡업 흐름의 상류에서 발생하는 오차를 최상으로 시정하기 위해 자신의 잡업 흐름을 수정하는 방법을 인식하지 못할 수 있다.

종래의 제조 잡업 흐름에서, 수동 검사 공정의 한 부분에서 인간의 오차를 수정하는 것은 종종 해당 인간 노드에 대한 시정 조치를 취함으로써 처리된다. 해당 인간에게 계속해서 문제가 있는 경우, 그녀는 종종, 우리 모두와 같은, 많은 동일한 제한 사항에 취약한 또 다른 인간으로 대체된다. 오차 없이 몇 년 동안 긴 낮과 밤에 걸쳐 작업을 반복하는 것은 어려우며, 시정 조치를 취하는 것은 대부분의 조립자의 권리가 아니다. 이러한 권한이 부여되더라도, 일관성이 없을 것이며, 단일 프로세스 노드의 적용에서 인간이 가진 경험에 의해서만 정보가 제공될 것이다. 또한, 어떠한 실수로부터, 또는 심지에 긍정적인 시정 조치로부터 학습할 수 있는 메커니즘도 없다.

또한, 조립 라인의 전자 모니터링은 제한적이며, 상류 단계에서 발생한 오차를 보상하기 위해 조립 라인의 하류 단계에 대해 즉각적인 조정을 제공하는 강력한 메커니즘을 포함하지 않는다. 게다가, 오퍼레이터 모션의 변화 및/또는 조립 패턴의 변화가 생성된 제조 제품에 어떻게 영향을 미치는지 평가하고, 제조 제품의 성능 및/또는 특성을 개선하기 위한 시정 조치를 제공하기 위해 새로운 메커니즘이 필요하다.

일부 양태에서, 개시된 기술은 조립 라인에서 잡업 흐름을 최적화하기 위한 방법에 관한 것으로, 방법은: 표적 물체(target object)의 조립 단계에서 표적 물체의 조립 오차를 검출하는 단계와; 조립 공정의 단계에서의 표적 물체 및 공칭 물체(nominal object)를 평가하여 비교를 얻는 단계; 및 비교를 기반으로, 표적 물체와 공칭 물체 간의 편차를 최소화하는 데 필요한 단계의 순서를 결정하는 단계를 포함한다. 일부 양태에서, 방법은 단계의 순서를 기반으로 표적 물체에 대한 조립 지시를 수정하는 단계들을 더 포함할 수 있다.

또 다른 양태에서, 개시된 기술은 조립 라인에서 잡업 흐름을 최적화하기 위한 시스템을 포함하며, 시스템은, 표적 물체의 조립 공정 동안 오퍼레이터의 움직임을 캡처하기 위해 각각 다른 위치에 배치되는 다수의 이미지 캡처 장치, 및 오퍼레이터에 제공되는 안내 및 지시를 자동으로 수정하도록 구성된 조립 지시 모듈로서, 다수의 이미지 캡처 장치에 결합되는 조립 지시 모듈을 포함한다. 조립 지시 모듈은, 다수의 이미지 캡처 장치로부터 모션 데이터를 수신하는 동작으로서, 모션 데이터는 표적 물체를 조립하기 위한 오퍼레이터에 의한 일련의 단계의 수행에 대응하는, 동작, 및 모션 데이터를 기반으로 그리고 일련의 단계 중 하나의 단계에서, 표적 물체의 조립 오차를 결정하는 동작을 포함하는 동작을 수행하도록 구성될 수 있다. 일부 구현형태에서, 조립 지시 모듈은, 일련의 단계 중 하나의 단계에서의 표적 물체 및 공칭 물체를 평가하여 비교를 얻는 동작과, 비교를 기반으로, 표적 물체와 공칭 물체 간의 편차를 최소화하는 데 필요한 단계의 순서를 결정하는 동작, 및 단계의 순서를 기반으로 오퍼레이터에게 제공되는 조립 지시를 수정하는 동작을 수행하도록 더 구성될 수 있다. 수정된 조립 지시의 형태는 모션 데이터의 생성되거나 편집된 비디오, 식별된 편차의 자연어 처리(natural language processing, NLP)로부터의 텍스트 기반 지시, 또는 오퍼레이터(들)에 대한 기타 피드백 메커니즘을 포함할 수 있지만 이에 한정되지 않는다.

또 다른 양태에서, 개시된 기술은 명령이 저장된 비일시적 컴퓨터 판독 가능 매체에 관한 것으로, 명령은, 하나 이상의 프로세서에 의해 실행될 때, 프로세서로 하여금, 표적 물체의 조립 공정의 단계에서 표적 물체의 조립 오차를 검출하는 동작과, 조립 공정의 단계에서의 표적 물체 및 공칭 물체를 평가하여 비교를 얻는 동작과, 비교를 기반으로, 표적 물체와 공칭 물체 간의 편차를 최소화하는 데 필요한 단계의 순서를 결정하는 동작을 포함하는 명령을 실행하게 하도록 구성된다. 일부 구현형태에서, 명령은, 프로세서로 하여금, 단계의 순서를 기반으로 표적 물체에 대한 조립 지시를 수정하는 동작을 수행하게 하도록 더 구성될 수 있다.

주제 기술의 특정 특징은 첨부된 청구항에 명시되어 있다. 그러나, 더 많은 이해를 제공하기 위해 포함된 첨부 도면은 개시된 양태를 예시하고, 설명과 함께 주제 기술의 원리를 설명하는 역할을 한다, 도면에서:
도 1은 개시된 기술의 일부 양태에 따른, 예시적인 생산 라인 배치의 흐름도를 개념적으로 도시한다.
도 2는 개시된 기술의 일부 양태에 따른, 주어진 오퍼레이터 스테이션에서 조립 오차 수정을 수행하기 위한 프로세스의 예를 도시한다.
도 3은 주제 기술의 일부 양태가 구현될 수 있는 전자 시스템의 예를 도시한다.

아래에 제시된 상세한 설명은 주제 기술의 다양한 구성에 대해 설명하기 위한 것이며, 주제 기술이 실시될 수 있는 유일한 구성을 나타내기 위한 것은 아니다. 첨부된 도면은 본원에 포함되며 상세한 설명의 일부를 구성한다. 상세한 설명은 주제 기술에 대한 보다 철저한 이해를 제공하기 위한 목적으로 구체적인 세부 사항을 포함한다. 그러나, 주제 기술은 본원에 제시된 구체적인 세부 사항에 한정되지 않고, 이러한 세부 사항 없이 실시될 수 있음은 명확하고 명백할 것이다. 경우에 따라, 주제 기술의 개념을 모호하게 하는 것을 피하기 위해 구조와 구성요소는 블록도 형태로 도시된다.

개시된 기술의 양태는, 생산 라인 조립 및 생성된 제조 제품을 추적하고, 훈련시키며, 점진적으로 개선하기 위한 방법을 제공함으로써, 종래의 조립 라인 공정 흐름의 상기한 제한 사항을 해결한다. 각각의 조립 오퍼레이터에게 동적 시각적 또는 다른 피드백 및 지시를 제공함으로써 개선이 실현되며, 일부 구현형태에서, 오퍼레이터 피드백은, 생산 라인의 하나 이상의 지점에서 검출된 조립 오차, 비효율적인 공정 및/또는 모션, 열악한 제품을 포함할 수 있지만 이에 한정되지 않는 오차를 기반으로 한다.

개시된 기술을 구현함으로써, 예를 들어 준-실시간 오차 검출을 기반으로 각각의 스테이션(또는 모든 스테이션)에 제공되는 참조/지시 정보를 신속하게 수정 및 변경함으로써, 오차 수정 속도는 수동 구현 방법보다 크게 향상될 수 있다. 본원에 기술된 일부 실시형태는 비디오 형태의 참조/지시 정보의 사용을 논의하지만, 다른 형식도 고려된다. 예를 들어, 조립/제조 지시는 청각적, 시각적, 텍스트 및/또는 촉각적 신호로서 또는 기타 참조 형태로 조립 오퍼레이터에게 제공될 수 있다. 예로서, 청각적 지시 정보는 음성 지시 또는 다른 청각적 표시기를 포함할 수 있다. 시각적 조립 지시 정보는 증강 현실(A/R) 또는 가상 현실(V/R) 시스템 사용과 같은 비디오 또는 애니메이션 형식을 포함할 수 있다. 일부 양태에서, 시각적 조립 지시는, 가공물(또는 도구)이 조립 라인 내의 주어진 스테이션에서 오퍼레이터에 의해 조작되는 방법에 대한 예를 제공하는 애니메이션으로서 제공될 수 있다. 또한, 일부 양태에서, 조립/제조 지시는, 예를 들어, 로봇 조립 오퍼레이터 또는 기계 조립 오퍼레이터에 의해 수신되고 구현될 수 있는 기계 지시를 포함할 수 있다. 본원에서 사용된 오퍼레이터라는 용어는 제조 제품을 조립하기 위해 모션을 사용하는 인간, 로봇 또는 기계를 의미할 수 있다. 또한, 오퍼레이터라는 용어는, 인간 오퍼레이터가 로봇 또는 기계 도구와 함께 작업하거나 이에 의해 도움을 받는 경우와 같이, 인간이 보조하는 제조 구현형태를 포함한다.

조립/제조 지시가 참조/지시 비디오로서 제공되는 경우, 이러한 비디오는 때때로 표준 운영 프로토콜(standard operating protocol, SOP)이라고 한다. 개시된 기술의 시스템은, 예를 들어 각각의 오퍼레이터에 대해 비디오 카메라 및 디스플레이를 사용하여, 최소한의 하드웨어 요구사항으로 인해, 효율적으로 배치될 수 있는 반면, 기계 학습 훈련, 업데이트 및 오차 전파는 컴퓨팅 클러스터 또는 클라우드 환경에서와 같은 중앙 컴퓨팅 리소스에서 수행될 수 있다.

일부 양태에서, 비디오 지시 정보는 증강 현실 디스플레이의 일부로서 하나 이상의 오퍼레이터에게 제공될 수 있다. 즉, 표준 조립/제조 방법의 지시 또는 편차는 증강 현실을 사용하여 오퍼레이터에게 전달될 수 있으며, 여기서 디스플레이는 향상된 비디오, 애니메이션 그래픽, 및/또는 녹화된 시나리오에 해당하는 비디오 데이터의 혼합으로서 제공된다. 예를 들어, 증강 현실 디스플레이는 조립 중인 가공물 및/또는 조립/제조 공정에서 사용되는 도구의 실시간 피드에 대해 애니메이션 또는 그래픽 오버레이(graphical overlay)로서 제공되는 지시 또는 안내를 제공할 수 있다.

일부 구현형태에서, 개시된 기술의 시스템은 생산 라인 내의 다양한 오퍼레이터 스테이션에 배치된 하나 이상의 비디오 또는 모션 캡처 장치를 포함한다. 캡처 장치는 해당 특정 스테이션에서 오퍼레이터의 모션/부품, 장치, 재료 또는 기타 도구("구성요소")와의 상호작용을 녹화하도록 구성된다. 일부 양태에서, 오퍼레이터 모션은 비디오 녹화를 사용하여 캡처될 수 있지만, 예를 들어 오퍼레이터 모션 및/또는 오퍼레이터의 도구 또는 제조 제품과의 상호작용을 나타내는 3D 포인트 클라우드(3D point cloud)를 사용하는, 다른 모션 캡처 방식이 고려된다. 또한, 특정 스테이션에 대한 한 명 또는 여러 명의 전문가의 모션, 및 해당 스테이션에서의 전문가의 구성요소와의 상호작용을 녹화함으로써, 각각의 스테이션에 대한 참조 비디오가 생성될 수 있다. 이 비디오는 전문가의 행동의 단일 예 또는 다수의 예로부터 생성될 수 있다. 각각의 전문가에 대한 모션 경로가 추출될 수 있으며, 여러 전문가 또는 여러 가지 예가 사용되는 실시형태에서, 일련의 추출된 모션 경로(예를 들어, 평균)에 대해 계산이 수행되어 특정 스테이션에 대한 참조 비디오를 생성할 수 있다. 참조 비디오는 특정 스테이션에서 수행될 모션 경로의 디지털 또는 애니메이션 렌더링 형태일 수 있다. 전문가는 안내가 제공되는 특정 조립 단계에 대해 숙련되거나 지식이 있는 인간을 의미할 수 있다는 것에 주목한다.

일부 실시형태에서, 생산 라인 내의 다양한 오퍼레이터 스테이션에 배치된 비디오 또는 모션 캡처 장치는 또한, 조립 오차를 계산하기 위해 사용될 수 있는, 각각의 스테이션에서의 가공물/구성요소/도구의 속성(예를 들어, 품질, 인장 강도, 결함의 수)을 캡처할 수 있다.

오퍼레이터의 상호작용을 이들의 각각의 스테이션에서 캡처함으로써, 캡처된 상호작용을 이상화된/숙련된 오퍼레이터 상호작용/잡업 흐름을 나타내는 기준(실제) 모델과 비교함으로써 오퍼레이터 오차가 검출될 수 있다. 즉, 이상화된 상호작용 모델로부터의 오퍼레이터 편차는, 예를 들어 다양한 스테이션에 제공되는 오퍼레이터 지시/안내를 변경함으로써, 조립 체인의 다양한 위치에서 수정될 수 있는 조립 오차를 계산하기 위해 사용될 수 있다. 또한, 구성요소의 품질은 각각의 스테이션에서 캡처될 수 있고, 해당 스테이션의 기준 구성요소와 비교될 수 있다. 기준 구성요소로부터의 구성요소의 편차는 또한, 특정 스테이션에서의 구성요소에 품질 등급을 지정하거나, 다양한 스테이션으로 제공된 오퍼레이터 지시/안내를 변경함으로써 수정될 수 있는 오퍼레이터/조립 오차를 계산하기 위해 사용될 수 있다.

조립 수정은 원하는 구현형태에 따라 다양한 방식으로 수행될 수 있다. 일부 양태에서, 오퍼레이터 변화/오차는, 예를 들어 부품을 품질 등급(예를 들어, A, B, C 등)으로 분류하고 이후 이러한 부품을 적절한 생산 라인으로 보냄으로써, 분류를 수행하기 위해 사용될 수 있다. 또 다른 양태에서, 검출된 조립 오차는 품질을 개선하고 변화를 줄이기 위해 주어진 스테이션에서 공정을 변경하기 위해 사용될 수 있다. 즉, 검출된 조립 오차는, 예를 들어 해당 스테이션에서 발생한 오차를 시정(예를 들어, 스테이션 내 재작업)하기 위해, 동일한 스테이션에 지시 또는 안내를 자동으로 제공하기 위해 사용될 수 있다. NLP는 오퍼레이터에 대한 지시 또는 안내를 처리하기 위해 사용될 수 있다. 예를 들어, NLP는 음성 지시를 텍스트 형태로 번역하거나 텍스트 지시를 음성 형태로 번역하기 위해 사용될 수 있다.

예를 들어, 조립 오차 검출은, 오차가 발생하는 것으로 알려진 주어진 스테이션에 제공되는 오퍼레이터 지시 또는 비디오에 대한 업데이트/변경을 수행하기 위해 사용될 수 있다. 예를 들어, 오차/편차가 제 1 스테이션에서 작업하는 제 1 오퍼레이터에서 비롯된 것으로 식별되면, 예를 들어 제 1 스테이션의 디스플레이 장치를 통해 제 1 오퍼레이터에게 제공되는 조립 지시는, 제 1 스테이션을 떠나는 제조 물품과 관련된 오차 분산을 줄이기 위해 변경될 수 있다.

또 다른 양태에서, 검출된 조립 오차는 후속 스테이션 조립을 변경하여 스테이션 변동을 극복하기 위해 사용될 수 있다. 즉, 오차 검출은, 상류 오퍼레이터에 의해 발생한 오차를 기반으로 새로운/업데이트된 조립 안내의 하류 전파를 자동으로 트리거하기 위해 사용될 수 있다. 예를 들어, 제 1 오퍼레이터에 의해 실행된 모션에 대한 오차 분산은, 제 1 스테이션의 하류에 있는 제 2 스테이션과 관련된 제 2 오퍼레이터에게 제공되는 조립 지시를 수정하기 위해 사용될 수 있다.

또 다른 양태에서, 모든 스테이션에 걸쳐 검출된 오차 분산은, 전체 또는 부분적인 재작업이 전체 나머지 하류 조립 체인에 걸쳐 수행될 수 있도록 하기 위해 순방향으로 전파될 수 있다. 즉, 하나 이상의 스테이션에서 발생하는 오차는, 하나 이상의 하류 오퍼레이터에게 제공되는 조립 지시를 수정함으로써 수정/감소될 수 있다. 일례로, 제 1 스테이션에 있는 제 1 오퍼레이터에 의해 발생된 제조 물품의 오차 분산은, 제 2 스테이션에 있는 제 2 오퍼레이터 및 제 3 스테이션에 있는 제 3 오퍼레이터에 의해 순차적으로 실행되는 동작을 통해, 즉 제 2 및 제 3 스테이션에 제공되는 조립 지시를 수정함으로써 수정될 수 있다.

또 다른 예에서, 다수의 스테이션에 걸쳐 누적된 오차 분산은 하나 이상의 후속 스테이션에 의해 감소될 수 있다. 예를 들어, 제 1 스테이션과 제 2 스테이션에 걸쳐 누적된 제조 물품의 오차 분산은, 제 3 스테이션과 제 4 스테이션(예를 들어, 각각 제 3 오퍼레이터와 제 4 오퍼레이터)에 제공되는 조립 지시를 수정함으로써 이후에 수정될 수 있다.

조립 흐름 내의 각각의 오퍼레이터/오퍼레이터 스테이션을 네트워크 노드로 취급함으로써, 각각의 노드(스테이션)에서의 조립 변동의 감소를 통해 오차를 최소화함으로써 조립 공정을 최적화하기 위해 기계 학습 모델이 사용될 수 있다. 개별 노드(오퍼레이터) 변동을 최소화함으로써, 그리고 순방향 오차 전파를 완화하기 위해 실시간 업데이트를 수행함으로써, 개시된 기술의 시스템은 최종 제품에 대한 제조 변동을 크게 줄일 수 있다. 또한, 조립 잡업 흐름에서의 특정 부분의 오차 기여도를 정확하게 정량화하고 추적함으로써, 제품 품질 또는 편차량에 의해 제품이 등급화되고 분류될 수 있다. 이와 같이, 특정 품질 분류의 제품이, 즉 제품 품질에 따라, 다양한 제조 공정 또는 다양한 고객에 대해 조정될 수 있다.

오차 검출을 수행하고 및/또는 스테이션 조립 변경을 최적화하는 데 필요한 수정을 수행하기 위해 기계 학습/인공 지능(AI) 모델이 사용될 수 있다. 예를 들어, 최종 제품 등급, 최종 제품 변동 통계, 원하는 최종 제품 특성(예를 들어, 기계 학습 모델은, 조립 시간, 사용된 재료의 양, 물리적 특성, 결함의 수 등), 스테이션별 구성요소 등급, 스테이션별 구성요소 변동, 원하는 스테이션 구성요소 특성을 포함하지만 이에 한정되지 않는 다양한 소스의 훈련 데이터를 사용하여 훈련될 수 있다. 또한 배포된 기계 학습 모델은, 오차 검출 및 오차 정량화 계산을 수행하기 위해 사용되는 이상화된 모델에 제도적 지식이 표현될 수 있도록, 전문가 또는 "마스터 디자이너"로부터 제공된 입력을 기반으로 훈련되거나 초기화될 수 있다.

본 기술 분야의 숙련자가 알 수 있는 바와 같이, 기계 학습 기반 분류 기술은 개시된 기술을 벗어나지 않고 원하는 구현형태에 따라 다양할 수 있다. 예를 들어, 기계 학습 분류 체계는 다음 중 하나 이상을 단독으로 또는 조합하여 활용할 수 있다: 은닉 마르코프 모델(hidden Markov model); 순환 신경망(recurrent neural network); 합성곱 신경망(convolutional neural network, CNN); 강화 학습(reinforcement learning), 딥 러닝(deep learning); 베이지안 기호법(Bayesian symbolic method); 생성적 적대적 신경망(generative adversarial network, GAN); 서포트 벡터 머신(support vector machine); 이미지 정합 방법(image registration method); 적용 가능한 규칙 기반 시스템(applicable rule-based system); 및/또는 임의의 다른 적절한 인공 지능 알고리즘. 회귀 알고리즘이 사용되는 경우, 이들 알고리즘은 확률적 경사 하강 회귀자(Stochastic Gradient Descent Regressor), 및/또는 수동 공격적 회귀자(Passive Aggressive Regressor) 등을 포함할 수 있지만 이에 한정되지 않는다.

기계 학습 분류 모델은 또한 클러스터링 알고리즘(예를 들어, 미니-배치 K-평균 클러스터링 알고리즘(Mini-batch K-means clustering algorithm)), 추천 알고리즘(예를 들어, 미니와이즈 해싱 알고리즘(Miniwise Hashing algorithm), 또는 유클리드 지역 민감성 해싱(Euclidean Locality-Sensitive Hashing, LSH) 알고리즘)) 및/또는 국소 이상치 인자(Local outlier factor)와 같은 이상 탐지 알고리즘을 기반으로 할 수 있다. 또한 기계 학습 모델은 미니-배치 사전 학습(Mini-batch Dictionary Learning) 알고리즘, 점진적 주성분 분석(Incremental Principal Component Analysis, PCA) 알고리즘, 잠재 디리클레 할당(Latent Dirichlet Allocation) 알고리즘, 및/또는 미니-배치 K-평균(Mini-batch K-means) 알고리즘 등 중 하나 이상과 같은 차원 축소 접근법(dimensionality reduction approach)을 사용할 수 있다.

일부 구현형태에서, 다수의 다양한 유형의 기계 학습 훈련/인공 지능 모델이 배치될 수 있다. 예를 들어, 조립 라인 공정을 동적으로 조정하여 제조 제품을 최적화하기 위해 일반적인 형태의 기계 학습이 사용될 수 있다. 본 기술 분야의 숙련자가 인식하는 바와 같이, 선택된 기계 학습/인공 지능 모델(들)은 일련의 조립/제조 지시를 단순히 포함하는 것이 아니라, 전체 조립 라인 공정 및 생성된 제조 제품에 미치는 영향에 대한 피드백을 제공하고, 조립 라인 내의 하류 오퍼레이터 스테이션에 대해 동적 조정을 제공하여 상류 오퍼레이터 스테이션에서 발생하는 문제를 보상하는 방식이다. 이러한 유형의 인공 지능 기반 피드백 및 피드포워드 모델은 본원에서 (인공 지능 공정 제어(Artificial Intelligence Process Control (AIPC))라고 한다. 일부 실시형태에서, 기계 학습은, 조립 공정에서 오차를 수정하기 위한 최적의 경로를 찾기 위해 가능한 복구 경로의 공간을 효율적으로 검색하기 위해 목표로 하는 게이트 순환 유닛(gated recurrent unit, GRU) 모델 기반 학습 및 하우스도르프 거리 최소화(Hausdorff distance minimization)를 활용하는 시뮬레이션된 환경의 딥 러닝 모델을 기반으로 할 수 있다. 추가 실시형태에서, 예를 들어, 기계 학습 알고리즘은 조립 공정의 비디오 입력을 분석하고 최종 품질 출력을 예측하기 위해 장단기 메모리(Long Short-Term Memory) 모델을 기반으로 할 수 있다. 또한, 기계 학습 모델은, 오퍼레이터 순응도 및 수정된 지시의 이해를 최대화하기 위해 텍스트를 음성으로 또는 음성을 텍스트로 변환하는 것과 같이, 오퍼레이터 스테이션에 대한 피드백을 조정하기 위해 NLP 알고리즘의 형태로 사용될 수도 있다.

일부 실시형태에서, 수동 조립 공정 동안의 오차는 기계 학습을 활용하는 계산 모델을 사용하여 수정될 수 있다.

표적 물체는 절차에 의해 정의된 단계의 순서를 통해 조립될 수 있다. 공정 동안, 공칭 물체의 최종 구성을 얻기 위해 나머지 작업이 변경되어야 하는 특정 단계 k에서 되돌릴 수 없는 오차가 발생할 수 있다. 일부 실시형태에서, 오차를 수정하기 위한 접근법은, 단계 k에서 결함이 있는 표적 물체를 동일한 단계 k의 공칭 물체에 대해 비교하거나, 단계 k에서 결함이 있는 표적 물체를 최종 구성의 공칭 물체에 대해 비교하는 단계를 포함할 수 있다. 이러한 비교는 결함이 있는 표적 물체의 최종 구성과 공칭 물체의 최종 구성 사이의 편차를 최소화하는 데 필요한 단계의 순서를 결정하기 위해 사용될 수 있다. 일부 실시형태에서, 표적 물체의 품질 메트릭은 또한 결함이 있는 표적 물체의 수정을 안내하기 위해 사용될 수 있다.

일반적인 수치적 접근법은 결함이 있는 표적 물체를 조립하기 위한 k 개 단계의 순서가 공칭 물체를 최종 구성으로 조립하기 위한 단계의 순서와 얼마나 유사한지를 결정하기 위해 하우스도르프 거리 알고리즘을 사용함으로써 문제를 해결할 수 있다. 결함이 있는 조립된 물체의 k 개 단계의 순서 및 최종 조립된 공칭 물체의 단계의 순서 간의 하우스도르프 거리를 계산적으로 최소화하는 몇 가지 방법은 즉각 보상 공식, 다중 보상, 또는 지연 보상 공식을 통해 마르코프 결정 프로세스(Markov Decision Process, MDP)를 최적화하는 것이다. 그러나, 이러한 공식과 관련된 검색 공간에는 상당한 양의 계산 자원이 필요하다.

대안으로, 강화 학습을 사용하는 지연 보상 정책 에이전트를 이용하여 기계 학습 프레임워크가 개발될 수 있다. 강화 학습 프레임워크는, 정책 에이전트가 결함이 있는 표적 물체의 오차를 수정하고 공칭 물체의 성능 메트릭과 일치하는 성능 메트릭을 갖는 최종 구성을 얻는 데 필요한 적절한 단계를 결정할 수 있도록 설계될 수 있다. 정책 에이전트에게 주어지는 보상은 지연되며, 정책 에이전트는 마지막 단계가 실행되었을 때만 보상을 받는다.

일부 실시형태에서, 최적의/원하는 제조 제품에 대한 설계가 선택될 수 있고, 선택된 설계에 따른 제조 제품의 조립을 위해 숙련된 오퍼레이터가 배치되어 각각의 오퍼레이터 스테이션에서 수행되는 각각의 단계를 수행할 수 있다. 최적은 생성된 제품의 원하는 성능 및/또는 특성을 기반으로 하여(예를 들어, 제조 제품이 종이 비행기인 경우, 최적의 종이 비행기는 원하는 비행 목표를 달성하는 것이 될 수 있음), 생성된 제조 제품 또는 기타 기준에서 오차를 최소화할 수 있다. 다양한 이미징 장치가 사용되어, 오퍼레이터의 모션 및 오퍼레이터가 비디오, 이미지 및/또는 3D 포인트 클라우드 데이터를 생성하기 위해 조립하는 제조 제품과의 오퍼레이터의 상호작용을 캡처할 수 있다. 캡처된 데이터는, 조립 중인 제조 제품과 관련된 오퍼레이터의 손 좌표, 한 손과 다른 손의 관계, 조립 중인 제조 제품에 대한 손가락(및 일부 실시형태에서는 손가락의 관절)의 관계와 같은 세분화된 정보를 제공할 수 있다. 숙련된 오퍼레이터로부터 수집된 데이터는 최적의/원하는 제조 제품의 조립을 위한 실측 자료로서 사용될 수 있다. 단일 예로부터의 이러한 실측 자료 자체로도 초기 기계 학습 모델을 생성하는 데 사용하기에 충분하거나, 추가 데이터가 수집될 수 있다. 예를 들어, 오퍼레이터의 모션이나 오차의 변화가 생성된 제조 제품에 어떤 영향을 미칠 수 있는지 이해하기 위해, 최적의 제조 제품 조립에서 하나 이상의 단계를 수행하기 위해 많은 오퍼레이터가 배치될 수 있다. 이는 조립 라인 내의 각각의 오퍼레이터 스테이션에 대해 이루어질 수 있다. 생성된 최종 제품 및 이들 각각의 조립 공정은, 오퍼레이터 모션의 오차 및/또는 변동이 제조 제품의 특성 및/또는 성능에 어떻게 영향을 미칠 수 있는지를 결정하기 위해 (예를 들어, 오퍼레이터의 속도는 비행기 품질을 저하시킬 수 있음) 서로에 대해 비교되고 실측 자료와도 비교될 수 있다. 실제 조립 공정(즉, 인간, 로봇 또는 기계가 하나 이상의 스테이션에서 모션을 수행하는 공정) 동안 오퍼레이터를 기반으로 수집된 데이터는 본원에서 "실제 훈련 데이터"라고 한다. 실제 훈련 데이터는, 더욱 풍부한 데이터 세트를 획득하고 최적의 제조 제품을 달성하기 위한 추가 변동을 제공하기 위해 시뮬레이션 데이터로 보충될 수 있다. "최적의" 및 "원하는"이라는 용어는 본원에서 상호 교환적으로 사용되는 것에 주목한다.

일부 실시형태에서, 본원에서 논의되는 다양한 AI/기계 학습/딥 러닝 모델은, 제조 물품의 조립을 최적화하는 인공 지능 공정 제어(AIPC)를 달성하기 위해 아래에 제시된 바와 같이 특정 순서로 배치될 수 있다. AIPC 딥 러닝 모델이 구현될 수 있는 예시적인 프로세스는 도 1과 관련하여(예를 들어, AIPC 딥 러닝 모델(112)과 관련하여), 그리고 도 2와 관련하여 더 상세히 논의된다. AIPC 딥 러닝 모델을 구현하기 위해 사용될 수 있는 하드웨어 시스템 및/또는 장치의 예는 도 3 및 아래의 해당 설명에 제공된다.

첫째, 각각의 오퍼레이터 스테이션에서, 오퍼레이터의 손 및 다양한 구성의 제조 물품의 특징을 분류하기 위해 조립 라인 공정에서 CNN이 사용될 수 있다.

둘째, CNN 분류로부터, 그리고 사전 정의된 바람직한 결과 모두에 대해, 원하는 결과를 달성하기 위해 강화 학습(reinforced learning, RL) 및 RL 에이전트가 사용되고 이에 대해 보상을 받을 수 있다. RL 에이전트는 지도를 받거나 지도를 받지 않을 수 있다.

셋째, 상충하는 RL 에이전트 중에서 선택하기 위해 생성적 적대적 신경망(GAN)이 사용될 수 있다. GAN은 최소한의 인간의 지도를 수반할 수 있으며, GAN에 노드로서 입력할 RL 에이전트를 선택하기 위해서만 인간에게 의존한다.

넷째, RNN은 승리한 RL을 입력 노드로 사용하여 피드백 및 피드포워드 시스템을 생성하고, 따라서 학습은 지속적이고 지도를 받지 않을 수 있다.

이들 네 개의 AI/기계 학습 모델의 구현형태는 아래에서 더 자세히 논의된다:

일부 실시형태에서, 실제 훈련 데이터는, 조립 공정에서의 관련 데이터를 분류하기 위해, 예를 들어, 각각의 오퍼레이터 스테이션에 대한 조립의 각각의 단계에서 어떤 손가락/손이 사용되었는지, 즉 조립 중인 제품의 어느 부분에 오퍼레이터의 손가락이 시간과 공간의 어느 지점에서 닿았는지 분류하기 위해, 그리고 시간과 공간의 임의의 지점에서 조립 중인 제조 제품의 형태나 구성을 분류하기 위해 CNN에 입력될 수 있다.

추가 실시형태에서, 손 모션을 추적하지는 않지만, 제조 제품의 조립 패턴의 다양한 변형을 나타내는 데이터가 또한 수집될 수 있다(예를 들어, 제조 제품이 접힌 종이 비행기인 경우, 데이터는 접는 순서 변경, 접기 변형 구현 및/또는 잠재적 오차 도입을 기반으로 수집되고, 제조 제품이 의류인 경우, 데이터는 예를 들어 바느질 순서, 바느질 변형 구현 및/또는 잠재적 오차 도입을 기반으로 수집될 수 있다). 이 데이터는 실제 훈련 데이터로부터 시뮬레이션 및/또는 수집될 수 있다. 생성된 제조 제품 및 이들 각각의 조립 공정은, 조립 패턴의 오차 또는 변동이 제조 제품의 특성 및/또는 성능에 어떻게 영향을 미치는지 결정하기 위해 비교될 수 있다.

일부 실시형태에서, 캡처된 데이터(예를 들어, 조립 공정의 비디오 및 손 추적 등)는 최종 출력의 품질을 예측하기 위해 사용된다. 이 품질 예측은, 제조 공정 동안 제품의 품질을 수동으로 검사할 필요 없이, 캡처된 데이터를 사용하여 품질 빈(quality bin)으로 제품을 그룹화하고 하류 시정 조치를 가능하게 한다.

일부 실시형태에서, 시스템은 표적 물체의 수동 조립에 중점을 둘 수 있고, 여기서 조립 공정은 오퍼레이터가 일련의 지시에 따라 표적 물체에 대해 다양한 작업을 수행하는 다수의 개별 단계를 포함한다. 오퍼레이터의 손 위치의 시계열과 표적 물체의 최종 품질(모든 오퍼레이터 작업의 합계) 간의 상관관계를 설정하는 딥 러닝 모델을 사용하여 기계 학습 프레임워크로 시스템을 구성할 수 있다. 일부 실시형태에서, 모델은 두 개의 신경망으로 구성될 수 있으며, 여기서 제 1 신경망은 3D 환경에서 오퍼레이터의 손 위치 데이터를 추출하기 위해 사용되고, 제 2 신경망은 손 위치 데이터를 표적 물체 성능의 최종 품질과의 상관관계로 추출하기 위해 사용된다.

일부 실시형태에서, 제 1 신경망은 비디오 획득 시스템을 사용하여, 오퍼레이터가 표적 물체를 조립하는 것과 관련하여 수행하는 각각의 개별 단계에 대응하는 다양한 노드 비디오에서 조립 공정 동안 오퍼레이터의 손의 비디오를 녹화할 수 있다. 예를 들어, 오퍼레이터는, 다양한 위치에 있고 조립 공정을 동시에 녹화하도록 구성된 다수의 카메라를 이용하여 조립 공정을 수행할 수 있다. 이들 카메라는 오퍼레이터 손의 미리 지정된 위치에서 여러 번 비디오를 캡처하기 위해 사용될 수 있다. 이후, 이들 비디오를 처리하여 표적 물체의 전체 조립 공정을 나타내는 다수의 이미지 또는 랜드마크 프레임을 추출할 수 있다. 이들 랜드마크 프레임을 사용하여, 조립 공정 동안 오퍼레이터의 손과 손가락의 위치 또는 특징점(keypoint)을 정의하는 데 도움이 되는 손 추적 정보가 추출될 수 있다.

일부 실시형태에서, 손 추적 정보를 추출하기 위해, 경계 상자 추정(bounding box estimation) 알고리즘 및 손 특징점 검출기(hand keypoint detector) 알고리즘이 적용될 수 있다. 특히, 경계 상자 추정 알고리즘은 오퍼레이터의 손에 대한 마스크 이미지를 획득하기 위해 임계값 영상 분할(threshold image segmentation)을 이용하여 조립 공정으로부터의 랜드마크 프레임을 처리하는 단계를 포함할 수 있다. 손은 블롭 검출(blob detection)을 사용하여 마스크 상에 위치할 수 있다. 경계 상자 추정은 마스크 이미지를 사용하여 각각의 오퍼레이터의 손 주위에 상자를 형성하여, 상자가 적어도 손의 손목 지점까지 손 위치 모양의 가장 높은 지점을 포함하도록 한다. 경계 상자와 이들의 해당 랜드마크 프레임은 이후 손 특징점 검출기 알고리즘으로 입력된다.

손 특징점 검출기 알고리즘은 오퍼레이터 손 위의 특정 특징점을 검출할 수 있는 기계 학습 모델을 포함할 수 있다. 손 특징점 검출기 알고리즘은, 랜드마크 프레임에서 볼 수 있는 특징점뿐만 아니라, 관절, 시점, 물체 및 손 상호작용으로 인해 프레임에서 가려진 특징점을 추정할 수 있다. 다른 손 위치는 다른 프레임에서 다른 가려진 지점을 생성하기 때문에, 하나의 프레임에서의 가려진 특정 지점이 다른 프레임에서는 가려지지 않을 수 있다. 손 특징점 검출기는 일정 수준의 신뢰도로 가려진 특징점의 위치를 추정한다. 그러나 가려진 특징점의 위치를 추정하면, 다른 손 위치에 대해 동일한 특징점 위치가 녹화될 수 있다. 수동 조립 공정의 단계 동안의 오퍼레이터의 손을 정의하는 손 특징점은 이후 제 2 신경망에 제공된다.

일부 실시형태에서, 제 2 신경망은 조립된 물체의 최종 상태의 품질을 예측하기 위해 사용된다. 일부 실시형태에서, 신경망은 장단기 메모리(LSTM) 모델을 기반으로 할 수 있다. LSTM는, 순서가 지정되고 함께 최종 물체의 전체 조립 공정을 나타내는 다수의 셀을 갖는다. LSTM 셀에 대한 입력은, LSTM 셀에 의해 표시되는 조립 공정의 특정 단계에서의 오퍼레이터의 작업에 해당하는 손 특징점 데이터일 수 있다. LSTM의 각각의 셀은 이전 셀의 정보가 저장되어야 하는지를 결정하고, 업데이트할 값을 선택하고, 셀에 대해 업데이트를 수행하고, 출력할 값을 선택한 다음, 셀이 선택된 값만 출력하도록 값을 필터링한다. LSTM은 Adam 옵티마이저(Adam optimizer) 또는 다른 적응형 학습률 최적화(adaptive learning rate optimization) 알고리즘을 사용하여 훈련된 시퀀스-투-원(sequence-to-one) 모델일 수 있다. LSTM 프레임워크를 사용하여, 신경망은 최종 제품의 품질 측정을 결정하기 위해, 수동 조립 공정에서 추출된 입력 데이터를 상호 연관시킨다.

일부 실시형태에서, 모델을 훈련하기 위해 사용되는, 표적 물체에 대한 조립 공정을 나타내는 비디오 및 손 추적 정보 또는 입력 데이터는, 단일 세트의 조립 지시를 사용하여 다수의 표적 물체를 조립하기 위해 조립 공정을 수행하는 다수의 오퍼레이터로부터 수집될 수 있다. 오퍼레이터에 의해 조립된 표적 물체는, 모델을 훈련시키는데 필요한, 조립된 물체의 성능에 대한 해당 품질 측정값 또는 출력 데이터를 수집하기 위해 제어된 환경에서 사용될 수 있다.

일부 양태에서, 기계 학습 모델을 생성하기 위해 사용되는 훈련 데이터는 시뮬레이션 데이터로부터, 실제 훈련 데이터로부터, 및/또는 전문가의 실측 기록으로부터, 조합으로 또는 개별적으로 발생할 수 있다. 일부 실시형태에서, 기계 학습 모델, 예를 들어 강화 학습(Reinforcement Learning, RL) 에이전트(이에 한정되지 않음)는 시뮬레이션 데이터 결과를 사용하여 구축될 수 있다. 다른 실시형태에서, 기계 학습 모델, 예를 들어 강화 학습(RL) 에이전트(이에 한정되지 않음)는 실제 훈련 데이터를 사용하여 구축될 수 있다. RL 에이전트는 좋은/원하는 결과를 달성하는 것에 대해 보상을 받고 나쁜 결과에 대해 처벌을 받는다.

경우에 따라, 많은 RL 에이전트(일부는 실제 훈련 데이터를 기반으로 하고 일부는 시뮬레이션 데이터를 기반으로 함)는 동시에 작동하도록 배치될 수 있고, 누적 보상을 최대화하도록 구성될 수 있다: 예를 들어, 이상적인 모델/예에서 편차가 가장 작은 제조 제품을 조립하도록 구성될 수 있다. RL 에이전트가 보상을 받을 수 있는 예시적인 결과는, 가능한 한 적은 수의 단계에서 완벽한 제조 제품을 완성하여, 제조 제품을 달성하는 데 필요한 재료 또는 시간의 양을 줄이는 것을 포함한다. 최적의/원하는 제조 물품을 생성하는 최적의 모션 패턴 및/또는 최적의 조립 패턴을 결정하기 위해, 시뮬레이션 데이터를 기반으로 하는 RL 에이전트 및 실제 훈련 데이터를 기반으로 하는 RL 에이전트가 사용될 수 있다.

이러한 두 그룹의 RL 에이전트(예를 들어, 실제 훈련 데이터를 기반으로 생성된 RL 에이전트 및 시뮬레이션 데이터를 기반으로 생성된 RL 에이전트)는, 최적의/원하는 제조 제품을 생산하는 행동에 대해 보상을 받았기 때문에, 이제 협력하고 심지어 경쟁할 수 있다. 일부 실시형태에서, 최적의 제조 제품에 대한 최적의 조립 패턴을 생성한 시뮬레이션 기반 RL 에이전트로부터 획득한 데이터는 실제 훈련 데이터 세트에 대한 가능성 공간을 줄이기 위해 사용될 수 있다. 예를 들어, 최적의 조립 패턴을 결정하기 위해 시뮬레이션된 RL 에이전트가 사용될 수 있고, 이후 최적이 아닌 조립 패턴에 대해서가 아니라 최적의 조립 패턴에 대해서만 실제 훈련 데이터가 수집될 수 있다. 실제 훈련 데이터 또는 최적의 조립 패턴의 수집에만 집중함으로써, 더 적은 훈련 데이터가 수집될 수 있고 및/또는 더 많은 실제 훈련 데이터를 수집하기 위해 더 큰 용량이 사용될 수 있지만, 최적의 조립 패턴에 대해서만 사용될 수 있다.

조립 라인을 최적화하기 위해 강화 학습에만 의존하는 것은 제한적인데, 보상이 때때로 상충하기 때문이다. 예를 들어, 제품 조립에서, 일부 RL 에이전트는 가장 적은 수의 잘못된 행동에 대해 보상을 받을 수 있지만(예를 들어, 접고 나서 그 접기를 즉시 펼치거나, 바늘땀을 추가하고 그 바늘땀을 즉시 제거하는 행동), 다른 에이전트는 속도에 대해 보상을 받을 수 있다. 속도에 대해 보상을 받는 RL 에이전트는, 조립 공정의 하류에서 필요한 수정이 더 적기 때문에, 잘못된 행동이 많을수록 조립 시간이 빨라진다고 결정할 수 있다. 이러한 구현 트레이드오프 결정을 내리는 것은 인간이 알아내기 쉬운 일이 아니다. 경험과 많은 양의 예에도 불구하고, 인간은 다른 작업자가 다른 방식으로 작업함으로써 궁극적인 결과가 어떻게 나오는지에 대한 미묘함을 이해하는 계산 능력이 여전히 부족하다.

이러한 상충하는 RL 에이전트 최적화를 해결하기 위해, GAN이 중재자 역할을 하도록 배치될 수 있다. 상충은 실제 훈련 데이터를 기반으로 하는 RL 에이전트 간에, 시뮬레이션 데이터를 기반으로 하는 RL 에이전트 간에, 및/또는 실제 훈련 데이터를 기반으로 하는 RL 에이전트와 시뮬레이션 데이터를 기반으로 하는 RL 에이전트 간에 있을 수 있다.

일부 실시형태에서, GAN은 훨씬 더 강력한 신경망을 생성하기 위해 RL 에이전트 각각을 테스트하고 결과를 저장할 수 있다. GAN은 RL 에이전트를 선택하고, 제로섬 게임에서 승자와 패자를 생성하는 모델을 사용함으로써 작동한다. GAN에는, "생성자(generator)"와 "판별자(discriminator)"가 있다. 이 경우 생성자는 상충하는 RL 에이전트로부터 보상 데이터를 저장하고, 판별자는 이들 중 원하는 제조 제품을 생성하는 작업과 가장 관련이 있는 것을 평가한다. GAN은 노드(또는 뉴런)의 딥 네트워크(deep network)를 사용하여 노드에 가중치를 부여하는 방법을 결정한다. 각각의 RL 에이전트는 이미 최적의 결정을 내렸다고 믿기 때문에, 상충하는 RL 에이전트 중 어느 것이 실제로 가장 적절한 선택을 했는지 결정하는 것은 GAN의 역할이며, 판별자는 그에 따라 가중치를 조정한다. 상충하는 RL 에이전트 간에 제로섬 게임이 실행되면, 상충하는 RL 에이전트 중에 승자 그룹이 생성되고, 조립 라인의 잡업 흐름을 최적화하기 위해 사용되는 기계 학습 모델에 대해 이러한 승자만이 사용된다. 승리한 RL 에이전트를 결정하기 위해 많은 양의 데이터가 생성되었을지라도, 결과는 입력 노드로서 사용되는 이러한 승자를 생성하고 찾기 위해 사용된 것보다 훨씬 희소하다.

어떤 RL 에이전트가 GAN 전투에서 살아남았고 올바르게 보상을 받았는지 결정되고 나면, 일부 실시형태에서, 이들은 순환 신경망(RNN)이라고 하는 또 다른 AI 시스템에 입력될 수 있다. RNN은 다양한 형태의 입력 데이터 가중치를 통해 최종 결과가 최적화되는 딥 러닝 신경망이라는 점에서 CNN과 유사한 점이 많다. 한 가지 차이점은, 입력에서 출력으로의 선형 프로세스인 CNN과 달리, RNN은 결과 출력과 심지어는 내부 노드를 새로운 훈련 정보로 피드백하는 루프라는 것이다. RNN은 피드백 시스템이자 GRU와 같은 피드포워드 시스템이다.

일부 실시형태에서, 기계 학습 프레임워크는 목표로 하는 GRU 모델 기반 학습을 활용하여 구성될 수 있다. GRU 모델은 이의 예측력과 상대적으로 짧은 훈련 시간 때문에 강화 학습 대신 선택될 수 있다. GRU는 메모리에 저장되어 하거나 상태를 업데이트해야 하는 관측값 및 잊어버려야 하거나 상태를 재설정해야 하는 관측값을 구별하기 위해 RNN에서 사용된다.

일부 실시형태에서, GRU 모델은 표적 물체를 구축하는 데 필요한 조립 단계의 수에 대응하는 수의 GRU 셀로 구성될 수 있다. 조립 단계의 수 중 하나에 해당하는 각각의 GRU 셀은 다수의 입력 매개변수와 숨겨진 상태 출력을 가질 수 있다. 조립 공정의 마지막 단계에 해당하는 GRU 셀은 표적 물체를 출력한다. 모델의 출력은 공칭 물체로부터의 표적 물체의 편차이다. 이 편차는 표적 물체로부터 공칭 물체까지의 단계별 하우스도르프 거리 및 공칭 물체의 최종 구성에 대한 성능 메트릭을 사용하여 계산될 수 있다. 각각의 GRU 셀은 재설정, 업데이트 및 새로운 게이트에 의해 정의된다. GRU 신경망은, 특정 하위 문제를 해결하고 GRU에 대한 가중치 집합을 식별하는 경향을 갖도록 반복적으로 훈련된다. 예를 들어, 각각의 반복에 대해, 후속 단계에서 조립 공정을 완료하기 위해 다수의 예측값(특정 단계에서 각각 가능한 오차에 대해 하나씩)이 생성된다. 또한, 수정된 조립 공정의 대응하는 예측된 거리 측정값이 생성될 수 있다. 이러한 예측된 조립 공정 완료는 가상 표현 시스템에서 렌더링될 수 있으며, 이들의 단계별 하우스도르프 거리는 "실측" 거리 측정값을 얻기 위해 계산된다. "실측"과 예측된 거리 측정 간의 차이가 계산되어 모델로 피드백될 수 있으며, 이들의 네트워크 가중치는 역전파(backpropagation)를 통해 조정되어 다음 반복을 생성한다. 이 프로세스는 GRU에 대한 가중치 세트가 식별될 때까지 계속될 수 있다. 일부 실시형태에서, 결함이 있는 표적 물체를 수정하고, 만족스러운 최종 구성을 얻는 데 필요한 단계를 도출하기 위해 확률적 경사 하강법(stochastic gradient descent method)이 사용될 수 있다.

일부 실시형태에서, 기계 학습 모델을 개발하고 검증하기 위해 공정 중에 있는 표적 물체의 매개변수에 의한 컴퓨터 지원 설계(computer-aided design, CAD) 및 제도(drafting) 모델과 같은 시뮬레이션이 생성될 수 있다. CAD 시스템은 공정 중에 있는 표적 물체의 현재 상태에 해당하는 로컬 좌표 프레임 및 각각의 조립 단계를 나타내는 입력 매개변수를 사용할 수 있다. 공정 중에 있는 표적 물체의 로컬 좌표 프레임과 입력 매개변수를 사용하여, CAD 시스템은 각각의 조립 단계에 대한 치수 정보를 결정할 수 있다. CAD 시스템은 이후 각각의 단계에서의 출력 구성을 나타내는 3차원 CAD 모델을 생성할 수 있다. CAD 시스템은 조립 공정의 모든 단계가 실행될 때까지 이 프로세스를 계속할 수 있고, 조립된 물체의 최종 구성에 대한 CAD 모델을 출력할 수 있다. CAD 시스템에 다양한 입력 매개변수를 제공함으로써 다양한 구성에 대한 CAD 모델이 생성될 수 있다. 길이 또는 폭과 같은 입력 기준의 특정 범위를 갖는 CAD 모델 세트를 얻기 위해, 이 입력 기준의 통계 샘플이 CAD 시스템에 제공되어 CAD 모델 세트를 생성할 수 있다.

CAD 모델은 다양한 수준의 세부 사항 및 정교함을 가질 수 있지만, 훈련된 모델과 시스템은, 계산 비용이 많이 들지 않는 방식으로 방대한 수의 예를 생성할 수 있고 모델 훈련 및 프로파일링을 위한 충분한 표면 형태 세부 정보를 제공하는 덜 상세한 CAD 시스템과 특별히 작동하도록 설계되었다. 일부 실시형태에서, 언급된 CAD 시스템은 유한 요소 분석(Finite Element Analysis, FEA) 또는 기본 표면 모델링 도구와 쌍을 이루어 표면의 구조 분석을 생성할 수 있다. 이 데이터는 모델 훈련 및 분석을 위한 추가 품질 점수로서 사용될 수 있다.

일부 실시형태에서, CAD 시스템은 모델 훈련에 통합될 수 있고, 따라서 모델로부터의 예의 요청 또는 추가 탐색 데이터에 대한 필요에 따라 추가 표면 모델이 생성될 수 있다. 이러한 접근법은 물리적 관찰과 쌍을 이루며, 방대한 양의 공간의 물리적 샘플 없이, 사전 훈련된 모델을 배치할 수 있다.

일부 실시형태에서, 조립된 물체의 최종 구성에 대한 CAD 모델은 성능 메트릭을 생성하기 위해 시뮬레이션에서 사용될 수 있다. 조립된 물체의 최종 구성에 대한 CAD 모델을 사용하여, 시뮬레이션은 수치 및 계산 방법을 사용하여 성능 메트릭을 생성할 수 있다.

인공 지능 공정 제어(AIPC)의 실제 적용은, 이미 작업을 완료한 조립 라인 내의 오퍼레이터에게 (예를 들어, 비디오 지시를 자동으로 수정함으로써) 피드백을 제공하는 것뿐만 아니라, 아직 작업을 완료하지 않은 조립 라인 내의 하류 오퍼레이터에게 (예를 들어, 비디오 지시를 자동으로 수정함으로써) 지시를 제공("피드포워드")하는 것을 포함한다. 이러한 피드백-피드포워드 시스템 또는 AIPC는 본원에 기술된 AI 접근법에 의해, 그리고 일부 실시양태에서, 본원에 기술된 특정 순서로 달성될 수 있으며, 따라서 조립 라인 상의 오퍼레이터는 생성된 제조 제품을 최적화하는 선택을 추가적인 인간의 지도 없이 할 수 있다.

일부 실시형태에서, 이는 상기한 시스템을 RNN으로 압축하고, 하나 이상의 제조 제품을 성공 또는 실패 두 가지 방식으로 생성하는 공정 동안의 모든 행동을 확인하는 것을 포함한다. 각각의 행동은 훈련 역할을 한다. RNN의 출력 노드가 최적이 아닌 경우, 네트워크는 조립 라인 내의 실제 개인에게 피드백하여 다른 선택을 할 수 있으며, RNN의 많은 노드와 레이어를 통과하는 경로에서 가중치가 재가중되고 출력은 성공 여부로 표시된다. 프로세스가 반복되면, 가중치의 정확도가 향상된다. 또한, 네트워크는 조립을 수행하는 개인이 수행하지 않는 경우에도, 작동하는 것과 작동하지 않는 것을 학습할 수 있다. 이는 훈련 세트에 추가된다. 또한, 조립 공정의 다양한 단계에서 수정이 이루어질 수 있다. 경우에 따라, 임의의 주어진 시점에, 구체적인 특성을 갖는 제품을 생산하는 가장 좋은 방법은, 처음으로 돌아가지 않고 공정이 진행됨에 따라 지시를 수정하는 것임을 발견할 수 있다. 이후, RNN은 항상 최적의 제조 제품을 위해 최적화하고, 이미 작업을 수행한 생산 라인의 오퍼레이터 스테이션에 있는 각각의 오퍼레이터에게 피드백을 제공하는 방법뿐만 아니라, 아직 작업을 수행하지 않은 생산 라인의 오퍼레이터 스테이션에 있는 오퍼레이터에게 정보를 전달하는 방법을 배운다.

도 1은 개시된 기술의 일부 양태에 따른, 생산 라인 배치를 구현하기 위한 예시적인 프로세스(100)의 흐름도를 개념적으로 도시하고 있다. 도 1의 프로세스는 생산 배치가 시작되는 단계 102에서 시작한다. 예시적인 생산 라인의 잡업 흐름은 일반적으로 가공물(제품)이 조립되거나 제조되는 다수의 오퍼레이터 스테이션(노드)를 포함한다. 다양한 노드는, 이전 노드에서의 작업이 완료된 후에만 각각의 후속 노드에서의 작업이 시작되도록, 순차적으로 구성될 수 있다.

단계 104에서, 하나 이상의 참조 비디오가 생성 및/또는 업데이트된다. 위에서 설명한 바와 같이, 비디오는 특정 노드(여기서는 오퍼레이터 스테이션이라고도 함)에 제조/조립 지시를 제공하기 위해 사용될 수 있다. 즉, 잡업 흐름의 각각의 노드에는, 특정 노드에 해당하는 제조 잡업 흐름의 단계를 완료하는 방법에 대한 안내를 제공하는 참조 비디오가 제공될 수 있다.

단계 106에서, 각각의 스테이션/노드에 단계 104에서 생성된 각각의 비디오가 배치된다. 예를 들어, 주어진 잡업 흐름은 열 개의 노드를 포함할 수 있으며, 각각은 각각의 다른/고유한 참조 비디오를 갖는다. 다른 구현형태에서, 비디오의 수는 노드의 총 수보다 적을 수 있다. 구현형태에 따라, 다양한 스테이션/노드에 배치된 참조 비디오는 고유할 수 있거나, 유사한 안내/지시를 제공할 수 있다. 아래에서 더 자세히 설명하는 바와 같이, 참조 비디오의 내용은 동적일 수 있으며, 시간이 지남에 따라 업데이트/확장될 수 있다.

단계 108에서, 각각의 스테이션/노드에서 모션의 연속적인 녹화가 캡처된다. 모션 녹화로 생성된 모션 데이터는 잡업 흐름 내의 노드/스테이션에서의 가공물/구성요소/도구와의 오퍼레이터의 상호작용을 설명할 수 있다. 즉, 각각의 노드에서 캡처된 모션 데이터는 제품 조립 또는 제조의 특정 부분에 해당하는 하나 이상의 오퍼레이터 행동을 나타낼 수 있으며, 해당 노드와 관련된 참조 비디오에 의해 제공되는 지시에 해당할 수 있다. 경우에 따라, 모션 캡처는 비디오 데이터의 캡처, 즉 해당 스테이션에서 오퍼레이터의 행동 전체 또는 일부의 녹화를 포함할 수 있다. 다른 실시형태에서, 모션 캡처는, 예를 들어, 이미지 캡처 장치의 시야에서 하나 이상의 특정 지점에 대해 모션이 녹화되는 3D 포인트 클라우드의 녹화를 포함할 수 있다. 오퍼레이터의 행동뿐만 아니라 구성요소의 속성(예를 들어, 구성요소 품질, 인장 강도, 결함의 수)이 잡업 흐름 내의 각각의 노드/스테이션에서 캡처될 수 있다.

단계 110에서, 프로세스 방법 분석 편차가 계산될 수 있으며, 여기서 단계 108에서 하나 이상의 스테이션에 대해 캡처된 모션 데이터는, 예를 들어 해당 스테이션의 이상화된 모션 프로파일을 포함하는(또는 나타내는) 비교 모델로부터의 임의의 편차를 식별하기 위해 분석될 수 있다. 도 1에 도시된 바와 같이, 단계 110은, 예를 들어 비교 모델로부터 모션 편차를 식별/분류하고, 조립 또는 제조 공정이 어떻게 영향을 받았는지에 관한 추론을 하도록 구성될 수 있는 AIPC 딥 러닝 모델(단계 112)을 사용할 수 있다. 비교는 스테이션 수준 및/또는 전체 공정 수준에서 수행될 수 있다. 분석은 또한 각각의 스테이션에서의 구성요소의 속성 또는 기준으로부터의 구성요소의 편차, 및 스테이션에 대한 모션 편차가 구성요소의 품질에 미치는 영향을 고려할 수 있다.

단계 112에서 호출된 AIPC 딥 러닝 모델은, 예를 들어 주어진 스테이션/노드에 대한 이상적인 또는 품질 제어된 조립/제조 상호작용의 예를 포함할 수 있는 다양한 유형의 훈련 데이터의 수집을 기반으로 할 수 있다. AIPC 딥 러닝 모델은 또한, 도메인/산업 정보(115)에 의해 제공되는 데이터를 사용하여, 프로세스(100)를 사용하여 생성된 특정 제품에 대한 고객으로부터의 피드백(단계 111)에 의해, 프로세스(100)를 사용하여 생성된 특정 제품의 품질 관리 검사로부터의 피드백(단계 113)에 의해 확장(또는 조정)될 수 있다. AIPC 딥 러닝 모델은 분산 하드웨어 및/또는 소프트웨어 모듈을 포함하는 다양한 컴퓨팅 시스템을 사용하여 구현될 수 있을 것으로 생각된다. 예를 들어, AIPC 딥 러닝 모델은, 조립 라인에 배치되고 다양한 AI/기계 학습 모델 및/또는 분류기를 구현하도록 구성된 하나 이상의 시스템에 결합된 다수의 이미지 캡처 장치 및 디스플레이 장치를 포함하는 분산 시스템을 사용하여 구현할 수 있다.

비교 모델로부터의 편차가 단계 110에서 검출/식별되고 나면, AIPC 딥 러닝 모델(112)을 사용하여 단계 114에서 자동 수정이 생성될 수 있다. 위에서 논의한 바와 같이, 비디오 수정은 잡업 흐름 내의 하나 이상의 스테이션에서 제조/조립 품질을 개선하는 것을 목표로 할 수 있다. 예를 들어, 비디오 수정은, 예를 들어 원점에서 오차를 줄이거나 수정하는 방식으로 오퍼레이터에게 제공되는 지시 또는 안내를 변경하기 위해, 오차가 발생하는 것으로 알려진(또는 예측된) 주어진 노드/스테이션에 적용될 수 있다. 다른 구현형태에서, 비디오 수정은, 예를 들어 제조 잡업 흐름이 완료되기 전에 오차를 수정하기 위해, 오차가 발생한 스테이션의 하류에 적용될 수 있다. 추가 구현형태에서, 잡업 흐름이 완료되고 나면, 전체 잡업 흐름이 분석될 수 있고, 잡업 흐름 내의 하나 이상의 스테이션에 대해 조정이 이루어질 수 있다.

일부 실시형태에서, 오차가 검출된 직후에, 실시간으로 조정이 이루어진다. 다른 실시형태에서, 조정은 고정된 간격으로 또는 잡업 흐름이 완료된 후에 이루어진다.

일부 양태에서, 단계 114에서 결정된 자동 수정은 단계 117에서 생산 품질 보고서로서 요약 및/또는 제공될 수 있다. 예를 들어, 모션 편차의 분석(단계 110)으로부터 생성된 수정은, 조립/제조 공정의 이상화된 모델로부터 식별된 편차를 기반으로 가공물의 다양한 품질 측면을 설명하는 하나 이상의 품질 보고서를 생성하기 위해 사용될 수 있다.

도 2는 기술의 일부 양태에 따른, 조립 오차 수정을 용이하게 하기 위해 사용될 수 있는 오차 검출 분석을 수행하기 위한 예시적인 프로세스(200)를 도시하고 있다.

단계 210에서 시작하여, 제조/조립을 개선하기 위해 이상화된 비디오 안내를 사용하는 프로세스가 구현될 수 있다. 단계 215에서, 하나 이상의 조립 스테이션의 비디오 추적이 수행된다. 비디오 추적은 주어진 스테이션/노드에서 인간 오퍼레이터의 녹화를 포함할 수 있다. 일부 실시형태에서, 비디오 추적은 주어진 스테이션/노드에서 구성요소 속성의 캡처를 더 포함할 수 있다.

단계 220-224에서, 조립 스테이션으로부터 녹화된 비디오를 분석하기 위해 처리가 수행된다. 예를 들어, 일부 실시형태에서, 녹화된 비디오에서 움직임/구성요소를 분리하기 위해 배경 추출이 수행될 수 있다. 일부 양태에서, 배경 추출이 완료되고 나면, 처리된 비디오는, 조립 오퍼레이터(단계 224) 및 대응하는 조립 단계에서 사용된 구성요소(단계 220)에 관한 모션/비디오 데이터만을 포함한다. 단계 220에서, 부품/구성요소를 분리하기 위해 추가 처리가 수행될 수 있다. 프로세스(200)의 도면에 의해 예시된 바와 같이, 단계 220은, 이상 검출(단계 221), 표면 변화 검출(222), 및 부품 분류 및/또는 품질 스코어링(단계 223)을 포함하는 추가 처리 작업을 포함할 수 있다. 비디오 처리 단계 중 임의의 단계는, 예를 들어 이상 검출(단계 221)을 수행하고, 표면 변화를 검출(단계 222)하고, 및/또는 스코어링/분류(단계 223)를 수행하기 위해, 하나 이상의 AI/기계 학습 알고리즘 및/또는 분류기의 사용을 포함하지만 이에 한정되지 않는 다양한 신호 및/또는 이미지 처리 기술을 사용하여 수행될 수 있을 것으로 생각된다.

처리 단계 220-224의 완료 이후, 프로세스(200)는 모션 비교가 수행되는 단계 226으로 진행할 수 있다. 모션 비교(단계 226)는, 하나 이상의 스테이션/노드에서의 하나 이상의 스테이션 오퍼레이터를 포함하는, 공정 조립 스테이션 비디오 데이터 및 대응하는 이상화된 비디오/모션 데이터의 비교를 포함할 수 있다. 생성된 부품/구성요소 품질의 변동을 추론/예측하기 위해 다수의 스테이션/노드에서 수행되는 모션 비교가 사용될 수 있다.

단계 228에서, 다양한 부품/구성요소에 대한 변동/품질 분류가 수행될 수 있다. 예를 들어, 부품/구성요소는, 관련된 분류/차이에 따라, 다양한 품질 등급으로 분류될 수 있고 및/또는 제거 또는 수리를 위해 식별될 수 있다.

분류/차이가 결정된 후, 프로세스(200)는, 예를 들어 단계 226 및 단계 228에서 결정된 각각의 스테이션/노드에 대한 분류/차이를 기반으로, 전체 프로세스/잡업 흐름의 분석이 수행되는 단계 230로 진행할 수 있다. 전체 잡업 흐름을 분석함으로써, 위에서 논의한 바와 같이, 검출된 편차/결함을 해결하기 위해 비디오에 대한 자동 수정이 이루어질 수 있다.

도 3은 개시된 기술의 시스템을 구현하기 위해 사용될 수 있는 예시적인 처리 장치를 도시하고 있다. 처리 장치(300)는 마스터 중앙 처리 장치(CPU)(362)와, 인터페이스(368), 및 버스(315)(예를 들어, PCI 버스)를 포함한다. 적절한 소프트웨어 또는 펌웨어의 제어 하에 작동할 때, CPU(362)는 개시된 기술의 다양한 오차 검출 모니터링 및 프로세스 조정 단계를 수행할 책임이 있다. CPU(362)는 바람직하게는 운영 체제 및 임의의 적절한 응용 프로그램 소프트웨어를 포함하는 소프트웨어의 제어 하에 이러한 모든 기능을 수행한다. CPU(362)는 모토로라 마이크로프로세서 제품군 또는 MIPS 마이크로프로세서 제품군으로부터의 프로세서와 같은 하나 이상의 프로세서(363)를 포함할 수 있다. 대안적인 실시형태에서, 프로세서(363)는 AIPC 시스템(310)의 작동을 제어하기 위해 특별히 설계된 하드웨어이다. 특정 실시형태에서, 메모리(361)(예를 들어, 비휘발성 RAM 및/또는 ROM)는 또한 CPU(362)의 일부를 형성한다. 그러나, 메모리가 시스템에 결합될 수 있는 방식은 다양하다.

일부 양태에서, 처리 장치(310)는 이미지 처리 시스템(370)을 포함하거나 이에 결합될 수 있다. 이미지 처리 시스템(370)은, 오퍼레이터 움직임을 모니터링하고 모션 데이터를 생성할 수 있는 비디오 카메라와 같은 다양한 이미지 캡처 장치를 포함할 수 있다. 예로서, 이미지 처리 시스템(370)은 비디오 데이터를 캡처하고 및/또는 3D 포인트 클라우드를 출력/생성하도록 구성될 수 있다.

인터페이스(368)는 일반적으로 인터페이스 카드(때때로 "라인 카드(line card)"라고 함)로서 제공된다. 일반적으로, 이들 인터페이스는 네트워크를 통해 데이터 패킷의 송수신을 제어하고, 라우터와 함께 사용되는 다른 주변 장치를 지원하기도 한다. 제공될 수 있는 인터페이스 중에는 이더넷 인터페이스, 프레임 릴레이 인터페이스, 케이블 인터페이스, DSL 인터페이스, 토큰 링 인터페이스 등이 있다. 또한, 고속 토큰 링 인터페이스, 무선 인터페이스, 이더넷 인터페이스, 기가비트 이더넷 인터페이스, ATM 인터페이스, HSSI 인터페이스, POS 인터페이스, FDDI 인터페이스 등과 같은 다양한 초고속 인터페이스가 제공될 수 있다. 일반적으로, 이들 인터페이스는 적절한 미디어와의 통신에 적합한 포트를 포함할 수 있다. 경우에 따라, 이들 인터페이스는 또한 독립 프로세서 및, 경우에 따라 휘발성 RAM을 포함할 수 있다. 독립 프로세서는 패킷 교환, 미디어 제어 및 관리와 같은 통신 집약적인 작업을 제어할 수 있다. 통신 집약적인 작업을 위해 별도의 프로세서를 제공함으로써, 이들 인터페이스를 통해 마스터 마이크로프로세서(362)는 라우팅 계산, 네트워크 진단, 보안 기능 등을 효율적으로 수행할 수 있다.

도 3에 도시된 시스템은 본 발명의 하나의 특정 처리 장치이긴 하지만, 본 발명이 구현될 수 있는 유일한 네트워크 장치 아키텍처는 결코 아니다. 예를 들어, 통신 및 라우팅 계산 등을 처리하는 단일 프로세서를 갖는 아키텍처가 자주 사용된다. 또한, 다른 유형의 인터페이스 및 미디어도 사용될 수 있다.

네트워크 장치의 구성에 관계없이, 본원에 기술된 로밍, 경로 최적화 및 라우팅 기능을 위한 범용 네트워크 운영 및 메커니즘을 위한 프로그램 명령을 저장하도록 구성된 하나 이상의 메모리 또는 메모리 모듈(메모리(361) 포함)을 사용할 수 있다. 프로그램 명령은 예를 들어 운영 체제 및/또는 하나 이상의 응용 프로그램의 작동을 제어할 수 있다. 메모리 또는 메모리들은 또한 이동성 결합, 등록 및 연관 테이블 등과 같은 테이블을 저장하도록 구성될 수 있다.

다양한 실시형태의 논리 연산은, (1) 범용 컴퓨터 내의 프로그래밍 가능한 회로에서 실행되는 컴퓨터 구현 단계, 작업 또는 절차의 시퀀스, (2) 특정 용도의 프로그래밍 가능 회로에서 실행되는 컴퓨터 구현 단계, 작업 또는 절차의 시퀀스; 및/또는 (3) 프로그램 가능 회로 내의 상호 연결된 기계 모듈 또는 프로그램 엔진으로 구현된다. 시스템(300)은 인용된 방법의 전부 또는 일부를 실행할 수 있고, 인용된 시스템의 일부일 수 있고, 및/또는 인용된 비일시적 컴퓨터 판독 가능 저장 매체에서 명령에 따라 작동할 수 있다. 이러한 논리 연산은 프로세서(363)를 제어하여 모듈의 프로그래밍에 따라 특정 기능을 수행하도록 구성된 모듈로 구현될 수 있다.

개시된 프로세스 내의 단계의 임의의 특정 순서 또는 계층은 예시적인 접근법의 예인 것인 것으로 생각된다. 설계 선호도를 기반으로, 프로세스 내의 단계의 특정 순서 또는 계층은 재배열될 수 있고, 또는 예시된 단계의 일부만이 수행될 수 있을 것으로 생각된다. 일부 단계는 동시에 수행될 수 있다. 예를 들어, 특정 상황에서 다중 작업 및 병렬 처리가 유리할 수 있다. 또한, 상기한 실시형태에서의 다양한 시스템 구성요소의 분리가 모든 실시형태에서 그러한 분리를 요구하는 것으로 이해해서는 안 되며, 상기한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 여러 소프트웨어 제품으로 패키징될 수 있음을 알아야 한다.

이전 설명은 본 기술 분야의 숙련자가 본원에 기술된 다양한 양태를 실시할 수 있도록 제공된다. 이러한 양태에 대한 다양한 수정은 본 기술 분야의 숙련자에게 용이하게 명백할 것이며, 본원에 정의된 일반적인 원리는 다른 양태에 적용될 수 있다. 따라서, 청구항은 본원에 도시된 양태로 제한되지 않고, 언어 청구항과 일치하는 전체 범위와 부합되며, 여기서 단수의 요소에 대한 언급은 구체적으로 그렇게 명시되어 않는 한 "하나 및 단지 하나"가 아닌 "하나 이상"을 의미하기 위한 것이다.

하나의 "양태"와 같은 문구는 이러한 양태가 주제 기술에 필수적이거나, 이러한 양태가 주제 기술의 모든 구성에 적용된다는 것을 의미하지 않는다. 하나의 양태에 관한 개시는 모든 구성, 또는 하나 이상의 구성에 적용될 수 있다. 양태와 같은 문구는 하나 이상의 양태를 의미할 수 있고, 그 반대도 마찬가지이다. "구성"과 같은 문구는 이러한 구성이 주제 기술에 필수적이거나 이러한 구성이 주제 기술의 모든 구성에 적용된다는 것을 의미하지 않는다. 하나의 구성에 관한 개시는 모든 구성 또는 하나 이상의 구성에 적용될 수 있다. 구성과 같은 문구는 하나 이상의 구성을 의미할 수 있고, 그 반대의 경우도 마찬가지이다.

"예시적인"이라는 단어는 "예 또는 예시로서 제공되는"을 의미하기 위해 본원에서 사용된다. 본원에서 "예시적인" 것으로 설명된 임의의 양태 또는 설계는 다른 양태 또는 설계에 비해 반드시 바람직하거나 유리한 것으로 해석되어서는 안 된다.

개시의 진술

진술 1: 조립 라인에서 잡업 흐름을 최적화하기 위한 방법으로서, 방법은: 표적 물체의 조립 공정의 단계에서 표적 물체의 조립 오차를 검출하는 단계와; 조립 공정의 단계에서의 표적 물체 및 공칭 물체를 평가하여 비교를 얻는 단계와; 비교를 기반으로, 표적 물체와 공칭 물체 간의 편차를 최소화하는 데 필요한 단계의 순서를 결정하는 단계; 및 단계의 순서를 기반으로 표적 물체에 대한 조립 지시를 수정하는 단계를 포함하는 방법.

진술 2: 진술 1에 있어서, 표적 물체는 조립 공정의 단계에서 공칭 물체에 대해 평가되는, 방법.

진술 3: 진술 1 내지 진술 2 중 어느 하나에 있어서, 표적 물체는 공칭 물체의 최종 구성에 대해 평가되는, 방법.

진술 4: 진술 1 내지 진술 3 중 어느 하나에 있어서, 단계의 순서는 편차를 최소화하도록 구성된 기계 학습 모델을 사용하여 결정되는, 방법.

진술 5: 진술 1 내지 진술 4 중 어느 하나에 있어서, 편차는 표적 물체의 조립 공정을 완료하기 위한 단계의 순서와 공칭 물체의 조립 공정을 완료하기 위한 또 다른 단계의 순서 간의 유사성을 기반으로 결정되는, 방법.

진술 6: 진술 1 내지 진술 5 중 어느 하나에 있어서, 편차는 보상 공식을 통해 마르코프 결정 프로세스(MDP)를 사용하여 최소화되는, 방법.

진술 7: 진술 1 내지 진술 6 중 어느 하나에 있어서, 표적 물체의 조립 공정을 완료하기 위한 단계의 순서를 도출하기 위해 확률적 경사 하강법이 사용되는, 방법.

진술 8: 조립 라인에서 잡업 흐름을 최적화하기 위한 시스템으로서, 시스템은: 표적 물체의 조립 공정 동안 오퍼레이터의 움직임을 캡처하기 위해 각각 다른 위치에 배치되는 다수의 이미지 캡처 장치, 및 오퍼레이터에 제공되는 안내 및 지시를 자동으로 수정하도록 구성된 조립 지시 모듈로서, 다수의 이미지 캡처 장치에 결합되는 조립 지시 모듈을 포함하고, 조립 지시 모듈은: 조립 지시 모듈에 의해, 다수의 이미지 캡처 장치로부터 모션 데이터를 수신하는 동작으로서, 모션 데이터는 표적 물체를 조립하기 위한 오퍼레이터에 의한 일련의 단계의 수행에 대응하는, 동작과; 모션 데이터를 기반으로 그리고 일련의 단계 중 하나의 단계에서, 표적 물체의 조립 오차를 결정하는 동작과; 일련의 단계 중 하나의 단계에서의 표적 물체 및 공칭 물체를 평가하여 비교를 얻는 동작과; 비교를 기반으로, 표적 물체와 공칭 물체 간의 편차를 최소화하는 데 필요한 단계의 순서를 결정하는 동작; 및 단계의 순서를 기반으로 오퍼레이터에게 제공되는 조립 지시를 수정하는 동작을 포함하는 동작을 수행하도록 구성되는, 시스템.

진술 9: 진술 8에 있어서, 모션 데이터는 표적 물체의 조립 동안 오퍼레이터의 손 움직임의 디지털 기록을 포함하는, 시스템.

진술 10: 진술 8 내지 진술 9 중 어느 하나에 있어서, 조립 지시 모듈은 확률적 경사 하강법을 적용하여 단계의 순서를 도출하도록 더 구성되는, 시스템.

진술 11: 진술 8 내지 진술 10 중 어느 하나에 있어서, 조립 지시 모듈은 기계 학습 모델을 사용하여 단계의 순서를 결정하도록 더 구성되고, 기계 학습 모델은 편차를 최소화하도록 구성되는, 시스템.

진술 12: 진술 8 내지 진술 11 중 어느 하나에 있어서, 편차는 표적 물체의 조립 공정을 완료하기 위한 단계의 순서와 공칭 물체의 조립 공정을 완료하기 위한 또 다른 단계의 순서 간의 유사성을 기반으로 결정되는, 시스템.

진술 13: 진술 8 내지 진술 12 중 어느 하나에 있어서, 편차는 보상 공식을 통해 마르코프 결정 프로세스(MDP)를 사용하여 최소화되는, 시스템.

진술 14: 진술 8 내지 진술 13 중 어느 하나에 있어서, 조립 지시 모듈은: 모션 데이터로부터, 표적 물체의 조립을 나타내는 일련의 이미지를 추출하고; 및 표적 물체를 조립하기 위한 오퍼레이터에 의한 일련의 단계의 수행을 식별하기 위해 일련의 이미지를 평가하도록 구성되는, 시스템.

진술 15: 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서, 명령은, 하나 이상의 프로세서에 의해 실행될 때, 프로세서로 하여금: 표적 물체의 조립 공정의 단계에서 표적 물체의 조립 오차를 검출하는 동작과; 조립 공정의 단계에서의 표적 물체 및 공칭 물체를 평가하여 비교를 얻는 동작과; 비교를 기반으로, 표적 물체와 공칭 물체 간의 편차를 최소화하는 데 필요한 단계의 순서를 결정하는 동작; 및 단계의 순서를 기반으로 표적 물체에 대한 조립 지시를 수정하는 동작을 포함하는 명령을 수행하도록 구성되는, 비일시적 컴퓨터 판독 가능 매체.

진술 16: 진술 15에 있어서, 명령은, 프로세서로 하여금, 확률적 경사하강법을 사용하여 단계의 순서를 도출하게 하도록 더 구성되는, 비일시적 컴퓨터 판독 가능 매체.

진술 17: 진술 15 내지 진술 16 중 어느 하나에 있어서, 표적 물체는 조립 공정의 단계에서 공칭 물체에 대해 평가되는, 비일시적 컴퓨터 판독 가능 매체.

진술 18: 진술 15 내지 진술 17 중 어느 하나에 있어서, 표적 물체는 공칭 물체의 최종 구성에 대해 평가되는, 비일시적 컴퓨터 판독 가능 매체.

진술 19: 진술 15 내지 진술 18 중 어느 하나에 있어서, 명령은, 프로세서로 하여금, 기계 학습 모델을 사용하여 편차를 최소화하여 단계의 순서를 결정하게 하도록 더 구성되는, 비일시적 컴퓨터 판독 가능 매체.

진술 20: 진술 15 내지 진술 19 중 어느 하나에 있어서, 편차는 보상 공식을 통해 마르코프 결정 프로세스(MDP)를 사용하여 최소화되는, 비일시적 컴퓨터 판독 가능 매체.

Claims

조립 라인에서 잡업 흐름을 최적화하기 위한 방법으로서, 방법은:
표적 물체의 조립 공정의 단계에서 표적 물체의 조립 오차를 검출하는 단계와;
조립 공정의 단계에서의 표적 물체 및 공칭 물체를 평가하여 비교를 얻는 단계와;
비교를 기반으로, 표적 물체와 공칭 물체 간의 편차를 최소화하는 데 필요한 단계의 순서를 결정하는 단계; 및
단계의 순서를 기반으로 표적 물체에 대한 조립 지시를 수정하여, 수정된 조립 지시를 생성하는 단계를 포함하는 방법.
제 1 항에 있어서,
표적 물체는 조립 공정의 단계에서 공칭 물체에 대해 평가되는, 방법.
제 1 항 또는 제 2 항에 있어서,
표적 물체는 공칭 물체의 최종 구성에 대해 평가되는, 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
단계의 순서는 편차를 최소화하도록 구성된 기계 학습 모델을 사용하여 결정되는, 방법.
제 4 항에 있어서,
기계 학습 모델은 게이트 순환 유닛(GRU) 모델인, 방법.
제 4 항에 있어서,
기계 학습 모델은 장단기 메모리(LSTM) 모델을 기반으로 하는, 방법.
제 4 항에 있어서,
기계 학습 모델은 표적 물체에 대한 조립 공정을 나타내는 추적 정보를 사용하여 훈련되고, 추적 정보는 일련의 오퍼레이터로부터 수집되는, 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
조립 공정에 해당하는 모션 데이터를 캡처하는 단계를 더 포함하고, 모션 데이터는 표적 물체의 조립 동안 오퍼레이터의 손 움직임의 디지털 기록을 포함하는, 방법.
제 8 항에 있어서,
모션 데이터로부터, 표적 물체의 조립을 나타내는 일련의 이미지를 추출하는 단계; 및
표적 물체를 조립하기 위한 오퍼레이터에 의한 단계의 순서의 수행을 식별하기 위해 일련의 이미지를 평가하는 단계를 더 포함하는 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
표적 물체의 조립 오차는 하나 이상의 기계 학습 모델을 사용하여 검출되는, 방법.
제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
수정된 조립 지시는 제조 물품의 편차를 최소화하기 위한 지시를 오퍼레이터에 제공하도록 구성되는, 방법.
제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
편차는 표적 물체의 조립 공정을 완료하기 위한 단계의 순서와 공칭 물체의 조립 공정을 완료하기 위한 또 다른 단계의 순서 간의 유사성을 기반으로 결정되는, 방법.
제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
편차는 보상 공식을 통해 마르코프 결정 프로세스(MDP)를 사용하여 최소화되는, 방법.
제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
수정된 조립 지시는 오퍼레이터에게 수정된 조립 지시를 제공하기 위해 하나 이상의 자연어 처리(NLP) 알고리즘을 사용하여 번역되는, 방법.
제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
표적 물체의 조립 공정을 완료하기 위한 단계의 순서를 도출하기 위해 확률적 경사 하강법이 사용되는, 방법.