KR20230150801A - 자동차 스크랩으로부터의 에어백 모듈들의 제거 - Google Patents

자동차 스크랩으로부터의 에어백 모듈들의 제거 Download PDF

Info

Publication number
KR20230150801A
KR20230150801A KR1020237028271A KR20237028271A KR20230150801A KR 20230150801 A KR20230150801 A KR 20230150801A KR 1020237028271 A KR1020237028271 A KR 1020237028271A KR 20237028271 A KR20237028271 A KR 20237028271A KR 20230150801 A KR20230150801 A KR 20230150801A
Authority
KR
South Korea
Prior art keywords
live
pieces
airbag
airbag module
scrap
Prior art date
Application number
KR1020237028271A
Other languages
English (en)
Inventor
날린 쿠마르
마누엘 제라르도 주니어 가르시아
Original Assignee
솔테라 테크노롤지스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/491,415 external-priority patent/US11278937B2/en
Priority claimed from US17/667,397 external-priority patent/US11969764B2/en
Priority claimed from US17/752,669 external-priority patent/US20220355342A1/en
Application filed by 솔테라 테크노롤지스 인코포레이티드 filed Critical 솔테라 테크노롤지스 인코포레이티드
Publication of KR20230150801A publication Critical patent/KR20230150801A/ko

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36Sorting apparatus characterised by the means used for distribution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Sorting Of Articles (AREA)
  • Processing Of Solid Wastes (AREA)
  • Discharge Of Articles From Conveyors (AREA)
  • Special Conveying (AREA)
  • Specific Conveyance Elements (AREA)
  • Image Analysis (AREA)
  • Air Bags (AREA)

Abstract

시스템은 수명이 다한 차량들을 파쇄하여 생산되었을 수 있는 스크랩 흐름으로부터 자동차 에어백 모듈들을 식별 또는 분류한 다음 제거하기 위해 인공 지능 시스템을 구현하는 비전 시스템을 사용하여 물질들을 분류한다. 선별 공정은 장비나 인명들의 피해를 유발할 수 있는 라이브 에어백 모듈들이 활성화되지 않도록 설계될 수 있다.

Description

자동차 스크랩으로부터의 에어백 모듈들의 제거
관련 특허들 및 특허 출원들
본 출원은 미국 가특허 출원 번호 제63/229,724호에 대한 우선권을 주장한다. 본 출원은 미국 특허 출원 번호 제17/752,669호의 일부 계속 출원이고, 이는 미국 특허 출원 번호 제17/667,397호의 일부 계속 출원이고, 이는 미국 특허 출원 번호 제17/495,291호의 일부 계속 출원이고, 이는 미국 특허 출원 번호 제17/491,415호(미국 특허 제11,278,937호로 발행)의 일부 계속 출원이고, 이는 미국 특허 출원 번호 제17/380,928호의 일부 계속 출원이고, 이는 미국 특허 출원 번호 제17/227,245호의 일부 계속 출원이고, 이는 미국 특허 출원 번호 제16/939,011호의 일부 계속 출원이고, 이는 미국 특허 출원 번호 제16/375,675호(미국 특허 제10,722,922호로 발행)의 일부 계속 출원이고, 이는 미국 특허 출원 번호 제15/963,755호(미국 특허번호 제10,710,119호로 발행)의 일부 계속 출원이고, 이는 미국 특허 출원 번호 제15/213,129호(미국 특허번호 제10,207,296호로 발행)의 일부 계속 출원이고, 이는 미국 가특허 출원 번호 제62/193,332호에 대한 우선권을 주장하며, 이들 모두는 본 명세서에 참고로 포함된다. 미국 특허 출원 번호 제17/491,415호(미국 특허 번호 제11,278,937호로 발행)는 미국 특허 출원 번호 제16/852,514호(미국 특허 번호 제11,260,426호로 발행)의 일부 계속 출원이고, 이는 미국 특허 출원 번호 제16/358,374호(미국 특허 번호 제10,625,304호로 등록)의 분할 출원이고, 이는 미국 특허 출원 번호 제15/963,755호(미국 특허 번호 제10,710,119호로 등록)의 일부 계속 출원이고, 이는 미국 가특허 출원 번호 제62/490,219호에 대한 우선권을 주장하며, 이들 모두는 본 명세서에 참고로 포함된다.
정부 라이선스 권리들
본 개시는 미국 에너지부가 부여한 보조금 번호 DE-AR0000422에 따라 미국 정부의 지원을 받아 작성되었다. 미국 정부는 본 개시에 대해 특정 권리들을 가질 수 있다.
기술 분야
본 발명은 자동차 스크랩의 재활용에 관한 것으로, 보다 구체적으로는 자동차 스크랩으로부터의 에어백 모듈들의 제거에 관한 것이다.
본 섹션은 본 개시의 예시적인 실시예들과 연관될 수 있는 기술의 다양한 양태들을 소개하기 위한 것이다. 이러한 논의는 본 개시의 특정 양태들에 대한 더욱 나은 이해를 용이하게 하는 토대 제공에 도움이 될 것으로 여겨진다. 따라서, 본 섹션은 이러한 관점에서 읽어야 하며, 반드시 선행 기술을 인정하는 것은 아니라는 점을 이해해야 한다.
재활용은 쓰레기로 버려질 수 있는 물질들을 수거하고 처리하여 이들을 새로운 제품들로 만드는 공정이다. 재활용은 매립지들과 소각장들로 보내지는 폐기물의 양을 줄이고, 천연자원들을 보존하며, 국내 원료 공급원들을 활용함으로써 경제 안보를 강화하고, 새로운 원자재들의 수집의 필요성을 줄여 오염을 방지하고, 에너지를 절약하기 때문에 지역 사회들과 환경에 이점들을 갖는다.
스크랩 금속(Scrap metal)들은 파쇄되는 경우가 많기 때문에 금속들을 쉽게 재사용하려면 선별 작업이 필요하다. 스크랩 금속들을 선별하면 매립지로 갈 수 있는 금속을 재사용할 수 있다. 또한, 선별된 스크랩 금속을 사용하면 광석에서 원료를 정제할 때보다 오염과 배출들을 줄일 수 있다. 선별된 금속의 품질이 특정 기준들을 충족하는 경우, 제조업체들은 스크랩 금속들을 원 물질 대신 사용할 수 있다. 스크랩 금속들에는 철 및 비철 금속들, 중금속들, 니켈 또는 티타늄과 같은 고가 금속들, 주조 또는 단조 금속들 및 기타 다양한 합금들의 유형들이 포함될 수 있다.
미국에서는 매년 약 1,500 만 대의 차량들이 파쇄된다(흔히 수명이 다한 차량들이라고도 함). 각각의 차량에는 여러 개(예를 들어, 6 내지 15 개)의 에어백 모듈들이 있을 수 있으며; 이는 매년 9 천만 개를 초과하는 수의 에어백 모듈들이 자동차 재활용 흐름들에 들어갈 수 있다는 의미이다. 에어백 모듈은 전형적으로 에어백, 인플레이터, 추진체의 세 가지 주요 부품들이 일종의 용기 또는 캐니스터 안에 들어 있다.
이러한 모든 에어백 모듈들과 연관된 궁극적인 문제점은 이들 모듈들에는 팽창에 사용되는 독성이 있는 아지드 나트륨이 포함되어 있다는 것이다. 추가적으로, 에어백 모듈들이 차량 파쇄기를 통과할 때 모든 모듈들이 팽창/폭발하는 것은 아니다. 결론적으로, 이러한 에어백 모듈들은 서로 다른 위치들에서 팽창/폭발할 수 있으며, 컨베이어 시스템들 상에서 컨베이어 벨트를 손상시키고; 사람이 취급하는 동안 중상들을 입거나, 그리고/또는 사지들을 잃을 수 있으며; 재활용 시설로부터 고객에게 판매된 후 고객 장비를 손상시키는 등 서로 다른 결과들을 초래할 수 있다.
차량 스크랩으로부터 이러한 에어백 모듈들을 만족스럽게 제거하기 위해 다음과 같이 극복해야 할 기술적 과제들이 있다: 에어백 모듈들은 크기가 작을 수 있다는 점(예를 들어, 에어백 모듈들은 종종 높이가 1 인치인 직경 1 인치 실린더들의 폼 팩터를 가짐); 파쇄 공정 후 혼합된 스크랩 금속 흐름에 있는 에어백 모듈들은 다른 스크랩 금속 조각들과 유사하게 보인다는 점; 파쇄 후 에어백 모듈들은 다른 스크랩 조각들과 혼합되면 식별하기 어렵다는 점; 에어백 모듈들은 다른 스크랩 조각들과 혼합되어 컨베이어 벨트에서 운반되는 동안 부분적으로 가려질 수 있다는 점; 및 에어백 모듈들은 서로 다른 모양들, 크기들 및 색상들로 제공된다는 점.
도 1은 본 개시의 실시예들에 따라 구성된 물질 취급 시스템의 개략도를 예시한다.
도 2a 내지 도 2b는 훈련 스테이지 동안 사용되는 에어백 모듈들의 제어 세트들의 예시적인 표현들을 예시한다.
도 2c는 알고리즘이 에어백 모듈들을 식별하고 분류한 훈련 스테이지 동안 사용되는 에어백 모듈들의 제어 세트의 예시적인 표현을 예시한다.
도 3은 본 개시의 실시예들에 따라 구성된 흐름도를 예시한다.
도 4는 본 개시의 실시예들에 따라 구성된 흐름도를 예시한다.
도 5는 본 개시의 실시예들에 따라 구성된 데이터 처리 시스템의 블록도를 예시한다.
도 6a 내지 도 6b는 에어백 모듈들을 포함하는 물질 조각들의 이질적인 혼합물들의 예시적인 표현들을 예시한다.
도 7은 인공 지능 알고리즘이 에어백 모듈들을 식별 및/또는 분류한 에어백 모듈들을 포함하는 물질 조각들의 이질적인 혼합물의 예시적인 표현을 예시한다.
본 개시의 다양한 상세 실시예들이 본 명세서에 개시되어 있다. 그러나, 개시된 실시예들은 단지 본 개시의 예시일 뿐이며, 다양하고 대안적인 형태들로 구현될 수 있다는 것을 이해해야 한다. 도면들은 반드시 실척대로 그려지지 않으며; 일부 특징들은 특정 구성요소들의 상세들을 보여주기 위해 과장되거나 최소화될 수 있다. 따라서, 본 명세서에 개시된 특정 구조적 및 기능적 상세들은 제한적인 것으로 해석되어서는 안 되며, 단지 당업자에게 본 개시의 다양한 실시예들을 사용하도록 교시하기 위한 대표적인 기초로서만 해석되어야 한다.
본 개시의 실시예들은 스크랩 흐름에서 에어백 모듈들을 식별/분류하기 위해 인공 지능 기술들을 활용한다. 본 개시의 특정 실시예들에 따르면, 물질 조각들은 임의의 표준 컴퓨터 비전 방법들을 사용하여 조각들 사이에 공간들이 있는 컨베이어 벨트 상에서 분리될 수 있다. 본 개시의 특정 실시예들에 따르면, 에어백 모듈들의 검출을 위해 영역 제안 신경망이 활용될 수 있고, 그리고/또는 에어백 모듈들의 분류를 위해 심층 신경망이 활용될 수 있다. 본 개시의 특정 실시예들에 따르면, 검출 및 분류를 위한 이들 두 신경망들은 결합될 수 있다. 본 개시의 실시예들은 시맨틱 세분화 또는 물체 검출/위치 측정을 사용할 수 있다. 대안적으로, 인스턴스 세분화 또는 파놉틱 세분화가 활용될 수 있다. 본 개시의 실시예들은 픽셀-레벨 분류, 이웃 분류, 지역 분류 및/또는 전체 이미지 분류를 사용할 수 있다.
본 명세서에서 사용되는 바와 같이, "물질들"은 금속들(철 및 비철), 금속 합금들, 다른 서로 다른 물질에 내장된 금속 조각들, 플라스틱들(본 명세서에 개시된 플라스틱들, 산업계에 알려져 있거나 향후 새로 생성될 플라스틱들 중 임의의 플라스틱을 포함함(그러나, 이에 제한되지 않음)), 고무, 발포체, 유리(붕규산염 또는 소다 석회 유리 및 다양한 유색 유리를 포함함(그러나, 이에 제한되지 않음)), 세라믹들, 종이, 판지, 테프론, PE, 번들형 와이어들, 절연 피복 와이어들, 희토류 원소들, 잎들, 목재, 식물들, 식물들의 일부들, 직물들, 바이오 폐기물, 포장, 전자 폐기물들, 배터리들 및 축전지들, 파쇄된 차량들의 자동차 스크랩 조각들, 광업, 건설 및 철거 폐기물, 농작물 폐기물들, 산림 잔재물들, 목적 재배 풀들, 목질 에너지 작물들, 미세 조류, 도시 음식물 쓰레기, 음식물 쓰레기, 유해 화학 및 생물의학 폐기물들, 건설 잔해, 농장 폐기물들, 생물성 품목들, 비생물성 품목들, 특정 탄소 함량이 있는 물체들, 도시 고형 폐기물 내에서 발견될 수 있는 임의의 다른 물체들 및 본 명세서에 공개된 센서 기술들 중 임의의 기술을 포함하는(그러나, 이에 제한되지 않음) 하나 이상의 센서 시스템들을 포함하는(그러나, 이에 제한되지 않음) 것들에 의해 서로 구별될 수 있는 전술한 것들 중 임의의 것의 추가 유형들 또는 분류들을 포함하여 본 명세서에 공개된 임의의 다른 물체들, 품목들 또는 물질들을 포함할 수 있다.
보다 일반적인 의미에서, "물질"은 화학 원소, 하나 이상의 화학 원소들의 화합물 또는 혼합물, 또는 화학 원소들의 화합물 또는 혼합물 또는 화학 원소들의 화합물 또는 혼합물의 화합물 또는 혼합물로 구성된 임의의 품목 또는 물체를 포함할 수 있으며, 화합물 또는 혼합물의 복잡성은 단순한 것부터 복잡한 것까지 다양할 수 있다(이 모든 것을 본 명세서에서는 특정 "화학 성분"을 갖는 물질이라고도 함). "화학 원소"는 화학 원소들의 주기율표의 화학 원소를 의미하며, 본 출원의 출원일 이후에 발견될 수 있는 화학 원소들을 포함한다. 본 개시 내에서, "스크랩", "스크랩 조각들", "물질들" 및 "물질 조각들"이라는 용어들은 상호 교환적으로 사용될 수 있다. 본 명세서에서 사용되는 바와 같이, 금속 합금 조성을 갖는 것으로 지칭되는 물질 조각 또는 스크랩 조각은 다른 금속 합금들과 구별되는 특정 화학적 조성을 갖는 금속 합금을 의미한다.
본 명세서에서 사용되는 바와 같이, "미리결정된"이라는 용어는 본 명세서에 개시된 바와 같은 선별 시스템의 사용자 또는 작업자에 의한 것을 포함하는(그러나, 이에 제한되지 않음) 것에 의해 미리 설정되거나 결정된 것을 의미한다.
본 명세서에서 사용되는 바와 같이, "스펙트럼 이미징"은 전자기 스펙트럼에 걸쳐 여러 대역들을 사용하는 이미징을 의미한다. 전형적인 카메라는 가시 스펙트럼의 적색, 녹색, 청색("RGB")의 세 가지 파장 대역들에 걸친 광을 캡처하지만, 스펙트럼 이미징에는 RGB를 포함하여 그 이상의 다양한 기술들이 포함될 수 있다. 예를 들어, 스펙트럼 이미징은 적외선, 가시광선, 자외선 및/또는 엑스레이 스펙트럼들을 사용하거나 이들의 일부 조합을 사용할 수 있다. 스펙트럼 데이터 또는 스펙트럼 이미지 데이터는 스펙트럼 이미지의 디지털 데이터 표현이다. 스펙트럼 이미징에는 가시광선 및 비가시광선 대역들의 스펙트럼 데이터를 동시에 수집하거나, 가시광선 범위 밖에서 조명을 비추거나, 특정 스펙트럼 범위를 캡처하기 위해 광학 필터들을 사용하는 것이 포함될 수 있다. 스펙트럼 이미지의 각각의 픽셀에 대해 수백 개의 파장 대역들을 캡처하는 것도 가능한다.
본 명세서에서 사용되는 바와 같이, "이미지 데이터 패킷"이라는 용어는 개별 물질 조각의 캡처된 스펙트럼 이미지와 관련된 디지털 데이터의 패킷을 지칭한다.
본 명세서에서 사용되는 바와 같이, "식별하다" 및 "분류하다"라는 용어들, "식별" 및 "분류"라는 용어들 및 전술한 용어들의 임의의 파생 용어들은 상호 교환적으로 사용될 수 있다. 본 명세서에서 사용되는 바와 같이, 물질을 "분류하다"는 것은 물질이 속하는 물질의 유형 또는 클래스를 결정(즉, 식별)하는 것이다. 예를 들어, 본 개시의 특정 실시예들에 따라, 센서 시스템(본 명세서에서 추가로 설명됨)은 물질들을 분류하기 위한 임의의 유형의 정보를 수집 및 분석하도록 구성될 수 있으며, 이러한 분류들은 선별 시스템 내에서 활용되어, 색상, 질감, 색조, 모양, 밝기, 무게, 밀도, 화학적 조성, 크기, 균일성, 제조 유형, 화학적 서명, 미리결정된 비율, 방사성 서명, 광, 소리 또는 다른 신호들에 대한 투과성, 물질 조각들의 방출 및/또는 반사된 전자기 방사선("EM")을 포함한 다양한 필드들과 같은 자극들에 대한 반응을 포함하는(그러나, 이에 제한되지 않음) 하나 이상의 물리적 및/또는 화학적 특성들 세트의 함수로서 물질 조각들을 선택적으로 선별할 수 있다(예를 들어, 사용자가 정의할 수 있음).
물질들의 유형들 또는 클래스들(즉, 분류)은 사용자가 규정할 수 있으며, 임의의 공지된 물질들의 분류에 제한되지 않는다. 유형들 또는 클래스들의 세분화는 매우 거칠게부터 매우 세밀하게까지 다양할 수 있다. 예를 들어, 유형들 또는 클래스들에는 이러한 유형들 또는 클래스들의 세분화가 상대적으로 거친 플라스틱들, 세라믹들, 유리들, 금속들 및 기타 물질들; 이러한 유형들 또는 클래스들의 세분화가 더 미세한 예를 들어, 아연, 구리, 황동, 크롬 플레이트 및 알루미늄과 같은 서로 다른 금속들 및 금속 합금들이 포함될 수 있으며; 또는 특정 유형들의 플라스틱에서 이러한 유형들 또는 클래스들의 세분화가 상대적으로 미세하다. 따라서, 유형들 또는 클래스들은 예를 들어, 플라스틱들 및 금속 합금들과 같이 현저하게 서로 다른 화학적 조성들의 물질들 사이를 구별하거나, 예를 들어, 서로 다른 유형들의 금속 합금들과 같이 거의 동일한 화학적 조성들의 물질들 사이를 구별하도록 구성될 수 있다. 본 명세서에 설명된 방법들 및 시스템들은 분류되기 전에 화학적 조성이 완전히 알려지지 않은 물질들을 정확하게 식별/분류하는 데 적용될 수 있음을 이해해야 한다.
본 명세서에서 언급된 바와 같이, "컨베이어 시스템"은 항공 기계식 컨베이어, 자동차 컨베이어, 벨트 컨베이어, 벨트 구동식 라이브 롤러 컨베이어, 버킷 컨베이어, 체인 컨베이어, 체인 구동식 라이브 롤러 컨베이어, 드래그 컨베이어, 방진 컨베이어, 전기 트랙 차량 시스템, 플렉시블 컨베이어, 중력 컨베이어, 중력 스케이트휠 컨베이어, 라인샤프트 롤러 컨베이어, 전동식 구동 롤러 컨베이어, 오버헤드 I-빔 컨베이어, 오버랜드 컨베이어, 제약 컨베이어, 플라스틱 벨트 컨베이어, 공압 컨베이어, 나사 또는 오거 컨베이어, 나선형 컨베이어, 튜브 갤러리 컨베이어, 수직 컨베이어, 자유 낙하 컨베이어, 진동 컨베이어, 와이어 메쉬 컨베이어 및 로봇 팔 조작기들을 포함하여(그러나, 이에 제한되지 않음) 하나의 위치로부터 다른 위치로 물질들을 이동시키는 임의의 공지된 기계 취급 장비일 수 있다.
본 명세서에 설명된 본 개시의 특정 실시예들에 따른 시스템들 및 방법들은 복수의 물질 조각들의 이질적인 혼합물을 수용하며, 이 이질적인 혼합물 내의 적어도 하나의 물질 조각은 하나 이상의 다른 물질 조각들과는 서로 다른 요소들의 조성을 포함하고, 그리고/또는 이 이질적인 혼합물 내의 적어도 하나의 물질 조각은 다른 물질 조각들과 물리적으로 구별 가능하며, 그리고/또는 이 이질적인 혼합물 내의 적어도 하나의 물질 조각이 혼합물 내의 다른 물질 조각들과는 서로 다른 클래스 또는 유형의 물질이고, 시스템들 및 방법들은 이 하나의 물질 조각을 그러한 다른 물질 조각들과 분리된 그룹으로 식별/분류/구별/선별하도록 구성된다. 본 개시의 실시예들은 본 명세서에 정의된 바와 같이 임의의 유형들 또는 클래스들의 물질들을 선별하는 데 활용될 수 있다. 대조적으로, 동종 세트 또는 그룹의 물질들은 모두 라이브 에어백 모듈들과 같이 식별 가능한 클래스 또는 유형의 물질(또는, 특정 복수의 식별 가능한 클래스들 또는 유형들의 물질들)에 속한다.
본 개시의 실시예들은 사용자 정의 그룹화들(예를 들어, 물질들의 유형들 또는 분류들)의 함수로서 물질 조각들을 별도의 리셉터클들 또는 통들에 물리적으로 퇴적(예를 들어, 전환 또는 배출)하여 물질 조각들을 그러한 별도의 그룹들로 선별하는 것으로 본 명세서에서 설명될 수 있다. 일 예로서, 본 개시의 특정 실시예들 내에서, 물질 조각들은 별도의 리셉터클들 내에서 선별되어, (예를 들어, 서로 다른 클래스 또는 유형의 물질에 속하는 것으로 분류되는) 다른 물질 조각들과 구별 가능한 특정 클래스 또는 유형의 물질에 속하는 것으로 분류되는 물질 조각들(예를 들어, 라이브 에어백 모듈들)을 분리할 수 있다.
선별될 물질들의 크기들과 모양들이 불규칙할 수 있다는 점에 유의해야 한다. 예를 들어, 그러한 물질들은 이전에 물질들을 이러한 불규칙한 모양 및 크기의 조각들로 절단(스크랩 조각들 생성)하는 일부 종류의 파쇄 메커니즘을 통과한 후 컨베이어 시스템으로 공급되거나 전환될 수 있다. 본 개시의 실시예들에 따르면, 물질 조각들은 일부 종류의 파쇄 메커니즘을 통과한 자동차들의 스크랩 조각들을 포함하며, 여기서 자동차 스크랩 조각들은 활성화되지 않은(즉, 팽창 또는 폭발되지 않은) 에어백 모듈들을 포함하며, 본 명세서에서는 이를 "라이브 에어백 모듈들"로도 지칭한다.
도 1은 본 개시의 다양한 실시예들에 따라 구성된 시스템(100)의 일 예를 예시한다. 컨베이어 시스템(103)은 시스템(100)을 통해 개별 물질 조각들(101)을 이송하여, 개별 물질 조각들(101) 각각을 추적, 분류, 구별 및 미리결정된 원하는 그룹들로 선별할 수 있도록 구현될 수 있다. 이러한 컨베이어 시스템(103)은 물질 조각들(101)이 전형적으로 미리결정된 일정한 속도로 이동하는 하나 이상의 컨베이어 벨트들로 구현될 수 있다. 그러나, 본 개시의 특정 실시예들은 물질 조각들이 시스템(100)(또는, 임의의 다른 유형의 수직 선별기)의 다양한 구성요소들을 지나 자유 낙하하는 시스템 또는 진동 컨베이어 시스템을 포함하는 다른 유형들의 컨베이어 시스템들로 구현될 수 있다. 이하, 해당되는 경우, 컨베이어 시스템(103)은 컨베이어 벨트(103)로도 지칭될 수 있다. 하나 이상의 실시예들에서, 이송, 캡처, 자극, 검출, 분류, 구별 및 선별의 행위들 또는 기능들의 일부 또는 전부가 자동으로, 즉 사람의 개입 없이 수행될 수 있다. 예를 들어, 시스템(100)에서, 하나 이상의 카메라들, 하나 이상의 자극원들, 하나 이상의 배출 검출기들, 분류 모듈, 선별 디바이스/장치 및/또는 다른 시스템 구성요소들은 이러한 그리고 다른 작업들을 자동으로 수행하도록 구성될 수 있다.
또한, 도 1은 컨베이어 시스템(103) 상의 물질 조각들(101)의 단일 흐름을 예시하고 있지만, 본 개시의 실시예들은 이러한 물질 조각들의 복수의 흐름들이 시스템(100)의 다양한 구성요소들을 서로 병렬로 통과하는 방식으로 구현될 수 있다. 예를 들어, 미국 특허 제10,207,296호에 추가로 설명되는 바와 같이, 물질 조각들은 단일 컨베이어 벨트, 또는 병렬 컨베이어 벨트들의 세트에서 이동하는 둘 이상의 병렬 단일화 흐름들로 분배될 수 있다. 이처럼, 본 개시의 특정 실시예들은 이러한 복수의 병렬 이동 물질 조각들의 흐름들을 동시에 추적, 분류 및 선별할 수 있다. 본 개시의 특정 실시예들에 따르면, 싱귤레이터의 통합 또는 사용은 필요하지 않다. 대신, 컨베이어 시스템(예를 들어, 컨베이어 벨트(103))은 단순히 컨베이어 시스템(103) 상에 임의의 방식으로 퇴적되었을 수 있는 물질 조각들의 모음을 이송할 수 있다.
본 개시의 특정 실시예들에 따르면, 물질 조각들(101)을 컨베이어 시스템(103)으로 공급하기 위해 일부 종류의 적합한 공급 메커니즘(예를 들어, 다른 컨베이어 시스템 또는 호퍼(102))이 활용될 수 있으며, 이에 따라 컨베이어 시스템(103)은 물질 조각들(101)을 시스템(100) 내의 다양한 구성요소들을 지나서 이송한다. 물질 조각들(101)이 컨베이어 시스템(103)에 의해 수용된 후, 선택적 텀블러/진동기/싱귤레이터(106)가 개별 물질 조각들을 물질 조각들의 덩어리(mass)로부터 분리하기 위해 활용될 수 있다. 본 개시의 특정 실시예들 내에서, 컨베이어 시스템(103)은 컨베이어 시스템 모터(104)에 의해 미리결정된 속도로 이동하도록 작동된다. 이 미리결정된 속도는 작업자가 잘 알려진 방식으로 프로그래밍 및/또는 조정할 수 있다. 대안적으로, 컨베이어 시스템(103)의 미리결정된 속도의 모니터링은 포지션 검출기(105)로 수행될 수도 있다. 본 개시의 특정 실시예들 내에서, 컨베이어 시스템 모터(104) 및/또는 포지션 검출기(105)의 제어는 자동화 제어 시스템(108)에 의해 수행될 수 있다. 이러한 자동화 제어 시스템(108)은 컴퓨터 시스템(107)의 제어하에 작동될 수 있고, 그리고/또는 자동화 제어를 수행하기 위한 기능들이 컴퓨터 시스템(107) 내의 소프트웨어에 구현될 수 있다.
컨베이어 시스템(103)은 벨트 컨베이어를 미리결정된 속도들로 이동시키기에 적합한 종래의 구동 모터(104)를 사용하는 종래의 무한 벨트 컨베이어일 수 있다. 종래의 인코더일 수 있는 포지션 검출기(105)는 컨베이어 시스템(103) 및 자동화 제어 시스템(108)에 작동적으로 결합되어 컨베이어 벨트의 움직임(예를 들어, 속도)에 대응하는 정보를 제공할 수 있다. 따라서, 컨베이어 시스템 구동 모터(104) 및/또는 자동화 제어 시스템(108)(및 대안적으로 포지션 검출기(105)를 포함)에 대한 제어들을 활용함으로써, 컨베이어 시스템(103) 상에서 이동하는 물질 조각들(101) 각각이 식별될 때, (시스템(100)의 다양한 구성요소들과 관련한) 위치 및 시간에 의해 추적될 수 있으므로, 각각의 물질 조각들(101)이 그 부근을 통과할 때 시스템(100)의 다양한 구성요소들이 활성화/비활성화될 수 있다. 그 결과, 자동화 제어 시스템(108)은 컨베이어 시스템(103)을 따라 이동하는 동안 물질 조각들(101) 각각의 위치를 추적할 수 있다.
도 1을 다시 참조하면, 본 개시의 특정 실시예들은 컨베이어 시스템(103) 상에서 이동하는 물질 조각들(101) 각각을 추적하는 수단으로서 비전 또는 광학 인식 시스템(110) 및/또는 물질 조각 추적 디바이스(111)를 활용할 수 있다. 비전 시스템(110)은 하나 이상의 정지 또는 라이브 액션 카메라들(109)을 활용하여 이동 컨베이어 시스템(103) 상에서 물질 조각들(101) 각각의 포지션(즉, 위치 및 타이밍)을 기록할 수 있다. 비전 시스템(110)은 본 명세서에서 추가로 설명되는 바와 같이, 물질 조각들(101)의 전부 또는 일부의 특정 유형들의 식별(예를 들어, 분류)을 수행하도록 추가로 또는 대안적으로 구성될 수 있다. 예를 들어, 그러한 비전 시스템(110)은 물질 조각들(101) 각각에 대한 정보를 캡처하거나 획득하는 데 활용될 수 있다. 예를 들어, 비전 시스템(110)은 본 명세서에 기술된 바와 같이, 하나 이상의 특성들(예를 들어, 물리적 및/또는 화학적 및/또는 방사성 등)의 세트의 함수로서 물질 조각들(101)을 분류/구별하고 선택적으로 선별하기 위해 시스템(100) 내에서 활용될 수 있는 물질 조각들로부터 임의의 유형의 정보를 캡처하거나 수집하도록 (예를 들어, 인공 지능("AI") 시스템으로) 구성될 수 있다. 본 개시의 특정 실시예들에 따르면, 비전 시스템(110)은, 예를 들어 전형적인 디지털 카메라들 및 비디오 장비에서 활용되는 바와 같은 광학 센서를 사용하여, 물질 조각들(101) 각각의 시각 이미지들(1 차원, 2 차원, 3 차원 또는 홀로그램 이미징을 포함)을 캡처하도록 구성될 수 있다. 광학 센서에 의해 캡처된 이러한 시각 이미지들은 스펙트럼 이미지 데이터(예를 들어, 이미지 데이터 패킷들로 포맷됨)로서 메모리 디바이스에 저장된다. 본 개시의 특정 실시예에 따르면, 이러한 스펙트럼 이미지 데이터는 광의 광학 파장들(즉, 전형적인 사람의 눈으로 관찰할 수 있는 광의 파장들) 내에서 캡처된 이미지들을 나타낼 수 있다. 그러나, 본 개시의 대안적인 실시예들은 사람의 눈의 시각적 파장들을 벗어나는 광의 파장들로 구성된 물질의 이미지를 캡처하도록 구성된 센서 시스템들을 활용할 수 있다.
본 개시의 대안적인 실시예들에 따르면, 시스템(100)은 하나 이상의 센서 시스템들(120)로 구현될 수 있으며, 이는 물질 조각들(101)을 분류/식별/구별하기 위해 단독으로 또는 비전 시스템(110)과 조합하여 활용될 수 있다. 센서 시스템(120)은 조사되거나 반사된 전자기 방사선을 활용하는 센서들 (예를 들어, 적외선("IR"), 푸리에 변환 적외선("FTIR"), 전방 적외선("FLIR"), 매우 근적외선("VNIR"), 근적외선("NIR"), 단파장 적외선("SWIR"), 장파장 적외선("LWIR"), 중파장 적외선("MWIR" 또는 "MIR") 활용), X-선 투과("XRT"), 감마선, 자외선("UV"), X-선 형광("XRF"), 레이저 유도 분해 분광법("LIBS"), 라만 분광법, 스토크 방지 라만 분광법, 감마 분광법, 초분광 분광법(예를 들어, 가시 파장들을 넘어서는 모든 범위), 음향 분광법, NMR 분광법, 마이크로파 분광법, 테라헤르츠 분광법 및 상기 중 어느 하나에 해당하는 1 차원, 2 차원 또는 3 차원 이미징 포함)을 포함하는 임의의 유형의 센서 기술로, 또는 화학 또는 방사능을 포함하는(그러나, 이에 제한되지 않음) 임의의 다른 유형의 센서 기술에 의해 구성될 수 있다. (예를 들어, 본 명세서에서 센서 시스템(120)으로서 사용하기 위한) XRF 시스템의 구현은 미국 특허 제10,207,296호에 추가로 설명되어 있다. 본 명세서의 설명의 특정 문맥에서, 센서 시스템에 대한 참조는 비전 시스템을 지칭할 수 있음에 유의해야 한다. 그럼에도, 본 명세서에 개시된 비전 및 센서 시스템들 중 임의의 비전 및 센서 시스템은 물질 조각들 각각과 특히 연관된 정보(예를 들어, 특성들)를 수집 또는 캡처하도록 구성될 수 있으며, 캡처된 정보는 물질 조각들 중 특정 조각들을 식별/분류/구별하는 데 활용될 수 있다.
본 개시의 특정 실시예들에 따르면, 컨베이어 시스템의 다른 물질들에 의해 부분적으로 가려지거나, 심지어 실질적으로 또는 완전히 가려진 라이브 에어백 모듈들을 식별하는 데 도움이 되도록, 서로 다른 각도들을 포함하여, 하나를 초과하는 광학 카메라 및/또는 센서 시스템이 사용될 수 있다. 본 개시의 특정 실시예들에 따르면, 다수의 카메라들 및/또는 센서 시스템들이 3D 정보를 생성하는 데 사용되어 2D 데이터로 가능한 것보다 더 많은 가용 정보를 생성할 수 있다. 2D 또는 3D 데이터는 데이터를 수집하기 위해 AI 시스템과 함께 사용될 수 있다.
본 개시의 특정 실시예들에 따르면, 라이다 시스템("광 검출 및 거리 측정" 또는 "레이저 이미징, 검출 및 거리 측정")이 카메라 및/또는 센서 시스템 대신 사용될 수 있다. 본 개시의 특정 실시예들에 따르면, 스캐닝 레이저는 스크랩 흐름의 3D 데이터를 수집하는 데 사용될 수 있다. 그런 다음 레이저 기반 3D 데이터를 신경망과 함께 사용하여 라이브 에어백 모듈들을 식별할 수 있다.
도 1은 비전 시스템(110)과 하나 이상의 센서 시스템들(120)의 조합으로 예시되어 있지만, 본 개시의 실시예들은 본 명세서에 개시된 센서 기술들 중 어느 하나 또는 현재 이용 가능하거나 미래에 개발될 임의의 다른 센서 기술들을 활용하는 센서 시스템들의 임의의 조합으로 구현될 수 있음에 유의해야 한다. 도 1은 하나 이상의 센서 시스템들(120)을 포함하는 것으로 예시되어 있지만, 그러한 센서 시스템(들)의 구현은 본 개시의 특정 실시예들 내에서 선택적이다. 본 개시의 특정 실시예들 내에서, 비전 시스템(110)과 하나 이상의 센서 시스템들(120) 모두의 조합이 물질 조각들(101)을 분류하는 데 사용될 수 있다. 본 개시의 특정 실시예들 내에서, 본 명세서에 개시된 서로 다른 센서 기술들 중 하나 이상의 임의의 조합이 비전 시스템(110)을 이용하지 않고 물질 조각들(101)을 분류하는 데 사용될 수 있다. 또한, 본 개시의 실시예들은, 이질적인 물질들의 혼합물로부터 물질들을 분류/식별하기 위해, 그러한 센서/비전 시스템들의 출력들이 AI 시스템(본 명세서에 더 개시된 바와 같음) 내에서 처리되는 하나 이상의 센서 시스템들 및/또는 비전 시스템들의 임의의 조합들을 포함할 수 있으며, 이러한 센서/비전 시스템의 출력은 서로 선별될 수 있다.
본 개시의 특정 실시예들 내에서, 물질 조각 추적 디바이스(111) 및 수반되는 제어 시스템(112)은 이동 컨베이어 시스템(103) 상의 물질 조각들(101) 각각의 포지션(즉, 위치 및 타이밍)과 함께, 물질 조각 추적 디바이스(111) 근접 내를 통과할 때 물질 조각들(101) 각각의 크기들 및/또는 모양들을 측정하도록 활용 및 구성될 수 있다. 이러한 물질 조각 추적 디바이스(111) 및 제어 시스템(112)의 예시적인 작동이 미국 특허 제10,207,296호에 추가로 설명되어 있다. 대안적으로, 전술한 바와 같이, 비전 시스템(110)은 컨베이어 시스템(103)에 의해 운반될 때 물질 조각들(101) 각각의 포지션(즉, 위치 및 타이밍)을 추적하는 데 활용될 수 있다. 이처럼, 본 개시의 특정 실시예들은 물질 조각을 추적하기 위한 물질 조각 추적 디바이스(예를 들어, 물질 조각 추적 디바이스(111)) 없이 구현될 수 있다.
이러한 거리 측정 디바이스(111)는 잘 알려진 가시광(예를 들어, 레이저 광) 시스템으로 구현될 수 있으며, 이 시스템은 레이저 광 시스템의 검출기로 다시 반사되기 전에 광이 이동하는 거리를 연속적으로 측정한다. 이처럼, 물질 조각들(101) 각각이 디바이스(111)의 근접 내를 통과할 때, 디바이스는 그러한 거리 측정들을 나타내는 신호를 제어 시스템(112)에 출력한다. 따라서, 그러한 신호는 실질적으로 간헐적인 일련의 펄스들을 나타낼 수 있는데, 이에 의해 각각의 펄스가 컨베이어 벨트(103) 상에서 지나는 물질 조각(101)과 거리 측정 디바이스(111) 사이의 거리 측정을 제공하면서, 물질 조각(101)이 디바이스(111)의 근접 내에 있지 않은 순간들 동안 거리 측정 디바이스(111)와 컨베이어 벨트(103) 사이의 거리를 측정한 결과로서 신호의 기준선이 생성된다.
하나 이상의 센서 시스템들(120)을 구현하는 본 개시의 특정 실시예들 내에서, 센서 시스템(들)(120)은 비전 시스템(110)이 센서 시스템(들)(120)의 근접 내에서 통과할 때 물질 조각들(101) 각각의 상대적인 화학 성분들 및/또는 제조 유형들의 식별을 지원하도록 구성될 수 있다. 센서 시스템(들)(120)은 에너지 방출원(121)을 포함할 수 있는데, 이는 예를 들어, 물질 조각들(101) 각각으로부터 반응을 자극하기 위해 전원 공급 장치(122)에 의해 구동될 수 있다.
본 개시의 특정 실시예들 내에서, 물질 조각(101) 각각이 방출원(121)에 근접하여 통과할 때, 센서 시스템(120)은 물질 조각(101)을 향해 적절한 감지 신호를 방출할 수 있다. 하나 이상의 검출기들(124)은 활용된 센서 기술의 유형에 적합한 형태로 물질 조각(101)으로부터 하나 이상의 특성들을 감지/검출하도록 배치 및 구성될 수 있다. 하나 이상의 검출기들(124) 및 연관된 검출기 전자 장치들(125)은 수신된 감지된 특성들을 캡처하여 신호 처리를 수행하고, 감지된 특성들을 나타내는 디지털화된 정보(예를 들어, 스펙트럼 데이터)를 생성한 다음, 본 개시의 특정 실시예들에 따라 분석하여, 물질 조각들(101) 각각을 분류하는 데 사용할 수 있다. 컴퓨터 시스템(107) 내에서 수행될 수 있는 이러한 분류는, 결정된 분류들에 따라 물질 조각들(101)을 하나 이상인 N(N>1) 개의 선별 리셉터클들(136...139)로 선별(예를 들어, 제거/전환/배출)하기 위한 선별 장치의 N(N>1) 개의 선별 디바이스들(126...129) 중 하나를 활성화하기 위해 자동화 제어 시스템(108)에 의해 활용될 수 있다. 도 1에는 4 개의 선별 디바이스들(126...129) 및 선별 디바이스들과 연관된 4 개의 선별 리셉터클들(136...139)이 단지 비제한적인 예로서 도시되어 있다.
본 명세서에 설명된 바와 같이, 본 개시의 실시예들은 스크랩 조각들의 이동 흐름 내에서 라이브 에어백 모듈들을 식별하고(예를 들어, 라이브 에어백 모듈들을 다른 자동차 스크랩 조각들과 구별하고), 이러한 라이브 에어백 모듈들을 선별하여, 이들이 컨베이어 시스템으로부터 제거/전환/배출되게끔 분류하도록 구성된다.
선별 디바이스들은, 컨베이어 벨트 시스템으로부터 하나 이상의 선별 리셉터클들로 물질 조각들(101)을 전환하는 것을 포함하는(그러나, 이에 제한되지 않음) 라이브 에어백 모듈들로서 식별된 선택된 물질 조각들(101)을 원하는 위치로 제거/전환/배출하기 위한 임의의 공지된 선별 메커니즘들을 포함할 수 있다. 본 개시의 특정 실시예들에 따르면, 컨베이어 시스템으로부터 라이브 에어백 모듈들을 제거/전환/배출하기 위한 선별 메커니즘은, 나머지 스크랩 흐름으로부터 하나 이상의 다른 물질 조각들이 손실되는 것을 의미하더라도 라이브 에어백 모듈을 제거/전환/배출하는 것이 더 중요할 수 있기 때문에, 라이브 에어백 모듈 부근 내의 다른 물질 조각들이 라이브 에어백 모듈과 함께 컨베이어 시스템으로부터 제거/전환/배출되는지 여부에 관계없이, 컨베이어 시스템으로부터 에어백을 제거/전환/배출하도록 구성될 수 있다. 예를 들어, 도 6a, 도 6b 또는 도 7 중 어느 하나를 참조하면, 라이브 에어백 모듈들 근처에 다른 스크랩 조각들이 있다는 것을 쉽게 알 수 있다. 이러한 경우들에서, 분류된 라이브 에어백 모듈 부근에 있는 다른 스크랩 조각들은 분류된 라이브 에어백 모듈과 함께 컨베이어 벨트로부터 지정된 리셉터클로 전환될 수 있는데, 이는 선별 메커니즘에 의한 전환 동작이 충분히 정확하지 않아서 분류된 라이브 에어백 모듈이 스크랩 조각들의 흐름으로부터 제거되지 않을 위험을 감수하면서 분류된 라이브 에어백 모듈만 전환하려고 시도하는 것보다 분류된 라이브 에어백 모듈이 스크랩 조각들의 흐름으로부터 제거되는 것이 더 중요하기 때문이다.
물질 조각들을 제거/전환/배출하기 위해 사용될 수 있는 메커니즘들에는 컨베이어 벨트로부터 물질 조각들을 로봇 방식으로 제거하거나, 컨베이어 벨트로부터 물질 조각들을 밀거나(예를 들어, 페인트 브러시 유형 플런저들을 사용하여), 컨베이어 시스템(103)에 물질 조각이 떨어질 수 있는 개구부(예를 들어, 트랩 도어)를 발생시키거나, 에어 제트들을 사용하여 물질 조각들이 컨베이어 벨트의 에지로부터 떨어지면서 별도의 리셉터클들로 분리하는 것이 포함된다. 해당 용어가 본 명세서에서 사용되는 바와 같이 푸셔 디바이스는 공압, 기계, 유압 또는 진공 액추에이터들 또는 임의의 적절한 유형의 기계적 푸싱 메커니즘(예를 들어, ACME 스크류 드라이브), 공압 푸싱 메커니즘 또는 에어 제트 푸싱 메커니즘과 같은 기타 수단들을 사용하여 컨베이어 시스템/디바이스 상에서 또는 컨베이어 시스템/디바이스로부터 물체를 동적으로 이동시키기 위해 활성화될 수 있는 임의의 형태의 디바이스를 지칭할 수 있다.
본 개시의 특정 실시예들에 따르면, 라이브 에어백 모듈들이 팽창/폭발하도록 활성화되지 않도록 라이브 에어백 모듈들을 컨베이어 시스템으로부터 비교적 "부드러운" 방식으로 제거/전환/배출해야 할 수 있다. 본 개시의 특정 실시예들에 따르면, 컨베이어 시스템으로부터 라이브 에어백 모듈을 제거/전환/배출하는 임의의 기술이 활용될 수 있으며, 여기서 제거/전환/배출이 수행되는 힘은 라이브 에어백 모듈이 활성화되어 팽창하거나 폭발하지 않도록 구성될 수 있다. 예를 들어, 선별은 라이브 에어백 모듈들을 활성화하지 않도록 구성된 전환력을 사용하여 라이브 에어백 모듈을 리셉터클로 전환하는 선별 메커니즘에 의해 수행될 수 있다. 따라서, 선별 메커니즘은 라이브 에어백 모듈을 이동시키기에 충분한 힘으로 컨베이어 벨트에서 라이브 에어백 모듈을 전환시키도록 구성될 수 있지만, 그러한 라이브 에어백 모듈들을 활성화시키는 것으로 알려진 적은 힘을 사용하도록 구성될 수 있다. 물론 이는 시행착오를 통해 결정될 수 있다. 본 개시의 특정 실시예들에 따르면, 이러한 선별 메커니즘은 페인트 브러시 유형 플런저일 수 있다.
로봇 제거는 스튜어트 플랫폼, 델타 로봇 또는 다중 갈래 그리퍼와 같은 일부 유형의 적절한 로봇 팔에 의해 수행될 수 있다.
물질 조각들(101)(예를 들어, 라이브 에어백 모듈들)이 제거/전환/배출되는 N 개의 선별 리셉터클들(136...139) 이외에, 시스템(100)은 컨베이어 시스템(103)으로부터 전술한 선별 리셉터클들(136...139) 중 어느 하나로 전환/배출되지 않은 물질 조각들(101)(예를 들어, 나머지 자동차 스크랩 조각들)을 수용하는 리셉터클(140)을 포함할 수도 있다.
원하는 물질 조각들의 다양한 분류들에 따라, 다수의 분류들이 단일 선별 디바이스 및 연관된 선별 리셉터클에 매핑될 수 있다. 즉, 분류들과 선별 리셉터클들 사이에 일대일 상관관계가 있을 필요는 없다. 예를 들어, 사용자는 특정 분류들의 물질들(예를 들어, 라이브 에어백 모듈들 및 다른 물질 유형 등)을 동일한 선별 리셉터클로 선별하는 것이 바람직할 수 있다. 이러한 선별을 달성하기 위해, 물질 조각(101)이 미리결정된 분류들의 그룹에 속하는 것으로 분류될 때, 동일한 선별 디바이스가 활성화되어 이들을 동일한 선별 리셉터클로 선별할 수 있다. 이러한 조합 선별은 선별된 물질 조각들의 임의의 원하는 조합을 생성하기 위해 적용될 수 있다. 분류들의 매핑은 그러한 원하는 조합들을 생성하기 위해 (예를 들어, 컴퓨터 시스템(107)에 의해 작동되는 알고리즘(들)을 사용하여) 사용자에 의해 프로그래밍될 수 있다. 추가적으로, 물질 조각들의 분류들은 사용자가 정의할 수 있으며, 물질 조각들의 임의의 특정 공지된 분류들로 제한되지 않는다.
컨베이어 시스템(103)은 원형 컨베이어(도시되지 않음)를 포함할 수 있으므로, 분류되지 않은 물질 조각들은 시스템(100)의 시작 부분으로 되돌아가서 시스템(100)을 다시 통과한다. 또한, 시스템(100)은 컨베이어 시스템(103) 상에서 이동하는 물질 조각(101) 각각을 구체적으로 추적할 수 있기 때문에, 시스템(100)을 통한 미리결정된 횟수들 후(또는 물질 조각들(101)이 리셉터클(140)에 수집된 후), 시스템(100)이 분류하지 못한 물질 조각(101)(예를 들어, 미리결정된 임계값에 따라 라이브 에어백 모듈로 분류되지 않았지만, 사용자가 라이브 에어백 모듈들의 전부 또는 실질적으로 전부가 제거/안내/배출될 확률을 높이기 위해 라이브 에어백 모듈 분류가 미리결정된 임계값 미만으로 지정된 물질 조각들이 라이브 에어백 모듈로 분류되기를 원하는 물질 조작)을 제거/안내/배출하기 위해 일종의 선별 디바이스(예를 들어, 선별 디바이스(129))가 구현될 수 있다.
도 2a 내지 도 2c에 예시된 바와 같이, 본 명세서에 설명된 시스템들 및 방법들은 다양한 크기들 중 임의의 크기를 갖는 개별 에어백 모듈들을 분류 및/또는 선별하는 데 적용될 수 있다.
앞서 언급한 바와 같이, 본 개시의 특정 실시예들은 물질 조각들을 식별, 추적 및/또는 구분하기 위해 하나 이상의 비전 시스템들(예를 들어, 비전 시스템(110))을 구현할 수 있다. 본 개시의 실시예들에 따라, 그러한 비전 시스템(들)은 물질 조각들을 식별 및/또는 분류 및/또는 선별하기 위해 단독으로 작동할 수도 있고, 또는 물질 조각들을 식별 및/또는 분류 및 선별하기 위해 센서 시스템(예를 들어, 센서 시스템(120))과 조합하여 작동할 수도 있다. 시스템(예를 들어, 시스템(100))이 그러한 비전 시스템(들)(110)만으로 작동하도록 구성되는 경우, 센서 시스템(120)은 시스템(100)으로부터 생략(또는 단순히 비활성화)될 수 있다.
이러한 비전 시스템은 컨베이어 시스템 상에서 통과하는 물질 조각들의 이미지들을 캡처하거나 획득하기 위한 하나 이상의 디바이스들로 구성될 수 있다. 이러한 디바이스들은 가시광선, 적외선("IR"), 자외선("UV")을 포함하는(또는 이에 제한되지 않음) 물질 조각들에 의해 조사되거나 반사되는 임의의 원하는 범위의 파장들을 캡처하거나 획득하도록 구성할 수 있다. 예를 들어, 비전 시스템은 물질 조각들의 이미지들이 센서 시스템(들)을 통과할 때 캡처되도록 컨베이어 시스템 근방(예를 들어, 위)에 배치된 하나 이상의 카메라들(정지 및/또는 비디오, 그 중 어느 것이든 2 차원, 3 차원 및/또는 홀로그램 이미지들을 캡처하도록 구성될 수 있음)로 구성될 수 있다. 본 개시의 대안적인 실시예들에 따르면, 센서 시스템(120)에 의해 캡처된 데이터는 (단독으로 또는 비전 시스템(110)에 의해 캡처된 이미지 데이터와 조합하여) 물질 조각들의 분류/선별을 위해 활용될 데이터로 처리(변환)될 수 있다. 이러한 구현은 물질 조각들을 분류하기 위해 센서 시스템(120)을 활용하는 대신에, 또는 센서 시스템(120)과 조합하여 이루어질 수 있다.
물질 조각들의 캡처된 감지된 특성들/정보의 유형(들)에 관계없이, 그 정보는 컴퓨터 시스템(예를 들어, 컴퓨터 시스템(107))으로 전송되어 물질 조각들을 식별 및/또는 구분하기 위해 (예를 들어, AI 시스템에 의해) 처리될 수 있다. AI 시스템은 임의의 공지된 AI 시스템(예를 들어, 인공 협소 인공 지능("ANI"), 인공의 일반 인공 지능("AGI") 및 인공 슈퍼 인공 지능("ASI")) 또는 아직 개발되지 않은 그 파생물, 신경망(예를 들어, 인공 신경망, 심층 신경망, 합성곱 신경망, 순환 신경망, 자동 인코더, 강화 학습 등)을 구현하는 것을 포함하는 머신 러닝 시스템, 지도 학습, 비지도 학습, 반지도 학습, 강화 학습, 자가 학습, 특징 학습, 희소 사전 학습, 이상 탐지, 로봇 학습, 연관 규칙 학습, 퍼지 논리, 딥 러닝 알고리즘들, 심층 구조 학습 계층 학습 알고리즘들, 극단 학습 머신, 지원 벡터 머신("SVM") (예를 들어, 선형 SVM, 비선형 SVM, SVM 회귀 등), 의사 결정 트리 학습(예를 들어, 구분 및 회귀 트리("CART"), 앙상블 방법들(예를 들어, 앙상블 학습, 랜덤 포레스트들, 배깅 및 붙여넣기, 패치들 및 하위 공간들, 부스팅, 스택 등), 차원 축소(예를 들어, 투영, 매니폴드 학습, 주성분들 분석 등) 및/또는 딥 머신 러닝 알고리즘들을 구현하는 머신 러닝 시스템을 구현할 수 있다. 본 개시의 실시예들 내에서 활용될 수 있는 공개적으로 이용 가능한 머신 러닝 소프트웨어 및 라이브러리들의 비제한적인 예들로는 파이썬, 오픈씨브이(OpenCV), 인셉션, 테아노, 토치, 파이토치, 파일런2, 넘피, 블록스, 텐서플로우, MX넷, 카페, 라자냐, 케라스, 체이너, 매트랩 딥러닝, CNTK, MatConvNet(컴퓨터 비전 애플리케이션들을 위한 컨볼루션 신경망들을 구현하는 매트랩 도구 상자), DeepLearnToolbox(딥 러닝을 위한 매트랩 도구 상자(라스머스 버그 팜(Rasmus Berg Palm) 제공)), BigDL, Cuda-Convnet(컨볼루션(또는 더 일반적으로 피드 포워드) 신경망들의 빠른 C++/CUDA 구현), Deep Belief Networks, RNNLM, RNNLIB-RNNLIB, matrbm, deeplearning4j, Eblearn.lsh, deepmat, MShadow, Matplotlib, SciPy, CXXNET, Nengo-Nengo, Eblearn, cudamat, Gnumpy, 3-way factored RBM 및 mcRBM, mPoT(자연 이미지들의 모델들을 훈련하기 위해 CUDAMat 및 Gnumpy를 사용하는 파이썬 코드), ConvNet, Elektronn, OpenNN, NeuralDesigner, Theano Generalized Hebbian Learning, Apache Singa, Lightnet 및 SimpleDNN이 포함된다.
본 개시의 실시예들에 따라, 물질 조각들(101) 각각을 식별 및/또는 분류하는 것은 시맨틱 세분화를 구현하는 AI 시스템에 의해 수행될 수 있다. 그러나, 다른 구현예들, 예를 들어 이미지 세분화, 예를 들어 마스크 R-CNN(예를 들어, 파이썬 코드 사용), 파놉틱 세분화, 인스턴스 세분화, 블록 세분화 또는 바운딩 박스 알고리즘들이 사용될 수 있다.
이미지 세분화는 다른 물질 조각들에 의해 부분적으로 가려진 물질 조각들을 식별/분류할 수 있다. 도 6a 및 도 7은 하나 이상의 라이브 에어백 모듈들이 부분적으로 가려져 있지만, 본 개시의 실시예들에 의해 라이브 에어백 모듈들로서 식별/분류될 수 있고(도 7에 도시된 바와 같음), 따라서 AI 시스템이 일부 형태의 이미지 세분화 알고리즘을 구현하는 경우와 같이 다른 자동차 스크랩 조각들과 구별되도록 서로 오버레이된 물질 조각들의 예시적인 이미지들을 도시한다.
AI 시스템의 구성은 여러 스테이지들로 이루어지는 경우가 많다. 예를 들어, 먼저, 시스템(100)이 물질 조각들의 실제 분류/선별을 수행하는 데 활용되지 않는다는 점에서 오프라인으로 수행될 수 있는 훈련이 발생한다. 시스템(100)은 물질 조각들의 균질 세트들(본 명세서에서는 제어 샘플들이라고도 함)(즉, 동일한 유형들 또는 클래스들의 물질들을 가짐)이 시스템(100)을 통과할 수 있고(예를 들어, 컨베이어 시스템(103)에 의해); 그리고 그러한 모든 물질 조각들이 선별되지 않고 공통 리셉터클(예를 들어, 리셉터클(140))에 수집될 수 있다는 점에서 AI 시스템을 훈련시키는 데 활용될 수 있다. 대안적으로, 훈련은 물질 조각들의 제어 세트들의 감지된 정보(특성들)를 수집하기 위한 일부 다른 메커니즘을 사용하는 것을 포함하여, 시스템(100)으로부터 멀리 떨어진 다른 위치에서 수행될 수 있다. 이 훈련 스테이지 동안, AI 시스템 내의 알고리즘들은 캡처된 정보로부터 특징들을 추출한다(예를 들어, 당업계에게 잘 알려진 이미지 처리 기술들 사용). 훈련 알고리즘들의 비제한적인 예들로는 선형 회귀, 경사 하강, 피드 포워드, 다항식 회귀, 학습 곡선들, 정규화된 학습 모델들 및 로지스틱 회귀가 포함된다(그러나, 이에 제한되지 않음). 추가적으로, 훈련에는 데이터 큐레이션, 데이터 구성, 데이터 라벨링, 반합성 데이터 구성, 합성 데이터 생성, 데이터 증강 및 AI 시스템에 학습되는 '커리큘럼'(예를 들어, 학습 또는 제어 세트들)의 준비와 관련된 기타 활동(예를 들어, 해당 목적을 위해 설계된 별도의 장비에 대한 오프-머신 훈련, 컴퓨터 메모리(시뮬레이션, 증강 등)에서만 수행되는 "장비 없는" 훈련 등)이 포함될 수 있다. 이 훈련 스테이지 동안, AI 시스템 내의 알고리즘들은 물질들과 물질들의 특징들/특성들(예를 들어, 비전 시스템 및/또는 센서 시스템(들)에 의해 캡처된 바와 같이) 사이의 관계들을 학습하여 시스템(100)에 의해 수신된 물질 조각들의 이질적인 혼합물을 나중에 분류하기 위한 지식 기반을 생성하고, 그 후 원하는 분류들에 따라 선별될 수 있다. 이러한 지식 기반은 하나 이상의 라이브러리들을 포함할 수 있으며, 각각의 라이브러리는 AI 시스템이 물질 조각들을 분류하는 데 활용하기 위한 파라미터들(예를 들어, 신경망 파라미터들)을 포함한다. 예를 들어, 하나의 특정 라이브러리는 에어백 모듈들을 인식하고 분류하기 위해 훈련 스테이지에 의해 구성된 파라미터들을 포함할 수 있다. 본 개시의 특정 실시예들에 따르면, 그러한 라이브러리들은 AI 시스템에 입력될 수 있고, 그 후 시스템(100)의 사용자는 시스템(100)의 작동을 조정하기 위해 파라미터들 중 특정 파라미터들을 조정(예를 들어, AI 시스템이 라이브 에어백 모듈들을 물질들의 혼합물(예를 들어, 자동차 스크랩 조각들의 이동 흐름)과 얼마나 잘 식별/분류 및 구별하는지에 대한 임계적 효과의 조정)할 수 있다.
도 2a 내지 도 2b의 예시적인 이미지들에 의해 도시된 바와 같이, 훈련 스테이지 동안, 본 명세서에서 하나 이상의 제어 샘플들의 세트로서 지칭될 수 있는 하나 이상의 라이브 에어백 모듈들의 예들이 비전 시스템 및/또는 하나 이상의 센서 시스템들을 통해(예를 들어, 컨베이어 시스템에 의해) 전달될 수 있으므로, AI 시스템 내의 알고리즘들이 그러한 유형 또는 클래스의 물질을 나타내는 특징들을 검출, 추출 및 학습할 수 있다. 예를 들어, 라이브 에어백 모듈들 각각은 이러한 훈련 스테이지를 통과하여 AI 시스템 내의 알고리즘들이 라이브 에어백 모듈들을 검출, 인식 및 분류하는 방법을 "학습"(훈련)한다(도 2c 참조). 비전 시스템(예를 들어, 비전 시스템(110))을 훈련하는 경우, 물질 조각들을 시각적으로 식별하도록 훈련된다. 이렇게 하면 라이브 에어백 모듈들에 특화된 파라미터들의 라이브러리가 생성된다. 그런 다음, 예를 들어 특정 클래스 또는 유형의 금속 합금(또는 라이브 에어백 모듈들이 아닌 자동차 스크랩 조각들의 혼합물)에 대해 동일한 공정을 수행하여 해당 클래스 또는 유형의 금속 합금에 특정한 파라미터들의 라이브러리를 생성하는 등의 작업을 수행할 수 있다. 시스템에 의해 분류될 물질의 각각의 클래스 또는 유형에 대해, 해당 물질의 클래스 또는 유형에 대한 임의의 수의 예시적인 물질 조각들이 비전 시스템 및/또는 하나 이상의 센서 시스템(들)에 의해 통과될 수 있다. 캡처된 이미지 또는 기타 캡처된 특성이 입력 데이터로 주어지면, AI 알고리즘(들)은 N 개의 선별기들을 사용할 수 있으며, 선별기들 각각은 N 개의 서로 다른 물질 클래스들 또는 유형들 중 하나를 테스트한다.
알고리즘들이 확립되고 AI 시스템이 물질 분류들에 대한 차이점들(예를 들어, 시각적으로 식별 가능한 차이점들)을 충분히 학습(훈련)한 후(예를 들어, 사용자 정의 통계적 신뢰도 수준 내에서), 서로 다른 물질 분류들에 대한 라이브러리들이 물질 분류/선별 시스템(예를 들어, 시스템(100))으로 구현되어 물질 조각들의 이질적인 혼합물(예를 들어, 자동차 스크랩 조각들의 흐름)로부터 물질 조각들을 식별 및/또는 분류하고, 그렇게 분류된 물질 조각들을 선별하는 데 사용된다.
AI 시스템을 구성, 최적화 및 활용하는 기술들은 관련 문헌에 기재된 바와 같이 당업자들에게 공지된 기술이다. 그러한 문헌의 예들에는 출판물들: 문헌 [Krizhevsky et al., "ImageNet Classification with Deep Convolutional Networks," Proceedings of the 25th International Conference on Neural Information Processing Systems, Dec. 3-6, 2012, Lake Tahoe, Nev.] 및 문헌 [LeCun et al., "Gradient-Based Learning Applied to Document Recognition," Proceedings of the IEEE, Institute of Electrical and Electronic Engineers (IEEE), November 1998]이 포함되며, 이들 문헌들은 전체적으로 본 명세서에 참고로 포함된다.
일 예의 기술에서, 특정 물질 조각(예를 들어, 라이브 에어백 모듈)과 관련하여 비전 또는 센서 시스템에 의해 캡처된 데이터는 데이터 값들의 어레이로서 (AI 시스템을 구현(구성)하는 데이터 처리 시스템(예를 들어, 도 10의 데이터 처리 시스템(3400)) 내에서) 처리될 수 있다. 예를 들어, 데이터는 특정 물질 조각과 관련하여 디지털 카메라 또는 다른 유형의 센서 시스템에 의해 캡처되고 데이터 값들의 어레이(예를 들어, 이미지 데이터 패킷들)로서 처리되는 스펙트럼 데이터일 수 있다. 각각의 데이터 값은 단일 숫자로 표시되거나, 값들을 나타내는 일련의 숫자들로 표시될 수 있다. 이러한 값들에는 뉴런 가중치 파라미터들(예를 들어, 신경망 사용)이 곱해질 수 있으며, 편향이 추가될 수 있다. 이 값은 뉴런 비선형성에 입력될 수 있다. 뉴런이 출력한 결과값은 이 출력값에 후속 뉴런 가중치 값들과 선택적으로 추가된 바이어스를 곱한 후 다시 한 번 뉴런 비선형성에 입력하는 등 기존 값들과 동일하게 처리할 수 있다. 이러한 공정의 각각의 반복을 신경망의 "레이어"라고 한다. 최종 레이어의 최종 출력들은 물질 조각과 관련된 캡처된 데이터에서 물질이 존재하거나 존재하지 않을 확률들로 해석될 수 있다. 이러한 공정의 예들은 앞서 언급한 문헌 [ImageNet Classification with Deep Convolutional Networks] 및 문헌 [Gradient-Based Learning Applied to Document Recognition] 참조들 모두에 자세히 설명되어 있다. 본 개시의 실시예들에 따르면, 자동차 스크랩 조각의 캡처된 시각 이미지에 캡처된 시각 이미지가 라이브 에어백 모듈과 유사하게 되는 시각적 특성이 포함되어 있기 때문에, AI 시스템이 자동차 스크랩 조각을 라이브 에어백 모듈로 분류하도록 바이어스가 구성될 수 있다. 바이어스는 미리결정된 임계값(예를 들어, 95 %)보다 큰 비율로 위양성(false positive)이 위음성(false negative)보다 더 많이 발생하도록 구성될 수 있다. 위양성은 분류 결과 자동차 스크랩 조각이 라이브 에어백 모듈이 아닌데도 라이브 에어백 모듈로서 식별되는 경우(예를 들어, 자동차 스크랩 조각이 라이브 에어백 모듈과 물리적으로 유사한 경우)를 말한다. 위음성은 분류가 라이브 에어백 모듈을 식별하지 못하는 경우를 말한다. 자동차 스크랩 조각들의 흐름으로부터 라이브 에어백 모듈들을 제거하는 것이 매우 중요하므로, 스크랩 조각들의 흐름으로부터 다른 자동차 스크랩 조각들이 제거될 수 있더라도, AI 시스템의 분류 알고리즘들에 미리결정된 위양성들 대 위음성들 비율을 매우 높게 설정하는 것이 허용될 수 있다.
신경망이 구현되는 본 개시의 특정 실시예들에 따르면, 최종 레이어("분류 레이어")로서, 뉴런의 최종 출력 세트는 물질 조각(예를 들어, 에어백 모듈)이 캡처된 데이터와 연관될 가능성을 나타내도록 훈련된다. 작동 중에 물질 조각이 캡처된 데이터와 연관될 가능성이 사용자가 지정한 임계값을 초과하면, 특정 물질 조각이 실제로 캡처된 데이터와 연관된 것으로 판단된다. 이러한 기술들을 확장하여 캡처된 특정 데이터와 연관된 물질 유형의 존재 여부뿐만 아니라 캡처된 특정 데이터의 하위 영역들이 하나의 유형의 물질 또는 다른 유형의 물질에 속하는지 여부를 판단할 수도 있다. 이 공정을 세분화(segmentation)라고 하며, "완전 컨볼루션" 신경망들 또는 완전 컨볼루션은 아니지만 컨볼루션 부분을 포함하는(즉, 부분적으로 컨볼루션인) 네트워크와 같은 신경망을 사용하는 기술이 문헌에 나와 있다. 이를 통해 물질의 위치와 크기를 결정할 수 있다. 예들에는 이미지 세분화를 구현하는 마스크 R-CNN이 포함된다.
본 개시가 AI 기술들에만 국한되는 것은 아니라는 점을 이해해야 한다. 물질 분류/식별을 위한 다른 일반적인 기술들도 사용될 수 있다. 예를 들어, 센서 시스템은 다중 또는 하이퍼 스펙트럼 카메라들을 사용하는 광학 분광 기술들을 활용하여 물질의 스펙트럼 방출들(즉, 스펙트럼 이미징)을 검사함으로써 물질의 유형(예를 들어, 하나 이상의 특정 원소들을 포함)의 존재 유무를 나타낼 수 있는 신호를 제공할 수 있다. 물질 조각(예를 들어, 에어백 모듈)의 스펙트럼 이미지들은 템플릿-매칭 알고리즘에 사용될 수도 있는데, 여기서 스펙트럼 이미지들의 데이터베이스를 획득한 스펙트럼 이미지와 비교하여 해당 데이터베이스로부터 특정 유형들의 물질들이 있는지 여부를 찾는다. 캡처된 스펙트럼 이미지의 히스토그램을 히스토그램들의 데이터베이스와 비교할 수도 있다. 마찬가지로, 단어 주머니 기법(bag of words model)은 캡처된 이미지와 데이터베이스의 이미지들 사이에 추출된 특징들을 비교하기 위해 스케일 불변 특징 변환("SIFT")과 같은 특징 추출 기술과 함께 사용될 수 있다. 본 개시의 특정 실시예들에 따르면, 물질 조각들의 제어 샘플들이 비전 시스템 및/또는 센서 시스템(들)에 의해 통과되는 훈련 스테이지를 활용하는 대신, 머신 러닝 시스템의 훈련은 라벨링/주석 기술(또는 임의의 다른 지도 학습 기술)을 활용하여 수행될 수 있는데, 여기서 물질 조각들의 데이터/정보가 비전/센서 시스템에 의해 캡처될 때, 사용자는 각각의 물질 조각(예를 들어, 예를 들어, 라이브 에어백 모듈)을 식별하는 라벨 또는 주석을 입력하면 머신 러닝 시스템이 이질적인 물질 조각들의 혼합물 내에서 물질 조각들을 분류할 때 사용할 라이브러리를 생성하는 데 사용된다. 다시 말해, 물질들의 클래스의 하나 이상의 샘플들로부터 캡처된 특성들에 대한 이전에 생성된 지식 기반은 본 명세서에 개시된 기술들 중 어느 하나에 의해 달성될 수 있으며, 그러한 지식 기반은 물질들을 자동으로 분류하는 데 활용된다.
따라서, 본 명세서에 개시된 바와 같이, 본 개시의 특정 실시예들은 어떤 물질 조각들(예를 들어, 라이브 에어백 모듈들)을 컨베이어 시스템으로부터 정의된 그룹들로 전환해야 하는지를 결정하기 위해 하나 이상의 서로 다른 유형들 또는 클래스들의 물질들을 식별/분류하는 것을 제공한다. 특정 실시예들에 따르면, AI 기술들은 다양한 하나 이상의 서로 다른 클래스들 또는 유형들의 물질들을 식별하기 위해 신경망을 훈련(즉, 구성)하는 데 활용된다. 스펙트럼 이미지들 또는 다른 유형들의 감지된 정보는 (예를 들어, 컨베이어 시스템에서 이동하는) 물질들의 캡처이며, 이러한 물질들의 식별/분류에 기초하여, 본 명세서에 설명된 시스템들은 컨베이어 시스템에 남아 있도록 허용되어야 하는 물질 조각과 컨베이어 시스템으로부터 전환/제거되어야 하는 물질 조각(예를 들어, 수집 리셉터클로 또는 다른 컨베이어 시스템으로 전환)을 결정할 수 있다.
여기서 한 가지 언급할 점은, 본 개시의 특정 실시예들에 따르면, 물질 조각들의 수집/캡처/검출/추출된 특징들/특성들(예를 들어, 스펙트럼 이미지들)은 반드시 단순히 특별히 식별 가능하거나 분별 가능한 물리적 특징들일 필요는 없으며; 수학적으로만 표현될 수 있거나 수학적으로 전혀 표현되지 않는 추상적인 공식들일 수 있지만; AI 시스템은 훈련 스테이지 동안 제어 샘플들이 분류될 수 있는 패턴들을 찾기 위해 스펙트럼 데이터를 파싱하도록 구성될 수 있다는 것이다. 또한, 머신 러닝 시스템은 물질 조각의 캡처된 정보(예를 들어, 스펙트럼 이미지들)의 하위 섹션들을 취하고 사전 정의된 분류들 사이의 상관관계들을 찾으려고 시도할 수 있다.
본 개시의 특정 실시예들에 따르면, 물질 조각들의 제어 샘플들이 비전 시스템 및/또는 센서 시스템(들)에 의해 통과되는 훈련 스테이지를 활용하는 대신, AI 시스템의 훈련은 라벨링/주석 기술(또는 임의의 다른 지도 학습 기술)을 활용하여 수행될 수 있는데, 여기서 물질 조각들의 데이터/정보(예를 들어, 라이브 에어백 모듈들)가 비전/센서 시스템에 의해 캡처될 때, 사용자는 각각의 물질 조각을 식별하는 라벨 또는 주석을 입력하며, 이는 이질적인 물질 조각들의 혼합물 내에서 물질 조각들을 분류할 때 AI 시스템에서 사용하기 위한 라이브러리를 생성하는 데 사용된다.
본 개시의 특정 실시예들에 따르면, 본 개시에 개시된 센서 시스템들(120) 중 어느 하나에 의해 출력되는 임의의 감지된 특성들은 물질들을 분류 및/또는 선별하기 위해 AI 시스템에 입력될 수 있다. 예를 들어, 지도 학습을 구현하는 AI 시스템에서, 물질(예를 들어, 라이브 에어백 모듈들)의 특정 유형 또는 조성을 고유하게 특징짓는 센서 시스템(120)의 출력들이 AI 시스템을 훈련시키는 데 사용될 수 있다.
도 3은 본 개시의 특정 실시예들에 따르면 비전 시스템 및/또는 하나 이상의 센서 시스템들을 이용하여 물질 조각들을 분류/선별하는 공정(3500)의 예시적인 실시예들을 나타내는 흐름도를 예시한다. 공정(3500)은 도 1의 시스템(100)을 포함하여, 본 명세서에 설명된 본 개시의 실시예들 중 임의의 실시예 내에서 작동하도록 구성될 수 있다. 공정(3500)의 동작은 시스템(예를 들어, 도 1의 컴퓨터 시스템(107), 비전 시스템(110) 및/또는 센서 시스템(들)(120))을 제어하는 컴퓨터 시스템(예를 들어, 도 5의 컴퓨터 시스템(3400)) 내에 포함되는 하드웨어 및/또는 소프트웨어에 의해 수행될 수 있다. 공정 블록(3501)에서, 물질 조각들(예를 들어, 자동차 스크랩 조각들의 혼합물)은 도 6a 및 도 6b에 표시된 바와 같이 컨베이어 시스템 상에 증착될 수 있다. 공정 블록(3502)에서, 각각의 물질 조각의 컨베이어 시스템 상의 위치는 시스템(100)을 통해 이동하는 각각의 물질 조각의 추적을 위해 검출된다. 이는 비전 시스템(110)에 의해 수행될 수 있다(예를 들어, 컨베이어 시스템 포지션 검출기(예를 들어, 포지션 검출기(105))와 통신하는 동안 물질 조각을 기본 컨베이어 시스템 물질과 구별함으로써). 대안적으로, 물질 조각 추적 디바이스(111)를 사용하여 조각들을 추적할 수 있다. 또는, 광원(가시광선, UV 및 IR을 포함함(그러나, 이에 제한되지 않음))을 생성할 수 있고, 조각들을 위치시키는 데 사용할 수 있는 검출기를 구비할 수 있는 임의의 시스템. 공정 블록(3503)에서, 물질 조각이 비전 시스템 및/또는 센서 시스템(들) 중 하나 이상에 근접하여 이동하면, 물질 조각의 감지된 정보/특성들이 캡처/획득된다. 공정 블록(3504)에서, 이전에 개시된 것과 같은 비전 시스템(예를 들어, 컴퓨터 시스템(107) 내에 구현됨)은 캡처된 정보의 전 처리를 수행할 수 있으며, 이는 물질 조각들 각각의 정보를 검출(추출)하는 데 활용될 수 있다(예를 들어, 배경(예를 들어, 컨베이어 벨트)으로부터; 다시 말해, 전 처리는 물질 조각과 배경 사이의 차이를 식별하는 데 활용될 수 있다). 팽창, 임계값 설정, 및 윤곽 설정과 같은 잘 알려진 이미지 처리 기술들이 물질 조각을 배경과 구별되는 것으로 식별하기 위해 활용될 수 있다. 공정 블록(3505)에서, 세분화가 수행될 수 있다. 예를 들어, 캡처된 정보는 하나 이상의 물질 조각들과 관련된 정보를 포함할 수 있다. 추가적으로, 특정 물질 조각은 이미지가 캡처될 때 컨베이어 벨트의 이음새에 위치할 수 있다. 따라서, 이러한 경우들에서 개별 물질 조각의 이미지를 이미지의 배경으로부터 분리하는 것이 바람직할 수 있다. 공정 블록(3505)의 일 예시적인 기술에서, 제1 단계는 이미지의 높은 대비를 적용하는 것이며; 이러한 방식으로, 배경 픽셀들은 실질적으로 모두 흑색 픽셀들로 감소되고, 물질 조각과 관련된 픽셀들 중 적어도 일부는 실질적으로 모두 흰색 픽셀들로 밝아진다. 그런 다음 흰색인 물질 조각의 이미지 픽셀들이 물질 조각의 전체 크기를 덮도록 확대된다. 이 단계 후에, 물질 조각의 위치는 흑색 배경에 모든 흰색 픽셀들의 고대비 이미지가 된다. 그런 다음 윤곽화 알고리즘을 사용하여 물질 조각의 경계들을 검출할 수 있다. 경계 정보가 저장되고 경계 위치들이 원본 이미지로 전송된다. 그런 다음 원본 이미지에서 이전에 정의한 경계보다 큰 영역에 대해 세분화를 수행한다. 이러한 방식으로, 물질 조각이 식별되고 배경으로부터 분리된다.
본 개시의 실시예들에 따르면, 공정 블록(3505)은 도 7에 표시된 바와 같이, 물질 조각들의 이질적인 혼합물 내에서 에어백 모듈들을 식별하는 시맨틱 세분화 공정을 구현할 수 있다. 대안적으로, 마스크 R-CNN과 같은 인스턴스 세분화 또는 파놉틱 세분화가 활용될 수 있다.
선택적 공정 블록(3506)에서, 물질 조각들은 물질 조각들 각각을 추적하고, 그리고/또는 물질 조각의 크기 및/또는 모양을 결정하기 위해 물질 조각 추적 디바이스 및/또는 센서 시스템의 근방 내에서 컨베이어 시스템을 따라 이송될 수 있으며, 이는 선별 시스템 내에 XRF 시스템 또는 일부 다른 분광 센서가 구현되는 경우에 유용할 수 있다. 공정 블록(3507)에서, 후 처리가 수행될 수 있다. 후 처리는 신경망들에서 사용할 수 있도록 준비하기 위해 캡처된 정보/데이터의 크기를 조정하는 것을 포함할 수 있다. 여기에는 또한 물질 조각들을 분류하고 구별하는 AI 시스템의 능력을 향상시키는 방식으로 특정 속성들(예를 들어, 이미지 대비 향상, 이미지 배경 변경 또는 필터들의 적용)을 수정하는 것이 포함될 수 있다. 공정 블록(3509)에서, 데이터의 크기가 조정될 수 있다. 신경망들과 같은 특정 AI 시스템들의 데이터 입력 요건들에 맞추기 위해 특정 상황들에서 데이터 크기 조정이 필요할 수 있다. 예를 들어, 신경망들은 전형적인 디지털 카메라들로 캡처한 이미지들의 크기들보다 훨씬 작은 이미지 크기들(예를 들어, 225 x 255 픽셀들 또는 299 x 299 픽셀들)을 요구할 수 있다. 또한, 입력 데이터 크기가 작을수록 분류를 수행하는 데 필요한 처리 시간이 줄어든다. 따라서, 데이터 크기들이 작을수록 궁극적으로 시스템(100)의 처리량을 증가시키고 그 가치를 높일 수 있다.
공정 블록들(3510 및 3511)에서, 각각의 물질 조각은 감지/검출된 특징들에 기초하여 식별/분류된다. 예를 들어, 공정 블록(3510)은 추출된 특징들을 이전에 생성된 지식 기반(예를 들어, 훈련 스테이지에서 생성됨)에 저장된 특징들과 비교하고, 그러한 비교에 기초하여 가장 일치도가 높은 분류를 물질 조각들 각각에 할당하는 하나 이상의 알고리즘들을 사용하는 신경망으로 구성될 수 있다. 알고리즘들은 자동으로 학습된 필터들을 사용하여 캡처된 정보/데이터를 계층적 방식으로 처리할 수 있다. 그런 다음, 필터 응답들은 최종 단계에서 확률이 얻어질 때까지 알고리즘들의 다음 레벨들에서 성공적으로 결합된다. 공정 블록(3511)에서, 이러한 확률들은 각각의 물질 조각들이 선별되어야 하는 N 개의 선별 리셉터클들 중 어느 선별 리셉터클로 분류되어야 하는지를 결정하기 위해 N 개의 분류들 각각에 대해 사용될 수 있다. 예를 들어, N 개의 분류들 각각은 하나의 선별 리셉터클에 할당될 수 있고, 고려 중인 물질 조각은 미리 정의된 임계값보다 큰 가장 높은 확률을 반환하는 분류에 대응하는 해당 리셉터클로 선별될 수 있다. 본 개시의 실시예들 내에서, 이러한 사전 정의된 임계값들은 사용자에 의해 미리 설정될 수 있다(예를 들어, 위양성 분류들이 위음성 분류들보다 실질적으로 더 많도록 보장하기 위해). 확률들 중 어느 것도 미리결정된 임계값보다 크지 않은 경우, 특정 물질 조각은 이상치 리셉터클(예를 들어, 선별 리셉터클(140))로 선별될 수 있다.
다음으로, 공정 블록(3512)에서, 선별 디바이스는 물질 조각의 분류 또는 분류들에 대응하여 활성화된다(예를 들어, 선별을 위해 선별 디바이스로 전송되는 명령). 물질 조각의 이미지가 캡처된 시간과 선별 디바이스가 활성화된 시간 사이에, 물질 조각은 비전 시스템 및/또는 센서 시스템(들)의 근방으로부터 컨베이어 시스템의 하류 위치로 이동한다(예를 들어, 컨베이어 시스템의 이송 속도에 따라). 본 개시의 실시예들에서, 선별 디바이스의 활성화는 물질 조각이 물질 조각의 분류에 매핑된 선별 디바이스를 통과할 때, 선별 디바이스가 활성화되고, 물질 조각이 컨베이어 시스템으로부터(예를 들어, 연관된 선별 리셉터클로) 제거/전환/배출되도록 타이밍이 정해진다. 본 개시의 실시예들 내에서, 선별 디바이스의 활성화는 물질 조각이 선별 디바이스 앞을 통과하는 시기를 검출하고 선별 디바이스의 활성화를 가능하게 하는 신호를 전송하는 각각의 포지션 검출기에 의해 타이밍이 결정될 수 있다. 공정 블록(3513)에서, 활성화된 선별 디바이스에 대응하는 선별 리셉터클은 제거/전환/배출된 물질 조각을 수용한다.
도 4는 본 개시의 특정 실시예들에 따라 물질 조각들을 선별하는 공정(400)의 예시적인 실시예들을 묘사하는 흐름도를 예시한다. 공정(400)은 도 1의 시스템(100)을 포함하여, 본 명세서에 설명된 본 개시의 임의의 실시예들 중 임의의 실시예 내에서 동작하도록 구성될 수 있다. 공정(400)은 공정(3500)과 함께 동작하도록 구성될 수 있다. 예를 들어, 본 개시의 특정 실시예들에 따르면, 공정 블록들(403 및 404)은 AI 시스템과 함께 구현되는 비전 시스템(110)의 노력들을 물질 조각들을 분류 및/또는 선별하기 위해 AI 시스템과 함께 구현되지 않는 센서 시스템(예를 들어, 센서 시스템(120))과 결합하기 위해 (예를 들어, 공정 블록들(3503 내지 3510)과 직렬 또는 병렬로 동작하는) 공정(3500)에 통합될 수 있다.
공정(400)의 동작은 시스템(예를 들어, 도 1의 컴퓨터 시스템(107))을 제어하는 컴퓨터 시스템(예를 들어, 도 5의 컴퓨터 시스템(3400)) 내에 포함되는 하드웨어 및/또는 소프트웨어에 의해 수행될 수 있다. 공정 블록(401)에서, 물질 조각들은 컨베이어 시스템 상에 증착될 수 있다. 다음으로, 선택적 공정 블록(402)에서, 물질 조각들은 각각의 물질 조각을 추적하고, 그리고/또는 물질 조각들의 크기 및/또는 모양을 결정하기 위해 물질 조각 추적 디바이스 및/또는 광학 이미징 시스템의 부근 내에서 컨베이어 시스템을 따라 이송될 수 있다. 공정 블록(403)에서, 물질 조각이 센서 시스템에 부근에서 이동한 경우, 물질 조각은 EM 에너지(파동들) 또는 센서 시스템에 의해 활용되는 특정 유형의 센서 기술에 적합한 일부 다른 유형의 자극들로 조사되거나 자극될 수 있다. 공정 블록(404)에서, 물질 조각의 물리적 특성들은 센서 시스템에 의해 감지/검출되고 캡처된다. 공정 블록(405)에서, 물질 조각들 중 적어도 일부에 대해, 물질의 유형이 (적어도 부분적으로) 캡처된 특성들에 기초하여 식별/분류되며, 이는 비전 시스템(110)과 연계하여 AI 시스템에 의한 분류와 결합될 수 있다.
다음으로, 물질 조각의 선별이 수행되어야 하는 경우, 공정 블록(406)에서, 물질 조각의 분류 또는 분류들에 대응하는 선별 디바이스가 활성화된다. 물질 조각이 감지된 시간과 선별 디바이스가 활성화되는 시간 사이에, 물질 조각은 컨베이어 시스템의 이송 속도에 따라 센서 시스템의 부근에서 컨베이어 시스템의 하류 위치로 이동한다. 본 개시의 특정 실시예들에서, 선별 디바이스의 활성화는 물질 조각이 물질 조각의 분류에 매핑된 선별 디바이스를 통과할 때, 선별 디바이스가 활성화되고, 물질 조각이 컨베이어 시스템으로부터 연관된 선별 리셉터클로 제거/전환/배출되도록 타이밍이 결정된다. 본 개시의 특정 실시예들 내에서, 선별 디바이스의 활성화는 물질 조각이 선별 디바이스 앞을 통과하는 시기를 검출하고 선별 디바이스의 활성화를 가능하게 하는 신호를 전송하는 각각의 포지션 검출기에 의해 타이밍이 결정될 수 있다. 공정 블록(407)에서, 활성화된 선별 디바이스에 대응하는 선별 리셉터클은 제거/전환/배출된 물질 조각을 수용한다.
본 개시의 특정 실시예들에 따르면, 시스템(100)의 복수의 적어도 일부가 선별의 다수의 반복 또는 레이어들을 수행하기 위해 연속적으로 함께 연결될 수 있다. 예를 들어, 둘 이상의 시스템들(100)이 그러한 방식으로 연결될 때, 컨베이어 시스템은 단일 컨베이어 벨트 또는 다수의 컨베이어 벨트들로 구현될 수 있으며, 선별기(예를 들어, 제1 자동화 제어 시스템(108) 및 연관된 하나 이상의 선별 디바이스들(126...129))에 의해 물질들의 제1 세트의 이질적인 혼합물의 물질 조각들을 제1 세트의 하나 이상의 리셉터클들(예를 들어, 선별 리셉터클들(136...139)) 내로 선별하도록 구성된 제1 비전 시스템(및, 특정 실시예들에 따르면, 센서 시스템)을 통과하여 물질 조각들을 이송시킨 다음, 제2 선별기에 의해 물질들의 제2 세트의 이질적인 혼합물의 물질 조각들을 제2 세트의 하나 이상의 선별 리셉터클들 내로 선별하도록 구성된 제2 비전 시스템(및, 특정 실시예들에 따르면, 센서 시스템)을 통과하여 물질 조각들을 이송한다. 예를 들어, 제1 선별 시스템은 제2 선별 시스템이 둘 이상의 금속 합금들을 선별하기 전에 라이브 에어백 모듈들을 분류하여 자동차 스크랩 조각들의 흐름으로부터 안전하게 제거할 수 있다. 이러한 다단계 선별에 대한 추가 논의는 미국 공개 특허 출원 제2022/0016675호에 나와 있으며, 이는 본 명세서에 참고로 포함된다.
이러한 연속 시스템들(100)은 그러한 방식으로 서로 연결된 임의의 수의 그러한 시스템들을 포함할 수 있다. 본 개시의 특정 실시예들에 따르면, 각각의 연속 비전 시스템은 이전 시스템(들)과는 서로 다른 분류 또는 유형의 물질을 선별하도록 구성될 수 있다.
본 개시의 다양한 실시예들에 따르면, 서로 다른 유형들 또는 클래스들의 물질들이 각각 서로 다른 유형들의 센서들에 의해 분류되어 AI 시스템과 함께 사용될 수 있으며, 스크랩 또는 폐기물의 흐름에서 물질 조각들을 분류하기 위해 결합될 수 있다.
본 개시의 다양한 실시예들에 따르면, 2 개 이상의 센서들로부터의 데이터(예를 들어, 스펙트럼 데이터)는 물질 조각들의 분류를 수행하기 위해 단일 또는 다수의 AI 시스템들을 사용하여 결합될 수 있다.
본 개시의 다양한 실시예들에 따르면, 다수의 센서 시스템들이 단일 컨베이어 시스템에 장착될 수 있으며, 각각의 센서 시스템은 서로 다른 AI 시스템을 활용할 수 있다. 본 개시의 다양한 실시예들에 따르면, 다수의 센서 시스템들이 서로 다른 컨베이어 시스템들 상에 장착될 수 있으며, 각각의 센서 시스템은 서로 다른 AI 시스템을 활용할 수 있다.
이제 도 5를 참조하여, 본 개시의 실시예들의 양태들이 구현될 수 있는 데이터 처리("컴퓨터") 시스템(3400)을 예시하는 블록도가 묘사되어 있다. ("컴퓨터", "시스템", "컴퓨터 시스템" 및 "데이터 처리 시스템"이라는 용어들은 본 명세서에서 상호 교환적으로 사용될 수 있다). 컴퓨터 시스템(107), 자동화 제어 시스템(108), 센서 시스템(들)(120)의 양태들 및/또는 비전 시스템(110)은 컴퓨터 시스템(3400)과 유사하게 구성될 수 있다. 컴퓨터 시스템(3400)은 로컬 버스(3405)(예를 들어, 주변 구성요소 상호연결("PCI") 로컬 버스 아키텍처)를 이용할 수 있다. 가속 그래픽스 포트("AGP") 및 산업 표준 아키텍처("ISA") 등과 같은 임의의 적합한 버스 아키텍처가 이용될 수 있다. 하나 이상의 프로세서들(3415), 휘발성 메모리(3420) 및 비휘발성 메모리(3435)는 로컬 버스(3405)에 연결될 수 있다(예를 들어, PCI 브리지(도시되지 않음)를 통해). 통합 메모리 제어기 및 캐시 메모리는 하나 이상의 프로세서들(3415)에 결합될 수 있다. 하나 이상의 프로세서들(3415)은 하나 이상의 중앙 프로세서 유닛들 및/또는 하나 이상의 그래픽스 프로세서 유닛들 및/또는 하나 이상의 텐서 프로세싱 유닛들을 포함할 수 있다. 로컬 버스(3405)에 대한 추가 연결들은 직접 구성요소 상호연결 또는 애드-인 보드들을 통해 이루어질 수 있다. 묘사된 예에서, 통신(예를 들어, 네트워크(LAN)) 어댑터(3425), I/O(예를 들어, 소형 컴퓨터 시스템 인터페이스("SCSI") 호스트 버스) 어댑터(3430) 및 확장 버스 인터페이스(도시되지 않음)는 직접 구성요소 연결을 통해 로컬 버스(3405)에 연결될 수 있다. 오디오 어댑터(도시되지 않음), 그래픽스 어댑터(도시되지 않음) 및 디스플레이 어댑터(3416)(디스플레이(3440)에 결합됨)는 (예를 들어, 확장 슬롯들에 삽입된 애드-인 보드들에 의해) 로컬 버스(3405)에 연결될 수 있다.
사용자 인터페이스 어댑터(3412)는 키보드(3413) 및 마우스(3414), 모뎀/라우터(도시되지 않음) 및 추가 메모리(도시되지 않음)를 위한 연결부를 제공할 수 있다. I/O 어댑터(3430)는 하드 디스크 드라이브(3431), 테이프 드라이브(3432) 및 CD-ROM 드라이브(도시되지 않음)를 위한 연결부를 제공할 수 있다.
하나 이상의 운영 시스템들은 하나 이상의 프로세서들(3415)에서 실행될 수 있고, 컴퓨터 시스템(3400) 내의 다양한 구성요소들을 조정하고 제공하는 데 사용될 수 있다. 도 5에서, 운영 시스템(들)은 구매 가능한 운영 시스템일 수 있다. 물체 지향 프로그래밍 시스템(예를 들어, 자바, 파이썬 등)은 운영 시스템과 함께 실행될 수 있고, 시스템(3400)에서 실행되는 프로그램들(예를 들어, 자바, 파이썬 등) 또는 프로그램들로부터 운영 시스템에 대한 호출을 제공할 수 있다. 운영 시스템, 물체 지향 운영 시스템 및 프로그램들에 대한 명령들은 하드 디스크 드라이브(3431)와 같은 비휘발성 메모리(3435) 저장 디바이스들에 위치할 수 있고, 프로세서(3415)에 의해 실행되도록 휘발성 메모리(3420)에 로딩될 수 있다.
당업자들은 도 5의 하드웨어가 구현예에 따라 달라질 수 있음을 인식할 것이다. 플래시 롬(또는 이에 상응하는 비휘발성 메모리) 또는 광 디스크 드라이브들 등과 같은 다른 내부 하드웨어 또는 주변 디바이스들이 도 5에 묘사된 하드웨어에 부가적으로 또는 그 대신에 사용될 수 있다. 또한, 본 개시의 공정들 중 임의의 공정은 멀티프로세서 컴퓨터 시스템에 적용되거나, 또는 복수의 그러한 시스템들(3400)에 의해 수행될 수 있다. 예를 들어, 비전 시스템(110)의 훈련은 제1 컴퓨터 시스템(3400)에 의해 수행될 수 있는 반면, 분류를 위한 비전 시스템(110)의 작동은 제2 컴퓨터 시스템(3400)에 의해 수행될 수 있다.
또 다른 예로서, 컴퓨터 시스템(3400)은 컴퓨터 시스템(3400)이 일부 유형의 네트워크 통신 인터페이스를 포함하는지 여부에 관계없이, 일부 유형의 네트워크 통신 인터페이스에 의존하지 않고 부팅 가능하도록 구성되는 독립형 시스템일 수 있다. 추가의 예로서, 컴퓨터 시스템(3400)은 운영 시스템 파일들 또는 사용자 생성 데이터를 저장하는 비휘발성 메모리를 제공하는 ROM 및/또는 플래시 ROM으로 구성된 내장형 제어기일 수 있다.
도 5에 묘사된 예 및 전술한 예들은 아키텍처 제한들을 암시하기 위한 것이 아니다. 또한, 본 개시의 양태들의 컴퓨터 프로그램 형태는 컴퓨터 시스템에 의해 사용되는 임의의 컴퓨터 판독 가능한 저장 매체(즉, 플로피 디스크, 컴팩트 디스크, 하드 디스크, 테이프, ROM, RAM 등)에 있을 수 있다.
본 명세서에 설명된 바와 같이, 본 개시의 실시예들은 물질 조각들을 식별, 추적, 분류 및/또는 선별하기 위해 설명된 다양한 기능들을 수행하도록 구현될 수 있다. 이러한 기능들은 하드웨어 및/또는 소프트웨어 내에서, 예를 들어, 하나 이상의 데이터 처리 시스템들(예를 들어, 도 5의 데이터 처리 시스템(3400)), 예를 들어, 앞서 언급한 컴퓨터 시스템(107), 비전 시스템(110), 센서 시스템(들)(120)의 양태들 및/또는 자동화 제어 시스템(108) 내에서 구현될 수 있다. 그럼에도 불구하고, 본 명세서에 설명된 기능들은 임의의 특정 하드웨어/소프트웨어 플랫폼으로의 구현을 위해 제한되어서는 안 된다.
당업자가 인식할 수 있는 바와 같이, 본 개시의 양태들은 시스템, 공정, 방법 및/또는 프로그램 제품으로 구체화될 수 있다. 따라서, 본 개시의 다양한 양태들은 완전히 하드웨어적인 실시예, 완전히 소프트웨어적인 실시예(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함), 또는 소프트웨어 및 하드웨어 양태들을 결합하는 실시예들의 형태를 취할 수 있으며, 일반적으로 본 명세서에서 "회로(circuit)", "회로망(circuitry)", "모듈" 또는 "시스템"으로 지칭될 수 있다. 또한, 본 개시의 양태들은 컴퓨터 판독 가능한 프로그램 코드가 구현된 하나 이상의 컴퓨터 판독 가능 저장 매체(들)에 구현된 프로그램 제품의 형태를 취할 수 있다. (그러나, 하나 이상의 컴퓨터 판독 가능 매체(들)의 임의의 조합이 활용될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체일 수 있다).
컴퓨터 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선, 생물학적, 원자 또는 반도체 시스템, 장치, 제어기 또는 디바이스 또는 전술한 것들의 임의의 적절한 조합일 수 있으며, 컴퓨터 판독 가능 저장 매체는 그 자체로 일시적인 신호가 아니다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예들(전면적이지 않은 목록)은, 하나 이상의 와이어들을 갖는 전기 연결부, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리("RAM")(예를 들어, 도 5의 RAM(3420)), 읽기 전용 메모리("ROM")(예를 들어, 도 5의 ROM 3435), 지울 수 있는 프로그램 가능 읽기 전용 메모리("EPROM" 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리("CD-ROM"), 광 저장 디바이스, 자기 저장 디바이스(예를 들어, 도 5의 하드 드라이브(3431)), 또는 전술한 것들의 임의의 적절한 조합을 포함할 수 있다. 본 명세서의 맥락에서, 컴퓨터 판독 가능 저장 매체는 명령 실행 시스템, 장치, 제어기 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 유형적 매체일 수 있다. 컴퓨터 판독 가능 신호 매체에 구현된 프로그램 코드는 무선, 유선, 광섬유 케이블, RF 등을 포함하는(그러나, 이에 제한되지 않음) 임의의 적절한 매체 또는 전술한 것들의 임의의 적절한 조합을 사용하여 전송될 수 있다.
컴퓨터 판독 가능 신호 매체는 예를 들어 기저대역 또는 반송파의 일부로서 컴퓨터 판독 가능 프로그램 코드가 구현된 전파된 데이터 신호를 포함할 수 있다. 이러한 전파된 신호는 전자기, 광학 또는 이들의 임의의 적절한 조합을 포함하는(그러나, 이에 제한되지 않음) 다양한 형태들을 취할 수 있다. 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 저장 매체가 아니며 명령 실행 시스템, 장치, 제어기 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위해 프로그램을 통신, 전파 또는 전송할 수 있는 모든 컴퓨터 판독 가능 매체일 수 있다.
도면들의 흐름도 및 블록도들은 본 개시의 다양한 실시예들에 따른 시스템들, 방법들, 공정들 및 프로그램 제품들의 가능한 구현예들의 아키텍처, 기능 및 동작을 예시한다. 이와 관련하여, 흐름도들 또는 블록도들의 각각의 블록은 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 이는 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 프로그램 명령들을 포함한다. 또한, 일부 구현예들에서는 블록들에 표시된 기능들이 도면들에 표시된 순서와 다르게 나타날 수 있다는 점에 유의해야 한다. 예를 들어, 연속적으로 도시된 두 블록들이 실제로는 거의 동시에 실행될 수도 있고, 때때로 관련된 기능에 따라 블록들이 역순으로 실행될 수도 있다.
다양한 유형들의 프로세서들(예를 들어, GPU(3401), CPU(3415))에 의해 실행되도록 소프트웨어로 구현된 모듈들은, 예를 들어, 물체, 절차 또는 함수로서 구성될 수 있는 예를 들어, 하나 이상의 물리적 또는 논리적 컴퓨터 명령들의 블록들을 포함할 수 있다. 그럼에도 불구하고, 식별된 모듈의 실행 파일들은 물리적으로 함께 위치할 필요는 없지만, 논리적으로 함께 결합될 때 모듈을 포함하고 모듈의 명시된 목적을 달성하는 서로 다른 위치들에 저장된 이질적인 명령들을 포함할 수 있다. 실제로 실행 가능 코드의 모듈은 단일 명령일 수도 있고, 또는 여러 명령들일 수도 있으며, 여러 서로 다른 코드 세그먼트들, 서로 다른 프로그램들, 여러 메모리 디바이스들에 분산되어 있을 수도 있다. 마찬가지로, 운영 데이터(예를 들어, 본 명세서에 설명된 물질 분류 라이브러리들)는 모듈들 내에서 식별되고 본 명세서에 예시될 수 있으며, 임의의 적절한 형태로 구체화되고 임의의 적절한 유형의 데이터 구조 내에서 구성될 수 있다. 운영 데이터는 단일 데이터 세트로서 수집될 수도 있고, 또는 서로 다른 저장 디바이스들을 포함하여 서로 다른 위치들에 걸쳐 분산될 수도 있다. 데이터는 시스템 또는 네트워크에서 전자 신호들을 제공할 수 있다.
이러한 프로그램 명령들은 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치(예를 들어, 제어기)의 하나 이상의 프로세서들 및/또는 제어기(들)에 제공되어, 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서(들)(예를 들어, GPU(3401), CPU(3415))를 통해 실행되는 명령들이 흐름도 및/또는 블록도의 블록 또는 블록들에 지정된 기능들/행위들을 구현하기 위한 회로망 또는 수단을 생성하도록 기계를 생산할 수 있다.
또한, 블록도들 및/또는 흐름도의 예시들의 각각의 블록 및 블록도들 및/또는 흐름도의 예시들의 블록들의 조합들은, 지정된 기능들 또는 행위들을 수행하는 특수 목적 하드웨어 기반 시스템들(예를 들어, 하나 이상의 그래픽스 처리 유닛들(예를 들어, GPU(3401))을 포함할 수 있음) 또는 특수 목적 하드웨어 및 컴퓨터 명령들의 조합들에 의해 구현될 수 있음에 유의할 것이다. 예를 들어, 모듈은 맞춤형 VLSI 회로들 또는 게이트 어레이들, 로직 칩들, 트랜지스터들, 제어기들 또는 기타 개별 구성요소들과 같은 기성 반도체들을 포함한 하드웨어 회로로서 구현될 수 있다. 모듈은 또한 필드 프로그래밍 가능 게이트 어레이들, 프로그래밍 가능 어레이 로직, 프로그래밍 가능 논리 디바이스들 등과 같은 프로그래밍 가능 하드웨어 디바이스들로 구현될 수도 있다.
본 명세서의 설명에서, 흐름도 기술은 일련의 순차적 동작들로 설명될 수 있다. 동작들의 순서와 동작들을 수행하는 요소는 교시들의 범위를 벗어나지 않는 범위에서 자유롭게 변경될 수 있다. 동작들은 여러 방식들로 추가, 삭제 또는 변경될 수 있다. 마찬가지로 동작들은 순서를 바꾸거나 반복할 수 있다. 또한, 공정들, 방법들, 알고리즘들 등이 순차적인 순서로 설명될 수 있지만, 그러한 공정들, 방법들, 알고리즘들 또는 이들의 임의의 조합은 대안적인 순서들로 수행되도록 작동될 수 있다. 또한, 공정, 방법 또는 알고리즘 내의 일부 동작들은 적어도 한 시점 동안 동시에 수행될 수 있으며(예를 들어, 병렬로 수행되는 동작들), 또한 이들의 전체, 일부 또는 임의의 조합으로 수행될 수 있다.
본 명세서에서는 특정 기능 또는 기능들을 수행하도록 "구성된" 디바이스, 회로, 회로망, 시스템 또는 모듈을 참조할 수 있다. 여기에는 모니터링 또는 제어 기능들을 포함하는 특정 논리 기능들을 제공하도록 사전 정의된 논리 블록들을 선택하고 이들을 논리적으로 연결하는 것이 포함될 수 있음을 이해해야 한다. 또한, 컴퓨터 소프트웨어 기반 로직 프로그래밍, 개별 하드웨어 구성요소들의 배선 또는 전술한 것들의 일부 또는 전부의 조합을 포함할 수도 있다.
본 명세서에 설명되지 않은 범위 내에서, 특정 물질들, 처리 행위들 및 회로들에 관한 많은 상세들은 통상적이며, 컴퓨팅 분야, 전자공학 분야 및 소프트웨어 분야의 교재들 및 기타 출처들에서 찾을 수 있다.
본 개시의 양태들에 대한 동작들을 수행하기 위한 컴퓨터 프로그램 코드, 즉 명령들은 자바, 스몰토크, 파이썬, C++ 등과 같은 물체 지향 프로그래밍 언어, "C" 프로그래밍 언어 또는 이와 유사한 프로그래밍 언어와 같은 통상적인 절차적 프로그래밍 언어, 매트랩(MATLAB) 또는 랩뷰(LabVIEW)와 같은 프로그래밍 언어들 또는 본 명세서에 개시된 임의의 AI 소프트웨어를 포함하는 하나 이상의 프로그래밍 언어들의 임의의 조합으로 작성될 수 있다. 프로그램 코드는 전적으로 사용자의 컴퓨터 시스템에서, 부분적으로 사용자의 컴퓨터 시스템에서, 독립형 소프트웨어 패키지로서, 부분적으로 사용자의 컴퓨터 시스템(예를 들어, 선별에 활용되는 컴퓨터 시스템)에서, 부분적으로 원격 컴퓨터 시스템(예를 들어, AI 시스템 훈련에 활용되는 컴퓨터 시스템)에서 실행되거나, 전적으로 원격 컴퓨터 시스템 또는 서버에서 실행될 수 있다. 전적으로 원격 컴퓨터 시스템 또는 서버에서 실행되는 시나리오에서, 원격 컴퓨터 시스템은 근거리 통신망("LAN") 또는 광역 통신망("WAN")을 포함한 임의의 유형의 네트워크를 통해 사용자의 컴퓨터 시스템에 연결되거나, 외부 컴퓨터 시스템(예를 들어, 인터넷 서비스 제공업체를 사용하는 인터넷을 통해)에 연결될 수 있다. 전술한 일 예로서, 본 개시의 다양한 양태들은 컴퓨터 시스템(107), 자동화 제어 시스템(108), 비전 시스템(110) 및 센서 시스템(들)(120) 중 하나 이상에서 실행되도록 구성될 수 있다.
이러한 프로그램 명령들은 컴퓨터 시스템, 다른 프로그램 가능한 데이터 처리 장치, 제어기 또는 기타 디바이스들에 특정 방식으로 작동하도록 지시할 수 있는 컴퓨터 판독 가능 저장 매체에 저장될 수도 있으며, 컴퓨터 판독 가능 매체에 저장된 명령들은 흐름도 및/또는 블록도의 블록 또는 블록들에 지정된 기능/행위를 구현하는 명령들을 포함하는 제조물을 생성한다.
프로그램 명령들은 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치, 제어기 또는 다른 디바이스들에 로딩되어 컴퓨터, 다른 프로그램 가능 장치 또는 다른 디바이스들에서 일련의 동작 단계들이 수행되도록 하여 컴퓨터 또는 다른 프로그램 가능 장치에서 실행되는 명령들이 흐름도 및/또는 블록도의 블록 또는 블록들에 지정된 기능들/행위들을 구현하기 위한 공정들을 제공하도록 컴퓨터 구현 공정을 생성할 수 있다.
하나 이상의 데이터베이스들은 다양한 구현예들을 위한 데이터를 저장하고 이에 대한 액세스를 제공하기 위해 호스트에 포함될 수 있다. 당업자는 또한 보안상의 이유들로, 본 개시의 임의의 데이터베이스들, 시스템들 또는 구성요소들은 단일 위치 또는 다수의 위치들에서 데이터베이스들 또는 구성요소들의 임의의 조합을 포함할 수 있으며, 각각의 데이터베이스 또는 시스템은 방화벽들, 액세스 코드들, 암호화, 암호화 해제 등과 같은 다양한 적합한 보안 기능들 중 임의의 기능을 포함할 수 있음을 이해할 것이다. 데이터베이스는 관계형, 계층형, 물체 지향 및/또는 이와 같은 모든 유형의 데이터베이스일 수 있다. 데이터베이스들을 구현하는 데 사용될 수 있는 일반적인 데이터베이스 제품들에는 아이비엠(IBM)사의 디비2(DB2), 오라클(Oracle Corporation)사로부터 입수 가능한 데이터베이스 제품들 중 임의의 제품, 마이크로소프트(Microsoft Corporation)사의 마이크로 액세스(Microsoft Access) 또는 임의의 다른 데이터베이스 제품이 포함된다. 데이터베이스는 데이터 테이블들 또는 조회 테이블들을 포함하여 임의의 적절한 방식으로 구성할 수 있다.
특정 데이터의 연계(예를 들어, 본 명세서에 기술된 물질 처리 시스템에 의해 처리되는 물질 조각들 각각에 대한)은 당업계에 공지되고 실시되는 임의의 데이터 연계 기술을 통해 달성될 수 있다. 예를 들어, 연계는 수동 또는 자동으로 달성될 수 있다. 자동 연계 기술들에는, 예를 들어, 데이터베이스 검색, 데이터베이스 병합, GREP, AGREP, SQL 등이 포함될 수 있다. 연계 단계는 예를 들어 제조업체 및 소매업체 데이터 테이블들 각각의 키 필드를 사용하는 데이터베이스 병합 기능으로 수행할 수 있다. 키 필드는 키 필드에 의해 규정된 개체들의 상위 수준 클래스에 따라 데이터베이스를 분할한다. 예를 들어, 특정 클래스가 제1 데이터 테이블과 제2 데이터 테이블 모두에서 키 필드로서 지정될 수 있으며, 두 데이터 테이블들은 키 필드의 클래스 데이터에 기초하여 병합될 수 있다. 이러한 실시예들에서, 병합된 각 데이터 테이블들 각각의 키 필드에 대응하는 데이터는 바람직하게는 동일하다. 그러나, 키 필드들에 동일하지는 않지만 유사한 데이터를 갖는 데이터 테이블들은 예를 들어 AGREP을 사용하여 병합될 수도 있다.
본 개시의 양태들은 자동차 스크랩 조각들의 이동 흐름으로부터 라이브 에어백 모듈들을 선별하는 방법으로서, 라이브 에어백 모듈을 포함하는 자동차 스크랩 조각들을 비전 시스템을 통과하여 이송하는 단계; 자동차 스크랩 조각들의 시각적 이미지들을 캡처하는 단계; 라이브 에어백 모듈을 다른 자동차 스크랩 조각들과 구별하기 위해, 인공 지능 시스템을 통해 자동차 스크랩 조각들의 캡처된 시각적 이미지들을 처리하는 단계; 및 자동차 스크랩 조각들의 이동 흐름으로부터 라이브 에어백 모듈을 선별하는 단계를 포함하는 라이브 에어백 모듈들의 선별 방법을 제공한다. 선별하는 단계는 라이브 에어백 모듈을 라이브 에어백 모듈 부근 내에 있는 다른 자동차 스크랩 조각들과 함께 리셉터클로 전환하는 단계를 포함할 수 있다. 선별하는 단계는 라이브 에어백 모듈을 활성화하지 않고 수행될 수 있다. 선별하는 단계는 라이브 에어백 모듈을 활성화하지 않도록 구성된 전환력을 사용하여 라이브 에어백 모듈을 전환하는 선별 메커니즘에 의해 수행될 수 있다. 선별 메커니즘은 페인트 브러시 유형 플런저일 수 있다. 라이브 에어백 모듈은 적어도 하나의 다른 자동차 스크랩 조각에 의해 부분적으로 가려져 비전 시스템이 라이브 에어백 모듈 전체의 스펙트럼 이미지 데이터를 획득할 수 없게 될 수 있다. 인공 지능 시스템은 부분적으로 가려진 라이브 에어백 모듈을 식별하도록 구성될 수 있다. 인공 지능 시스템은 라이브 에어백 모듈들과 다른 자동차 스크랩 조각들을 구별하기 위한 시맨틱 세분화 알고리즘(semantic segmentation algorithm)으로 구성될 수 있다. 이 방법은 자동차 스크랩 조각들의 흐름으로부터 라이브 에어백 모듈들을 선별한 후, 자동차 스크랩 조각들을 별도의 금속 합금들로 선별하는 단계를 더 포함할 수 있다. 인공 지능 시스템은 특정 자동차 스크랩 조각을 미리결정된 임계값보다 큰 위양성들 대 위음성들의 비율로 라이브 에어백 모듈로서 분류하도록 구성될 수 있다.
본 개시의 양태들은 자동차 스크랩 조각들의 이동 흐름으로부터 라이브 에어백 모듈들을 선별하기 위한 시스템으로서, 라이브 에어백 모듈을 포함하는 자동차 스크랩 조각들을 비전 시스템을 통과하여 이송하기 위한 컨베이어 시스템; 자동차 스크랩 조각들의 시각적 이미지들을 캡처하도록 구성된 비전 시스템; 라이브 에어백 모듈을 다른 자동차 스크랩 조각들과 구별하기 위해, 인공 지능 시스템을 통해 자동차 스크랩 조각들의 캡처된 시각적 이미지들을 처리하도록 구성된 인공 지능 시스템으로 구성된 데이터 처리 시스템; 및 자동차 스크랩 조각들의 이동 흐름으로부터 라이브 에어백 모듈을 선별하기 위한 선별 디바이스를 포함하는 라이브 에어백 모듈들을 선별하기 위한 시스템을 제공한다. 선별은 라이브 에어백 모듈을 라이브 에어백 모듈 부근 내에 있는 자동차 스크랩 조각들과 함께 리셉터클로 전환하는 것을 포함할 수 있다. 선별은 라이브 에어백 모듈을 활성화하지 않고 수행될 수 있다. 선별 디바이스는 라이브 에어백 모듈을 활성화하지 않도록 구성된 전환력을 사용하여 라이브 에어백 모듈을 전환하는 선별 메커니즘을 포함할 수 있다. 선별 메커니즘은 페인트 브러시 유형 플런저일 수 있다. 라이브 에어백 모듈은 적어도 하나의 다른 자동차 스크랩 조각에 의해 부분적으로 가려져 비전 시스템이 라이브 에어백 모듈 전체의 스펙트럼 이미지 데이터를 획득할 수 없게 될 수 있다. 인공 지능 시스템은 부분적으로 가려진 라이브 에어백 모듈을 식별하고, 부분적으로 가려진 라이브 에어백 모듈을 다른 자동차 스크랩 조각들로부터 구별하도록 구성될 수 있다. 인공 지능 시스템은, 라이브 에어백 모듈들과 다른 자동차 스크랩 조각들을 구별하기 위한 마스크 R-CNN 알고리즘으로 구성될 수 있다. 인공 지능 시스템은 특정 자동차 스크랩 조각이 라이브 에어백 모듈과 충분히 닮은 경우, 특정 자동차 스크랩 조각을 라이브 에어백 모듈로서 분류하도록 구성될 수 있다. 인공 지능 시스템은 특정 자동차 스크랩 조각을 미리결정된 임계치보다 큰 위양성들 대 위음성들의 비율로 라이브 에어백 모듈로서 분류하도록 구성될 수 있다.
본 명세서의 설명들에서, 본 개시의 실시예들에 대한 완전한 이해를 제공하기 위해 프로그래밍, 소프트웨어 모듈들, 사용자 선택들, 네트워크 트랜잭션들, 데이터베이스 쿼리들, 데이터베이스 구조들, 하드웨어 모듈들, 하드웨어 회로들, 하드웨어 칩들, 제어기들 등의 예들과 같은 수많은 구체적인 상세들이 제공된다. 그러나, 관련 기술의 당업자는 본 개시가 특정 상세들 중 하나 이상 없이 또는 다른 방법들, 구성요소들, 물질들 등을 사용하여 실시될 수 있다는 것을 인식할 것이다. 다른 경우들에서, 잘 알려진 구조들, 물질들 또는 동작들은 본 개시의 양태들을 모호하게 하지 않기 위해 상세하게 도시되지 않거나 설명되지 않을 수 있다.
본 명세서 전체에서 "일 실시예", "실시예들" 또는 이와 유사한 언어에 대한 언급은, 실시예들과 관련하여 설명된 특정 특징, 구조 또는 특성이 본 개시의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전체에서 "하나의 실시예에서", "일 실시예에서", "실시예들", "특정 실시예들", "다양한 실시예들"이라는 문구들 및 이와 유사한 언어의 출현들은 모두 동일한 실시예를 지칭할 수 있지만, 반드시 그렇지는 않다. 또한, 본 개시의 설명된 특징들, 구조들, 양태들 및/또는 특성들은 하나 이상의 실시예들에서 임의의 적절한 방식으로 결합될 수 있다. 이에 따라, 특징들이 처음에 특정 조합들에서 작용하는 것으로 청구되더라도, 청구된 조합으로부터 하나 이상의 특징들이 일부 경우에 있어서 조합으로부터 생략될 수 있으며, 청구된 조합은 하위 조합 또는 하위 조합의 변형으로 유도될 수 있다.
특정 실시예들과 관련하여 이점들, 장점들 및 문제들에 대한 해결책들이 전술되었다. 그러나, 이점들, 장점들, 문제들에 대한 해결책들 및 임의의 이점, 장점 또는 해결책을 발생시키거나 더욱 두드러지게 할 수 있는 임의의 요소(들)는 청구항들 중 일부 또는 전부의 중요하거나, 요구되거나 또는 필수적인 특징들 또는 요소들로 해석되어서는 안 된다. 또한, 명시적으로 필수적이거나 중요한 것으로 기술되지 않는 한, 본 명세서에 설명된 어떠한 구성요소도 본 개시의 실시에 요구되지 않는다.
본 명세서에서 "또는"이라는 용어는 포괄적인 것으로 의도될 수 있으며, 여기서 "A 또는 B"는 A 또는 B를 포함하고, 또한 A와 B 모두를 포함한다. 본 명세서에서 사용된 바와 같이, "및/또는"이라는 용어는 실체들의 목록의 맥락에서 사용될 때 실체들이 단독으로 또는 조합하여 존재하는 것을 나타낸다. 따라서, 예를 들어 "A, B, C 및/또는 D"라는 문구에는 A, B, C 및 D가 개별적으로 포함될 뿐만 아니라 A, B, C 및 D의 일부 또는 모든 조합들 및 하위 조합들도 포함된다.
본 명세서에 사용된 용어는 특정 실시예들을 설명하기 위한 목적일 뿐이며, 본 개시를 한정하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태들은 문맥에서 달리 명시되지 않는 한 복수 형태들도 포함하는 것으로 간주될 수 있다.
이하의 청구항들에서 모든 수단 또는 스텝 플러스 기능 요소들의 대응하는 구조들, 물질들, 행위들 및 등가물들은 구체적으로 청구된 다른 청구 요소들과 결합하여 기능을 수행하기 위한 임의의 구조, 물질 또는 행위를 포함하도록 의도될 수 있다.
식별된 속성 또는 상황과 관련하여 본 명세서에서 사용되는 바와 같이, "실질적으로"는 식별된 속성 또는 상황을 측정 가능하게 손상시키지 않을 정도로 충분히 작은 편차 정도를 의미한다. 허용 가능한 정확한 편차 정도는 일부 경우들에서는 특정 상황에 따라 달라질 수 있다.
본 명세서에서 사용되는 바와 같이, 복수의 항목들, 구조적 요소들, 구성 요소들 및/또는 물질들은 편의를 위해 공통 목록으로 제시될 수 있다. 그러나 이러한 목록들은 목록의 각각의 부재가 개별적으로 별개의 고유한 부재로서 식별되는 것처럼 해석되어야 한다. 따라서, 그러한 목록의 개별 부재는 반대되는 표시들 없이 공통 그룹에 표시되었다는 이유만으로 동일한 목록의 임의의 다른 부재와 사실상 동등한 것으로 해석되어서는 안 된다.
달리 정의되지 않는 한, 본 명세서에 사용된 모든 기술 및 과학 용어들(주기율표 내의 화학 원소들에 사용되는 약어들 등)은 현재 개시된 주제가 속하는 기술분야의 통상의 기술자에게 통상적으로 이해되는 것과 동일한 의미를 갖는다. 본 명세서에 설명된 것과 유사하거나 동등한 임의의 방법들, 디바이스들 및 물질들이 현재 개시된 주제의 실시 또는 테스트에 사용될 수 있지만, 대표적인 방법들, 디바이스들 및 물질들이 이제 설명된다.
본 명세서에서 사용되는 바와 같이, "결합된"이라는 용어는 직접 결합 또는 기계적 결합으로 제한하려는 의도가 아니다. 달리 명시되지 않는 한, "제1" 및 "제2"와 같은 용어들은 그러한 용어들이 설명하는 요소들을 임의로 구별하기 위해 사용된다. 따라서, 이러한 용어들이 반드시 이러한 요소들의 시간적 또는 기타 우선순위를 나타내는 것은 아니다.

Claims (20)

  1. 자동차 스크랩 조각들의 이동 흐름으로부터 라이브 에어백 모듈들을 선별하는 방법으로서,
    라이브 에어백 모듈을 포함하는 자동차 스크랩 조각들을 비전 시스템을 통과하여 이송하는 단계;
    상기 자동차 스크랩 조각들의 시각적 이미지들을 캡처하는 단계;
    상기 라이브 에어백 모듈을 다른 자동차 스크랩 조각들과 구별하기 위해, 인공 지능 시스템을 통해 상기 자동차 스크랩 조각들의 캡처된 시각적 이미지들을 처리하는 단계; 및
    상기 자동차 스크랩 조각들의 이동 흐름으로부터 상기 라이브 에어백 모듈을 선별하는 단계
    를 포함하는, 라이브 에어백 모듈들의 선별 방법.
  2. 제1 항에 있어서,
    상기 선별하는 단계는 상기 라이브 에어백 모듈을 상기 라이브 에어백 모듈 부근 내에 있는 다른 자동차 스크랩 조각들과 함께 리셉터클로 전환하는 단계를 포함하는, 라이브 에어백 모듈들의 선별 방법.
  3. 제1 항에 있어서,
    상기 선별하는 단계는 상기 라이브 에어백 모듈을 활성화하지 않고 수행되는, 라이브 에어백 모듈들의 선별 방법.
  4. 제1 항에 있어서,
    상기 선별하는 단계는 상기 라이브 에어백 모듈을 활성화하지 않도록 구성된 전환력을 사용하여 상기 라이브 에어백 모듈을 전환하는 선별 메커니즘에 의해 수행되는, 라이브 에어백 모듈들의 선별 방법.
  5. 제4 항에 있어서,
    상기 선별 메커니즘은 페인트 브러시 유형 플런저인, 라이브 에어백 모듈들의 선별 방법.
  6. 제2 항에 있어서,
    상기 라이브 에어백 모듈은 적어도 하나의 다른 자동차 스크랩 조각에 의해 부분적으로 가려져 상기 비전 시스템이 상기 라이브 에어백 모듈 전체의 스펙트럼 이미지 데이터를 획득할 수 없게 되는, 라이브 에어백 모듈들의 선별 방법.
  7. 제6 항에 있어서,
    상기 인공 지능 시스템은 부분적으로 가려진 라이브 에어백 모듈을 식별하도록 구성되는, 라이브 에어백 모듈들의 선별 방법.
  8. 제7 항에 있어서,
    상기 인공 지능 시스템은 라이브 에어백 모듈들과 다른 자동차 스크랩 조각들을 구별하기 위한 시맨틱 세분화 알고리즘(semantic segmentation algorithm)으로 구성되는, 라이브 에어백 모듈들의 선별 방법.
  9. 제1 항에 있어서,
    상기 자동차 스크랩 조각들의 흐름으로부터 상기 라이브 에어백 모듈들을 선별한 후, 상기 자동차 스크랩 조각들을 별도의 금속 합금들로 선별하는 단계를 더 포함하는, 라이브 에어백 모듈들의 선별 방법.
  10. 제1 항에 있어서,
    상기 인공 지능 시스템은 특정 자동차 스크랩 조각을 미리결정된 임계값보다 큰 위양성(false positive)들 대 위음성(false negative)들의 비율로 라이브 에어백 모듈로서 분류하도록 구성되는, 라이브 에어백 모듈들의 선별 방법.
  11. 자동차 스크랩 조각들의 이동 흐름으로부터 라이브 에어백 모듈들을 선별하기 위한 시스템으로서,
    라이브 에어백 모듈을 포함하는 자동차 스크랩 조각들을 비전 시스템을 통과하여 이송하기 위한 컨베이어 시스템;
    상기 자동차 스크랩 조각들의 시각적 이미지들을 캡처하도록 구성된 비전 시스템;
    상기 라이브 에어백 모듈을 다른 자동차 스크랩 조각들과 구별하기 위해, 인공 지능 시스템을 통해 상기 자동차 스크랩 조각들의 캡처된 시각적 이미지들을 처리하도록 구성된 상기 인공 지능 시스템으로 구성된 데이터 처리 시스템; 및
    상기 자동차 스크랩 조각들의 이동 흐름으로부터 상기 라이브 에어백 모듈을 선별하기 위한 선별 디바이스
    를 포함하는, 라이브 에어백 모듈들을 선별하기 위한 시스템.
  12. 제11 항에 있어서,
    상기 선별은 상기 라이브 에어백 모듈을 상기 라이브 에어백 모듈 부근 내에 있는 자동차 스크랩 조각들과 함께 리셉터클로 전환하는 것을 포함하는, 라이브 에어백 모듈들을 선별하기 위한 시스템.
  13. 제11 항에 있어서,
    상기 선별은 상기 라이브 에어백 모듈을 활성화하지 않고 수행되는, 라이브 에어백 모듈들을 선별하기 위한 시스템.
  14. 제11 항에 있어서,
    상기 선별 디바이스는 상기 라이브 에어백 모듈을 활성화하지 않도록 구성된 전환력을 사용하여 상기 라이브 에어백 모듈을 전환하는 선별 메커니즘을 포함하는, 라이브 에어백 모듈들을 선별하기 위한 시스템.
  15. 제14 항에 있어서,
    상기 선별 메커니즘은 페인트 브러시 유형 플런저인, 라이브 에어백 모듈들을 선별하기 위한 시스템.
  16. 제12 항에 있어서,
    상기 라이브 에어백 모듈은 적어도 하나의 다른 자동차 스크랩 조각에 의해 부분적으로 가려져 상기 비전 시스템이 상기 라이브 에어백 모듈 전체의 스펙트럼 이미지 데이터를 획득할 수 없게 되는, 라이브 에어백 모듈들을 선별하기 위한 시스템.
  17. 제16 항에 있어서,
    상기 인공 지능 시스템은 부분적으로 가려진 라이브 에어백 모듈을 식별하고, 부분적으로 가려진 라이브 에어백 모듈을 다른 자동차 스크랩 조각들과 구별하도록 구성되는, 라이브 에어백 모듈들을 선별하기 위한 시스템.
  18. 제17 항에 있어서,
    상기 인공 지능 시스템은, 라이브 에어백 모듈들과 다른 자동차 스크랩 조각들을 구별하기 위한 시맨틱 세분화 알고리즘으로 구성되는, 라이브 에어백 모듈들을 선별하기 위한 시스템.
  19. 제11 항에 있어서,
    상기 인공 지능 시스템은 특정 자동차 스크랩 조각이 라이브 에어백 모듈과 충분히 닮은 경우, 특정 자동차 스크랩 조각을 라이브 에어백 모듈로서 분류하도록 구성되는, 라이브 에어백 모듈들을 선별하기 위한 시스템.
  20. 제11 항에 있어서,
    상기 인공 지능 시스템은 특정 자동차 스크랩 조각을 미리결정된 임계치보다 큰 위양성들 대 위음성들의 비율로 라이브 에어백 모듈로서 분류하도록 구성되는, 라이브 에어백 모듈들을 선별하기 위한 시스템.
KR1020237028271A 2021-08-05 2022-08-05 자동차 스크랩으로부터의 에어백 모듈들의 제거 KR20230150801A (ko)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US202163229724P 2021-08-05 2021-08-05
US63/229,724 2021-08-05
US17/491,415 US11278937B2 (en) 2015-07-16 2021-09-30 Multiple stage sorting
US17/491,415 2021-09-30
US17/495,291 US11975365B2 (en) 2015-07-16 2021-10-06 Computer program product for classifying materials
US17/495,291 2021-10-06
US17/667,397 US11969764B2 (en) 2016-07-18 2022-02-08 Sorting of plastics
US17/667,397 2022-02-08
US17/752,669 US20220355342A1 (en) 2015-07-16 2022-05-24 Sorting of contaminants
US17/752,669 2022-05-24
PCT/US2022/039622 WO2023015000A1 (en) 2021-08-05 2022-08-05 Removing airbag modules from automotive scrap

Publications (1)

Publication Number Publication Date
KR20230150801A true KR20230150801A (ko) 2023-10-31

Family

ID=85154789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237028271A KR20230150801A (ko) 2021-08-05 2022-08-05 자동차 스크랩으로부터의 에어백 모듈들의 제거

Country Status (6)

Country Link
EP (1) EP4267319A1 (ko)
JP (1) JP2024518687A (ko)
KR (1) KR20230150801A (ko)
BR (1) BR112023021201A2 (ko)
CA (1) CA3209255A1 (ko)
WO (1) WO2023015000A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19681456T1 (de) * 1995-06-16 1998-05-20 Daicel Chem Verfahren zur Unterscheidung zwischen gebrauchten und ungebrauchten Gaserzeugern für Airbags beim Verschrottungsvorgang von Autos
EP1638463A4 (en) * 2003-07-01 2007-11-21 Cardiomag Imaging Inc USE OF MACHINE LEARNING FOR CLASSIFICATION OF MAGNETOCARDIOGRAMS
US7930082B2 (en) * 2008-05-20 2011-04-19 Autoliv Asp, Inc. Fail-safe apparatus and method for disposal of automobile pyrotechnic safety devices
US11964304B2 (en) * 2015-07-16 2024-04-23 Sortera Technologies, Inc. Sorting between metal alloys

Also Published As

Publication number Publication date
CA3209255A1 (en) 2023-02-09
JP2024518687A (ja) 2024-05-02
BR112023021201A2 (pt) 2024-03-05
WO2023015000A1 (en) 2023-02-09
EP4267319A1 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
US20210346916A1 (en) Material handling using machine learning system
US11975365B2 (en) Computer program product for classifying materials
US11964304B2 (en) Sorting between metal alloys
US10625304B2 (en) Recycling coins from scrap
CN112543680A (zh) 从废料中回收硬币
US20220355342A1 (en) Sorting of contaminants
US20220203407A1 (en) Sorting based on chemical composition
WO2023076186A1 (en) Metal separation in a scrap yard
CA3233146A1 (en) Multiple stage sorting
US20220371057A1 (en) Removing airbag modules from automotive scrap
KR20230150801A (ko) 자동차 스크랩으로부터의 에어백 모듈들의 제거
Koganti et al. Deep Learning based Automated Waste Segregation System based on degradability
TWI829131B (zh) 用於淘選材料之方法和系統以及儲存在電腦可讀儲存媒體上的電腦程式產品
CN116997423A (zh) 从汽车废料中移除安全气囊模块
WO2023003670A1 (en) Material handling system
WO2023003669A9 (en) Material classification system
KR20230147634A (ko) 화학적 조성에 근거한 선별
US20230053268A1 (en) Classification and sorting with single-board computers
US20240132297A1 (en) Thin strip classification
US20230173543A1 (en) Mobile sorter
US20230044783A1 (en) Metal separation in a scrap yard
CN116917055A (zh) 基于化学组合物的分拣
WO2023137423A1 (en) Scrap data analysis
WO2022251373A1 (en) Sorting of contaminants