KR20220090513A - 자동화된 육안 검사 장비에 대한 딥 러닝의 대상 적용 - Google Patents

Abstract

용기의 자동화된 육안 검사의 정확성과 효율성을 향상시키는 방법에 있어서, 샘플을 함유하는 용기는, 라인 스캔 카메라가 용기의 스토퍼의 에지의 프로파일 뷰를 갖도록 배향된다. 스토퍼의 에지의 복수의 화상은, 용기를 스피닝시키는 동안 제1 라인 스캔 카메라에 의해 캡처되고, 복수의 화상의 각 화상은 용기의 상이한 회전 위치에 대응한다. 스토퍼의 에지의 2차원 화상은 적어도 복수의 화상에 기초하여 생성되고, 2차원 화상의 픽셀들은, 훈련된 신경망을 포함하는 추론 모델을 실행하는 하나 이상의 프로세서에 의해 처리되어, 샘플에 결함이 있을 가능성을 나타내는 출력 데이터를 생성한다.

Description

자동화된 육안 검사 장비에 대한 딥 러닝의 대상 적용

본원은, 일반적으로 제약 제품 또는 기타 제품에 대한 자동화된 육안 검사(automated visual inspection; AVI) 시스템에 관한 것으로서, 더욱 구체적으로는 샘플(예를 들어, 용액)로 충전된 용기의 입자와 기타 대상(예를 들어, 기포)을 검출하고 구별하기 위한 기술에 관한 것이다.

제조된 의약품의 품질 관리 절차와 같은 소정의 상황에서는, 샘플(예를 들어, 주사기나 유리병과 같은 용기/컨테이너, 및/또는 유체 또는 동결 건조된 의약품과 같은 내용물)에 결함이 있는지를 검사해야 한다. 적용가능한 품질 표준에 따른 특정 샘플의 허용 여부는, 예를 들어, 용기 결함(예를 들어, 칩 또는 균열)의 유형 및/또는 크기, 또는 의약품(예를 들어, 섬유) 내의 원하지 않는 입자의 유형, 수, 및/또는 크기와 같은 메트릭에 의존할 수 있다. 샘플에 허용할 수 없는 메트릭이 있다면, 샘플이 거부 및/또는 폐기될 수 있다.

통상적으로 의약품의 상업적 생산에 연관된 양을 처리하기 위해, 결함 검사 작업이 점점 더 자동화되고 있다. 그러나, 용액에서 미립자를 자동으로 검출하는 것은 제약 산업 내에서 특별한 문제를 제시한다. 높은 검출 정확도는, 일반적으로 달성하기 어렵고, 다른 경우에는 입자 유형을 나타낼 수 있는 입자 운동을 점도가 높은 용액이 억제함에 따라 훨씬 더 어려워진다. 기포 형성을 촉진하는 가스를 방출하는 제형이 있는 단백질 기반 제품의 경우에는, 종래의 입자 검출 기술로 인해 거짓 거부율(rate of false rejects)이 특히 높을 수 있다. 예를 들어, 이러한 기술은, (용기에 달라붙을 수 있는) 이들 기포를 용기의 일부에 대하여(예를 들어, 용액으로 충전된 주사기의 플런저에 대하여) 침전/정지되는 경향이 있는 무거운 입자와 구별하는 데 어려움이 있을 수 있다.

더욱이, 자동화된 결함 검사를 보조하는 데 사용되는 특수 장비는, 매우 크고, 매우 복잡하고, 매우 고가가 되었다. 단일 상용 라인 장비는, 각각 상이한 특정 검사 작업을 처리하는 수많은 상이한 AVI 스테이션을 포함할 수 있다. 단지 일례를 들면, 약물로 충전된 주사기의 충전 완료 검사 단계에 사용되는 Bosch® Automatic Inspection Machine(AIM) 5023 상용 라인 장비는, 16개의 일반 검사 작업과 수많은 카메라와 기타 센서가 있는 14개의 개별 육안 검사 스테이션을 포함한다. 전체적으로, 이러한 장비는, 큰 균열이나 컨테이너 마개와 같은 용기 무결성 결함, 용기 표면 상의 긁힘이나 얼룩과 같은 화장품 용기 결함, 및 액체 색상 또는 이물질의 존재 등의 의약품 자체에 연관된 결함을 포함하는 넓은 범위의 결함을 검출하도록 설계될 수 있다. 그러나, 입자 검출 및 특성화에 연관된 전술한 문제로 인해, 이러한 장비는 AVI 스테이션들 간의 중복성을 필요로 할 수 있다. 예를 들어, Bosch® AIM 5023 라인 장비의 경우, (주사기 플런저의 돔(dome) 상에 있는 무거운 입자를 검출하고 구별하기 위한) "스토퍼 에지" 검사 스테이션의 상대적으로 불량한 성능으로 인해, 전반적으로 허용가능한 수준의 입자 검사 정확도를 달성하기 위해서는 추가 카메라가 있는 다른 "스토퍼 상단" AVI 스테이션에서도 입자 검사의 수행을 필요로 한다. 이는 장비의 복잡성과 비용을 증가시키고/증가시키거나 "스토퍼 상단" AVI 스테이션이 단일 작업(예를 들어, 스토퍼 자체의 결함 검출)에 최적화되는 것이 아니라 다수의 검사 작업을 수행하도록 구성되는 것을 요구한다.

본원에서 설명되는 실시예들은, 딥 러닝이 (예를 들어, 다수의 AVI 스테이션을 포함할 수 있는 상용 라인 장비 내의) 특정 유형의 AVI 스테이션에 적용되어 정확도에 대한 상당한 개선을 상승적으로 제공하는(예를 들어, 거짓 거부 및/또는 거짓 양성이 훨씬 적은) 시스템 및 방법에 관한 것이다. 추가로 또는 대안으로, 설명되는 시스템 및 방법은, 예컨대 다른 AVI 스테이션이 다른 작업에만 집중할 수 있게 하고/하거나 다른 AVI 스테이션을 완전히 제거함으로써 (예를 들어, 동일한 상용 라인 장비 내의) 다른 AVI 스테이션에 대한 유리한 수정을 허용할 수 있다.

특히, 딥 러닝은, 하나 이상의 라인 스캔 카메라(예를 들어, CMOS 라인 스캔 카메라(들))를 이용하여 샘플(예를 들어, 액체 용액 의약품)을 함유하는 용기의 스토퍼의 에지 상에 또는 에지 근처에 놓여 있거나 그 외에는 위치하는 대상들(예를 들어, 가스로 충전된 기포 대 유리 및/또는 기타 입자)을 검출 및 구별하는 AVI 스테이션에 적용된다. 예를 들어, AVI 스테이션은, 라인 스캔 카메라(들)를 이용하여 주사기 내의 액체 샘플과 접촉하는 주사기의 플런저 돔의 표면 상에 또는 표면 근처에 위치하는 대상들을 검출 및 구별할 수 있다. 라인 스캔 카메라(들)는, AVI 스테이션이 용기를 적어도 1회전(360도) 회전/스피닝(spin)시킬 때 다수의 라인 화상을 캡처할 수 있으며, 그 후 AVI 스테이션 내의(또는 AVI 스테이션에 통신가능하게 결합된) 처리 장치 또는 구성요소가 다수의 라인 화상으로부터 2차원 화상을 생성한다.

AVI 스테이션 또는 외부 처리 구성요소는 2차원 화상의 픽셀 값(예를 들어, 정규화된 픽셀 강도 값)을 훈련된 신경망에 제공하며, 이러한 신경망은 용기 샘플이 허용될 수 없는지 여부를 추론한다(예를 들어, 화상 영역 내에 허용될 수 없는 수, 크기 및/또는 유형의 입자를 포함하는지 여부를 추론한다). 신경망은, 예를 들어, 입자 및/또는 가스로 충전된 기포의 허용될 수 있거나 허용될 수 없는 수, 유형, 크기 등을 갖는 것으로 알려진(및 표기된) 샘플의 2차원 화상의 넓은 어레이를 사용하여 지도 학습 기술로 훈련될 수 있다. 신경망 훈련에 사용되는 화상의 선택과 분류는 추론 단계의 성능에 중요하다. 또한, 결함이 있는 유닛을 허용하지 않도록 예상치 못한 조건을 예상하고 훈련 화상에 포함해야 한다. 중요한 점은, 훈련된 신경망 또는 이러한 신경망을 포함하는 더 큰 추론 모델이 적격성(qualification)을 갖추기 전에 "고정"될 수 있어서, 재적격성을 다시 갖추기 전에는 모델을 수정(예를 들어, 추가 훈련)할 수 없다. 시스템이 수동 육안 검사와 같거나 더 나은 성능을 확보할 수 있도록 허용 기준을 확립하고 미리 승인해야 한다.

AVI 스테이션(또는 통신가능하게 결합된 처리 장치)이 샘플에 결함이 있다고 나타내면, AVI 스테이션 또는 AVI 스테이션을 포함하는 상용 라인 장비는, 샘플이 폐기/파기되거나 추가 검사(예를 들어, 수동 검사)를 위해 전달될 수 있는 거부 영역으로 용기/샘플이 물리적으로 운반되게 한다. 용기/샘플은, 실시예에 따라 배출/거부 영역(예를 들어, 빈)으로 직접 운반되거나 하나 이상의 다른 AVI 스테이션을 먼저 통과할 수 있다. 추론 모델이 샘플에 결함이 있음을 나타내지 않으면, AVI 스테이션 또는 상용 라인 장비는, 용기/샘플이 허용 제품을 위해 지정된 영역으로 또는 추가 검사를 위해 다음 AVI 스테이션(예를 들어, 샘플 및/또는 용기 결함의 다른 유형을 검출하도록 설계된 하나 이상의 AVI 스테이션)으로 직접 운반되게 할 수 있다.

통상의 기술자는 본원에 설명된 도면이 예시의 목적으로 포함되고 본 개시내용을 제한하지 않는다는 점을 이해할 것이다. 도면은, 반드시 축척에 맞춰진 것은 아니며, 대신 본 발명의 원리를 예시하는 데 중점을 둔다. 일부 경우에, 설명된 구현예의 다양한 양태는 설명된 구현예의 이해를 용이하게 하기 위해 과장되거나 확대되어 보일 수 있다는 점을 이해해야 한다. 도면에서, 다양한 도면 전체에 걸쳐 유사한 참조 문자는 일반적으로 기능적으로 유사한 및/또는 구조적으로 유사한 구성요소를 지칭한다.
도 1은 본원에 설명된 촬상 및 딥 러닝 기술을 구현할 수 있는 예시적인 라인 장비의 단순화된 블록도이다.
도 2는 종래 기술의 상용 라인 장비 내의 AVI 스테이션의 단순화된 도이다.
도 3a 및 도 3b는 라인 스캔 카메라를 사용하여 용기의 스토퍼의 에지가 촬상되는 예시적인 용기를 도시한다.
도 4는 라인 스캔 카메라에 의해 캡처된 라인 화상으로부터 생성될 수 있는 예시적인 2차원 스토퍼 에지 화상을 도시한다.
도 5는 도 4의 2차원 화상과 같은 화상에 기초하여 샘플 허용가능성 또는 허용불가성을 추론하는 데 사용될 수 있는 예시적인 신경망을 도시한다.
도 6은 AVI 스테이션으로 딥 러닝을 구현하기 위한 예시적인 개발 및 적격성 프로세스의 단계들을 도시한다.
도 7은 특정 AVI 스테이션에 대한 딥 러닝을 이용할 때 취득되는 개념 증명(proof-of-concept) 결과를 도시한다.
도 8은 용기의 자동화된 육안 검사에서 정확성과 효율성을 향상시키기 위한 예시적인 방법의 흐름도이다.

위에서 소개되고 아래에서 더 자세히 설명되는 다양한 개념은 임의의 다양한 방식으로 구현될 수 있으며, 설명된 개념은 어떠한 특정 구현 방식으로도 제한되지 않는다. 구현예들은 예시를 위해 제공된 것이다.

도 1은 본원에 설명되는 기술을 구현할 수 있는 예시적인 AVI 라인 장비(100)의 단순화된 블록도이다. 라인 장비(100)는, 예를 들어, N(N≥1)개의 AVI 스테이션(110-1 내지 110-N)(총괄하여 AVI 스테이션(110)이라고도 지칭됨)을 갖는 임의의 생산 등급 장비일 수 있다. 보다 구체적인 예를 제공하자면, 라인 장비(100)는 Bosch® Automatic Inspection Machine(AIM) 5023 상용 라인 장비의 수정된 버전일 수 있으며, 이는 도 2를 참조하여 아래에서 더 설명된다. AVI 스테이션(110) 각각은, 용기(예를 들어, 주사기, 유리병 등) 및/또는 용기 내의 샘플(예를 들어, 액체 용액 의약품)의 상이한 양태를 검사하는 데 사용될 화상을 캡처하는 역할을 행할 수 있다. 예를 들어, 제1 AVI 스테이션(110-1)은 주사기, 유리병, 또는 기타 용기의 평면도의 화상을 캡처하여 균열 또는 칩을 검사할 수 있고, 제2 AVI 스테이션(110-2)(도 1에 도시되지 않음)은 측면도의 화상을 캡처하여 이물질 등에 대하여 용기 내의 전체 샘플을 검사할 수 있다.

도 1은 제i AVI 스테이션(110-i)의 일반 구성요소들을 단순화된 블록도 형태로 또한 도시하며, 여기서 i는 1 내지 N 중의 임의의 정수일 수 있다. AVI 스테이션(110-i)은, 특히 샘플이 용기의 스토퍼의 에지와 만나거나 접촉하는 영역에서 육안으로 자동으로 샘플(용기 내용물)을 검사하도록 구성된다. 스토퍼는, 예를 들어, 주사기의 플런저, 또는 유리병의 입구를 밀봉하는 캡 또는 플러그 등일 수 있다. 이 검사를 수행하기 위해, AVI 스테이션(110-i)은 촬상 시스템(112), 조명 시스템(114), 및 샘플 위치설정 하드웨어(116)를 포함한다. 다른 AVI 스테이션(110)(존재하는 경우)은, 일반적으로 유사한 유형의 구성요소들(예를 들어, 촬상 시스템, 조명 시스템, 및 샘플 위치설정 하드웨어)을 가질 수 있지만, 각각의 주어진 스테이션(110)의 목적을 위해 적절하게 잠재적으로 상이한 구성요소 유형과 구성을 가질 수 있음을 이해할 수 있다.

촬상 시스템(112)은, 각 샘플(의약품)의 라인 화상을 캡처하도록 적어도 하나의 라인 스캔 카메라 및 잠재적으로 연관된 광학 구성요소(예를 들어, 추가 렌즈, 미러, 필터 등)를 포함한다. 라인 스캔 카메라(들)의 각각은, 예를 들어, CMOS 라인 스캔 카메라일 수 있다. 설명의 편의를 위해, 다음 설명의 대부분에서는 단일 라인 스캔 카메라만을 참조한다. 그러나, 다수의 라인 스캔 카메라가 사용될 수 있음을 이해할 수 있다. 예를 들어, 두 개의 라인 스캔 카메라의 각각은 처리량을 증가시키기 위해 병렬 방식으로 상이한 용기/샘플을 동시에 촬상할 수 있다.

조명 시스템(114)은, 샘플이 라인 스캔 카메라에 의해 촬상되는 동안 각 샘플을 조명하기 위한 하나 이상의 조명 장치를 포함한다. 조명 장치(들)는, 예를 들어, 백라이트 패널로서 배치된 LED 어레이와 같은 하나 이상의 발광 다이오드(LED)를 포함할 수 있다.

샘플 위치설정 하드웨어(116)는 AVI 스테이션(110-i)용 용기를 고정(또는 그 외에는 지지)하고 이동시키는 임의의 하드웨어를 포함할 수 있다. 도 1의 실시예에서, 샘플 위치설정 하드웨어(116)는, 적어도 촬상 시스템(112)의 라인 스캔 카메라가 용기의 스토퍼의 에지의 프로파일 뷰를 갖도록 각 용기를 배향하기 위한 운반 수단(117), 및 라인 스캔 카메라가 라인 화상을 캡처하는 동안 (예를 들어, 용기의 중심 축을 중심으로 회전하는) 각 용기를 스피닝시키기 위한 스피닝 수단(118)을 포함한다. 운반 수단(117)은, 전동식 회전 테이블, 스타휠 또는 캐러셀, 로봇 암, 및/또는 각 용기를 배향(예를 들어, 이동 및 위치설정)하기 위한 다른 임의의 적절한 메커니즘을 포함할 수 있다. 스피닝 수단(118)은, 예를 들어 전동식 스피닝 메커니즘(예를 들어, 도 2를 참조하여 아래에서 설명되는 바와 같이 주사기에 대한 "직접 스피닝" 특징을 제공하는 Bosch® AIM 5023의 구성요소)를 포함할 수 있다. 아래에서 추가로 설명되는 바와 같이, 운반 수단(117)이 주어진 용기를 적절하게 위치설정/배향한 후, 스피닝 수단(118)은, 스토퍼가 샘플과 접촉하는 영역에서 라인 스캔 카메라가 스토퍼의 전체 360도 뷰를 총괄적으로 커버하는 라인 화상을 캡처할 수 있도록 용기를 스피닝시킨다.

일부 실시예에서, 샘플 위치설정 하드웨어(116)는, 또한, (촬상이 발생할 때 스토퍼가 샘플 아래에 위치하여, 무거운 입자가 스토퍼의 바로 위에 놓일 수 있음을 보장하도록) 각 용기를 뒤집고/뒤집거나 각 용기에 함유된 샘플을 교반하기 위한 하드웨어를 포함한다. 다른 실시예에서, 각각의 용기를 적절하게 배향하는 소정의 양태(예를 들어, 용기 뒤집기)는, 이전 AVI 스테이션(110)에서, 이전 AVI 스테이션들(110) 사이에서 또는 라인 장비(100)에 의한 취급 이전 등의 경우에 발생한다. 라인 스캔 카메라가 스피닝하고 있는 샘플의 화상을 캡처할 때 용기/샘플에 대한 라인 스캔 카메라의 다양한 예시적인 배향은 도 3a 및 도 3b를 참조하여 아래에서 설명된다.

라인 장비(100)는 하나 이상의 프로세서(120) 및 메모리(122)도 포함한다. 프로세서(들)(120) 각각은, 본원에 설명되는 바와 같이 메모리(122)에 저장된 소프트웨어 명령을 실행하여 라인 장비(100)의 소프트웨어 제어 기능의 일부 또는 전부를 실행하는 프로그래밍가능한 마이크로프로세서일 수 있다. 대안으로 또는 추가로, 프로세서(들)(120) 중 하나 이상은 다른 유형의 프로세서(예를 들어, 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 등)일 수 있고, 본원에 설명되는 바와 같은 프로세서(들)(120)의 기능의 일부는 대신 하드웨어로 구현될 수 있다. 메모리(122)는 하나 이상의 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 플래시 메모리, 솔리드 스테이트 드라이브(SSD), 하드 디스크 드라이브(HDD) 등과 같은 임의의 적합한 메모리 유형 또는 유형들이 메모리(122)에 포함될 수 있다. 총괄적으로, 메모리(122)는, 하나 이상의 소프트웨어 애플리케이션, 그러한 애플리케이션에 의해 수신/사용되는 데이터, 및 그러한 애플리케이션에 의해 출력/생성되는 데이터를 저장할 수 있다.

프로세서(들)(120) 및 메모리(122)는, AVI 스테이션(110)의 동작을 제어/자동화하고 AVI 스테이션(110)에 의해 캡처/생성된 화상을 처리하여 용기에 대한 각 유형의 결함 및/또는 용기 내용물(예를 들어, 의약품 샘플)을 검출하기 위한 처리 수단을 총괄적으로 구성한다. 특히 AVI 스테이션(110-i)에 대해, 처리 수단(120 및 122)은, 아래에서 더 자세히 설명되는 바와 같이, (1) 스피닝 수단(118)이 용기를 스피닝시키는 동안 촬상 시스템(112)이 적절한 시간에 용기의 스토퍼 에지의 화상을 캡처하게 하고, (2) 촬상 시스템(112)에 의해 캡처된 화상들의 세트에 기초하여 스토퍼 에지의 2차원 화상을 생성하고, (3) 훈련된 신경망을 사용하여 생성된 2차원 화상의 픽셀(예를 들어, 픽셀 강도 값)을 처리하여 출력 데이터를 생성하도록 구성된다. 대체 실시예에서, 프로세서(들)(120) 및/또는 메모리(122)의 기능은, AVI 스테이션들(110-1 내지 110-N) 중 상이한 하나의 AVI 스테이션에 대하여 각각 특정한, N개의 상이한 처리 유닛들 및/또는 메모리 유닛들 간에 분산된다. 또 다른 실시예에서, (예를 들어, 샘플의 운반, 스피닝 및/또는 촬상을 위한) 프로세서(들)(120) 및 메모리(122)의 기능 중 일부는 AVI 스테이션들(110) 간에 분산되는 반면, (예를 들어, 라인 스캔 카메라 화상으로부터 2차원 화상을 생성하고 및/또는 2차원 화상을 처리하여 결함을 검출하는 경우 등을 위한) 프로세서(들)(120) 메모리(122)의 다른 기능은 중앙 처리 로케이션에서 수행된다. 일부 실시예에서, 프로세서(들)(120) 및/또는 메모리(122)의 적어도 일부는 라인 장비(100)의 외부에 있는(가능하게는 원격인) 연산 시스템에 포함된다.

메모리(122)는, AVI 스테이션(110)에 의해 캡처된 용기/샘플 화상(124)을 저장하고, 전술한 바와 같이 프로세서(들)(120)에 의해 실행될 때 AVI 스테이션(110)들이 각각의 해당 기능을 수행하게 하는 AVI 코드(126)도 저장한다. AVI 스테이션들(110-i)에 대해, 예를 들어, AVI 코드(126)는 도 1에 표시된 각각의 부분을 코드(128)로서 포함한다. 일 실시예의 일례로, 코드(128)는, 샘플이 조명 시스템(114)에 의해 조명되고 스피닝 수단(118)에 의해 스피닝하는 동안 라인 스캔 화상을 캡처하도록 촬상 시스템(112)을 트리거할 수 있으며, 샘플 위치설정 하드웨어(116)를 제어하여 용기를 적절한 시각에 정확한 위치에 배치할 수 있다. 화상이 캡처되고 화상(124) 내에 저장된 후, 코드(128)는, 각각의 화상(124)을 처리하여 스테이션(130-i)에 연관된 결함을 (예를 들어, 입자 및/또는 기포와 같은 기타 대상의 수, 크기 및/또는 유형에 기초하여) 검출한다. 전술한 바와 같이, 일부 실시예에서, 화상을 처리하는 코드(128)의 부분은, 운반, 촬상, 스피닝 등을 제어하는 코드(128)의 부분(들)과는 다른 프로세서, 구성요소 및/또는 장치에 의해 실행될 수 있다.

도 1에 도시된 바와 같이, AVI 스테이션(110-i)에 대한 코드(128)는 샘플 이동 및 화상 캡처 유닛(134)을 포함하며, 이는 전술한 바와 같이 운반 수단(117) 및 스피닝 수단(118)을 제어하기 위한 커맨드/신호를 생성한다. 코드(128)는, 또한, 화상 생성 유닛(136)을 포함하는데, 이것은 각각의 상이한 용기에 대한 라인 스캔 카메라 화상으로부터 상이한 2차원 화상을 구축/생성한다. 또한, 코드(128)는, 추론 모델을 사용하여 화상 생성 유닛(136)에 의해 생성된 2차원 화상을 처리하는 추론 모델 유닛(138)을 포함한다. 추론 모델은, 픽셀들(예를 들어, 강도 값, 및 가능한 색상 값)을 처리하여 특정 샘플이 결함이 있을 가능성(예를 들어, 스토퍼 에지 상에 또는 근처에 허용불가한 수, 크기, 및/또는 유형의 입자를 갖는지) 여부를 나타내는 출력 데이터를 생성하는 훈련된 신경망을 포함한다(그리고 전적으로 이러한 훈련망으로 이루어질 수 있다). 다양한 예시적인 실시예에 따른 신경망 및 이의 훈련은 도 5 및 도 6을 참조하여 아래에서 더 설명된다.

도 2는 기존의(종래 기술의) 상용 라인 장비(200), 보다 구체적으로 Bosch® AIM 5023 모델을 단순화된 방식으로 도시한다. 일 실시예에서, 라인 장비(200)는 본원에 설명된 기술을 사용하여 업그레이드되거나 수정된다. 즉, 라인 장비(200)는, (예를 들어, 현장 업그레이드 또는 전체 제품 재설계를 통해) 그렇게 수정된 후, 도 1의 라인 장비(100)로서 사용될 수 있다.

생산 모드에서, 장비(200)(Bosch® AIM 5023)는 일반적으로 용액(의약품)으로 충전된 주사기를 이송, 검사, 및 분류하는 역할을 한다. 장비(200)는, 일련의 인피드(infeed) 나사 및 스타휠을 통해 디네스터(de-nester) 기계(예를 들어, Kyoto® G176 De-Nester)로부터 주사기를 수용하고, 그 후 자동화된 검사가 인피드(사전 검사) 유닛에서 시작되고 메인 유닛에서 계속된다. 인피드 및 메인 유닛은 다양한 AVI 스테이션을 갖고, 이는 도 2에 스테이션들(202)로서 도시되어 있다(일부 스테이션들(202)은, 단일 스테이션에서 두 개의 참조 번호로 표시되는 바와 같이, 함께 위치한다). 도 2는 Bosch® AIM 5023의 레이아웃과 구성요소를 정확하거나 완전히 재현한 것이 아니라는 점을 이해할 수 있다. 예를 들어, 다양한 스타휠, 배출 빈, 및 기타 구성요소는 도시되어 있지 않으며, 다양한 AVI 스테이션(202)에 대해 도시된 상대적 위치설정은 정밀하게 정확한 것은 아니다.

인피드 유닛에서, 라인 장비(200)는, 회전하는 스타휠(212A)을 따라 3개의 사전 검사 스테이션인, (1) 전하 결합 소자(CCD) 카메라("C01-1" 및 "C01-2" 카메라고 함)를 갖는 구부러진 니들 쉴드 검사 스테이션(202-1); (2) CCD 카메라("C02" 카메라라고 함)를 갖는 플랜지 검사 스테이션(202-2); 및 (3) CCD 카메라("C03" 카메라라고 함)를 갖는 스토퍼 존재/색상 스테이션(202-3)을 포함한다. 이들 사전 검사는 CCD 카메라, 안정적인 광원, 및 화상 프로세서를 포함하는 기술들의 조합에 기초한다. 이들 스테이션(202-1 내지 202-3) 중 임의의 스테이션에서 결함이 있는 것으로 식별된 주사기는, 메인 유닛으로 전달되거나 뒤집히지 않고, (스타휠(212A) 및 다른 스타휠(212B)을 통해) 배출 영역/빈으로 방출된다. 그러나, 이들 검사를 통과하는 유닛은, 뒤집혀 스타휠(212C)을 통해 장비(200)의 메인 유닛으로 이송된다.

메인 유닛에서, 라인 장비(200)는 2개의 스타휠(212D, 212E)에 의해 결합된 3개의 회전 테이블(210A 내지 210C)을 따라 13개의 검사 스테이션을 포함한다. 구체적으로, 2개의 검사 스테이션인, (1) CCD 카메라("C04" 카메라라고 함)를 갖는 탁도 검사 스테이션(202-4) 및 (2) CCD 카메라("C05" 카메라라고 함)를 갖는 액체 색상 검사 스테이션(202-5)은 회전 테이블(210A)을 따라 위치한다. 5개의 검사 스테이션인, (1) CCD 카메라("C1-1" 및 "C1-2" 카메라로고 함)를 갖는 본체/섬유 검사 스테이션(202-6); (2) CCD 카메라("C2-1" 및 "C2-2" 카메라라고 함)를 갖는 본체(부유 입자) 검사 스테이션(202-7); (3) 라인 스캔 CMOS 카메라("C3-1" 및 "C3-2" 카메라라고 함)를 갖는 스토퍼 에지 검사 스테이션(202-8); (4) CCD 카메라("C4-1" 및 "C4-2" 카메라라고 함)를 갖는 스토퍼측 검사 스테이션(202-9); 및 (5) CCD 카메라("C5-1" 및 "C5-2" 카메라라고 함)를 갖는 스토퍼 상부 검사 스테이션(202-10)은, 회전 테이블(210B)을 따라 위치한다. 회전 테이블들(210B 및 210C) 사이의 스타휠(212E) 상에는, CCD 카메라("C06" 카메라라고 함)를 갖는 니들 쉴드 색상 검사 스테이션(202-11)이 상주한다. 5개의 추가 검사 스테이션인, (1) CCD 카메라("C6-1" 및 "C6-2" 카메라라고 함)를 갖는 입자 검사 스테이션(202-12); (2) 3세대 정전기 분할(SDx) 센서("SD1-1" 및 "SD1-2" 센서라고 함)를 사용하는 입자 검사 스테이션(202-13); (3) CCD 카메라("C7-1" 및 "C7-2" 카메라라고 함)를 갖는 입자 검사 스테이션(202-14); (4) SDx 센서("SD2-1" 및 "SD2-2" 센서라고 함)를 사용하는 입자 검사 스테이션(202-15); 및 (5) CCD 카메라("C8" 카메라라고 함)를 갖는 충전 레벨/에어 갭 검사 스테이션(202-16)은 회전 테이블(210C)을 따라 위치한다.

장비(200)의 다양한 스테이션(202-4 내지 202-16)은, 주사기가 메인 유닛을 통해 이송될 때 주사기를 검사한다. 이송 중 일부에 있어서, 주사기는 자유롭게 회전하는 베이스 부착물과 스핀 캡에 의해 단단히 고정된다. 회전 테이블(210A) 상에는, 베이스 부착 조립체를 스피닝시키는 마찰 벨트를 사용하여 기포 소산 및 검사를 위한 적절한 스핀을 설정하도록 스핀 모터들이 테이블(210A)의 주변 영역에 배열된다. 회전식 테이블(210B)에는, 주사기에 이온화된 공기를 불어넣어 임의의 외부 입자나 먼지를 제거하는 에어나이프 이오나이저(air knife ionizer)가 장착된다. 회전 테이블(210B 및 210C) 상에서, 각 주사기 로케이션에 대한 베이스 부착 샤프트는 용액에서 눈에 보이는 입자의 적절한 검사를 위한 직접 스핀 기능을 갖고 있다. 각 베이스 부착물은 시계 방향 또는 반시계 방향으로 고속 또는 저속으로 개별적으로 스피닝할 수 있다.

주사기들은, 메인 유닛의 모든 검사 스테이션을 통해 처리된 후, 방출되고 "수락" 경로로 분류되며, 이는 다른 영역으로 이송되어 다운스트림 기계(예를 들어, Kyoto® G176 Auto Trayer)에 의해 수집되거나, 3개의 배출 영역/스테이션 중 하나로 이송된다. 각 배출 스테이션에는 수동으로 전환가능한 방출 배출 레일이 있다. 다양한 회전 테이블 및/또는 스타휠은 특정 용기를 지정된 거부 영역으로 운반하기 위한 수단을 구성할 수 있다. 예를 들어, 스테이션(202-8)과 관련하여, 스타휠(212E, 212F, 212G)과 회전 테이블(210C), 그리고 가능한 다른 스타휠, 레일 및/또는 기타 메커니즘은, 스테이션(202-8)에서 거부된 용기/샘플을 적절한 거부/배출 영역으로 운반하기 위한 수단을 제공할 수 있다.

다시 도 1을 참조하면, 일 실시예에서 라인 장비(100)는 장비(200)로 되도록 수정되고, 스토퍼 에지 검사 스테이션(202-8)은 AVI 스테이션(110-i)으로 되도록 수정된다(예를 들어, 촬상 시스템(112)의 라인 스캔 카메라(들)가 "C3-1" 및 "C3-2" 카메라들 중 하나 또는 모두를 포함한다). 또한, 본 실시예에서, 운반 수단(117)은 회전 테이블(210B)(및 가능하게는 또한 각 주사기를 뒤집는 유닛)을 포함하고, 스피닝 수단(118)은 전술한 자유 회전 베이스 부착물, 스핀 캡, 스핀 모터, 및 마찰 벨트를 포함한다. 이러한 실시예에서, 특히 스토퍼 에지 검사 스테이션(202-8)의 개선된 정확도로 인해, 스토퍼 상부 검사 스테이션(202-10)은 생략될 수 있거나 (예를 들어, 입자 검사보다 스토퍼 결함의 검출에 중점을 두고, 이에 따라 스테이션(202-10) 및 스테이션(202-8)의 검출 정확도를 잠재적으로 개선하도록) 수정될 수도 있다.

도 3a 및 도 3b는, 일반적으로 원통형 벽(312), 특히, 플런저 돔(314)의 에지(즉, 돔(314)이 주사기(300) 내의 용액과 만나는 곳) 내의 스토퍼(플런저)(310)가 촬상 시스템(112)의 라인 스캔 카메라 등의 라인 스캔 카메라를 사용하여 촬상될 수 있는 예시적인 용기(주사기)(300)를 도시한다. 플런저(310)가 배치되는 벽(312)은 반투명 플라스틱, 유리, 또는 다른 임의의 적절한 재료로 제조될 수 있다. 도 3a 및 도 3b에 도시된 특정 배향에 있어서(즉, 주사기(300)의 아래쪽에 플런저(310)가 있는 경우에), 주사기(300) 내의 샘플/용액에 있는 임의의 큰 공기 주머니는 주사기(300)의 반대쪽(니들) 단부에 의해 플런저 돔(314)보다 훨씬 위에 있어야 한다.

도 3a의 확대 삽입도에 예시된 바와 같이, 촬상 시스템(112)의 라인 스캔 카메라는, 주사기(300)의 각 회전 위치에 대해 카메라가 영역(322)에 대응하는 하나의 수직 라인 화상(본원에서 때때로 단순히 "화상"이라고도 함)를 캡처하도록 배향된다. 각 라인 화상은, 화상이 캡처될 때 매우 좁은 슬라이스/영역(322) 내에 있는 것만을 캡처한다. 예를 들어, 도 3a에서, 제1 라인 화상은 대상(330)의 한 부분(예를 들어, 입자 또는 기포)을 캡처할 수 있는 반면, (회전이 평면도로 볼 때 반시계 방향인 경우) 제2 라인 화상은 대상(330)의 다른 부분을 캡처할 수 있다. 주사기(300)가 (예를 들어, 스피닝 수단(118)에 의해) 360도 회전을 통해 스피닝함에 따라, 화상이 충분히 작은 회전 증분으로(예를 들어, 라인 스캔 카메라용 화상 폭에 따라, 1도 또는 3도 등의 경우마다) 캡처되는 한, 라인 스캔 카메라는 충분한 라인 화상들(수직 슬라이스/픽셀들의 스택)을 캡처하여 플런저(310)의 돔(314)의 전체 에지를 커버한다.

도 3b에 예시된 바와 같이, 라인 스캔 카메라는, 플런저 돔(314)의 기울기와 일치하거나 근사하기 위해 수평 평면에 대해(예를 들어, 주사기(300)의 플랜지의 평면에 대해) 약간 위쪽으로 기울어질 수 있다. 이러한 방식으로, 돔(314)의 기울기를 따라 임의의 로케이션(예를 들어, 정점 근처, 벽(312) 근처, 또는 이들 사이의 어딘가)에 있는 입자, 기포, 또는 기타 대상은, 주사기(300) 내의 조명된 용액에 의해 제공되는 상대적으로 밝은 배경에 대해 날카로운 양각으로 보일 수 있거나/표현될 수 있다. 주사기(300)에 대한 라인 스캔 카메라의 다른 배향도 가능하다.

도 4는, (예를 들어, 스피닝 수단(118)이 도 3의 주사기(300)를 적어도 36O도 회전시킬 때) 라인 스캔 카메라에 의해 캡처된 라인 화상(예를 들어, 수직 픽셀 스택)으로부터 생성될 수 있는 예시적인 2차원 화상(400)을 도시한다. 화상(400)은, 예를 들어, 스토퍼 에지(402)(반투명 용액이 위에 있음)를 묘사하고, 도 4의 화상 생성 유닛(136)에 의해 생성될 수 있다. 예시적인 화상(400)에서, 스토퍼 에지(402) 상에 놓여 있는 두 개의 대상(410, 412)(여기서는, 각각 기포 및 유리 입자)은 프로파일 뷰로 인해 상대적으로 명확하게 보일 수 있다. 예를 들어, 스토퍼 에지(402)는 플런저 돔(314)의 에지일 수 있고, 대상(410 또는 412)은 도 3a 및 도 3b의 대상(330)일 수 있다.

도 5는, 예를 들어, 도 4의 2차원 화상(400)과 같은 2차원 화상에 기초하여 허용가능성 또는 허용불가성을 추론하는 데 사용될 수 있는 예시적인 신경망(500)을 도시한다. 신경망(500)은, 예를 들어, 도 1의 추론 모델 유닛(138)에 의해 구현된 추론 모델을 형성하는(또는 그 안에 포함되는) 훈련된 신경망일 수 있다. 신경망(500)은 컨볼루션 신경망(CNN) 또는 다른 적합한 유형의 신경망일 수 있다. 도 5에 도시된 바와 같이, 예시적인 신경망(500)은 입력 층(510), 3개의 은닉 층(512), 및 출력 층(514)을 포함하며, 이들 각각은 다수의 노드 또는 "뉴런"을 포함한다. 다른 실시예에서, 신경망(500)은 3개보다 많거나 적은 은닉 층(512)을 포함할 수 있고/있거나 각 층은 도 5에 도시된 것보다 많거나 적은 노드/뉴런을 포함할 수 있음을 이해할 수 있다.

신경망(500)은 특정 2차원 화상(예를 들어, 화상(400))이 허용가능한지 또는 허용할 수 없는지를 추론하도록 훈련된다. "허용가능"은 해당 샘플이 추가 검사를 필요로 하지 않음을 의미하거나 의미하지 않을 수 있으며, "허용불가"는 해당 샘플을 폐기해야 함을 의미하거나 의미하지 않을 수 있음을 이해할 수 있다. 예를 들어, 라인 장비(100)에서, 용기/샘플 전체가 품질 검사를 통과하려면, 용기/샘플이 각 AVI 스테이션(110-1 내지 110-N)에서 검사를 성공적으로 "통과"해야 할 필요가 있을 수 있으며, 이 경우 AVI 스테이션(110-i)에서의 "허용" 출력이 반드시 해당 용기/샘플을 사용할 수 있음(예를 들어, 상업적 판매 또는 기타 용도에 적합함)을 의미하는 것은 아니다. 다른 예로, 일부 실시예에서, AVI 스테이션(110-i)에서의 "허용불가" 출력은, 용기/샘플이 반드시 거부되거나 폐기되는 일 없이 추가(예를 들어, 수동) 검사를 받아야 함을 의미한다.

도 1의 라인 설비(100)를 참조하면, 추론 모델 유닛(138)은, 화상(400)의 상이한 픽셀들(502)의 값들(예를 들어, 강도 값 및 가능하게는 RGB 색상 값)을 입력 층(510)의 상이한 뉴런/노드에 전달할 수 있다. 일부 실시예에서, 추론 모델 유닛(138)은, 픽셀 값(예를 들어, 0 내지 255의 강도 및/또는 색상 값 등)을 입력 층(510)에 적용하기 전에 그러한 픽셀 값을 사전 처리할 수 있다. 간단한 일례로, 추론 모델 유닛(138)은 각 픽셀 값을 0 내지 1의 정규화된 값으로 변환할 수 있다. 다른 사전 처리(예를 들어, 픽셀 서브세트 내의 다수의 픽셀 값의 평균화, 또는 강도 값이 임계값을 초과할 만큼 변하지 않아서 스토퍼 본체를 나타낼 가능성이 있는 화상(400)의 비교적 큰 영역에 대한 픽셀을 먼저 잘라내기(cropping out) 등)도 가능하다.

도 5는 입력 층(510)의 4개의 뉴런에 전달되는 4개의 픽셀 값만을 도시하지만, 다른 실시예에서는, 더 많은 픽셀 값이 입력 층(510)의 더 많은 뉴런에 전달되어 신경망(500)이 화상(400)을 더 큰 서브세트 또는 "청크"로 처리한다. 어느 경우든, 추론 모델 유닛(138)은, 일부 실시예에서, 신경망(500)이 모든 픽셀 서브세트(502)가 개별적으로 허용가능하다고 결정하는 경우에만 화상(400)이 "허용가능"하다고 결정할 수 있다. 다른 더 복잡한 실시예에서, 신경망(500)은, 주어진 픽셀 서브세트에서 묘사되는 비-기포 입자의 중간 확률을 반영하도록 출력 층(514)에서 두 개보다 많은 뉴런을 포함할 수 있고, 추론 모델 유닛(138)은, 모든 픽셀 서브세트에 대한 결과를 공동으로 처리하여 전체적으로 화상(400)이 (특히 스토퍼 에지에서) 허용가능한 또는 허용불가능한 샘플을 나타내는지 여부를 결정할 수 있다. 또 다른 실시예에서, 신경망(500)은, 입력 층(510)에 많은 뉴런을 갖고, 모든 화상(400)을 (또는 스토퍼가 화상(400)의 샘플/용액과 만나는 좁은 수평 대역 내의 모든 픽셀을) 한번에 처리한다.

일부 실시예에서, 신경망(500)의 제1 뉴런을 제2 뉴런에 연결하는 각각의 라인은 가중치에 연관되며, 그 값은 (아래에서 더 설명되는) 훈련 프로세스 동안 결정된다. 신경망(500)은 "소스" 뉴런의 값/출력(즉, 도 5에 도시된 바와 같이 연결부의 좌측)을 그 가중치로 곱하고, 곱한 값을 "목적지" 뉴런(즉, 도 5에서 볼 수 있는 바와 같이 연결부의 우측)에서 계산된 함수에 대한 입력으로서 제공한다. 더욱이, 각각의 은닉 층(512)의 각 뉴런은, 이전 층(510 또는 512)으로부터의 입력에 대해 동작하는 "활성화 함수"에 연관될 수 있다. 예를 들어, 각각의 은닉 층(512) 뉴런은 다음 함수를 적용할 수 있다.

여기서,

= 제i 층에 있는 제j 뉴런의 활성화 값;

(시그모이드 함수);

= 제(i-1) 층의 제k 뉴런과 제i 층의 제j 뉴런 간의 가중치; 그리고

= 제i 층에 있는 제j 뉴런의 편향이다.

대안으로, 예를 들어, 쌍곡 탄젠트(Tanh) 함수 또는 정류 선형 단위(ReLU) 함수와 같이 시그모이드 함수 이외의 함수가 은닉 층(512)의 각 뉴런에 적용될 수 있다.

신경망(500)의 배치와 관련하여 셀 값들이 사전 처리(예를 들어, 평균화, 분할 등)되고/되거나 신경망(500)에 제공되는 방식 및 신경망(500)의 출력이 추론 모델 유닛(138)에 의해 처리되거나 그 외에는 이용되는 방식인 다른 많은 실시예가 가능하다는 것을 이해할 수 있다.

신경망(500)은 지도 학습을 사용하여 훈련될 수 있다. 더 구체적으로, 신경망(500)은, 상이한 조건들의 다양한 모음으로 용액/스토퍼 계면에서의 스토퍼 에지를 묘사하는 2차원 화상(예를 들어, 각각이 화상(400)과 유사함)의 큰 세트를 사용하여 훈련될 수 있다. 예를 들어, 훈련 화상은, 입자 및/또는 기포의 많은 상이한 수, 크기, 유형 및 위치, 및 가능하게는 상이한 용액 유형(예를 들어, 상이한 수준의 반투명 및 가능하게는 다른 점도를 가짐) 및/또는 기타 변형을 포함할 수 있다. 더욱이, 각각의 훈련 화상은, 신경망(500)에 의해 제공되는 이용가능한 출력들의 세트 중에서 하나의 정확한 또는 "참" 출력에 대응하는 방식으로 표기된다(예를 들어, 도 5에서, "허용가능" 또는 "허용불가"로 표기된다). 표기는, 모든 표기가 정확함을 확실히 하도록 (예를 들어, 수동 검사 및 가능한 실험실 테스트에 의해) 신중하게 수행되어야 한다. 충분히 넓은 범위의 조건을 갖는 훈련 샘플을 사용함으로써, 신경망(500)은, 무거운 입자(예를 들어, 유리 입자)와 같이 종래에 구별하기 어려웠던 대상 대 가스로 충전된 기포를 신뢰성 있게 구별할 수 있다.

일단 훈련 데이터 세트가 완료되면, 신경망(500)이 훈련될 수 있다. 임의의 적절한 훈련 기술을 사용할 수 있다. 예를 들어, 신경망(500)은, 각각의 훈련 화상에 대해, 순방향 전파, 추론 결과에 기초하는 오류 계산(예를 들어, 평균 제곱 오류(MSE)), 경사 하강 기술을 이용한 역전파의 알려진 기술들을 사용함으로써 훈련될 수 있다.

더 높은 수준에서, 도 6은 도 1의 스테이션(110-i)과 같은 AVI 스테이션으로 딥 러닝을 구현하기 위한 예시적인 개발 및 적격성 프로세스(600)를 도시한다. 프로세스(600)의 개발 단계에서, 표기된 화상 데이터(602)는 훈련 목적을 위해 생성 및/또는 수집된다. 데이터(602)는, 신중하게 선별되어야 하며, 전술한 바와 같이 상이한 조건들의 넓은 세트(예를 들어, 입자 크기/유형, 기포 등)로 용액/스토퍼 계면에서의 스토퍼 에지를 묘사하는 수많은 2차원 화상을 포함할 수 있다. 단계(604)에서, 기계 학습 알고리즘은, 신경망(예를 들어, 전술한 바와 같은 신경망(500))을 훈련시키도록 표기된 화상 데이터에 대해 동작한다.

일단 신경망이 훈련되면, 프로세스(600)의 적격성 단계에서, (화상 데이터(602)와는 다른) 화상 데이터(610)가 단계(612)에서 훈련된 모델에 입력된다. "훈련된 모델"은, 신경망 단독일 수 있거나, 일부 추가 모델링 또는 처리(예를 들어, 훈련된 신경망에 화상 데이터를 입력하기 전의 화상 데이터의 사전 처리)를 포함할 수 있다. 적격성 전체에 걸쳐, 훈련된 모델은 "고정" 상태에 있다. 즉, 적격성 결과가 유효한 상태로 유지되는 것을 보장하기 위해, 적격성 단계 중이나 후에 모델이 수정되지 못할 수 있다. 이는, (예를 들어, 추가 훈련 화상이 부적절하게 표기되었다면) 추가 훈련 데이터로 신경망을 정제하는 것을 배제하며, 이에 따라 신경망의 성능을 열화시키는 위험을 피한다.

단계(614)에서는, 추론의 결과를 적격성 목적으로 관찰한다. 결과가 허용가능한 수준의 정확도를 나타내면(예를 들어, 충분히 큰 샘플 크기에 대해 충분히 낮은 거짓 양성 및/또는 거짓 음성의 비율)，적격성이 성공적이며 모델이 생산에 사용될 수 있다. (예를 들어, 새로운 조건을 나타내는 화상을 사용하여 모델을 추가 훈련/정제함으로써) 모델이 어느 때라도 수정된다면, 일반적으로 적격성 단계를 반복해야 한다.

도 7은, 스토퍼 에지 검사 스테이션(예를 들어, 도 2의 Bosch® AIM 5023 라인 장비의 스토퍼 에지 검사 스테이션(202-8)과 유사)에 대하여 신경망 기반 딥 러닝을 이용하여 취득된 개념 증명 결과(700, 720)를 도시한다. 결과(700) 및 결과(720)에서 볼 수 있듯이, 딥 러닝은, 딥 러닝 기능 없이 스테이션을 실행한 경우와 비교해 볼 때, 이러한 특정 스테이션에 대하여 검출 기능이 약 500%(5배) 증가하고 거짓 거부가 약 50% 감소하였음을 나타내었다.

도 8은, 용기(예를 들어, 주사기, 유리병 등)의 자동화된 육안 검사에 있어서 정확성 및 효율성을 향상시키는 예시적인 방법(800)의 흐름도이다. 방법(800)은, 예를 들어, 도 1의 AVI 스테이션(110-i) 및 메모리(122)의 AVI 코드(128)를 실행하는 프로세서(들)(120)에 의해 구현될 수 있다.

방법(800)에서, 블록(802)에서, 샘플(예를 들어, 액체 용액 의약품)을 함유하는 용기는, 라인 스캔 카메라가 용기의 스토퍼(예를 들어, 플런저 또는 플러그)의 에지의 프로파일 뷰를 갖도록 배향된다. 예를 들어, 용기는 도 3a 및 도 3b에 표시된 바와 같이 라인 스캔 카메라에 대해 위치할 수 있다. 블록(802)은, 예를 들어, 샘플 이동과 화상 캡처 유닛(134)을 실행하는 프로세서(들)(120)에 의해 생성되는 커맨드에 응답하여 도 1의 운반 수단(117)에 의해 수행될 수 있다.

블록(804)에서, 용기는, 예를 들어, 샘플 이동과 화상 캡처 유닛(134)을 실행하는 프로세서(들)(120)에 의해 생성되는 커맨드에 응답하여 스피닝 수단(118)에 의해 스피닝한다. 블록(806)에서, 그리고 (예를 들어, 적어도 하나의 완전한 360도 회전을 위해) 용기가 스피닝하는 동안, 스토퍼 에지의 복수의 화상은 라인 스캔 카메라(예를 들어, 촬상 시스템(112)의 라인 스캔 카메라)를 사용하여 캡처된다. 각 화상은 용기의 상이한 회전 위치에서 캡처된다. 본원에서 사용되는 표현처럼, 용기가 정지한 시각에 화상이 캡처되더라도, "용기가 스피닝하는 동안" 화상이 캡처될 수 있음을 이해할 수 있다. 예를 들어, 라인 스캔 카메라에 의한 각 화상 캡처의 타이밍은, 일부 실시예에서, 용기가 정지되어 있을 때(예를 들어, 용기가 일반적으로는 360도 회전 단계를 통해 스피닝하지만, 작고 불연속적인 회전 간격들 사이에는 정지해 있을 때)의 짧은 시각과 일치할 수 있다. 대안으로, 라인 스캔 카메라는, 라인 스캔 중 임의의 지점에서 용기가 스피닝/회전을 중단하는 것을 요구하지 않고서 용기의 적절한 회전 위치에서 화상을 캡처할 수 있다. 블록(806)은, 예를 들어, 샘플 이동과 화상 캡처 유닛(134)을 실행하는 프로세서(들)(120)에 의해 생성되는 커맨드에 응답하여 촬상 시스템(112)의 라인 스캔 카메라에 의해 수행될 수 있다.

블록(808)에서는, 스토퍼 에지의 2차원 화상이 적어도 복수의 화상에 기초하여 생성된다. 블록(806)에서 캡처된 화상들의 각 화상은, 2차원 화상의 제1(예를 들어, 수평) 축에서 오직 하나의(또는 여러 등의) 픽셀을 제공할 수 있지만, 2차원 화상의 제2(예를 들어, 수직) 축에서는 모든 픽셀을 제공할 수 있다. 블록(808)은, 예를 들어, 화상 생성 유닛(136)을 실행하는 프로세서(들)(120)에 의해 수행될 수 있다.

블록(810)에서는, 훈련된 신경망(예를 들어, 도 5의 신경망(500))을 포함하는 추론 모델을 실행함으로써, 2차원 화상의 픽셀들이 처리되어, (예를 들어, 스토퍼 에지에서 또는 그 근처에서 샘플의 입자 또는 기타 대상의 수, 크기 및/또는 유형에 기초하여) 샘플에 결함이 있을 가능성을 나타내는 출력 데이터를 생성한다. 일부 실시예에서, 블록(810)은, 상이한 픽셀들에 연관된 강도 값, 또는 강도 값으로부터 유도된 다른 값(예를 들어, 정규화된 값)을 훈련된 신경망의 입력 층의 상이한 노드들에 적용함으로써 2차원 화상의 픽셀을 처리하는 것을 포함한다. 블록(810)은, 예를 들어, 추론 모델 유닛(138)을 실행하는 프로세서(들)(120)에 의해 수행될 수 있다.

일부 실시예에서, 방법(800)은 도 8에 도시되지 않은 하나 이상의 추가 블록을 포함한다.

일 실시예에서, 예를 들어, 방법(800)은, 블록(810)에서 생성된 출력 데이터에 기초하여 용기가 지정된 거부 영역으로 선택적으로 운반되게 하는 추가 블록을 포함한다. 이는, 예를 들어, 샘플 이동과 화상 캡처 유닛(134)을 실행하는 프로세서(들)(120)에 의해 생성되는 커맨드에 응답하여 추가 운반 수단(예를 들어, 도 2를 참조하여 전술한 바와 같은 추가 회전 테이블, 스타휠, 레일 등)에 의해 수행될 수 있다.

다른 일례로, 방법(800)은 블록들(802 내지 806)과 병행하여 발생하는 블록들(802 내지 806)과 유사한 블록들을 포함할 수 있지만, 이는 제2 용기/샘플을 위한 것이다(즉, 처리량을 증가시키기 위한 것이다). 이러한 실시예에서, 방법(800)은, 또한, 블록(808 및 810)과 유사하게 (제2 용기의 스토퍼 에지의) 추가 2차원 화상이 생성되고 처리되는 추가 블록을 포함할 수 있다.

시스템, 방법, 장치, 및 이들의 구성요소들은, 예시적인 실시예들에 관하여 설명되었지만, 이에 제한되지는 않는다. 상세한 설명은, 모든 가능한 실시예를 설명하는 것이 불가능하지는 않더라도 비실용적이기 때문에, 단지 예시적인 것으로만 해석되어야 하며 본 발명의 모든 가능한 실시예를 설명하지는 않는다. 현재 기술 또는 본 발명을 정의하는 청구항의 범위 내에 여전히 속하는 본원의 출원일 후에 개발된 기술을 사용하여 수많은 대체 실시예가 구현될 수 있다.

통상의 기술자는, 본 발명의 범위를 벗어나지 않고 전술한 실시예들에 대해 매우 다양한 수정, 변경 및 조합이 이루어질 수 있으며, 이러한 수정, 변경 및 조합이 발명의 개념의 범위 내에 있는 것으로 간주되어야 한다는 점을 인식할 것이다.

Claims (30)

1. 용기의 자동화된 육안 검사의 정확성과 효율성을 향상시키는 방법으로서,
   라인 스캔 카메라가 상기 용기의 스토퍼의 에지의 프로파일 뷰를 갖도록 샘플을 함유하는 용기를 배향하는 단계;
   상기 용기를 스피닝(spin)시키는 단계;
   상기 라인 스캔 카메라에 의해 그리고 상기 용기를 스피닝시키는 동안, 상기 스토퍼의 에지의 복수의 화상을 캡처하는 단계로서, 상기 복수의 화상의 각 화상은 상기 용기의 상이한 회전 위치에 대응하는, 단계;
   하나 이상의 프로세서에 의해 적어도 상기 복수의 화상에 기초하여 상기 스토퍼의 에지의 2차원 화상을 생성하는 단계; 및
   훈련된 신경망을 포함하는 추론 모델을 실행하는 하나 이상의 프로세서에 의해, 상기 2차원 화상의 픽셀들을 처리하여 상기 샘플에 결함이 있을 가능성을 나타내는 출력 데이터를 생성하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 하나 이상의 프로세서에 의해 상기 출력 데이터에 기초하여, 상기 용기를 지정된 거부 영역으로 선택적으로 운반시키는 단계를 더 포함하는, 방법.
3. 제1항에 있어서, 상기 출력 데이터는, 상기 샘플이 특정 유형 또는 유형들의 하나 이상의 대상을 포함하는지 여부를 나타내는, 방법.
4. 제3항에 있어서, 상기 훈련된 신경망은 상기 샘플의 기체로 충전된 기포와 입자를 구별하도록 구성된, 방법.
5. 제1항에 있어서, 상기 2차원 화상의 픽셀들을 처리하는 단계는, 상이한 픽셀들에 연관된 강도 값들 또는 상기 강도 값들로부터 도출된 다른 값들을 상기 훈련된 신경망의 입력 층의 상이한 노드들에 적용하는 단계를 포함하는, 방법.
6. 제1항에 있어서, 상기 용기는 주사기이고, 상기 스토퍼는 플런저이고, 상기 스토퍼의 에지는 상기 샘플과 접촉하는 플런저 돔(plunger dome)의 에지인, 방법.
7. 제1항에 있어서, 상기 용기를 배향하는 단계는 전동 회전 테이블 또는 스타휠을 사용하여 상기 용기를 운반하는 단계를 포함하는, 방법.
8. 제1항에 있어서, 상기 용기를 배향하는 단계는 상기 스토퍼가 상기 샘플 아래에 있도록 상기 용기를 뒤집는 단계를 포함하는, 방법.
9. 제1항에 있어서, 상기 용기를 스피닝시키는 단계는 상기 용기를 상기 용기의 중심 축을 중심으로 적어도 360도 회전시키는 단계를 포함하는, 방법.
10. 제1항에 있어서, 상기 라인 스캔 카메라는 제1 라인 스캔 카메라이고, 상기 복수의 화상은 제1 복수의 화상이고, 상기 용기는 제1 용기이고, 상기 2차원 화상은 제1 2차원 화상이고, 상기 방법은,
    상기 제1 용기를 배향하는 동안, 제2 라인 스캔 카메라가 제2 용기의 스토퍼의 에지의 프로파일 뷰를 갖도록 상기 제2 용기도 배향하는 단계;
    상기 제1 용기를 스피닝시키는 동안, 상기 제2 용기를 스피닝시키는 단계;
    상기 제1 복수의 화상을 캡처하는 동안, 상기 제2 라인 스캔 카메라에 의해 그리고 상기 제2 용기가 스피닝하는 동안, 상기 제2 용기의 스토퍼의 에지의 제2 복수의 화상을 캡처하는 단계로서, 상기 제2 복수의 화상의 각 화상은 상기 제2 용기의 상이한 회전 위치에 대응하는, 단계; 및
    적어도 상기 제2 복수의 화상에 기초하여 제2 2차원 화상을 생성하는 단계를 더 포함하는, 방법.
11. 제1항에 있어서, 상기 2차원 화상의 픽셀들의 처리 전에, 용기들의 스토퍼 에지들의 표기된 2차원 화상들을 사용하여 상기 신경망을 훈련하는 단계를 더 포함하는, 방법.
12. 제11항에 있어서, 대상들의 상이한 유형, 수, 크기, 위치를 포함하는 샘플들을 함유하는 용기들의 표기된 2차원 화상들을 사용하여 상기 신경망을 훈련하는 단계를 포함하는, 방법.
13. 자동화된 육안 검사 시스템으로서,
    라인 스캔 카메라;
    상기 라인 스캔 카메라가 용기의 스토퍼의 에지의 프로파일 뷰를 갖도록 샘플을 함유하는 상기 용기를 배향하기 위한 운반 수단;
    상기 용기를 스피닝시키기 위한 스피닝 수단; 및
    처리 수단을 포함하고, 상기 처리 수단은,
    상기 스피닝 수단이 상기 용기를 스피닝시키는 동안, 상기 라인 스캔 카메라가 상기 스토퍼의 에지의 복수의 화상을 캡처하게 하고,
    적어도 상기 복수의 화상에 기초하여, 상기 용기의 스토퍼의 에지의 2차원 화상을 생성하고,
    훈련된 신경망을 포함하는 추론 모델을 실행함으로써, 상기 2차원 화상의 픽셀들을 처리하여 상기 샘플이 허용가능한지 여부를 나타내는 출력 데이터를 생성하고,
    상기 복수의 화상의 각 화상은 상기 용기의 상이한 회전 위치에 대응하는, 자동화된 육안 검사 시스템.
14. 제13항에 있어서 상기 운반 수단은 제1 운반 수단이고, 상기 자동화된 육안 검사 시스템은, 상기 용기를 지정된 거부 영역으로 운반하기 위한 제2 운반 수단을 더 포함하고, 상기 처리 수단은, 또한, 상기 제2 운반 수단이 상기 출력 데이터에 기초하여 상기 용기를 상기 지정된 거부 영역으로 선택적으로 운반하게 하는, 자동화된 육안 검사 시스템.
15. 제13항에 있어서, 상기 출력 데이터는 상기 샘플이 특정 유형의 하나 이상의 대상을 포함하는지 여부를 나타내는, 자동화된 육안 검사 시스템.
16. 제15항에 있어서, 상기 훈련된 신경망은 상기 샘플의 기체로 충전된 기포와 입자를 구별하도록 구성된, 자동화된 육안 검사 시스템.
17. 제13항에 있어서, 상기 처리 수단은, 적어도 상이한 픽셀들에 연관된 강도 값들 또는 상기 강도 값들로부터 도출된 다른 값들을 상기 훈련된 신경망의 입력 층의 상이한 노드들에 적용함으로써 상기 2차원 화상의 픽셀들을 처리하는, 자동화된 육안 검사 시스템.
18. 제13항에 있어서, 상기 용기는 주사기이고, 상기 스토퍼는 플런저이고, 상기 스토퍼의 에지는 상기 샘플과 접촉하는 플런저 돔의 에지인, 자동화된 육안 검사 시스템.
19. 제13항에 있어서, 상기 운반 수단은 전동 회전 테이블 또는 스타휠을 포함하고, 상기 운반 수단은 적어도 상기 전동 회전 테이블 또는 스타휠을 사용하여 상기 용기를 운반함으로써 상기 용기를 배향하는, 자동화된 육안 검사 시스템.
20. 제13항에 있어서, 상기 운반 수단은, 상기 스토퍼가 상기 샘플 아래에 있도록 상기 용기를 뒤집는, 자동화된 육안 검사 시스템.
21. 제13항에 있어서, 상기 처리 수단은, 상기 스피닝 수단이 상기 용기를 상기 용기의 중심 축을 중심으로 적어도 380도 스피닝시키는 동안 상기 라인 스캔 카메라가 상기 복수의 화상을 캡처하게 하는, 자동화된 육안 검사 시스템.
22. 제13항에 있어서, 상기 라인 스캔 카메라는 제1 라인 스캔 카메라이고, 상기 복수의 화상은 제1 복수의 화상이고, 상기 용기는 제1 용기이고, 상기 샘플은 제1 샘플이고, 상기 운반 수단은 제1 운반 수단이고, 상기 스피닝 수단은 제1 스피닝 수단이고, 상기 2차원 화상은 제1 2차원 화상이고, 상기 출력 데이터는 제1 출력 데이터이고,
    상기 자동화된 육안 검사 시스템은 제2 라인 스캔 카메라, 제2 운반 수단, 및 제2 스피닝 수단을 더 포함하고,
    상기 제2 운반 수단은, 상기 제1 운반 수단이 상기 제1 용기를 배향하는 동안, 상기 제2 라인 스캔 카메라가 제2 용기의 스토퍼의 에지의 프로파일 뷰를 갖도륵 상기 제2 용기를 배향하고,
    상기 제2 스피닝 수단은, 상기 제1 스피닝 수단이 상기 제1 용기를 스피닝시키는 동안 상기 제2 용기를 스피닝시키고,
    상기 처리 수단은, 또한,
    상기 제1 라인 스캔 카메라가 상기 제1 복수의 화상을 캡처하는 동안 상기 제2 라인 스캔 카메라가 상기 제2 용기의 스토퍼의 에지의 제2 복수의 화상을 캡처하게 하고,
    적어도 상기 제2 복수의 화상에 기초하여, 상기 제2 용기의 스토퍼의 에지의 제2 2차원 화상을 생성하고,
    상기 추론 모델을 실행함으로써 상기 제2 2차원 화상의 픽셀들을 처리하여, 상기 제2 화상이 허용가능한지 여부를 나타내는 제2 출력 데이터를 생성하는, 자동화된 육안 검사 시스템.
23. 자동화된 육안 검사 시스템으로서,
    라인 스캔 카메라;
    상기 라인 스캔 카메라가 용기의 스토퍼의 에지의 프로파일 뷰를 갖도록 샘플을 함유하는 상기 용기를 배향하고 이렇게 배향되는 동안 상기 용기를 스피닝시키도록 구성된 샘플 위치결정 하드웨어; 및
    명령을 저장하는 메모리를 포함하고,
    상기 명령은, 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서가,
    상기 용기가 스피닝하는 동안, 상기 라인 스캔 카메라가 상기 스토퍼의 에지의 복수의 화상을 캡처하게 하고,
    적어도 상기 복수의 화상에 기초하여, 상기 용기의 스토퍼의 에지의 2차원 화상을 생성하게 하고,
    훈련된 신경망을 포함하는 추론 모델을 실행함으로써, 상기 2차원 화상의 픽셀들을 처리하여 상기 샘플이 허용가능한지 여부를 나타내는 출력 데이터를 생성하게 하고,
    상기 복수의 화상의 각 화상은 상기 용기의 상이한 회전 위치에 대응하는, 자동화된 육안 검사 시스템.
24. 제23항에 있어서, 상기 출력 데이터는, 상기 샘플이 특정 유형의 하나 이상의 대상을 포함하는지 여부를 나타내는, 자동화된 육안 검사 시스템.
25. 제24항에 있어서, 상기 훈련된 신경망은 상기 샘플의 기체로 충전된 기포와 입자를 구별하도록 구성된, 자동화된 육안 검사 시스템.
26. 제23항에 있어서, 상기 명령은, 상기 하나 이상의 프로세서가, 적어도 상이한 픽셀들에 연관된 강도 값들 또는 상기 강도 값들로부터 도출된 다른 값들을 상기 훈련된 신경망의 입력 층의 상이한 노드들에 적용함으로써 상기 2차원 화상의 픽셀들을 처리하게 하는, 자동화된 육안 검사 시스템.
27. 제23항에 있어서, 상기 용기는 주사기이고, 상기 스토퍼는 플런저이고, 상기 스토퍼의 에지는 상기 샘플과 접촉하는 플런저 돔의 에지인, 자동화된 육안 검사 시스템.
28. 제23항에 있어서, 상기 샘플 위치결정 하드웨어는, 전동 회전 테이블 또는 스타휠을 포함하고, 적어도 상기 전동 회전 테이블 또는 스타휠을 사용하여 상기 용기를 이송함으로써 상기 용기를 배향하는, 자동화된 육안 검사 시스템.
29. 제23항에 있어서, 상기 샘플 위치결정 하드웨어는, 상기 스토퍼가 상기 샘플 아래에 있도록 상기 용기를 뒤집는, 자동화된 육안 검사 시스템.
30. 제23항에 있어서, 상기 명령은, 상기 용기가 상기 용기의 중심 축을 중심으로 적어도 360도 스피닝시키는 동안 상기 하나 이상의 프로세서가 상기 복수의 화상을 상기 라인 스캔 카메라에 의해 캡처하게 하는, 자동화된 육안 검사 시스템.

Images