KR20210091189A - 자동 시각적 검사 공정에서 설정 단계의 최적화 - Google Patents
자동 시각적 검사 공정에서 설정 단계의 최적화 Download PDFInfo
- Publication number
- KR20210091189A KR20210091189A KR1020217016265A KR20217016265A KR20210091189A KR 20210091189 A KR20210091189 A KR 20210091189A KR 1020217016265 A KR1020217016265 A KR 1020217016265A KR 20217016265 A KR20217016265 A KR 20217016265A KR 20210091189 A KR20210091189 A KR 20210091189A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- cluster
- images
- inspection
- visual
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000011179 visual inspection Methods 0.000 title claims abstract description 35
- 238000005457 optimization Methods 0.000 title description 2
- 238000007689 inspection Methods 0.000 claims abstract description 110
- 230000007547 defect Effects 0.000 claims abstract description 52
- 230000000007 visual effect Effects 0.000 claims description 29
- 230000002950 deficient Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 24
- 238000004519 manufacturing process Methods 0.000 description 16
- 230000036544 posture Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 3
- 238000000275 quality assurance Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/888—Marking defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Immunology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 실시형태는 검사 라인에 있는 물체의 이미지를 이미지에 있는 물체의 외관에 기초하여 자동으로 클러스터로 그룹화하는 시각적 검사 처리 시스템 및 방법을 제공한다. 클러스터링된 이미지는 다양한 외관을 갖는 검사 대상 물품에 대한 참조로 사용될 수 있는 광범위한 이미지 데이터베이스를 생성하며, 이를 통해 검사 대상 물체의 모든 부분과 외관을 식별하고 검사하여 결함 검출의 성공률을 높이고 결함의 잘못된 검출을 실질적으로 최소화하는 것을 보장할 수 있다.
Description
본 발명은 자동화된 시각적 검사 공정에 관한 것으로, 예를 들어, 생산 공정 동안 물품을 검사하는 것에 관한 것이다.
생산 공정 동안 검사는 생산 품질을 보장하는 데 중요한 역할을 할 수 있다. 예를 들어, 제조 공장에서 생산 공정 동안 검사는 결함을 식별한 다음 식별 시 조치하는 것에 의해, 예를 들어, 결함을 수리하거나 결함 부분을 폐기하는 것에 의해 제품 품질을 관리하는 데 도움을 준다. 생산 동안 결함 검출 공정은 품질 보증(QA), 생산 라인을 게이팅하고 정렬하는 데에 필수적이며, 결과적으로 생산성 향상, 생산 공정 및 작업 절차 개선, 결함률 감소, 재작업 및 폐기물 감소에 유용하다.
시각적 검사 방법은 제조 물품의 무결성에 기능적 또는 심미적 영향을 미칠 수 있는 시각적으로 검출 가능한 비정상을 식별하기 위해 생산 라인에서 사용된다. 생산 라인에서 기존의 시각적 검사 솔루션은 맞춤형 자동화된 시각적 검사 시스템에 의존하는 데, 이는 일반적으로 매우 비싸고 하드웨어와 소프트웨어 구성 요소의 전문가 통합뿐만 아니라 주변 환경, 카메라-시스템 장치, 이미징 파라미터, 및 소프트웨어와 알고리즘 설정에 전문가의 개입을 필요로 한다.
기존의 자동 시각적 검사 솔루션은 일반적으로 솔루션이 설정된 특정 물품 및 특정 이미징 환경으로 제한된다. 시각적 기계 학습 기술에 기초한 솔루션도 검사 대상 물체를 식별하기 위해 사용자 입력에 크게 의존하고, 검사 라인 또는 주변 조명에서 물체의 변화 또는 물체의 자세의 변화에 따라 시스템을 수동으로 조정할 것을 요구한다.
추가적으로, 심지어 이미징 환경의 작은 변화 및 검사 라인에서 이미징된 물체의 물리적 위치와 자세의 작은 변화조차도 검사 대상 물체의 외관은 매우 가변적일 수 있다. 상이한 이미지에서 물체의 3D 형상과 물체의 움직임에 따라 상이한 이미지는 이미지마다 물체의 원근 왜곡 및 폐색을 보여준다. 이러한 가변성은 이미징된 물체의 시각적 표현에 큰 영향을 미쳐, 종종 물체의 잘못된 식별 및 결함의 잘못된 검출을 유발하여 검사 공정에 사람 검사자가 빈번히 힘들게 개입할 것을 요구한다.
본 발명의 실시형태는 검사 라인에 있는 물체의 이미지를 이미지에서 물체의 외관에 기초하여 자동으로 클러스터로 그룹화하는 시각적 검사 공정 시스템 및 방법을 제공한다. 클러스터링된 이미지는 상이한 외관을 갖는 검사 대상 물품에 대한 참조로 사용될 수 있는 광범위한 이미지 데이터베이스를 생성한다. 광범위한 참조 데이터베이스는 검사 대상 물체의 모든 부분과 외관을 식별하고 검사할 수 있고 이에 의해 결함 검출의 성공률을 높이고 결함의 잘못된 검출을 실질적으로 최소화할 수 있는 것을 보장한다.
추가적으로, 본 발명의 실시형태는 검사 단계를 시작하기 전에 사용자 확인을 위해 많은 양의 검사 대상 물품을 제시하여 이에 의해 사용자의 시간을 효율적으로 이용하고 검사 공정을 간소화할 수 있다.
일 실시형태에서, 시각적 검사 시스템 및 방법은 검사 라인의 복수의 설정 이미지에서 물체를 검출하고, 이미징된 물체의 기준 값에 따라 이미지를 클러스터로 그룹화하는 것을 포함한다. 그런 다음 검사 라인의 검사 이미지에서 물체를 검출하고, 검사 이미지에서 물체의 기준 값에 따라 클러스터들 중 하나의 클러스터와 검사 이미지를 비교한다. 따라서 비교에 기초하여 검사 이미지에서 물체의 결함을 검출할 수 있다.
참조 이미지의 거의 모든 가능한 외관에 대해 클러스터를 생성하면, 검사 단계는 부정확한 검출 위험이 훨씬 줄어든 상태에서 시작할 수 있어서 향상된 검사 공정을 제공할 수 있다.
본 발명을 이제 보다 완전히 이해할 수 있기 위해 이하의 예시적인 도면을 참조하여 특정 실시예 및 실시형태와 관련하여 본 발명을 설명한다.
도 1a는 본 발명의 일 실시형태에 따른 시각적 검사 공정의 설정 단계를 개략적으로 도시한다;
도 1b는 본 발명의 일 실시형태에 따른 시각적 검사 공정의 검사 단계를 개략적으로 도시한다;
도 1c는 본 발명의 일 실시형태에 따른 사용자 인터페이스를 개략적으로 도시한다;
도 2는 본 발명의 일 실시형태에 따른 시각적 검사 시스템의 개략도이다;
도 3a는 본 발명의 일 실시형태에 따른 시각적 검사 라인 설정 공정 방법의 개략도이다;
도 3b는 본 발명의 실시형태에 따라 설정 단계로부터 검사 단계로 진행하는 방법의 개략도이다;
도 4는 본 발명의 일 실시형태에 따라 반드시 결함이 없는 것은 아닌 이미지를 사용하여 시각적 검사 라인을 설정하는 공정 방법의 개략도이다;
도 5는 본 발명의 실시형태에 따라 클러스터 임계값을 결정하는 방법의 개략도이다;
도 6은 본 발명의 실시형태에 따라 이미지를 클러스터링하는 방법의 개략도이다;
도 7a는 본 발명의 실시형태에 따라 2D 물체를 클러스터링하는 것을 개략적으로 도시한다; 및
도 7b는 본 발명의 실시형태에 따라 3D 물체를 클러스터링하는 것을 개략적으로 도시한다.
도 1a는 본 발명의 일 실시형태에 따른 시각적 검사 공정의 설정 단계를 개략적으로 도시한다;
도 1b는 본 발명의 일 실시형태에 따른 시각적 검사 공정의 검사 단계를 개략적으로 도시한다;
도 1c는 본 발명의 일 실시형태에 따른 사용자 인터페이스를 개략적으로 도시한다;
도 2는 본 발명의 일 실시형태에 따른 시각적 검사 시스템의 개략도이다;
도 3a는 본 발명의 일 실시형태에 따른 시각적 검사 라인 설정 공정 방법의 개략도이다;
도 3b는 본 발명의 실시형태에 따라 설정 단계로부터 검사 단계로 진행하는 방법의 개략도이다;
도 4는 본 발명의 일 실시형태에 따라 반드시 결함이 없는 것은 아닌 이미지를 사용하여 시각적 검사 라인을 설정하는 공정 방법의 개략도이다;
도 5는 본 발명의 실시형태에 따라 클러스터 임계값을 결정하는 방법의 개략도이다;
도 6은 본 발명의 실시형태에 따라 이미지를 클러스터링하는 방법의 개략도이다;
도 7a는 본 발명의 실시형태에 따라 2D 물체를 클러스터링하는 것을 개략적으로 도시한다; 및
도 7b는 본 발명의 실시형태에 따라 3D 물체를 클러스터링하는 것을 개략적으로 도시한다.
검사 라인 공정은 검사 단계 이전에 설정 단계를 포함할 수 있다. 일 실시형태에서, 설정 단계에서, 결함이 없는 제조 물품(무결함 물품)의 샘플이 검사 라인에서 이미징된다. 이미지(이는 설정 이미지 및/또는 참조 이미지라고도 지칭될 수 있음)는 프로세서에 의해 분석된 다음, 검사 단계에서 실행되는 이미지 처리 및 검사 알고리즘(예를 들어, 결함 검출 알고리즘)을 위한 참조 이미지로 사용된다. 본 발명의 실시형태는 또한 아래에 더 설명된 바와 같이 설정 단계 동안 반드시 결함이 없는 것은 아닌 샘플을 사용할 수도 있다.
검사 단계에서, 검사 대상 물품(검사 작업, 예를 들어, 결함 검출, 정렬 및/또는 카운팅을 위해 분석해야 하는 제조 물품)을 이미징하여 검사 이미지를 생성하고, 설정 이미지 및 검사 이미지의 분석에 기초하여 검사 대상 물품에 검사 작업을 수행할 수 있다.
설정 단계에서, 프로세서는 공간 속성을 학습하고, 이미지에서 결함 없는 물품의 특징 또는 속성할 뿐만 아니라 결함 없는 물품의 이미지의 최적 파라미터, 예를 들어, 최적의 이미징 파라미터(예를 들어, 노출 시간, 초점 및 조명)를 고유하게 표현한다. 이들 속성은 예를 들어 상이한 이미징 파라미터를 사용하여 결함 없는 물품의 이미지를 분석하고, 동일한 유형의 결함 없는 물품의 상이한 이미지 사이의 관계를 분석함으로써 학습될 수 있다. 설정 단계 동안 이러한 분석에 의해, 새로운 이미지의 이미징 환경에 관계없이 새로운 이미지에서 동일한 유형의 물품(결함 없음 또는 결함 있음)을 구별 가능하게 검출할 수 있고, 이후 검사 단계 동안 최소 처리 시간으로 이미징 파라미터를 지속적으로 최적화할 수 있다.
일 실시형태에서, 설정 이미지를 분석한 것은 결함 없는 물품이 원근 왜곡을 나타내지 않는 공간 범위를 결정하는 데 사용된다. 상이한 이미지에서 물품 간의 원근 왜곡 레벨은, 예를 들어, 물품의 경계 사이 또는 물품에 표시된 관심 영역 사이의 교차 위치 및 각도 등을 분석함으로써 설정 이미지 사이에 대응하는 특징을 갖지 않는 물품 영역을 검출함으로써 분석될 수 있다. 공간 범위의 경계는, 2개의 (또는 이를 초과하는) 설정 이미지(여기서 물품의 자세 및/또는 배향은 다를 수 있음)를 비교하고, 이미지 중에서 원근 왜곡을 보이는 부분과 보이지 않는 부분을 결정함으로써 계산될 수 있다.
그런 다음 계산된 범위를 사용하여 검사 라인에 검사 대상 물품이 놓여 배향, 배율 또는 기타 배치에서 왜곡을 피할 수 있는 경계 부분 및/또는 경계 위치를 결정할 수 있다. 추가적으로, 설정 이미지 세트를 서로 참조로 사용함으로써, 프로세서는 유사한 공간 분해를 갖는 이미지를 검출할 수 있고, 이 이미지 세트를 분석하면 검사 라인의 각 가능한 자세/위치에 대해 등록, 결함 검출 및 기타 분석이 가능할 만큼 충분히 유사한 설정 이미지가 있는지 여부를 알 수 있다.
"충분한 설정 이미지"는 물품 유형의 본질적으로 완료된 표현(complete representation)이 달성될 때 수집된다. 예를 들어, 위에서 설명된 바와 같이 각 참조 이미지를 왜곡 없는 참조로 사용할 수 있는 공간 범위를 결정할 수 있을 만큼 충분한 이미지가 수집될 때 또는 설정 이미지를 서로 비교할 때 새로운 설정 이미지가 추가될 때 새로운 공차 또는 표면 변화가 발견되지 않는다. 설정 이미지를 분석하는 것을 수행하면 물품의 가능한 2D 형상과 3D 특성에 관한 정보(예를 들어, 검사 라인에서 회전)를 수집하고, 또는 설정 이미지 사이에 유지된, 물품의 고유한 구별 가능한 특징과 이러한 고유한 특징들 간의 공간 관계를 찾을 수 있다.
설정 이미지로부터 수집된 정보에 기초하여, 프로세서는 동일한 유형의 제2 물품을 검출하고, 제2 물품이 프로세서에 의해 이전에 학습되지 않은 경우에도 검사 작업을 수행할 수 있다. 이를 통해 프로세서는 (동일한 유형의) 새로운 물품이 이미징되는 시기를 검출하고, 설정 이미지를 분석한 것에 기초하여 새로운 물품을 분석할 수 있고, 예를 들어, 검사 대상 물품에서 결함을 검색할 수 있다. 새로운 물품을 분석하는 것은 일반적으로 검사 알고리즘, 예를 들어, 결함 검출 알고리즘을 적용하는 것을 포함하고, 이는 일 실시형태에서 이미지에서 물품을 검출하고, 검출된 물품의 이미지 데이터를 참조 이미지의 이미지 데이터와 비교하는 것을 포함한다.
일부 경우에 참조 이미지는 낮은 레벨의 등록 품질을 보여줄 수도 있고 또는 전혀 등록이 가능하지 않을 수도 있다. 다른 경우 참조 이미지는 낮은 물체 검출 가능성을 보여줄 수도 있고 또는 물체 검출을 전혀 보여주지 않을 수도 있다. 또 다른 경우에, 참조 이미지는 서로 비교할 때 낮은 상관 관계를 보일 수 있고/있거나 이미지 내 물체 또는 표시된 관심 영역은 서로 비교할 때 낮은 상관 관계를 보여줄 수 있다. 이러한 경우는 이들 이미지에서 물체가 비교하기에는 너무 다른 것을 나타낼 수 있다. 그러나 이들 이미지는 일반적으로 사용자가 면밀히 관찰하는 설정 단계 동안 획득되기 때문에 이러한 이미지는 검사 라인의 실제 상황을 나타내며, 유사한 이미지는 사용자에게 덜 면밀히 관찰되는 검사 단계 동안 획득될 수 있다. 그러나 참조 이미지가 낮은 물체 검출 또는 결함 검출 가능성을 가진다면 이러한 참조 이미지에 비해 검사 이미지를 올바르게 분석할 수 없고, 검사 이미지에서 물체를 검출하지 못하고/못하거나 검사 이미지에서 결함을 검출하지 못하거나 또는 검사 이미지에서 결함을 잘못 검출할 위험이 있다.
본 발명의 실시형태는 모든 참조 이미지가 충분히 다른 유사한 참조 이미지가 있는 클러스터로 그룹화되는 것을 보장함으로써, 클러스터에서 참조 이미지의 비교, 등록 및 기타 분석을 수행하는 것을 보장하고, 검사 이미지의 물체가 상이한 시각적 외관을 가진 경우에도 모든 검사 이미지에 대한 참조 그룹이 있는 것을 보장함으로써 이러한 위험을 완화시킬 수 있다.
물체의 외관(또는 시각적 외관)은 카메라에 보이는 임의의 특징을 포함할 수 있다. 예를 들어, 외관은 이미지에서 물체의 공간적 특징(예를 들어, 카메라의 시야(FOV) 내에서 물체 또는 물체의 일부의 자세 및/또는 회전, 물체의 형상 및/또는 크기, 물체 상의 가시적 패턴 또는 표시 등)을 포함할 수 있다.
참조 이미지의 거의 모든 가능한 외관에 대해 클러스터를 생성하면, 검사 단계는 부정확한 검출 위험이 훨씬 줄어든 상태에서 시작할 수 있어 향상된 검사 공정을 제공할 수 있다.
본 발명의 실시형태에 따르면, 많은 양의 참조 이미지는 이미징되는 물체의 시각적 외관의 차이에 따라 상이한 클러스터로 자동으로 그룹화될 수 있어서, 이에 의해 검사 대상 물체의 거의 모든 상이한 외관에 대해 충분히 큰 참조를 생성할 수 있다. 이는 검사 물체의 식별 및 물체 상의 결함의 검출을 크게 향상시킨다.
"물품"과 "물체"라는 용어는 상호 교환 가능하게 사용될 수 있고, 동일한 것을 나타내는 것으로 의도된다.
일부 실시형태에서, 상이한 클러스터는 검사 단계를 시작하기 전에 사용자 확인을 얻기 위해 압축된 방식으로 사용자(예를 들어, 검사 라인 조작자)에게 제시될 수 있어서, 이에 의해 시간 효율적이고 간소화된 검사 공정이 가능하다.
이하의 설명에서, 본 발명의 다양한 양태를 설명한다. 설명을 위하여, 본 발명을 완전한 이해하기 위해 특정 구성 및 세부 사항이 제시된다. 그러나, 이 기술 분야에 통상의 지식을 가진 자에게는 본 명세서에 제시된 특정 세부 사항 없이 본 발명을 실시할 수도 있다는 것이 명백할 것이다. 나아가, 잘 알려진 특징은 본 발명을 모호하게 하지 않기 위해 생략되거나 단순화될 수 있다.
달리 구체적으로 언급하지 않는 한, 이하의 논의에서 명백한 바와 같이, 명세서 전반에 걸쳐 "분석", "처리", "컴퓨팅", "계산", "결정", "검출", "식별", "생성", "생산" 등과 같은 용어를 사용하는 논의는 컴퓨팅 시스템의 레지스터 및/또는 메모리 내의 물리량, 예를 들어, 전자량으로 표현된 데이터를 컴퓨팅 시스템의 메모리, 레지스터 또는 기타 이러한 정보 저장, 전송 또는 디스플레이 디바이스 내 물리량으로 유사하게 표현된 다른 데이터로 조작 및/또는 변환하는 컴퓨터 또는 컴퓨팅 시스템 또는 유사한 전자 컴퓨팅 디바이스의 조치 및/또는 처리를 지칭한다. 달리 명시되지 않는 한, 이러한 용어는 인간 조작자의 조치와 관계 없이 독립적으로 프로세서의 자동 조치를 의미한다.
일 실시형태에서, 시각적 검사 방법은 도 1a에 예시적으로 개략적으로 도시되어 있는 설정 단계, 및 도 1b에 예시적으로 개략적으로 도시되어 있는 검사 단계를 포함한다. 일 실시형태에서, 설정 이미지(설정 단계 동안 획득됨)는 결함 없는 물체의 이미지를 포함하고, 검사 이미지(검사 단계 동안 획득됨)는 결함 없는 또는 결함 있는 물체를 포함한다.
설정 단계에서, 검사 라인의 다수의 설정 이미지(11, 12, 13, 14)에서 물체(10)가 검출된다. 각각의 설정 이미지에서 물체(10)는 기준을 따른다.
기준은 예를 들어 이미지에서 물체(10)의 공간적 특징, 예를 들어, 이미지 내에서 물체의 자세 또는 배치 각도(예를 들어, 카메라 FOV에 대한 자세, 카메라 FOV에 대한 3 축에서의 회전, 카메라 FOV에 대한 형상 또는 배율 등)를 포함할 수 있다. 기준의 또 다른 예는 물체 상의 시각적 마크와 같은 하나 이상의 시각적 특징을 포함한다. 물체 및/또는 이미지의 다른 속성이 기준으로 사용될 수 있다.
이미지(11, 12, 13 및 14)는 기준 값에 따라 클러스터(예를 들어, 클러스터 A 및 클러스터 B)로 그룹화된다. 도 1a에 도시된 예에서, 이미지를 그룹화하는 기준은 물체(10)의 자세이다. 물체(10)가 유사한 자세에 있는, 즉 유사한 각도 값으로 정의될 수 있는 이미지(11 및 12)는 모두 클러스터 A에 할당되는 반면에, 물체(10)가 서로 유사한 자세에 있지만 이미지(11 및 12)에서의 물체(10)의 자세와는 다른 이미지(13 및 14)는 클러스터 B에 할당된다.
이하의 검사 단계(도 1b)에서 검사 이미지는 검사 이미지에서 물체의 기준 값에 기초하여 설정 이미지의 클러스터와 비교된다. 예를 들어, 물체(10)는 검사 이미지(15)에서 검출된다. 검사 이미지(15)에서 물체(10)의 자세(예를 들어, 이미지 내의 한 지점에 대한 물체(10)의 각도)는 클러스터 B에 할당된 설정 이미지에서 물체의 자세와 유사하다(예를 들어, 이러한 모든 이미지는 유사한 각도 값을 가진 물체를 포함한다). 따라서, 클러스터 B의 이미지는 검사 이미지(15)의 물체에 대한 적절한 참조로 사용되어, 검사 이미지(15)에서 물체(10)를 검출하고/하거나 물체(10)의 결함을 검출하기 위한 참조로 사용될 수 있을 만큼 검사 이미지(15)와 충분히 유사한 참조 이미지가 있는 것을 보장한다. 따라서, 검사 이미지(15)는 비교에 기초하여 물체(10) 상의 결함을 검출하기 위해 클러스터 B에 할당된 이미지와 비교된다.
각각의 이미지(11, 12, 13, 14 및 15)에서 물체(10)는 상이한 물품이지만, 모든 물체(10)는 동일한 유형의 물체이다.
"동일한 유형의 물품" 또는 "동일한 유형의 물체"라는 용어는 동일한 물리적 구성을 갖고 형상 및 치수 및 가능한 색상 및 기타 물리적 특징이 서로 유사한 물품 또는 물체를 지칭한다. 일반적으로, 단일 생산 시리즈의 물품, 동일한 유형 물품의 배취(batch), 또는 생산 라인에서 동일한 단계에 있는 물품의 배취는 "동일한 유형의 물품"일 수 있다. 예를 들어, 검사 대상 물품이 위생 제품인 경우 동일한 배취의 다른 싱크대(sink bowl)는 동일한 유형의 물품이다.
결함은 예를 들어 물품 표면의 눈에 보이는 결점, 물품 또는 물품의 일부의 바람직하지 않은 크기, 물품 또는 물품의 일부의 바람직하지 않은 형상 또는 색상, 물품의 바람직하지 않은 수의 부분, 물품의 인터페이스에서 잘못되었거나 누락된 조립, 부서지거나 탄 부분, 물품 또는 물품의 일부가 잘못 정렬된 경우, 잘못되었거나 결함이 있는 바코드, 및 일반적으로 이미지에서 사용자, 즉 사람 검사자에게 명백할 수 있는 결함 없는 샘플과 검사 대상 물품 사이의 차이를 포함할 수 있다. 일부 실시형태에서 결함은 확대된 또는 고해상도 이미지, 예를 들어, 현미경 또는 기타 특수 카메라에 의해 획득된 이미지에서만 보이는 결점을 포함할 수 있다.
본 발명의 실시형태에 따른 방법은 도 2에 예시적으로 개략적으로 도시되어 있는 시각적 검사 시스템에 의해 수행될 수 있다.
검사 라인에 있는 물품을 자동으로 시각적으로 검사하는 데 사용될 수 있는 예시적인 시스템은, 하나 이상의 카메라(들)(103), 및 사용자 인터페이스 디바이스(106)와 같은 디바이스 및/또는 저장 디바이스(108)와 같은 다른 디바이스와 통신하는 프로세서(102)를 포함한다.
시스템의 구성 요소는 유선 또는 무선 통신을 할 수 있으며, 적절한 포트 및/또는 네트워크 허브를 포함할 수 있다. 일부 실시형태에서, 프로세서(102)는 예를 들어 데이터 취급, 저장, 처리 능력 및 통신 능력을 위해, 제조 공정에서 일반적으로 사용되는 프로그래밍 가능 논리 제어기(PLC)와 같은 제어기를 통해 저장 디바이스(108) 및/또는 사용자 인터페이스 디바이스(106)와 같은 디바이스와 통신할 수 있다. 제어기는 USB, 이더넷, 적절한 케이블 등을 통해 프로세서(102), 저장 디바이스(108), 사용자 인터페이스 디바이스(106) 및/또는 시스템의 다른 구성 요소와 통신할 수 있다.
프로세서(102)는 예를 들어 하나 이상의 프로세서를 포함할 수 있고, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 디지털 신호 프로세서(DSP), 전계 프로그래밍 가능 게이트 어레이(FPGA), 마이크로프로세서, 제어기, 칩, 마이크로칩, 집적 회로(IC) 또는 임의의 다른 적합한 다목적 또는 특정 프로세서 또는 제어기일 수 있다. 프로세서(102)는 로컬로 내장되거나 원격일 수 있다.
사용자 인터페이스 디바이스(106)는 (예를 들어, 모니터에 디스플레이되는 텍스트 또는 다른 콘텐츠를 통해) 사용자에게 이미지, 명령어 및/또는 통지를 디스플레이하기 위한 모니터 또는 스크린과 같은 디스플레이를 포함할 수 있다. 사용자 인터페이스 디바이스(106)는 또한 사용자로부터 입력을 수신하도록 설계될 수 있다. 예를 들어, 사용자 인터페이스 디바이스(106)는 사용자가 피드백을 입력할 수 있도록 모니터 및 키보드 및/또는 마우스 및/또는 터치 스크린을 포함할 수 있다.
저장 디바이스(108)는 예를 들어 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)와 같은 휘발성 및/또는 비휘발성 저장 매체를 포함하는 서버일 수 있다. 저장 디바이스(108)는 로컬로 또는 원격으로, 예를 들어, 클라우드로 연결될 수 있다. 일부 실시형태에서 저장 디바이스(108)는 참조 이미지 및/또는 검사 이미지와 관련된 이미지 데이터를 수신하고 관리하기 위한 소프트웨어를 포함할 수 있다.
검사 라인(105)의 이미지를 획득하도록 구성된 카메라(들)(103)는 일반적으로 검사 라인(105)에 배치된 물품(예를 들어, 물품(104))이 카메라(103)의 FOV(103') 내에 있도록 검사 라인(105)(예를 들어, 컨베이어 벨트)에 대하여 배치된다.
카메라(103)는 CCD 또는 CMOS 또는 다른 적절한 칩을 포함할 수 있다. 카메라(103)는 2D 또는 3D 카메라일 수 있다. 일부 실시형태에서 카메라(103)는 예를 들어 스마트 폰 또는 태블릿과 같은 모바일 디바이스가 제공되는 표준 카메라를 포함할 수 있다. 다른 실시형태에서 카메라(103)는 특수 카메라, 예를 들어, 고해상도 이미지를 얻기 위한 카메라이다.
시스템은 예를 들어 검사 라인(105) 상의 물품(104)을 조명하기 위해 카메라 FOV(103')를 조명하기 위해 LED 또는 다른 적절한 광원과 같은 광원을 더 포함할 수 있다.
프로세서(102)는 하나 이상의 카메라(들)(103)로부터 검사 라인(105) 상의 물체의 이미지 데이터(반사된 광의 세기를 나타내는 픽셀 값과 같은 데이터, 및 부분 또는 전체 이미지 또는 비디오를 포함할 수 있음)를 수신하고, 본 발명의 실시형태에 따른 공정을 실행한다.
프로세서(102)는 일반적으로 메모리 유닛(112)과 통신한다. 메모리 유닛(112)은 카메라(들)(103)로부터 수신된 이미지 데이터의 적어도 일부를 저장할 수 있다.
메모리 유닛(112)은 예를 들어 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 플래시 메모리, 휘발성 메모리, 비휘발성 메모리, 캐시 메모리, 버퍼, 단기 메모리 유닛, 장기 메모리 유닛, 또는 다른 적절한 메모리 유닛 또는 저장 유닛을 포함할 수 있다.
일부 실시형태에서, 메모리 유닛(112)은 프로세서(102)에 의해 실행될 때 본 명세서에 설명된 바와 같이 프로세서(102)의 동작의 수행을 용이하게 하는 실행 가능한 명령어를 저장한다.
일 실시형태에서, 프로세서(102)는 컴퓨터 비전 및 이미지 처리 기술 및 알고리즘을 (예를 들어, 위에서 설명한 바와 같이) 적용하여, 이미지에서 물체의 시각적 외관을 결정하고, 물체의 시각적 외관과 관련된 기준에 기초하여 복수의 그룹 또는 클러스터 중 하나에 이미지를 할당한다.
일 실시형태에서, 프로세서(102)는 물체의 이미지(예를 들어, 설정 이미지)를 수신하고, 각 이미지에서 물체의 외관에 기초하여 이미지를 클러스터로 그룹화한다. 연속 이미지(예를 들어, 설정 이미지를 얻은 후 획득된 검사 이미지)를 수신하면 이미지는 클러스터에 할당되고, 적어도 클러스터에 그룹화된 설정 이미지와 비교된다. 이렇게 하면 원근 왜곡에 대한 저하된 결과 없이 현재 검사 이미지와 필적할 수 있는 동일한 유형의 물체의 이미지 그룹이 보장된다. 그런 다음 비교에 기초하여 연속 이미지에서 물체의 결함을 검출할 수 있다. 일부 실시형태에서 프로세서(102)는 예를 들어 사용자의 승인을 위해 (예를 들어, 사용자 인터페이스 디바이스(106)를 통해) 검출된 결함을 디스플레이한다.
일부 실시형태에서 클러스터(일반적으로 각 클러스터와 관련된 이미지 데이터)는 검사 이미지에서 결함 검출을 위해 나중에 사용되는 참조 이미지 데이터베이스(이는, 예를 들어, 저장 디바이스(108)에 유지될 수 있음)에 저장된다. 일부 실시형태에서 이미지 데이터는 참조 이미지가 하나 이상의 기준에 기초하여 클러스터에 링크되도록 데이터베이스 내에 유지된다. 예를 들어, 도 1a를 참조하면, 설정 이미지(11 및 12)는 클러스터(A)를 정의하는 기준(예를 들어, 각도 값 또는 각도 범위로 표현할 수 있는 자세)에 대한 링크와 함께 참조 이미지 데이터베이스에 저장될 수 있고, 설정 이미지(13 및 14)는 클러스터(B)를 정의하는 기준에 대한 링크와 함께 참조 이미지 데이터베이스에 저장될 수 있다.
검사 단계에서, 검사 이미지(예를 들어, 검사 이미지(15))의 기준(및 일반적으로 기준 값)은 예를 들어 프로세서(102)에 의해 결정된다. 도 1a 및 도 1b에 도시된 예에서, 기준은 자세이고, 값은 예를 들어 이미지의 한 지점에 대한 회전 각도일 수 있다. 결정된 기준 및/또는 기준 값에 기초하여 참조 이미지의 적절한 클러스터를 쉽게 식별하고, 검사 이미지에 대한 참조로 사용할 수 있다. 참조 이미지의 적절한 클러스터는, 이 경우에, 검사 이미지의 동일하거나 유사한 기준 및/또는 값에 의해 정의된 클러스터일 수 있다.
도 1c에 예시적으로 개략적으로 도시되어 있는 일부 실시형태에서, 프로세서(102)는, 예를 들어, 사용자 인터페이스 디바이스(106)를 통해 클러스터(예를 들어, 이 클러스터에 할당된 이미지) 또는 클러스터의 표현을 디스플레이할 수 있다. 사용자는 사용자 인터페이스 디바이스(106)를 통해 입력을 제공하여 각 클러스터를 승인하거나 승인하지 않을 수 있다. 일부 실시형태에서, 클러스터 ID(21), 클러스터에 포함된 이미지(22)의 수 및/또는 클러스터에 대한 다른 정보, 사용자(23)에 대한 명령어, 및 조치 버튼(24)이 디스플레이될 수 있다.
각각의 클러스터는 클러스터로부터의 물체를 나타내는 하나 이상의 대표자(representative), 예를 들어, 평균, 중앙값 또는 다른 것에 의해 표현될 수 있다. 따라서, 사용자에게 클러스터를 디스플레이하는 것은 각 클러스터의 대표자를 디스플레이하는 것을 포함할 수 있다.
일부 실시형태에서 각 클러스터는 물체를 둘러싼 윤곽으로 표현된다. 윤곽은 물체를 둘러싸는 라인, 예를 들어, 색상 선, 파선 또는 다른 스타일의 선으로 또는 일반적으로 사용자에게 보이는 임의의 다른 표시로 디스플레이(예를 들어, 사용자 인터페이스 디바이스(106)의 디스플레이)에 디스플레이될 수 있다.
예를 들어, 모니터(20)는 클러스터를 묘사하는 물체의 하나의 대표자(16) 및 선택적으로 모든 이미징된 물체의 자세를 보여주는 그래픽 마크(16' 및 16'' 등)를 디스플레이함으로써 상이한 클러스터(C 및 D)를 디스플레이할 수 있다. 따라서 사용자는 모든 이미징된 물체와 관련하여 각 클러스터에 포함된 것을 더 잘 이해할 수 있다.
일부 실시형태에서, 사용자 요청에 따라 특정 클러스터의 개별 이미지를 디스플레이할 수 있다. 예를 들어, 사용자는 디스플레이된 클러스터 대표자(예를 들어, 대표자(16))를 클릭하여 이 클러스터에 할당된 개별 이미지를 디스플레이하는 새 창 또는 화면을 열 수 있다. 따라서, 본 발명의 실시형태에 따른 사용자 인터페이스는 클러스터를 전체적으로 승인 또는 비승인(예를 들어, 삭제)할 수 있고/있거나, 클러스터 내의 개별 이미지를 사용자에 의해 승인 및/또는 비승인할 수 있다.
클러스터가 (본 명세서에서 및 아래에서 추가로 설명된 바와 같이) 물체의 완료된 표현을 보장하기에 충분한 이미지를 포함하지 않는 경우, 클러스터는 "비완료된(incomplete)" 상태에 있는 것으로 결정될 수 있는 반면, 충분한 이미지를 포함하는 클러스터는 "완료된" 상태에 있는 것으로 결정된다.
일부 실시형태에서, 시각적 검사 시스템은, 디스플레이(예를 들어, 사용자 인터페이스 디바이스(106)의 모니터)와 통신하며, 검사 라인에 있는 물체의 이미지를 수신하고, 이미지에서 물체를 검출하고, 이미지에서 물체의 외관에 기초하여 (예를 들어, 이미지에 있는 물체의 공간적 특징에 기초하여) 이미지를 클러스터에 할당하는 프로세서(102)를 포함한다. 프로세서(102)는 클러스터의 상태를 결정하고, 클러스터의 상태의 표시와 함께 클러스터의 대표자를 디스플레이할 수 있다. 클러스터의 상태의 표시는 각 다른 상태마다 다른 시각적 특성을 포함할 수 있다. 예를 들어, 시각적 특징은 완료된 클러스터의 대표자를 비완료된 클러스터의 대표자와 다른 색상으로 디스플레이할 수 있는 색상일 수 있다. 일부 실시형태에서, 프로세서(102)는 물체가 할당된 클러스터에 따라 물체(예를 들어, 이미지(11 또는 12)의 물체(10))의 이미지에 표시가 나타나도록 한다. 프로세서(102)는 이미지에서 물체가 검출될 때 제1 시각적 특성(예를 들어, 색상 또는 다른 시각적 마크)을 디스플레이하고, 물체가 할당된 클러스터의 상태를 나타내기 위해 제2 시각적 특성을 디스플레이할 수 있다.
도 3a에 개략적으로 도시된 일 실시형태에서, 시각적 검사 설정 공정 방법은 프로세서(102)에 의해 수행될 수 있다. 이 방법은 물체의 제1 이미지 세트에 기초하여 물체의 시각적 외관을 결정하는 단계(302)를 포함한다. 동일한 유형의 물체의 제2 이미지 세트를 획득하고(304), 제1 세트의 이미지를 분석한 것에 기초하여 제2 세트의 이미지에서 동일한 유형의 물체를 식별한다(306). 제2 세트의 각각의 이미지를 기준에 기초하여 복수의 클러스터 중 하나의 (또는 하나를 초과하는) 클러스터에 할당하고(308), 클러스터(일반적으로 클러스터에 할당된 이미지의 이미지 데이터)를 참조 이미지의 데이터베이스를 업데이트하는 데 사용한다(310). 업데이트된 데이터베이스의 참조 이미지는 검사 단계에서 결함 검출 및/또는 기타 검사 작업을 하는 데 사용된다.
도 3b에 개략적으로 도시된 다른 실시형태에서, 설정 단계 동안 클러스터가 충분한 참조 이미지를 포함하고 이미징 파라미터의 최적화를 달성할 때까지 클러스터에 이미지를 할당하며, 그런 다음 공정은 검사 단계로 진행한다.
전술한 바와 같이, 물품의 본질적으로 완료된 표현이 달성되면 충분한 참조 이미지가 수집된다. 예를 들어, 검사 이미지에 대한 왜곡 없는 참조로 사용될 수 있고 이미징된 물품에 일반적인 공차 및 변동을 나타내는 클러스터에 참조 이미지 그룹이 각각의 새로운 검사 이미지에 있을 때 물체의 완료된 표현이 달성된다.
따라서, 일 실시형태에서, 시각적 검사 방법은 일반적으로 각각의 이미지에서 물체의 외관에 기초하여 물체의 이미지를 클러스터에 할당하는 단계(312)를 포함한다. 각 클러스터에 대해 물체의 완료된 표현이 달성되었는지 여부를 결정한다(314). 물체의 완료된 표현이 달성되면 클러스터는 검사 단계로 진행할 수 있다(316). 즉, 클러스터에 할당된 연속 이미지는 예를 들어 연속 이미지를 클러스터의 이미지와 비교함으로써 결함이 있는지 검사될 수 있다.
물체의 완료된 표현이 달성되지 않으면(314), (일반적으로 연속 이미지에서 물체의 형상에 기초하여) 클러스터에 할당된 연속 이미지를 참조 이미지로 사용한다. 즉, 연속 이미지는 참조 이미지의 데이터베이스를 업데이트하기 위해 사용되고, 검사 알고리즘(예를 들어, 결함 검출 알고리즘)은 연속 이미지에 적용되지 않는다.
일부 경우에, 검사 단계 동안, 물체의 완료된 표현이 아직 달성되지 않아서 결함이 있는지 검사될 수 없는 클러스터에 할당된 이미지를 획득할 수 있다. 일 실시형태에서, 클러스터가 물체의 완료된 표현을 달성하기를 기다리는 대신, 검사 공정을 유지하는 동안, 물체의 완료된 표현을 달성하기 위해 충분한 이미지가 클러스터에 할당될 때까지 이미지를 저장할 수 있는 반면, 완료된 클러스터에 할당된 추가 이미지를 검사할 수 있다. 클러스터에 충분한 이미지가 할당되면 클러스터가 완료된다. 완료된 클러스터 및/또는 완료된 클러스터의 이미지는 사용자 확인을 위해 (예를 들어, 사용자 인터페이스 디바이스(106)를 통해) 디스플레이될 수 있다. 클러스터가 완료되면 선택적으로 사용자 승인 후 이미지를 완료된 클러스터와 소급하여 비교하여 클러스터의 완료 전에 획득된 이미지의 결함을 검출할 수 있다. 따라서, 클러스터에 할당된 이미지에서 소급하여 결함을 검출할 수 있다.
일부 실시형태에서, 물체의 완료된 표현이 달성되었는지 여부를 결정하는 것은 클러스터에 할당된 이미지를 서로 비교하는 것을 포함한다. 예를 들어, 클러스터에 할당된 각 이미지가 클러스터의 모든 다른 이미지에 대한 왜곡 없는 참조로 사용될 수 있는지 여부를 결정하는 것은 클러스터의 이미지를 서로 비교함으로써 결정될 수 있다.
일부 실시형태에서 클러스터는 미리 결정된 수의 이미지를 포함한다. 미리 결정된 수는 물체의 특성에 특정될 수 있다(예를 들어, 2D 물체에 대한 클러스터는, 예를 들어, 초점에서 깊이 기술을 사용하여 정의할 수 있는 3D 물체에 대한 클러스터보다 더 적은 참조 이미지를 필요로 할 수 있다). 따라서, 일 실시형태에서, 물체의 완료된 표현이 달성되었는지 여부를 결정하는 것은 클러스터에서 이미지의 수를 결정하는 것을 포함할 수 있다. 예를 들어, 클러스터에 미리 결정된 수의 이미지가 존재하는 경우 물체의 완료된 표현이 달성되었다고 결정할 수 있다.
일 실시형태에서, 시각적 검사 방법은 이미지에서 물체의 외관에 기초하여 물체의 이미지를 클러스터에 할당하는 단계를 포함한다. 일 실시형태에서, 클러스터의 상태(예를 들어, "완료된" 또는 "비완료된")는 클러스터가 물체의 완료된 표현을 달성했는지 여부를 결정하는 것에 기초하여 결정된다. 그런 다음 프로세서는 클러스터의 상태에 기초하여 이미지에 검사 알고리즘을 적용할지 여부를 결정한다. 이를 통해 모든 클러스터가 물체의 완료된 표현을 달성하기 전에 일부 물체의 검사를 달성할 수 있다.
예를 들어 도 3a 및 도 3b에 예시된 본 발명의 실시형태에 따른 방법은 물체에 대해 모든 가능한 참조 이미지를 획득하기 전이라도, 즉 설정 단계를 완료하기 전이라도 이미지가 할당된 클러스터에 기초하여 일부 이미지에 검사를 진행할 수 있는 향상된 시각적 검사 방법을 가능하게 한다. 이를 통해 검사를 조기에 시작하고, 최소한의 중단으로 진행할 수 있으며, 사용자가 공정 동안 특정 지점에 집중 개입하여, 이에 의해 검사 공정을 크게 간소화할 수 있다.
일부 실시형태에서 클러스터는 참조 이미지의 데이터베이스를 업데이트하기 전에 승인을 위해 사용자에게 디스플레이될 수 있다.
일 실시형태에서, 이미지의 제1 세트는 결함 없는 물품의 이미지만을 포함하는 반면, 이미지의 제2 세트는 반드시 결함 없는 것은 아닌 이미지를 포함한다. 따라서, 반드시 결함 없는 것은 아닌 이미지는 본 발명의 실시형태에 따라 설정 단계에서 사용될 수 있다.
도 4에 예시적으로 개략적으로 도시된 이 실시형태에서, 제2 이미지 세트는 제1 이미지 세트로부터 결정된 물체의 시각적 외관에 기초하여 결함이 있는지 분석될 수 있다. 이 예에서, 물체의 시각적 외관은 결함 없는 물체의 제1 이미지 세트에 기초하여 결정된다(402).
동일한 유형의 물체의 제2 이미지 세트를 획득한다(404). 제2 세트에서 동일한 유형의 물체는 결함이 없거나 결함이 있을 수 있다. 제1 세트에서 검출된 시각적 외관에 기초하여 제2 세트의 이미지에서 동일한 유형의 물체를 식별하고 동일한 유형의 물체에서 결함을 검출할 수 있다(406). 기준에 기초하여 복수의 클러스터 중 하나 이상에 제2 세트의 각각의 이미지를 할당하고(408), 클러스터를 사용하여 전술한 바와 같이 참조 이미지의 데이터베이스를 업데이트한다.
그런 다음 단계(406)에서 검출된 결함을 승인을 위해 사용자에게 디스플레이한다(410). 선택적으로 승인을 위해 클러스터를 사용자에게 디스플레이할 수도 있다.
사용자는, 예를 들어, 사용자 인터페이스 디바이스(106)를 통해, 검출된 결함이 실제 결함인지 또는 결함인 것으로 간주되지 않는 것인지 여부를 표시할 수 있다. 그런 다음 프로세서(102)는 사용자 입력에 기초하여 결함 검출 알고리즘을 업데이트할 수 있다. 따라서, 결함일 수도 있고 결함이 아닐 수도 있는 제2 세트의 이미지의 변화는 클러스터의 기준에 해당하는 변화가 없다 하더라도 사용자 승인을 위해 제시될 수 있고, 검사 단계가 시작되기 전에 결함 검출 알고리즘을 미세 조정하여 시각적 검사 공정을 더욱 간소화할 수 있다.
예를 들어 미리 정의된 기준에 기초하여 및/또는 이미지로부터 검출된 기준에 기초하여 프로세서(102)에 의해 클러스터를 생성할 수 있다. 일부 실시형태에서, 클러스터들 중에서 임계 이미지가 할당되는 클러스터를 결정하기 위해, 임계 이미지와 체크되는 클러스터 임계값을 결정한다.
예를 들어, 도 5에 개략적으로 도시된 바와 같이, 프로세서(102)는 이미지(참조 또는 검사 이미지)를 수신하고(502), 이미지를 기존의 확인된 이미지, 일반적으로, 참조 이미지 세트와 비교할 수 있다(504). 비교에 기초하여, 프로세서(102)는 이미지에 대한 기준을 결정할 수 있다(506). 예를 들어, 이미지의 물체가 확인된 이미지 세트의 물체에 비해 회전된 자세에 있다면, "자세" 기준이 결정될 수 있고/있거나 기준 값(예를 들어, 확인된 이미지 세트의 물체에 비해 회전된 각도)을 더 결정할 수 있다. 기준을 결정하는 데 사용될 수 있는 이미지 간의 차이의 일부 예는 이미지 프레임(또는 카메라 FOV 또는 카메라 FOV 내의 지점)에 대해 변화된 각도 또는 자세, 카메라 FOV에 대한 하나 이상의 축에서의 회전, 카메라 FOV에 대한 배율의 변화, 형상의 변화 및/또는 물체에서 다른 시각적 패턴을 포함한다.
이미지와 확인된 이미지 세트 사이의 차이에 기초하여 클러스터 임계값을 결정할 수 있다(508). 일반적으로 기준에 기초하여 및/또는 기준 값에 기초하여 클러스터 임계값을 결정한다. 예를 들어, 클러스터 임계값은 각도 값 또는 각도 값의 범위, 물체의 크기 및/또는 형상, 시각적 표시의 수 또는 수의 범위, 시각적 표시의 크기 또는 크기 범위, 물체 내 시각적 표시의 위치 또는 위치 범위, 시각적 표시의 색상 또는 색상 범위 등을 포함할 수 있다.
클러스터 임계값은 2개의 한계점, 예를 들어, 최고 한계점과 최저 한계점 사이의 범위를 포함할 수 있다.
따라서, 본 발명의 실시형태에 따른 방법은 미리 결정된 수의 이미지를 클러스터로 그룹화하는 단계를 포함할 수 있으며, 여기서 클러스터에 대한 임계값은 미리 결정된 수에 기초하여 결정된다.
다른 실시형태에서 임계값은 기준 및 물체에 기초한다.
따라서, 예를 들어, 확인된 이미지 세트의 물체에 대해 제1 범위 내 각도만큼 회전된 동일한 유형의 물체는 제1 클러스터를 정의하거나 제1 클러스터에 할당될 수 있다. 적색 원 패턴을 갖는 동일한 유형의 물체는 제2 클러스터를 정의하거나 제2 클러스터에 할당될 수 있고, 녹색 원 패턴을 갖는 동일한 유형의 물체는 제3 클러스터를 정의하거나 제3 클러스터에 할당될 수 있고, 이와 같이 될 수 있다.
일부 실시형태에서 단일 이미지가 하나를 초과하는 클러스터에 할당될 수 있다. 예를 들어, 제1 클러스터 임계값은 제1 각도 범위를 포함할 수 있고, 제2 클러스터 임계값은 제1 범위와 부분적으로 겹치는 제2 각도 범위를 포함할 수 있다. 물체의 자세가 겹치는 범위 내 각도에 있는 이미지는 제1 클러스터와 제2 클러스터 모두에 할당될 수 있다. 다른 예에서 단일 이미지는 제1 기준(예를 들어, 자세)에 기초하여 제1 클러스터에 할당되고, 제2 기준(예를 들어, 시각적 표시)에 기초하여 제2 클러스터에 할당될 수 있다. 따라서, 이미지에서 결함 검출과 같은 검사 작업은 하나 이상의 클러스터와의 비교에 기초하여 수행될 수 있다.
일 실시형태에서, 방법은 제1 이미지의 기준 값과 제2 이미지의 기준 값 사이의 차이가 임계값을 초과하는 경우 제1 이미지를 제1 클러스터에 할당하고 제2 이미지를 제2 클러스터에 할당하는 단계를 포함한다.
도 6에 개략적으로 도시된 바와 같이, 프로세서(102)는 이미지를 수신하고, (예를 들어, 도 5에 설명된 바와 같이) 이미지의 기준(및/또는 기준 값)을 결정할 수 있다(602). 기준(및/또는 값)을 클러스터의 기준, 예를 들어, 참조 이미지 데이터베이스의 클러스터 A의 기준(및/또는 값)과 비교한다(604). 이미지의 기준(및/또는 값)이 클러스터 A의 기준(및/또는 값)과 같은 경우(606) 이미지는 클러스터 A에 할당된다(608). 이미지의 기준(및/또는 값)이 클러스터 A의 기준(및/또는 값)과 동일하지 않은 경우(606) 이미지의 기준 및/또는 값을 클러스터 A의 임계값과 비교한다. 이미지의 기준(및/또는 값)이 클러스터 A의 임계값 내에 (또는 위 또는 아래) 있는 경우(610) 이미지는 클러스터 A에 할당된다(608). 그러나 이미지의 기준(및/또는 값)이 클러스터 A의 임계값 내에 없는 경우(또는 초과 또는 미만인 경우)(610), 예를 들어, 기준과 값이 클러스터 B의 임계값과 양립 가능한 경우 이미지는 다른 클러스터(예를 들어, 클러스터 B)(612)에 할당된다.
클러스터의 기준 및/또는 임계값은 예를 들어 검사 대상 물체의 특정 유형에 따라 미리 결정되거나 동적일 수 있다.
도 7a에 개략적으로 도시된 예에서, 패턴(712)을 갖는 2차원 물체(702)가 2개의 이미지(71 및 72)에서 도시되어 있다. 물체(702)는 (파선 화살표로 도시된 바와 같이) 이미지(71)에 비해 이미지(72)에서 90°만큼 회전되어 있지만, 패턴(712)은 이미지(71 및 72) 모두에서 볼 수 있다. 따라서, 이미지(71 및 72)는 물체에 대한 광범위한 시각적 패턴에 의해 정의되는 단일 클러스터에 할당될 수 있다.
도 7b에 개략적으로 도시된 예에서, 물체(703)는 이미지(73)에서 볼 수 있는 바와 같이 물체의 제1 표면(a)에 패턴(713)을 갖고 물체의 제2 표면(b)에 패턴(714)을 갖는 3차원 물체이다. 이미지(74)의 물체(703)는 (파선 화살표로 도시된 바와 같이) 이미지(73)의 물체(703)에 비해 길이 방향 축을 따라 90°만큼 회전되어 있다. 이 경우, 회전은 물체(703)의 제1 표면(a)을 폐색시키고, 제2 표면(b)은 계속 보이게 한다. 결과적으로, 이미지(74)에서 패턴(714)은 보이지만 패턴(713)은 보이지 않는다. 이미지(73 및 74)에서 다른 패턴이 보이기 때문에 이러한 이미지는 동일한 클러스터에 할당되지 않을 수 있다.
일례에서, 미리 결정된 수의 이미지(예를 들어, 20개)가 클러스터로 그룹화될 수 있다. 다른 경우, 클러스터 내의 이미지 수가 미리 결정되지 않고 검사 대상 물체의 특정 유형에 따라 결정된다. 예를 들어, 클러스터는 전술한 바와 같이 각 참조 이미지가 왜곡 없는 참조로 사용될 수 있는 공간 범위를 결정할 수 있을 만큼 충분한 이미지를 포함할 수 있다.
일례에서, 물체 주위에 윤곽(가능하게는 물체를 나타내는 평균 또는 다른 것)을 생성할 수 있으며, 윤곽은 클러스터 임계값으로 사용된다. 예를 들어, 물체가 윤곽에 맞는 모든 이미지는 동일한 클러스터에 할당될 수 있다. 2D 물체를 나타내는 윤곽은 물체의 윤곽을 대략 따를 수 있는 반면, 3D 물체를 나타내는 윤곽은 일반적으로 물체의 윤곽을 보다 면밀히 따른다.
본 발명의 실시형태는 검사 작업의 성능을 향상시키기 위해 최소의 사용자 개입으로 광범위한 참조 이미지 데이터베이스를 생성할 수 있다.
Claims (26)
- 시각적 검사 방법으로서,
검사 라인의 복수의 설정 이미지에서 물체를 검출하는 단계로서, 각각의 설정 이미지에서 기준(criterion)에 부합하는 물체를 검출하는 단계;
상기 기준의 값에 따라 상기 이미지를 클러스터(cluster)로 그룹화하는 단계;
상기 검사 라인의 검사 이미지에서 상기 물체를 검출하는 단계;
상기 검사 이미지에서 상기 물체의 기준 값에 따라 상기 검사 이미지를 상기 클러스터들 중 하나의 클러스터와 비교하는 단계; 및
상기 비교에 기초하여 상기 검사 이미지에서 물체의 결함을 검출하는 단계
를 포함하는, 시각적 검사 방법. - 제1항에 있어서, 상기 기준의 값에 따라 상기 이미지를 클러스터로 그룹화하는 단계는,
제1 이미지의 기준 값과 제2 이미지의 기준 값 사이의 차이가 임계값을 초과하는 경우 상기 제1 이미지를 제1 클러스터에 할당하고 상기 제2 이미지를 제2 클러스터에 할당하는 것을 포함하는, 시각적 검사 방법. - 제2항에 있어서, 미리 결정된 수의 이미지를 클러스터로 그룹화하는 단계를 포함하되, 상기 임계값은 상기 미리 결정된 수에 기초하여 결정되는, 시각적 검사 방법.
- 제2항에 있어서, 상기 임계값은 상기 기준 및 상기 물체에 기초하는, 시각적 검사 방법.
- 제1항에 있어서, 상기 기준은 상기 이미지에서 상기 물체의 공간적 특징을 포함하는, 시각적 검사 방법.
- 제1항에 있어서, 상기 기준은 상기 물체의 시각적 특징을 포함하는, 시각적 검사 방법.
- 제1항에 있어서, 상기 설정 이미지는 결함 없는 물체의 이미지를 포함하고, 상기 검사 이미지는 결함 없는 또는 결함 있는 물체를 포함하는, 시각적 검사 방법.
- 제1항에 있어서, 사용자 승인을 위해 상기 클러스터를 디스플레이하는 단계를 포함하는, 시각적 검사 방법.
- 제8항에 있어서, 상기 클러스터를 디스플레이하는 단계는 각 클러스터의 대표자(representative)를 디스플레이하는 단계를 포함하는, 시각적 검사 방법.
- 제9항에 있어서, 사용자 요청에 따라 특정 클러스터의 개별 이미지를 디스플레이하는 단계를 포함하는, 시각적 검사 방법.
- 제8항에 있어서, 상기 대표자는 상기 물체의 윤곽을 포함하는, 시각적 검사 방법.
- 제11항에 있어서, 상기 물체가 2D 물체인 경우, 상기 윤곽은 상기 물체의 윤곽을 대략 따르고, 상기 물체가 3D 물체인 경우 상기 윤곽은 상기 물체의 윤곽을 면밀히 따르는, 시각적 검사 방법.
- 제1항에 있어서, 상기 검출된 결함을 디스플레이하는 단계를 포함하는, 시각적 검사 방법.
- 시각적 검사 방법으로서,
각 이미지에서 물체의 외관에 기초하여 상기 물체의 이미지를 클러스터에 할당하는 단계;
상기 클러스터가 상기 물체의 완료된 표현을 달성했는지 여부를 결정하는 단계; 및
상기 물체의 완료된 표현이 달성되면 연속 이미지를 상기 클러스터에 할당된 이미지와 비교함으로써 상기 연속 이미지에서 상기 물체 상의 결함을 검출하는 단계
를 포함하는, 시각적 검사 방법. - 제14항에 있어서, 상기 클러스터가 상기 물체의 완료된 표현을 달성했는지 여부를 결정하는 단계는 상기 클러스터 내 이미지의 수를 결정하는 단계를 포함하는, 시각적 검사 방법.
- 제14항에 있어서, 상기 클러스터가 상기 물체의 완료된 표현을 달성했는지 여부를 결정하는 단계는 상기 클러스터에 할당된 이미지를 서로 비교하는 것을 포함하는, 시각적 검사 방법.
- 제14항에 있어서, 상기 클러스터가 상기 물체의 완료된 표현을 달성했는지 여부를 결정하는 단계는 상기 클러스터에 할당된 각 이미지가 상기 클러스터에 할당된 모든 다른 이미지에 대한 왜곡 없는 참조로서 사용될 수 있는지 여부를 결정하는 것을 포함하는, 시각적 검사 방법.
- 제14항에 있어서, 상기 물체의 완료된 표현이 달성되지 않으면, 상기 방법은 상기 클러스터에 할당된 연속적인 이미지를 사용하여 참조 이미지의 데이터베이스를 업데이트하는 단계를 포함하는, 시각적 검사 방법.
- 제18항에 있어서, 승인을 위해 사용자에게 상기 클러스터를 디스플레이하는 단계를 포함하는, 시각적 검사 방법.
- 제14항에 있어서, 상기 클러스터에 할당된 이미지에서 결함을 소급하여 검출하는 단계를 포함하는, 시각적 검사 방법.
- 시각적 검사 시스템으로서,
디스플레이와 통신하는 프로세서를 포함하되, 상기 프로세서는,
검사 라인에 있는 물체의 이미지를 수신하고;
상기 이미지에서 상기 물체를 검출하고;
상기 이미지에서 상기 물체의 공간적 특징에 기초하여 상기 이미지를 클러스터에 할당하고;
상기 클러스터의 상태를 결정하고;
상기 클러스터의 대표자와 상기 클러스터의 상태의 표시를 디스플레이하는, 시각적 검사 시스템. - 제21항에 있어서, 상기 클러스터의 상태의 표시는 각각의 상이한 상태에 대해 상이한 시각적 특성을 포함하는, 시각적 검사 시스템.
- 제22항에 있어서, 상기 시각적 특성은 색상을 포함하는, 시각적 검사 시스템.
- 제21항에 있어서, 상기 프로세서는 상기 이미지에서 상기 물체가 검출될 때 제1 시각적 특성을 디스플레이하고, 상기 클러스터의 상태를 나타내기 위해 제2 시각적 특성을 디스플레이하는, 시각적 검사 시스템.
- 시각적 검사 방법으로서,
이미지에서 물체의 외관에 기초하여 상기 물체의 이미지를 클러스터에 할당하는 단계;
상기 클러스터가 상기 물체의 완료된 표현을 달성했는지 여부를 결정한 것에 기초하여 상기 클러스터의 상태를 결정하는 단계; 및
상기 클러스터의 상태에 기초하여 상기 이미지에 검사 알고리즘을 적용할지 여부를 결정하여, 모든 클러스터가 상기 물체의 완료된 표현을 달성하기 전에 일부 물체의 검사를 달성하는 단계
를 포함하는, 시각적 검사 방법. - 시각적 검사 시스템으로서,
물체의 설정 이미지 및 검사 이미지를 수신하는 프로세서를 포함하되, 상기 프로세서는,
각 이미지에서 상기 물체의 외관에 기초하여 상기 설정 이미지 및 검사 이미지를 클러스터로 그룹화하고;
검사 이미지를 상기 클러스터에 그룹화된 상기 설정 이미지와 비교하고;
상기 비교에 기초하여 상기 검사 이미지에서 상기 물체의 결함을 검출하고;
검출된 결함을 디스플레이하는, 시각적 검사 시스템.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862768934P | 2018-11-18 | 2018-11-18 | |
| US62/768,934 | 2018-11-18 | ||
| IL263097 | 2018-11-18 | ||
| IL263097A IL263097B2 (en) | 2018-11-18 | 2018-11-18 | Optimization of the preparation phase in the automatic visual inspection process |
| PCT/IL2019/051260 WO2020100146A1 (en) | 2018-11-18 | 2019-11-18 | Optimizing a set-up stage in an automatic visual inspection process |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210091189A true KR20210091189A (ko) | 2021-07-21 |
Family
ID=65910786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217016265A KR20210091189A (ko) | 2018-11-18 | 2019-11-18 | 자동 시각적 검사 공정에서 설정 단계의 최적화 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US20220020136A1 (ko) |
| EP (1) | EP3881059A4 (ko) |
| JP (1) | JP2022507678A (ko) |
| KR (1) | KR20210091189A (ko) |
| CN (1) | CN113039432A (ko) |
| BR (1) | BR112021009487A2 (ko) |
| CA (1) | CA3117917A1 (ko) |
| IL (1) | IL263097B2 (ko) |
| MX (1) | MX2021005739A (ko) |
| WO (1) | WO2020100146A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL259285B2 (en) * | 2018-05-10 | 2023-07-01 | Inspekto A M V Ltd | A system and method for detecting defects on objects in an image |
| IL260417B (en) | 2018-07-04 | 2021-10-31 | Tinyinspektor Ltd | System and method for automatic visual inspection |
| EP4104100A4 (en) | 2020-02-13 | 2024-01-10 | Inspekto A M V Ltd | USER INTERFACE DEVICE FOR AUTONOMOUS ARTIFICIAL VISION INSPECTION |
| JP2021131629A (ja) * | 2020-02-18 | 2021-09-09 | 株式会社リコー | 情報処理装置、プログラム、情報生成方法、情報処理システム |
| WO2023218441A1 (en) * | 2022-05-11 | 2023-11-16 | Inspekto A.M.V. Ltd. | Optimizing a reference group for visual inspection |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5850466A (en) | 1995-02-22 | 1998-12-15 | Cognex Corporation | Golden template comparison for rotated and/or scaled images |
| US6999614B1 (en) * | 1999-11-29 | 2006-02-14 | Kla-Tencor Corporation | Power assisted automatic supervised classifier creation tool for semiconductor defects |
| JP4608224B2 (ja) | 2004-03-22 | 2011-01-12 | オリンパス株式会社 | 欠陥画像検査装置及びその方法 |
| US7369236B1 (en) * | 2006-10-31 | 2008-05-06 | Negevtech, Ltd. | Defect detection through image comparison using relative measures |
| SG164293A1 (en) * | 2009-01-13 | 2010-09-29 | Semiconductor Technologies & Instruments Pte | System and method for inspecting a wafer |
| US8295580B2 (en) * | 2009-09-02 | 2012-10-23 | Hermes Microvision Inc. | Substrate and die defect inspection method |
| JP2011232302A (ja) * | 2010-04-30 | 2011-11-17 | Ricoh Elemex Corp | 画像検査方法及び画像検査装置 |
| CN104244818B (zh) * | 2012-02-06 | 2017-04-12 | 因赛泰克有限公司 | 在非侵入式治疗期间的基于参考的运动跟踪 |
| JP5956814B2 (ja) * | 2012-04-20 | 2016-07-27 | 株式会社キーエンス | 外観検査装置、外観検査方法及びコンピュータプログラム |
| JP2015179073A (ja) * | 2014-02-26 | 2015-10-08 | 株式会社リコー | 画像検査装置、画像検査システム及び画像検査プログラム |
| EP3176751B1 (en) * | 2015-12-01 | 2020-12-30 | Ricoh Company, Ltd. | Information processing device, information processing method, computer-readable recording medium, and inspection system |
-
2018
- 2018-11-18 IL IL263097A patent/IL263097B2/en unknown
-
2019
- 2019-11-18 US US17/294,752 patent/US20220020136A1/en active Pending
- 2019-11-18 BR BR112021009487-3A patent/BR112021009487A2/pt unknown
- 2019-11-18 JP JP2021527065A patent/JP2022507678A/ja active Pending
- 2019-11-18 KR KR1020217016265A patent/KR20210091189A/ko active Search and Examination
- 2019-11-18 CN CN201980074977.9A patent/CN113039432A/zh active Pending
- 2019-11-18 EP EP19885049.7A patent/EP3881059A4/en active Pending
- 2019-11-18 MX MX2021005739A patent/MX2021005739A/es unknown
- 2019-11-18 WO PCT/IL2019/051260 patent/WO2020100146A1/en active Application Filing
- 2019-11-18 CA CA3117917A patent/CA3117917A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022507678A (ja) | 2022-01-18 |
| EP3881059A1 (en) | 2021-09-22 |
| IL263097B2 (en) | 2024-01-01 |
| BR112021009487A2 (pt) | 2021-08-10 |
| CA3117917A1 (en) | 2020-05-22 |
| IL263097B1 (en) | 2023-09-01 |
| WO2020100146A1 (en) | 2020-05-22 |
| CN113039432A (zh) | 2021-06-25 |
| EP3881059A4 (en) | 2022-05-11 |
| US20220020136A1 (en) | 2022-01-20 |
| IL263097A (en) | 2020-05-31 |
| MX2021005739A (es) | 2021-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210091189A (ko) | 자동 시각적 검사 공정에서 설정 단계의 최적화 | |
| US11562480B2 (en) | System and method for set up of production line inspection | |
| US11982628B2 (en) | System and method for detecting defects on imaged items | |
| JP2018055675A (ja) | ３ｄ画像データにおける３ｄポーズの改良されたスコアリング及び偽ポイント除去のためのシステム及び方法 | |
| WO2020079694A1 (en) | Optimizing defect detection in an automatic visual inspection process | |
| CN112014404A (zh) | 组件检测方法、装置、系统、电子设备及存储介质 | |
| CN115298539A (zh) | 外观检查系统和计算机程序 | |
| US20220335585A1 (en) | Set up of a visual inspection process | |
| KR20220134019A (ko) | 반사하는 객체를 이미징하는 시스템 및 방법 | |
| US11574400B2 (en) | System and method for automated visual inspection | |
| US20220044379A1 (en) | Streamlining an automatic visual inspection process | |
| WO2020178815A2 (en) | System and method for adjustable production line inspection | |
| US11816827B2 (en) | User interface device for autonomous machine vision inspection | |
| RU2789786C2 (ru) | Система и способ организации контроля на производственной линии | |
| US20220318984A1 (en) | Use of an hdr image in a visual inspection process | |
| JP5778685B2 (ja) | ボールグリッドアレイデバイスの位置合わせ及び検査のためのシステム及び方法 | |
| WO2023218441A1 (en) | Optimizing a reference group for visual inspection | |
| Kos et al. | Detection, localization and recognition of objects using LabVIEW | |
| IL272752B2 (en) | A user interface device for autonomous computer vision inspection | |
| CN115668292A (zh) | 基于有效区域覆盖的缺陷检测的优化路径规划 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |