KR101910484B1 - 3차원(3d) 비전 검사를 위한 방법 - Google Patents

3차원(3d) 비전 검사를 위한 방법 Download PDF

Info

Publication number
KR101910484B1
KR101910484B1 KR1020160079573A KR20160079573A KR101910484B1 KR 101910484 B1 KR101910484 B1 KR 101910484B1 KR 1020160079573 A KR1020160079573 A KR 1020160079573A KR 20160079573 A KR20160079573 A KR 20160079573A KR 101910484 B1 KR101910484 B1 KR 101910484B1
Authority
KR
South Korea
Prior art keywords
image
vision system
reference image
filtered
training
Prior art date
Application number
KR1020160079573A
Other languages
English (en)
Other versions
KR20170001648A (ko
Inventor
데이비드 제이. 마이클
Original Assignee
코그넥스코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션 filed Critical 코그넥스코오포레이션
Publication of KR20170001648A publication Critical patent/KR20170001648A/ko
Application granted granted Critical
Publication of KR101910484B1 publication Critical patent/KR101910484B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1717—Systems in which incident light is modified in accordance with the properties of the material investigated with a modulation of one or more physical properties of the sample during the optical investigation, e.g. electro-reflectance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Abstract

3D(three dimensional) 비전 시스템을 사용하는 3D 비전 검사를 위한 시스템 및 방법. 시스템 및 방법은, 3D 비전 시스템을 사용하여 3D 물체의 적어도 하나의 3D 이미지를 획득하는 것; 3D 비전 시스템을 사용하여, 3D 이미지의 3D 가시적 런타임 마스크를 추출하는 것; 3D 비전 시스템을 사용하여, 3D 런타임 가시적 마스크를 3D 기준 가시적 마스크에 비교하는 것; 및 3D 비전 시스템을 사용하여, 3D 런타임 가시적 마스크와 3D 기준 가시적 마스크 사이에서 픽셀들의 차가 존재하는지를 결정하는 것을 포함한다.

Description

3차원(3D) 비전 검사를 위한 방법{A METHOD FOR THREE DIMENSIONAL (3D) VISION INSPECTION}
관련된 출원들에 대한 상호 참조
본 출원은, 2015년 6월 26일자로 출원되었고 명칭이 "USING 3D VISION FOR AUTOMATED INDUSTRIAL INSPECTION"인 미국 가특허출원 일련번호 62/185,444호를 우선권으로 그리고 이의 장점을 주장하며, 이로써 이 미국 가특허출원은 인용에 의해 포함된다.
본 출원은 또한 2016년 1월 19일자로 출원되었고 명칭이 "USING 3D VISION FOR AUTOMATED INDUSTRIAL INSPECTION"인 미국 가특허출원 일련번호 62/280,625호를 우선권으로 그리고 이의 장점을 주장하며, 이로써 이 미국 가특허출원은 인용에 의해 포함된다.
정부 지원 연구 또는 개발에 대한 보고서
해당사항 없음
산업적 컴퓨터 비전은 검사를 위한 추가 데이터 소스로서 점차적으로 3D 이미지화(imagery)를 채택하고 있다. 본 출원은 산업적 컴퓨터 비전 시스템들에서 자동화된 가시적 검사를 위해 3D 이미지 데이터를 사용하는 것을 검토한다. 하기의 개시내용은, 일 예를 비롯하여, 자동화된 가시적 산업적 검사를 위한 시스템들 및 방법들을 제공하며, 3D 산업적 검사와 2D 산업적 검사 간의 차들(differences)를 해결하며(walk-through), 자동화된 3D 산업적 검사 접근방식 이면의 기술적 세부사항들을 제시한다.
산업적 컴퓨터 비전은 컴퓨터 비전의 학술/교육 및 정부/군사 애플리케이션들과 동일한 많은 알고리즘들 및 접근방식들을 사용하지만, 제약조건들(constraints)은 상이하다. 산업적 컴퓨터 비전 시스템은 학술/교육 컴퓨터 비전 시스템에 비해 더 큰 강건성, 신뢰성 및 안정성을 나타낼 수 있다. 이는 또한 정부/군사 애플리케이션들에 비해 더 낮은 비용을 나타낼 수 있다. 컴퓨터 비전의 다른 애플리케이션 도메인들에 비해, 자동화된 산업적 검사 시스템은 낮은 비용, 허용가능한 정확성, 높은 강건성, 높은 신뢰성, 그리고 검사되고 있는 기본(underlying) 또는 동반 제조 프로세스의 것에 상응하는 높은 기계적 및 온도 안정성을 나타낼 수 있다.
산업적 컴퓨터 비전 시스템이 신뢰될 수 있도록, 그 각각의 컴포넌트들, 하드웨어 및 소프트웨어 둘 다가 신뢰성이 있어야 한다. 카메라들은 주요(key) 하드웨어 컴포넌트들 중 하나이다. 컨슈머 그레이드(consumer grade) 3D 카메라들은 컨슈머 애플리케이션들에서 등장하고 있다. 이들 카메라들의 예들에는, Microsoft의 Kinet V2와 같은 이동거리 시간차(time-of-flight) 카메라들, Intel의 Realsense 3D와 같은 스테레오 카메라들, 및 Lytro의 ILLUM과 같은 라이트 필드 측정 카메라들이 있다. 이들 카메라들은 산업적 애플리케이션들에서 사용하기에 충분한 신뢰성은 없지만, 동일한 이미징 원리들뿐만 아니라 구조 조명(structured illumination)에 기초한 원리들이 산업적 3D 카메라들에 사용된다.
2D 이미지들을 사용하여 물체들을 자동으로 가시적으로 검사하기 위한 기술들이 업계에 공지되어 있다. 예를 들어, David J. Michael의 미국 특허 5,640,200호 "Golden Template Comparison Using Efficient Image Registration"(1997년 6월 17일, 상기 미국 특허는 전체가 인용에 의해 본원에 포함됨)를 참조하라. 검사를 위해 2D 이미지들을 사용할 때, 3D 이미지는 2D 이미지로 변환되고, 그 뒤에 2D 이미지로서 검사될 수 있다. 그러나, 이렇게 하는 것은 3D 형상 또는 볼륨에 관한 정보 손실을 유발한다. 3D 이미지들로부터 변환된 2D 이미지들을 검사하는 것은 또한, 변환된 2D 이미지에서 가장 눈에 띄는 피처들(features) 쪽으로 검사 결과들이 편향되게 할 수 있다. 3D 데이터를 슬라이싱하거나 3D 데이터를 2D 이미지들로 수학적으로 프로젝팅함으로써 3D 이미지들을 2D 이미지들로 변환하기 위한 기술들은 컴퓨터 그래픽 렌더링 기술로 공지되어 있다.
위에서 논의된 2D 검사와 대조적으로, 직접 3D 포인트 클라우드들을 검사하는 것은 업계에 공지되지 않았다. 본 명세서는 직접 검사되는 3D 이미지들을 위한 3D 검사 기술들 개시하며 결과적으로 이들 기술들을 직접 적용하여 3D 데이터의 패치들을 처리한다.
본 실시예들은 3차원(3D) 비전 시스템을 사용하는 3D 비전 검사를 위한 시스템들 및 방법들을 제공함으로써 종래 기술의 단점들을 해결한다. 시스템들 및 방법들은, 3D 비전 시스템을 사용하여 3D 물체의 적어도 하나의 3D 이미지를 획득하는 것; 3D 비전 시스템을 사용하여, 3D 이미지의 3D 가시적 런타임 마스크를 추출하는 것; 3D 비전 시스템을 사용하여, 3D 런타임 가시적 마스크를 3D 기준 가시적 마스크와 비교하는 것; 및 3D 비전 시스템을 사용하여, 3D 런타임 가시적 마스크와 3D 기준 가시적 마스크 간에 픽셀들의 차가 존재하는지를 결정하는 것을 포함한다.
본 발명의 또 다른 실시예에 따라, 3차원(3D) 비전 시스템을 사용하는 3D 비전 검사를 위한 방법들이 개시된다. 방법들은, 3D 비전 시스템을 사용하여 3D 물체의 적어도 하나의 3D 이미지를 획득하는 단계; 3D 비전 시스템을 사용하여, 적어도 하나의 3D 이미지를 3D 기준 이미지에 정합시키는 단계(registering); 3D 비전 시스템을 사용하여, 정합된 적어도 하나의 3D 이미지를 3D 기준 이미지와 비교하는 단계; 및 3D 비전 시스템을 사용하여, 정합된 적어도 하나의 3D 이미지와 3D 기준 이미지 간의 3D 차를 검출하는 단계를 포함하며, 여기서 3D 차는 3D 분산 모델(variance model)을 초과한다.
일부 실시예들에서, 방법은 적어도 하나의 3D 이미지를 필터링하는 단계를 더 포함하며; 여기서 적어도 하나의 3D 이미지를 3D 기준 이미지에 정합시키는 단계는 적어도 하나의 필터링된 3D 이미지를 3D 기준 이미지에 정합시키는 단계를 포함한다.
일부 실시예들에서, 방법은 정합된 적어도 하나의 필터링된 3D 이미지를 필터링하는 단계를 더 포함하며; 여기서 정합된 적어도 하나의 필터링된 3D 이미지를 3D 기준 이미지와 비교하는 단계는 필터링된 정합된 적어도 하나의 필터링된 3D 이미지를 3D 기준 이미지와 비교하는 단계를 포함한다.
일부 실시예들에서, 정합된 적어도 하나의 3D 이미지와 3D 기준 이미지 간의 3D 차를 검출하는 단계는 정합된 적어도 하나의 필터링된 3D 이미지와 3D 기준 이미지 간의 3D 차를 검출하는 단계를 포함한다.
일부 실시예들에서, 방법은 3D 비전 시스템을 트레이닝하는 단계를 더 포함하며, 트레이닝하는 단계는: 3D 비전 시스템을 사용하여 3D 물체의 적어도 하나의 3D 트레이닝 이미지를 획득하는 단계; 3D 비전 시스템을 사용하여, 적어도 하나의 3D 트레이닝 이미지를 기초로 3D 기준 이미지를 추정하는 단계; 및 3D 비전 시스템을 사용하여, 3D 기준 이미지를 기초로 3D 분산 모델을 추정하는 단계를 포함한다.
일부 실시예들에서, 방법은 적어도 하나의 3D 트레이닝 이미지를 필터링하는 단계를 더 포함하며; 여기서 적어도 하나의 3D 트레이닝 이미지를 기초로 3D 기준 이미지를 추정하는 단계는 적어도 하나의 필터링된 3D 트레이닝 이미지를 기초로 3D 기준 이미지를 추정하는 단계를 포함한다.
일부 실시예들에서, 방법은 3D 기준 이미지를 필터링하는 단계를 더 포함하며; 여기서 3D 기준 이미지를 기초로 3D 분산 모델을 추정하는 단계는 필터링된 3D 기준 이미지를 기초로 3D 분산 모델을 추정하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따라, 3차원(3D) 비전 시스템을 사용하는 3D 비전 검사를 위한 방법들이 개시된다. 방법은, 3D 비전 시스템을 사용하여 3D 물체의 적어도 하나의 3D 이미지를 획득하는 단계; 3D 비전 시스템을 사용하여, 3D 이미지의 3D 가시적 런타임 마스크를 추출하는 단계; 3D 비전 시스템을 사용하여, 3D 런타임 가시적 마스크를 3D 기준 가시적 마스크와 비교하는 단계; 및 3D 비전 시스템을 사용하여, 3D 런타임 가시적 마스크와 3D 기준 가시적 마스크 간에 픽셀들의 차가 존재하는지를 결정하는 단계를 포함한다.
일부 실시예들에서, 방법은 픽셀들의 차가 3D 분산 모델을 초과하는지를 결정하는 단계를 더 포함한다.
일부 실시예들에서, 방법은 케어 마스크(care mask)를 만드는 단계를 더 포함한다.
일부 실시예들에서, 방법은 적어도 하나의 3D 이미지에 케어 마스크를 적용하는 단계를 더 포함한다.
일부 실시예들에서, 케어 마스크는 3D 비전 시스템과 사용자 입력의 조합에 의해 만들어질 수 있다.
일부 실시예들에서, 방법은 3D 기준 가시적 마스크와 3D 런타임 가시적 마스크 간의 비교 구역을 제한하기 위해 케어 마스크를 사용하는 단계를 더 포함한다.
일부 실시예들에서, 방법은 비교시에 바이너리 마스크(binary mask)로서 케어 마스크를 사용하는 단계 및 케어 마스크 내에 포함되지 않은 해당 픽셀들을 제거하는 단계를 더 포함한다.
일부 실시예들에서, 방법은 가중치 마스크(weighted mask)로서 케어 마스크를 사용하는 단계, 및 케어 마스크의 일 부분 내의 픽셀들에는 더 큰 가중치를 그리고 케어 마스크의 다른 구역들의 픽셀들에는 더 적은 가중치를 부여하는 단계를 더 포함한다.
본 발명의 또 다른 실시예에 따라, 3차원(3D) 비전 시스템을 사용하는 3D 비전 검사를 위한 방법들이 개시된다. 방법은, 3D 비전 시스템을 사용하여 3D 물체의 적어도 하나의 3D 이미지를 획득하는 단계; 3D 비전 시스템을 사용하여, 적어도 하나의 3D 이미지를 3D 기준 이미지에 정합시키는 단계; 3D 비전 시스템을 사용하여, 적어도 하나의 3D 이미지를 3D 기준 이미지와 비교하는 단계; 및 3D 비전 시스템을 사용하여, 적어도 하나의 3D 이미지와 3D 기준 이미지 간의 3D 차를 검출하는 단계를 포함한다.
일부 실시예들에서, 3D 차는 3D 분산 모델을 초과한다.
일부 실시예들에서, 방법은 적어도 하나의 3D 이미지를 필터링하는 단계를 더 포함하며; 여기서 적어도 하나의 3D 이미지를 3D 기준 이미지에 정합시키는 단계는 적어도 하나의 필터링된 3D 이미지를 3D 기준 이미지에 정합시키는 단계를 포함한다.
일부 실시예들에서, 방법은 적어도 하나의 필터링된 3D 이미지를 필터링하는 단계를 더 포함하며; 여기서 적어도 하나의 필터링된 3D 이미지를 3D 기준 이미지와 비교하는 단계는 필터링된 적어도 하나의 필터링된 3D 이미지를 3D 기준 이미지와 비교하는 단계를 더 포함한다.
일부 실시예들에서, 적어도 하나의 3D 이미지와 3D 기준 이미지 간의 3D 차를 검출하는 단계는 적어도 하나의 필터링된 3D 이미지와 3D 기준 이미지 간의 3D 차를 검출하는 단계를 포함한다.
일부 실시예들에서, 방법은 3D 비전 시스템을 트레이닝하는 단계를 더 포함하며, 트레이닝하는 단계는: 3D 비전 시스템을 사용하여 3D 물체의 적어도 하나의 3D 트레이닝 이미지를 획득하는 단계; 3D 비전 시스템을 사용하여, 적어도 하나의 3D 트레이닝 이미지를 기초로 3D 기준 이미지를 추정하는 단계; 및 3D 비전 시스템을 사용하여, 3D 기준 이미지를 기초로 3D 분산 모델을 추정하는 단계를 포함한다.
일부 실시예들에서, 방법은 적어도 하나의 3D 트레이닝 이미지를 필터링하는 단계를 더 포함하며; 여기서 적어도 하나의 3D 트레이닝 이미지를 기초로 3D 기준 이미지를 추정하는 단계는 적어도 하나의 필터링된 3D 트레이닝 이미지를 기초로 3D 기준 이미지를 추정하는 단계를 포함한다.
일부 실시예들에서, 방법은 3D 기준 이미지를 필터링하는 단계를 더 포함하며; 여기서 3D 기준 이미지를 기초로 3D 분산 모델을 추정하는 단계는 필터링된 3D 기준 이미지를 기초로 3D 분산 모델을 추정하는 단계를 포함한다.
일부 실시예들에서, 적어도 하나의 3D 이미지를 3D 기준 이미지와 비교하는 단계 및 적어도 하나의 3D 이미지와 3D 기준 이미지 간의 3D 차를 검출하는 단계는: 3D 비전 시스템을 사용하여, 적어도 하나의 3D 이미지를 3D 기준 이미지에 정합시키는 단계; 3D 비전 시스템을 사용하여, 정합된 적어도 하나의 3D 이미지를 3D 기준 이미지와 비교하는 단계; 및 3D 비전 시스템을 사용하여, 정합된 적어도 하나의 3D 이미지와 3D 기준 이미지 간의 3D 차를 검출하는 단계를 더 포함한다.
도 1은 레이저 프로파일 센서의 주요 동작을 도시하는 예시도이다.
도 2는 레인지 이미지 표현(range image representation)을 사용하는 인쇄 회로 보드의 3D 이미지 및 2D 인쇄 회로 보드의 평면도이다.
도 3은 인쇄 회로 보드의 2D 이미지 및 동일한 인쇄 회로 보드의 3D 이미지의 투시도이다.
도 4는 3D 검사 프로세스에 대한 트레이닝 페이즈(phase) 및 런 타임 페이즈를 예시하는 흐름도이다.
도 5는 다수의 3D 카메라 사양들을 나열하는 차트이다.
도 6은 결함 인쇄 회로 보드의 2D 투시도이다.
도 7은 도 6의 결함 인쇄 회로 보드의 레인지 이미지 뷰 및 프린트 클라우드 표현이다.
도 8은 가시적 마스크(visual mask)들을 포함하는 3D 검사 프로세스에 대한 트레이닝 페이즈 및 런타임 페이즈를 예시하는 흐름도이다.
도 9는 선택적 케어 마스크를 사용하는 3D 검사 프로세스에 대한 트레이닝 페이즈 및 런타임 페이즈를 예시하는 흐름도이다.
본 발명의 임의의 실시예들을 상세히 설명하기에 앞서, 본 발명이 그의 적용에 있어 하기 설명에서 설명되는 또는 하기 도면들에서 예시되는 컴포넌트들의 배열 및 구성의 상세사항들로 제한되지 않는다는 것이 이해될 것이다. 본 발명은 다른 실시예들도 가능하며 다양한 방식들로 실시되거나 수행될 수 있다. 또한, 본원에서 사용되는 어법 및 용어는 설명을 위한 것이며 제한되는 것으로 간주되지 않아야 함이 이해될 것이다. 본원에서 "포함하는(including)", "포함하는(comprising)" 또는 "갖는(having)" 및 이들의 변형들의 사용은 이후 나열되는 아이템들 및 이들의 등가물들뿐만 아니라 추가의 아이템들을 포괄하는 것을 의미한다. 달리 특정되거나 제한되지 않는다면, 용어들 "장착된다(mounted)","연결된다(connected)", "지지된다(supported)" 및 "커플링된다(coupled)" 그리고 이들의 변형들이 광범위하게 사용되며 직접 및 간접 모두의 장착들, 연결들, 지지들 및 커플링들을 포괄한다. 또한, "연결된다" 및 "커플링된다"는 물리적 또는 기계적 연결들 또는 커플링들로 제한되지 않는다.
하기의 논의는 당업자들로 하여금 본 발명의 실시예들을 수행 및 사용하게 하기 위해 제시된다. 예시된 실시예들에 대한 다양한 변경들은 당업자들에게 쉽게 명백해질 것이며, 본원에서의 일반적 원리들은 본 발명의 실시예들을 벗어남 없이 다른 실시예들 및 애플리케이션들에 적용될 수 있다. 따라서, 본 발명의 실시예들은 도시된 실시예들로 제한되는 것으로 의도되는 것이 아니라, 본원에 개시되는 원리들 및 특징들과 일치하는 최광의 범위에 부합하는 것으로 의도된다. 하기 상세한 설명은 도면들을 참조로 이해될 것이며, 이 도면들에서 상이한 도면들에서의 동일한 엘리먼트들은 동일한 참조 번호들을 갖는다. 도면들(반드시 실척대로는 아님)은 선택된 실시예들을 도시하며 본 발명의 실시예들의 범위를 제한하는 것으로 의도되지 않는다. 당업자들은, 본원에 제공된 예들이 다수의 유용한 대안들을 가지며 본 발명의 실시예들의 범위 내에 속한다는 것을 인식할 것이다.
자동화된 검사는 몇십 년 동안 산업적 컴퓨터 비전에서 중요한 과제였다. 이는, (예컨대, 조립용 로봇들을 안내하는) 가이던스, (예컨대, 컬러, 형상 또는 텍스처에 의한 매칭, 바코드들 또는 문자들을 판독하는) 식별/인식, 및 게이징(차원 측정)과 함께 주요한 애플리케이션이다.
본 출원의 목적을 위해, 검사는 제조 프로세스들이 톨러런스들내에서 유지되고 있는지를 결정하거나 또는 결함들을 발견하는 것으로서 정의될 수 있다. 결함은, 하나의 비제한적 예로서, 허용가능한 범위를 벗어나 변경된 것으로 측정된 피처(feature)로 정의될 수 있다.
2D 산업적 컴퓨터 비전의 품질 검사에 대한 다수의 예들이 존재한다. 이들 품질 검사들은 4개의 그룹들: 표면 검사들, 차원 검사들, 구조 검사들, 및 동작 검사로 분류될 수 있다. 2D 산업적 컴퓨터 비전 과제들을 분류하는 또 다른 방식은 시스템에 의해 측정되는 자유도들: 포즈, 사이즈, 형상, 컬러, 텍스처, 또는 조명에 의한 방식이다.
2D 비전 대신 산업적 검사를 위해 3D 비전을 고려하는 한가지 이유는 2D 검사가 부적절할 때가 있다는 것이다. 이는, 검사 피처가 2D 이미지보다 3D 이미지로부터 보다 정확하게 또는 확신있게 추출되는 물리적 사이즈, 면적 또는 볼륨에 의해 특징화되는 경우 그리고 3D 이미지의 비용이 너무 높지 않은 경우 발생할 수 있다. 이것이 참일 경우, 3D 이미지 데이터가 사용될 가능성이 크다.
3D 카메라들 및 3D 데이터세트들을 사용하는 3D 컴퓨터 비전을 2D 컴퓨터 비전 및 2D 이미지화와 비교할 때, 다수의 엘리먼트들은 유사하다(familiar). 이들은, 카메라들 및 카메라 보정(calibration), 다차원 이미지 데이터 및 이들과 연관된 표현 문제들, 잡음 제거 또는 신호 향상을 위한 이미지 필터링 및 이미지 정합 또는 포즈 추정을 포함한다. 각각의 엘리먼트의 상세사항들은 동일 파트의 3D 이미지와 2D 이미지를 비교하더라도 상당히 다르다.
결함들에 대한 서치를 위해 이미지화될 수 있는 3D 물체들의 비제한적 예들은 브래킷들, 터빈 블레이드들, 칫솔들 또는 타일들을 포함할 수 있다. 이들 그리고 다른 물체들은 상이한 타입들의 재료들, 예를 들어 금속, 플라스틱, 나무 및/또는 세라믹으로 만들어질 수 있다. 3D 물체들은 거친 것에서부터 매끄러운 것까지 다양한 표면 마감들(surface finishes)을 가질 수 있고 임의의 컬러 또는 패턴을 가질 수 있다.
도 1은 레이저 프로파일 센서(100)의 주요 동작을 예시한다. 삼각측량에 기초하여, 카메라 및 레이저는 베이스라인 분리 거리로부터 물체를 뷰잉할 수 있다. 뷰잉된 레이저 라인의 포지션은 물체의 높이에 직접 대응하기 때문에, 이들 포지션들은 레인지 이미지(range image) 또는 포인트 클라우드의 형태의 3D 높이 데이터로 변환될 수 있다. 이는 단지 하나의 로우의 3D 높이 데이터만을 생성한다는 것이 주목된다. 전체 물체를 커버하기 위해, 카메라 또는 물체가 이동해야 한다. 통상적으로, 모션 스테이지 또는 컨베이어 벨트 상의 카메라 아래에서 물체가 이동하거나 또는 로봇에 의해 카메라가 이동된다. 도 2는 레인지 이미지 표현(202)을 사용하는 인쇄 회로 보드의 3D 이미지 및 2D 인쇄 회로 보드(200)의 평면도를 예시한다.
도 3은 인쇄 회로 보드(300)의 2D 이미지와 동일한 인쇄 회로 보드의 3D 이미지(302) 간의 일부 차들을 예시한다. 2D 이미지는 인쇄 보드의 표면의 투시 맵핑(perspective mapping)이다. 이는 보드의 표면상의 패턴들―이미징 광학 시스템에 의해 랩핑된(warped) 회로 보드 표면의 알베도(albedo)― 및 입사 조명에 관한 정보를 포함한다. 3D 이미지들은 인쇄 회로 보드 자체의 3D 형상, 사이즈 및 차원들에 관한 정보를 포함한다. 알베도 값들은 명확한 3D 형상에 약간 영향력을 미칠 수도 있고, 아티팩트들을 유발할 수도 있고 또는 가시적이지 않을 수 있다.
도 3은 또한 투시도로 인쇄 회로 보드의 2D 이미지와 동일 인쇄 회로 보드의 3D 이미지 간의 차들을 예시한다. 2D 이미지는 강한 원근(strong perspective)으로 상당히 상이한 어피어런스(appearance)를 가질 수 있다는 점이 주목된다. 포어그라운드(foreground)는 훨씬 더 넓다. 백그라운드는 더 좁다. 한편, 2개의 도면들에서의 기본 3D 데이터는 동일하다. 3D 이미지는 단지 상이한 뷰포인트로부터 디스플레이되고 원근은 이미지 데이터에 인코딩되지 않는다.
또한 카메라 하드웨어는 상당히 다를 수 있다. 3D 산업적 카메라는 일반적으로 (상품화되고 있는) 2D 산업적 카메라보다 더 복잡하며 비용이 더 많이들 수 있다.
2D 카메라와 3D 카메라 간의 보정 프로세스들은 상당히 다를 수 있다. 2D 비전에 있어, 완전 보정형(fully calibrated) 카메라(내재적(intrinsics) 및 외재적(extrinsics) 추정됨)는, 예컨대 물체가 평면형인 경우 특정 상황들을 제외하고 물체 공간에서의 보정을 수반하지 않는다. 3D 비전에 있어, 카메라 보정은 흔히 물체 공간 보정을 유도할 수 있다. 즉, 3D 비전에서, 보정된 물체 차원들―물리적 차원들―이 이용가능할 수 있다.
2D 산업적 컴퓨터 비전 시스템들에서, 카메라 광학기는 흔히 플렉서블하고(flexible) 상호교환가능하다. 결과적으로, 2D 카메라 렌즈들을 선택하는 것은 임의의 필요한 렌즈 보정을 수행해야하는 시스템 통합자에 의해 행해진다. 이러한 플렉서빌리티(flexibility)는 3D 카메라들로는 좀처럼 이용가능하지 않은데, 이는 렌즈들 또는 광학적 구성들이 통상적으로 제조자에 의해 고정되기 때문이다. 그러나, 이는, 보정(또는 부분적 보정)이 제조시 3D 카메라 제조자에 의해 달성된다는 점에서 유용성을 가질 수 있다. 그러나, 이는, 렌즈를 교체(swapping)하는 것이 옵션이 아닌 경우 정확한 3D 카메라 사양들을 선택하는데 있어 시스템 통합자에게 더 큰 책임감을 준다.
이미지 표현들은 또한 3D에서 상이할 수 있다. 2D 비전에서, 이미지는 거의 항상 단색의 또는 컬러 강도들의 2D 어레이로 표현된다. 3D 비전에서, 이미지는 3D 포인트들의 콜렉션 ―포인트 클라우드― 또는 깊이/높이 값들의 2D 어레이 ―가시적 표면의 레인지 이미지 표현― 또는 스칼라 또는 벡터 측정들의 3D 어레이 ―조밀한 볼륨 표현일 수 있다. 이미지 표현을 수용하기 위해 임의의 프로세싱이 요구된다.
부가적으로, 3D 이미지 데이터에서 잡음이 상이할 수 있다. 카메라들은, 폐색(occlusion) 또는 열악한 신호 복귀(poor signal return)로 인해 조밀한 3D 데이터를 획득하지 못할 수도 있다. 그리고 카메라는, 카메라가 이미지 데이터를 누락한 곳을 알 수 있다. 잡음은 3D 카메라의 상세사항들에 따라 고스트 반사들(ghost reflections) 또는 고립점들(isolated points)의 형태를 취할 수 있다. 잡음 제거를 위해 3D에서의 이미지 필터링의 선택은 3D 카메라의 특정한 특징들에 따를 수 있다.
따라서, 3D 비전 시스템은 산업적 검사를 위해 사용될 수 있고 아래에서 보다 상세히 설명될 것이다. 본 출원에서 설명되는 산업적 검사에 대한 접근방식은, 일부 실시예에서, 정상 변동들을 벗어난, 제조 부품의 3D 변동들을 검출하는데 사용될 수 있다. 결함들의 일부 예들은, 해당 3D 물체를 3D 기준 물체와 비교할 때 3D 물체로부터 누락된 자료(material) 또는 3D 물체에 대한 가외의 자료일 수 있다. 그러나, 다른 결함들, 예컨대 컴포넌트의 포지션, 컴포넌트의 높이, 컴포넌트의 배향 등이 또한, 3D 비전 시스템을 사용하여 검출될 수 있다.
도 4는 3D 검사 접근방식을 요약한다. 접근방식은 트레이닝 페이즈(400)로 나뉘며, 트레이닝 페이즈(400)는 검사가 셋업(set up)되고 기준 정렬 템플릿과 정상 변동들 둘 다가 모두 추정될 때 발생할 수 있다. 부가적으로, 런 타임 페이즈(450)가 제공되며, 여기서 테스트 파트는 이미지화되고 (정렬을 위한 기준 정렬 템플릿인) "골든 파트(golden part)"에 정합되고 비교되며, 그리고 결함들은 이들이 테스트 파트에 대한 정상 변동을 초과하는 경우 검출될 수 있다.
트레이닝 페이즈(400)는 셋업 프로세스 동안 발생할 수 있다. 이는 허용가능한 변동들을 갖는 검사될 물체들의 3D 이미지들("트레이닝 이미지들")을 수집하고 이들 변동들을 이해하는 것과 연관된다. 게다가, 표현(representative) 데이터를 수집하는 것은 성공적 검사들을 위한 중요한 파트이다. 표현 데이터세트는 기준 정렬 모델을 만들고 검증하는데 사용될 수 있다. 표현 데이터세트는 또한, 분산 모델을 만들고 검증하는데 사용될 수 있다. 아래에서 보다 상세히 설명되는 것처럼, 트레이닝 단계들은: 1) "양호한(good)" 샘플들의 다수의 예들을 수집하고 양호한 샘플들의 3D 이미지들("트레이닝 이미지들")을 획득하는 것; 2) 포인트 클라우드 정렬 또는 다른 적절한 3D 정렬 기술들을 사용하여 "양호한" 샘플들을 서로(또는 제 1 샘플에 대해) 정렬하는 것; 그리고 3) "배치 모드(batch mode)"로 또는 증분식으로, 정렬된 모든 샘플들로부터 양호한 파트들의 허용가능한 변동을 학습하는 것(예를 들어, 통계 파트―각각의 표면 패치에 대한 평균 + 표준 편차를 만드는 것)을 포함한다.
블록(402)에서, 3D 카메라가 선택될 수 있다. 상이한 이미징 원리들을 사용하여 상이한 판매자들로부터 상업적으로 이용가능한 다수의 산업적 3D 카메라들이 존재한다. 수반되는 이미징 원리들의 예들로는, 셰이프-프롬(Shape-from) 기술들, 스테레오, 구조 광(Structured Light), 이동거리 시간차(Time-of-Flight) 및 명시야(Light field) 생성이 있다. 이용가능한 3D 이미징 디바이스들의 예들은, Cognex Corporation로부터의 DS1000 시리즈들과 같은 레이저 광 프로파일 카메라들, Microsoft로부터의 Kinect V2와 같은 이동거리 시간차 카메라들, 및 Intel로부터의 Realsense 3D 카메라와 같은 스테레오 카메라들을 포함할 수 있다.
수반되는 이미징 원리들은, 주변 광 제약들, 제한된 모션 캡처 능력, 표면 특성들, 잡음 특징들 또는 해상도로 인해, 검사될 수 있는 것이 제한될 수 있다. 그러나, 이미징 원리들이 검사를 감안한다 하더라도, 3D 카메라들은 통상적으로 고정된 광학기(fixed optics)를 갖는다. 결과적으로, 단지 픽셀 해상도, 사이즈, 포맷, 및 인터페이스만이 제한되는 2D 카메라를 선택하는 것과 달리, 전형적으로 3D 카메라들은 또한 고정된 작업 거리, 시야, 조명, 및 x, y 및 z의 해상도 갖는다. 도 5는 3D 카메라 사양들(500)의 예이다. 그 결과, 3D 카메라를 선택하는 것은 주의 깊게 이루어져야 한다.
부가적으로, 3D 이미지 데이터는, 3D 이미지 데이터가 상이한 표현들, 예컨대 포인트 클라우드(이미징 디바이스에서 비롯되는 x, y, z 좌표들을 갖는 3D 포인트들의 콜렉션) 또는 레인지 이미지(z 깊이 또는 z 높이 데이터의 2D 어레이)를 가질 수 있다는 점에서 2D 이미지와 다르다.
트레이닝 페이즈 동안, 프로세스 블록(404)에서, 3D 트레이닝 데이터 세트를 수집하기 위해 다수의 3D 이미지들이 획득될 수 있다. 허용가능한 변동들을 갖는 3D 이미지들이 이후, 트레이닝 이미지들을 서로 정렬하는데 사용될 수 있고 평균 및 분산 데이터 추정을 허용하는 3D 정렬 모델을 생성하기 위해 선택될 수 있다. 추가의 이미지들이 또한 추가의 검증 및 테스트를 위해 수집될 수 있다.
프로세스 블록(406)에서, 획득된 이미지들이 필터링될 수 있다. 일 실시예에서, 이미지들은 정렬을 개선시키기 위해 아티팩트들이 제거되도록 필터링될 수 있다. 이 목적은 정렬의 정확성을 감소시킬 수 있는 아티팩트들을 제거하는 것이다. 이러한 아티팩트들은 파트 상의 정반사성 하이라이트들(specular highlights)로부터 초래되는 고스트 스파이크(ghost spike)들일 수 있다. 스파이크는 파트의 표면으로부터 떨어진 고립점으로 정의될 수 있다. 이들 아티팩트들을 제거하는 것은 아티팩트들을 검출하는 것을 요구한다. 개별적 및/또는 독립적 필터링은 검사를 위해 아티팩트들을 그리고 정렬을 위해 아티팩트들을 제거하는데 사용될 수 있다. 검사 필터링은 나중 스테이지에서 이루어질 수 있다. 필터들에 대한 가능한 비제한적 예들은: 검출된 폐색으로부터 누락 데이터에 대해 보간하는 것(interpolating), 고립 픽셀들과 같은 이미지 아티팩트들(스파이크들 또는 홀들)을 제거하는 것, 그리고 밀도 정규화를 포함할 수 있다. 이 필터링은 또한 정렬을 위한 이미지 해상도를 선택하는 것을 위해 그리고 트레이닝 이미지들이 동일한 이미지 해상도를 갖는 것을 보장하는 것을 위해 사용될 수 있다. 필터링은 또한, 검사 동안 고려되지 않아야 할 아웃라이어들(outliers) 또는 작은 영역들을 제거하는데 사용될 수 있다. 부가적으로, 필터링은 Cognex VisionPro와 같은 상업적 소프트웨어를 사용하여 또는 개방 소스 툴들을 사용하여 행해질 수 있다.
프로세스 블록(408)에서, 3D 기준 이미지가 추정될 수 있다. 3D 정렬 모델은, 필터링 단계(406) 동안 결정되는 허용가능한 변동들과 함께 3D 이미지들을 사용하여 생성될 수 있다. 3D 정렬 모델은 배치 모드(batch mode)로, 하나씩, 증분적으로, 또는 동시에 해당 정렬 모델에 대한 트레이닝 이미지들의 상대적 정렬―병진이동 및 회전―을 추정하는데 사용될 수 있다. 이 상대적 정렬을 추정하는 것은 3D 이미지들을 서로 정렬하기 위해 해당 분야에 공지된 3D 정렬 기술들, 예를 들어, Cognex VisionPro 툴키트에 제시된 것들과 같은 상업적 이미지 정합 툴들을 사용하여, 또는 http://www.pointcloud.org 또는 3DTK로부터 이용가능한 PCL 라이브러리; 또는 http://sourceforge.net/projects/slam6d/로부터 이용가능한 3D 툴키트와 같은 개방-소스 정합 툴들을 사용하여 행해질 수 있다. 이 다음, 3D 이미지들은 선택적으로 서로 정렬될 수 있고 3D 정합 툴에 의해 획득된 상대적 정렬의 추정치들을 사용하여 가능한 가까운 정렬로 재렌더링될 수 있다. 재렌더링은 통상의 3D 컴퓨터 그래픽 기술들에 의해 행해질 수 있다. 이 재렌더링 단계는 선택적이지만, 이는 이후의 단계들을 단순화시키기 때문에 바람직하다.
프로세스 블록(410)에서, 이미지들이 다시 필터링될 수 있다. 프로세스 블록(410)에서의 필터링 단계는 결함들을 발견하기 위한 적절한 스케일로 설정하기 위해 분산 추정에 대한 모델의 해상도를 조절하는데 사용될 수 있다. 정렬을 위한 필터링과 달리, 스파이크들 및 홀들은 이미지에 남아 있을 수 있다. 모델의 해상도를 조절하는 것은 레인지 이미지 데이터 상에서 직접 또는 포인트 클라우드 데이터를 재메싱(re-meshing)함으로써 행해질 수 있다.
마지막으로, 프로세스 블록(412)에서, 3D 분산 모델이 추정될 수 있다. 일 실시예에서, 재-렌더링된 또는 정렬된 3D 이미지들 내의 각각의 표면 포지션 또는 표면 패치에 대한 통계치들이 추정될 수 있다. 이들 통계치들은 평균 포지션, 평균 표면 배향, 포지션의 표준 편차, 표면 배향의 표준 편차 등을 포함할 수 있다. 선택적으로, 이들 3D 통계치들은 각각의 차원에서 상이한 해상도들로 수집될 수 있다. 통계치들을 수집하는 것은 누락 픽셀들을 고려할 수 있다(예를 들어, 일부 패치들은, 수집된 이미지들의 뷰포인트로 인해 일부 트레이닝 이미지들에서 가시적이지 않음). 일반적으로, 누락 픽셀은 임의의 표면 포지션 또는 패치에 대한 이미지 통계치에 기여하지 않을 것이다. 통계치들을 수집하는 것은 또한 3D 데이터로부터 표면 패치들을 추정하는 어려움들을 고려할 수 있다(예를 들어, 반사성 및 부분적으로 투명한 파트들은 평균 표면 패치들을 추정하는 것을 어렵게 할 수 있다).
이제 런타임 프로시저(450)를 참조하면, 단일 테스트 파트의 3D 이미지를 획득하기 위한 프로세스, 기준 파트에 대한 이미지의 정렬, 및 존재하는 결함의 결정을 볼 수 있다. 아래에서 보다 상세히 설명되는 바와 같이, 런타임 프로시저(450)는 일반적으로: 1) "테스트" 샘플을 획득하는 것; 2) 포인트 클라우드 정렬 또는 다른 적절한 3D 정렬 기술들을 사용하여 "테스트" 샘플을 정렬하는 것; 트레이닝 프로시저(400) 동안 결정된 "양호한" 통계치 파트들과 정렬된 "테스트" 샘플을 비교하는 것; 및 4) 각각의 이용가능한 이미지 해상도에서 잠재적인 결함들을 식별하는 것을 포함할 수 있다. 잠재적인 결함들은 통계치 파트들로부터의 차들의 임계치(임계치 X 표준 편차)들을 초과하는 "테스트" 샘플들의 후보 표면 패치들, 또는 "테스트" 샘플로부터의 차들의 임계치를 초과하는 평균 "양호한" 샘플들의 후보 표면 패치들에 대응한다. 제 1 세트의 결함들은 "테스트" 샘플의 매칭되지 않은 피처들에 대응할 수 있다. 제 2 세트의 결함들은 "양호한" 샘플의 매칭되지 않은 피처들에 대응할 수 있다.
프로세스 블록(452)에서, 사용자는 3D 카메라를 선택할 수 있다. 이는 트레이닝하는 중에 셋업 프로세스 동안 사용된 것과 동일한 카메라 및 동일한 이미징 조건들을 사용하는 데 있어 중요하다. 그렇지 않으면, 카메라 변동 또는 이미징 변동이 결함으로 나타날 수 있다. 프로세스 블록(454)에서, 결함을 찾기 위해 3D 테스트 이미지는 결함이 획득될 수 있다.
프로세스 블록(456)에서, 획득된 이미지가 필터링될 수 있다. 제 1 필터링 단계는 정렬 또는 포즈 추정을 위해 이미지를 필터링할 수 있다. 이 목적은 정렬 알고리즘의 정확성 또는 강건성을 감소시킬 수 있는 아티팩트들을 제거하는 것 일 수 있다. 이러한 아티팩트들은 파트 상의 정반사성 하이라이트들로부터 초래되는 고스트 스파이크들일 수 있다. 스파이크는 파트의 표면으로부터 떨어진 고립점으로 정의될 수 있다. 이들 스파이크들 또는 고립점들을 제거하는 것은 이들을 검출하는 것, 이들을 제거하는 것, 이들을 데이터의 홀들 또는 정확히 보간된 데이터로 교체하는 것을 요구한다.
프로세스 블록(458)에서, 3D 테스트 이미지는 3D 기준 이미지에 정합될 수 있다. 이후 적절한 3D 정렬 기술이 기준 이미지에 대한 테스트 파트의 병진이동 및 회전을 찾기 위해 사용될 수 있다. 이는 Cognex VisionPro 툴키트에서 제시되는 것들과 같은 상업적 이미지 정합 툴들을 사용하여 또는 http://www.pointcloud.org 또는 3DTK로부터 사용가능한 PCL 라이브러리, 또는 http://sourceforge.net/projects/slam6d/로부터 이용가능한 3D 툴키트로부터의 개방 소스 정합 툴들을 사용하여 달성될 수 있다.
프로세스 블록(460)에서, 이미지는 재렌더링 및 필터링될 수 있다. 여기서, 3D 이미지 데이터는 기준 이미지와 정렬되게 재렌더링될 수 있다. 이후 3D 이미지 데이터는, 전형적으로, 표면 밀도와 매칭하도록 필터링될 수 있다. 다른 3D 이미지 데이터 정규화 필터링이 마찬가지로 이 단계에서 이루어질 수 있다.
프로세스 블록(462)에서, 3D 테스트 이미지는 3D 기준 이미지와 비교될 수 있다. 3D 테스트 이미지가 정렬되고, 필터링되고 재렌더링되었다면, 3D 테스트 이미지는 기준 3D 데이터와 직접 비교될 수 있다. 예를 들어, 표면 패치들 또는 개별 픽셀들이 직접 비교될 수 있다. 차들은, 이들이, 아래에서 논의되는 것처럼, 몇 개의 통계 테스트들 중 적어도 하나를 충족하는 경우 잠재적인 결함들로 언급될 수 있다.
프로세스 블록(464)에서, 3D 분산 모델을 초과하는 3D 이미지 데이터 차들이 검출될 수 있다. 결함으로 고려되려면, 식별된 잠재적 결함들은 몇 개의 통계 테스트들 중 적어도 하나를 충족해야 한다. 통계 테스트들의 예들은: 1) 정렬된 "테스트" 샘플 표면 패치로부터의 거리가 "양호한" 샘플에 대한 가장 가까운 평균 표면 패치에 대해 너무 크다는 것; 2) 정렬된 "테스트" 샘플 표면 패치의 배향이 "양호한" 샘플에 대한 가장 가까운 평균 표면 패치의 배향과 너무 상이하다는 것; 3) 정렬된 "양호한" 샘플 표면 패치로부터의 거리가 "테스트" 샘플에 대한 가장 가까운 평균 표면 패치에 대해 너무 크다는 것; 또는 4) 정렬된 "양호한" 샘플 표면 패치의 배향이 "테스트" 샘플에 대한 가장 가까운 평균 표면 패치의 배향과 너무 상이하다는 것을 포함할 수 있다. 상기 통계 테스트들 각각은 평균으로부터 표준 편차들의 몇 배 또는 고정 임계치를 셋팅함으로써 시스템에 의해 자동으로 선택될 수 있다. 통계 테스트들의 결과들은 결함들로 지정될 수 있다.
도 6은 결함 인쇄 회로 보드(600)의 2D 이미지를 예시한다. 보드(500)는 누락 또는 오배치 컴포넌트들에 대응하는, 보드 상의 4개의 가능한 결함들을 도시한다. 도 7은 레인지 이미지로서 결함 인쇄 회로 보드(600)의 3D 레인지 이미지(700)를 도시한다. 통계 테스트에 의해 식별되는 4개의 결함들은 참조 번호들 702a-702d에 대응한다. 3D 레인지 이미지(710)는 4개의 결함들(702a-702d)과 함께 포인트 클라우드로서 뷰잉되는 결함 인쇄 회로 보드(600)의 3D 이미지를 도시한다.
앞서 논의된 것처럼, (물체들의 3D 이미지들을 정렬하는) 3D 정렬은 실질적으로 2D 정렬과 상이하다. 예를 들어, 자기-폐색, 카메라들 및 조명기들의 뷰잉 기하학(viewing geometry)으로 인한 누락 픽셀들 및 자기 폐색으로 인한 3D 이미지들의 누락 파트들은 3D 정렬 및 3D 검사 둘 다에 대해 다루어져야 한다. 부가적으로, 식별 이미지 차는 실질적으로 3D 이미지들과 2D 이미지들 간에 상이하다. 예를 들어, 3D 포인트 로케이션들의 잡음으로 인해, 일반적으로 (2D 이미지들로 행해지는 것처럼) 포인트 대 포인트 차감은 3D에서 효율적으로 작동하지 않는다. 오히려, 주어진 해상도에서의 평면-대-평면, 또는 면(facet)-대-면 비교는 일반적으로 더 나은 데이터를 제공할 수 있다.
본 출원은 3D 산업적 컴퓨터 비전 검사를 커버한다. 산업적 컴퓨터 비전은 검사를 위한 추가 데이터 소스로서 점차적으로 3D 이미지화를 채택하고 있다. 본 출원은 산업적 컴퓨터 비전에서 자동화된 가시적 검사를 위해 3D 이미지 데이터를 사용하는 것을 설명한다. 자동화된 가시적 산업적 검사가 정의되었고 3D 산업적 검사와 2D 산업적 검사 간의 차들이 제공되었다. 마지막으로, 예들은 자동화된 3D 산업적 검사 접근방식 이면의 기술적 상세사항들을 제시하기 위해 제공된다.
이제 도 8을 참조로, 누락 픽셀들에 대한 3D 이미지들을 논리적으로 평가하기 위한 프로세스를 볼 수 있다. 누락 픽셀들에 대한 3D 이미지들을 논리적으로 평가하는 것은, 누락 픽셀들이 이미지화된 물체에서 자료의 부재로 인한 것인지, 또는 누락 픽셀들이 이미징 에러, 예컨대, 폐색, 자기-폐색 및/또는 이미지 캡처 잡음의 결과인지를 결정하기 위해 이미지들이 평가되게 할 수 있다. 도 8의 논리적 평가 프로세스는 자료 부재와 이미징 에러들 간의 구분을 제공하기 위한 분석을 제공할 수 있다. 도 8은 도 4와 관련하여 논의된 것과 유사한 3D 검사 접근방식을 요약한다. 예를 들어, 접근방식은 트레이닝 페이즈(800)로 나뉘며, 트레이닝 페이즈(800)는 검사가 셋업되고 기준 정렬 템플릿 및 정상 변동들 둘 다가 모두 추정될 때 발생할 수 있다. 부가적으로, 런 타임 페이즈(820)가 제공되며, 여기서 테스트 파트는 이미지화되고 (정렬 위한 기준 정렬 템플릿인) "골든 파트"에 정합되고 비교되며, 그리고 결함들은 이들이 테스트 파트에 대한 정상 변동을 초과하는 경우 검출될 수 있다.
트레이닝 프로시저(800)는 프로세스 블록(802)에서 3D 카메라를 선택하는 단계, 프로세스 블록(804)에서 3D 트레이닝 데이터 세트를 수집하는 단계(다수의 3D 이미지 획득) 및 프로세스 블록(806)에서 이미지들을 필터링하는 단계를 수행할 수 있다. 이들 프로세스들은 위에서 설명된 트레이닝 프로시저(400)와 관련하여 논의된 것들과 동일하게 동작할 수 있다. 프로세스 블록(808)에서, 3D 가시적 트레이닝 마스크가 추출될 수 있다. 일 실시예에서, 3D 가시적 트레이닝 마스크는 3D 카메라에 의해 자동으로 추출될 수 있다. 대안적으로, 사용자는 3D 트레이닝 가시적 마스크로서 획득된 이미지들의 구역을 선택할 수 있다. 게다가, 3D 트레이닝 가시적 마스크는 3D 카메라에 의한 자동 생성과 사용자 사양의 조합을 통해 추출될 수 있다. 다른 실시예들에서, 3D 트레이닝 가시적 마스크는 외부 디바이스, 예컨대 제어기, 컴퓨터, 또는 다른 적용가능한 디바이스에 의해 추출될 수 있다. 3D 트레이닝 가시적 마스크 프로세스 블록(806)에서 필터링된 이미지들에서 픽셀들의 존재 또는 부재를 검출하기 위해 필터링된 이미지들을 평가할 수 있다.
프로세스 블록(808)에서 3D 트레이닝 가시적 마스크가 추출되었으면, 프로세스 블록(810)에서 3D 기준 이미지가 추정될 수 있다. 3D 기준 이미지는 트레이닝 프로시저(400)에서 앞서 설명된 것처럼 추정될 수 있다. 프로세스 블록(810)에서 3D 기준 이미지가 추정되었으면, 프로세스 블록(812)에서 3D 기준 가시적 마스크가 추정될 수 있다. 3D 기준 이미지를 추정하기 위해 앞서 설명된 방법과 유사하게, 프로세스 블록(808)에서 추출된 3D 트레이닝 가시적 마스크들을 사용하여 3D 기준 가시적 마스크가 추정될 수 있다. 3D 정렬 모델은 배치 모드로, 하나씩, 증분적으로, 또는 동시에 해당 정렬 모델에 3D 트레이닝 가시적 마스크의 상대적 정렬―병진이동 및 회전―을 추정하는데 사용될 수 있다. 이 상대적 정렬을 추정하는 것은 3D 이미지들을 서로 정렬하기 위해 해당 분야에 공지된 3D 정렬 기술들을 사용하여 행해질 수 있다. 예를 들어, Cognex VisionPro 툴키트에 제시된 것들과 같은 상업적 이미지 정합 툴들을 사용하여, 또는 http://www.pointcloud.org 또는 3DTK로부터 이용가능한 PCL 라이브러리; 또는 http://sourceforge.net/projects/slam6d/로부터 이용가능한 3D 툴키트와 같은 개방-소스 정합 툴들을 사용하여 행해질 수 있다. 이 다음, 3D 이미지들은 서로 정렬될 수 있고 3D 정합 툴에 의해 획득된 상대적 정렬의 추정치들을 사용하여 가능한 가까운 정렬로 재렌더링될 수 있다. 재렌더링은 통상의 3D 컴퓨터 그래픽 기술들에 의해 행해질 수 있다. 이 재렌더링 단계는 선택적이지만, 이는 이후의 단계들을 단순화시키기 때문에 바람직하다.
프로세스 블록(812)에서 3D 기준 가시적 마스크가 추정되면, 추정된 3D 기준 이미지들이 프로세스 블록(814)에서 필터링될 수 있고, 3D 분산 모델이 프로세스(816)에서 추정될 수 있다. 3D 분산 모델(816)은 위에서 논의된 트레이닝 프로시저(400)에 설명된 프로세스를 사용하여 추정될 수 있다.
이후 트레이닝 프로시저(800)의 완료시 런타임 프로시저(820)가 수행될 수 있다. 런타임 프로시저(820)는, 프로세스 블록(822)에서, 프로세스 블록(802)에서 선택된 3D 카메라들을 사용하여 프로세스 블록(824)에서 적어도 하나의 또는 복수의 3D 테스트 이미지들을 획득할 수 있다. 일 실시예에서, 3개의 테스트 이미지들이 프로세스 블록(824)에서 획득될 수 있다. 테스트 이미지들은 이후 프로세스 블록(826)에서 필터링될 수 있다. 테스트 이미지를 획득하기 위한 선택된 카메라들의 사용 및 각각, 프로세스 블록들(822, 824, 826)에서 획득된 이미지의 후속 필터링은, 위에서 설명된 런타임 프로시저(450)에서 설명되는 방법들을 사용하여 수행될 수 있다. 프로세스 블록(828)에서, 3D 런타임 가시적 마스크가 추출될 수 있다. 일 실시예에서, 3D 런타임 가시적 마스크는 3D 카메라에 의해 자동으로 추출될 수 있다. 게다가, 3D 런타임 가시적 마스크는 3D 카메라에 의한 자동 생성과 사용자 사양의 조합을 통해 추출될 수 있다. 다른 실시예들에서, 3D 런타임 가시적 마스크는 외부 디바이스, 예컨대 제어기, 컴퓨터, 또는 다른 적용가능한 디바이스에 의해 추출될 수 있다. 3D 런타임 가시적 마스크는 프로세스 블록(826)에서 필터링된 이미지들에서 픽셀들의 존재 또는 부재를 검출하기 위해 필터링된 이미지들을 평가할 수 있다.
프로세스 블록(830)에서, 3D 테스트 이미지는, 위에서 설명된 런타임 프로시저(450)에서 설명된 것과 유사하게, 3D 기준 이미지에 정합될 수 있다. 프로세스 블록(832)에서, 이미지는 재렌더링되고 필터링될 수 있다. 여기서, 3D 이미지 데이터는 기준 이미지와 정렬되도록 재렌더링될 수 있다. 3D 이미지 데이터는 이후, 통상적으로, 표면 밀도와 매칭하도록 필터링될 수 있다. 다른 3D 이미지 데이터 정규화 필터링이 마찬가지로 이 단계에서 이루어질 수 있다.
프로세스 블록(834)에서, 3D 테스트 이미지는, 위에서 설명된 런타임 프로시저(450)에 설명된 것처럼 3D 기준 이미지와 비교될 수 있다. 프로세스 블록(836)에서, 3D 기준 가시적 마스크는 3D 런타임 가시적 마스크와 비교될 수 있다. 프로세스 블록 (834)에서, 3D 이미지들의 비교와 대조적으로, 프로세스 블록(836)에서 수행되는 비교는 믹싱 픽셀들이 정확하게 처리되었는지 검증하기 위해 논리 비교 프로세스를 사용할 수 있다. 예시적 비교 방법들은 논리 연산자들(AND, OR, XOR 등)을 사용하는 것을 포함할 수 있다. 예를 들어, AND 연산자는 3D 런타임 가시적 마스크와 3D 기준 가시적 마스크를 비교하는데 사용될 수 있다. AND 연산자가 사용되는 경우, 픽셀이 3D 기준 가시적 마스크 및 3D 런타임 가시적 마스크 양자 모두에 존재하는 경우, 논리 "1"값만이 출력될 것이다. 비교시, 픽셀이 3D 기준 가시적 마스크 및 3D 런타임 가시적 마스크 중 적어도 하나에 존재할 경우, 논리 "1"이 출력될 것이다. 대안적으로, 평균화, 중앙값 분석, 투표 시스템들 및/또는 위에서 논의된 것과 같은 정렬 방법들을 비롯한 다른 비교 방법들이 사용될 수 있다.
추정된 3D 기준 가시적 마스크를 3D 런타임 가시적 마스크와 비교함으로써, 임의의 픽셀들의 부재가 폐색, 이미징 잡음 등에 의해 야기되는 것들과 같은 이미징 에러들이 아닌, 물체에 대한 자료의 부재로 인한 것임을 검증하는 것이 가능하다. 게다가, 상기 방법은 트레이닝 이미지들 및 런타임 이미지들 양자 모두가 캡처된 이미지들에서의 픽셀들의 존재 또는 부재에 대해 효율적으로 평가되게 허용한다. 예를 들어, 상기 분석은, 런타임 프로시저(820)에서 주어진 픽셀이 트레이닝 프로시저(800)에는 존재하고 런타임 프로시저(820)에서는 부재인지; 트레이닝 프로시저(800)에서는 부재이고 런타임 프로시저(820)에는 존재하는지; 또는 트레이닝 프로시저(800) 및 런타임 프로시저(820) 양자 모두에서 부재인지를 결정할 수 있다. 이 정보는 획득된 3D 이미지들을 추가로 평가하기 위해 사용될 수 있다. 부가적으로, 비교 데이터는, 위에서 설명된 통계 분석과 같은, 획득된 3D 이미지들의 통계 분석에 사용될 수 있다.
이제 도 9를 참조로, 논리적 3D 이미지를 평가하기 위한 프로세스 (900)를 볼 수 있다. 프로세스(900)는 위에서 설명된 도 4 및 도 8에 도시된 것들과 유사한 단계들을 포함한다. 프로세스(900)는 트레이닝 프로시저(902)를 포함한다. 트레이닝 프로시저는 도 8과 관련하여 위에서 설명된 것처럼 프로세스 블록들(802, 804, 806, 808, 810, 812, 814 및 816)을 포함한다. 프로세스 블록(904)에서, 선택적 케어 마스크가 만들어질 수 있다. 케어 마스크는 3D 물체의 관심 영역을 선택하는데 사용될 수 있다. 일 실시예에서, 케어 마스크에 의해 선택된 관심 영역은 3D 물체의 2D 영역일 수 있다. 대안적으로, 케어 마스크에 의해 선택된 관심 영역은 3D 물체의 3D 영역일 수 있다. 부가적으로, 케어 마스크에 의해 선택된 관심 영역은 3D 물체의 획득된 이미지의 하나 또는 그 초과의 특정 픽셀들일 수 있다. 예를 들어, 케어 마스크에 의해 선택된 관심 영역은 3D 물체의 획득된 이미지의 특정 픽셀들의 세트일 수 있다. 케어 마스크는 사용자에 의해 만들어질 수 있다. 예를 들어, 사용자는 케어 마스크에 포함되어야 하는 3D 이미지의 영역을 선택할 수 있다. 대안적으로, 케어 마스크는 이미징 시스템에 의해 자동으로 만들어질 수 있다. 게다가, 케어 마스크는 이미징 시스템과 사용자 입력의 조합에 의해 만들어질 수 있다.
프로세스 블록(920)에서 런타임 프로시저를 볼 수 있다. 런타임 프로시저(920)는 도 8과 관련하여 설명된 것과 같은 프로세스 블록들(822, 824, 826, 828, 830, 832 및 838)을 포함할 수 있다. 프로세스 블록(922)에서, 3D 테스트 이미지는 3D 기준 이미지 및 케어 마스크와 비교될 수 있다. 케어 마스크는 3D 테스트 이미지와 3D 기준 이미지 간의 비교 구역을 제한할 수 있다. 일 실시예에서, 비교시 바이너리 마스크로서 케어 마스크가 사용될 수 있으며, 이로써 케어 마스크 내에 포함되지 않은 이들 픽셀들이 제거된다. 대안적으로, 케어 마스크는 가중치 마스크로서 사용될 수 있으며, 이로써 케어 마스크의 일 부분내의 픽셀들에는 더 큰 가중치들을 그리고 케어 마스크의 다른 영역들에 있는 픽셀들에 더 적은 가중치가 부여된다. 상술된 바와 같이, 케어 마스크는 사용자에 의해 만들어질 수 있으며, 따라서, 사용자는 프로세스 블록(904)에서의 케어 마스크의 부분들에 의해 제공되는 가중치를 특정할 수 있다.
프로세스 블록(924)에서, 케어 마스크를 사용하여 추정된 3D 기준 가시적 마스크가 3D 런타임 가시적 마스크와 비교될 수 있다. 케어 마스크는 3D 기준 가시적 마스크와 3D 런타임 가시적 마스크 간의 비교 구역을 제한할 수 있다. 일 실시예에서, 비교시 바이너리 마스크로서 케어 마스크가 사용될 수 있으며, 이로써 케어 마스크내에 포함되지 않은 이들 픽셀들이 제거된다. 대안적으로, 케어 마스크는 가중치 마스크로서 사용될 수 있으며, 이로써 케어 마스크의 일 부분내의 픽셀들에는 더 큰 가중치를 그리고 케어 마스크의 다른 영역들에 있는 픽셀들에는 더 적은 가중치가 부여된다.

Claims (21)

  1. 3 차원(3D) 비전 시스템을 사용하는 3D 비전 검사를 위한 방법으로서,
    상기 3D 비전 시스템을 사용하여 3D 물체의 적어도 하나의 3D 이미지를 획득하는 단계;
    상기 3D 비전 시스템을 사용하여, 상기 적어도 하나의 3D 이미지를 3D 기준 이미지에 정합(register)시키는 단계;
    상기 적어도 하나의 3D 이미지를 필터링하는 단계;
    상기 3D 비전 시스템을 사용하여, 정합된 적어도 하나의 필터링된 3D 이미지 의 표면 패치들 또는 픽셀들을 상기 3D 기준 이미지의 표면 패치들 또는 픽셀들과 비교하는 단계;
    상기 3D 비전 시스템을 사용하여, 상기 적어도 하나의 필터링된 3D 이미지와 상기 3D 기준 이미지의 비교에 기초하여 상기 정합된 적어도 하나의 필터링된 3D 이미지와 상기 3D 기준 이미지 간에 3D 차가 존재하는 것을 검출하는 단계; 및
    미리결정된 임계치만큼 3D 분산 모델(variance model)로부터 차이나는 상기 3D 차에 기초하여 잠재적인 결함을 식별하는 단계
    를 포함하며, 상기 3D 분산 모델은 상기 3D 기준 이미지 내의 표면 포지션들 또는 표면 패치들에 대한 추정된 통계치들을 포함하는,
    3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    정합된 적어도 하나의 필터링된 3D 이미지를 필터링하는 단계를 더 포함하며,
    상기 정합된 적어도 하나의 필터링된 3D 이미지를 3D 기준 이미지와 비교하는 단계는 필터링된 정합된 적어도 하나의 필터링된 3D 이미지를 상기 3D 기준 이미지와 비교하는 단계를 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  4. 제 3 항에 있어서,
    상기 정합된 적어도 하나의 필터링된 3D 이미지와 상기 3D 기준 이미지 간에 3D 차가 존재하는 것을 검출하는 단계는 상기 필터링된 정합된 적어도 하나의 필터링된 3D 이미지와 상기 3D 기준 이미지 간의 3D 차를 검출하는 단계를 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  5. 제 1 항에 있어서,
    상기 3D 비전 시스템을 트레이닝하는 단계를 더 포함하며,
    상기 트레이닝하는 단계는:
    상기 3D 비전 시스템을 사용하여, 상기 3D 물체의 적어도 하나의 3D 트레이닝 이미지를 획득하는 단계;
    상기 3D 비전 시스템을 사용하여, 상기 적어도 하나의 3D 트레이닝 이미지에 기초하여 상기 3D 기준 이미지를 추정하는 단계; 및
    상기 3D 비전 시스템을 사용하여, 상기 3D 기준 이미지에 기초하여 상기 3D 분산 모델을 추정하는 단계
    를 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  6. 제 5 항에 있어서,
    상기 적어도 하나의 3D 트레이닝 이미지를 필터링하는 단계를 더 포함하며,
    상기 적어도 하나의 3D 트레이닝 이미지에 기초하여 상기 3D 기준 이미지를 추정하는 단계는 적어도 하나의 필터링된 3D 트레이닝 이미지에 기초하여 상기 3D 기준 이미지를 추정하는 단계를 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  7. 제 5 항에 있어서,
    상기 3D 기준 이미지를 필터링하는 단계를 더 포함하며,
    상기 3D 기준 이미지에 기초하여 상기 3D 분산 모델을 추정하는 단계는 필터링된 3D 기준 이미지에 기초하여 상기 3D 분산 모델을 추정하는 단계를 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  8. 3 차원(3D) 비전 시스템을 사용하는 3D 비전 검사를 위한 방법으로서,
    상기 3D 비전 시스템을 사용하여 3D 물체의 적어도 하나의 3D 이미지를 획득하는 단계;
    상기 3D 비전 시스템을 사용하여, 상기 3D 이미지의 3D 런타임 가시적 마스크를 추출하는 단계;
    상기 3D 비전 시스템을 사용하여, 상기 3D 런타임 가시적 마스크를 3D 기준 가시적 마스크와 비교하는 단계;
    상기 3D 비전 시스템을 사용하여, 상기 3D 런타임 가시적 마스크와 상기 3D 기준 가시적 마스크 간에 픽셀들의 차가 존재하는지를 결정하는 단계
    를 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  9. 제 8 항에 있어서,
    픽셀들의 차가 3D 분산 모델을 초과하는지를 결정하는 단계를 더 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  10. 제 8 항에 있어서,
    케어 마스크(care mask)를 만드는(build) 단계를 더 포함하고, 상기 케어 마스크는 상기 3D 물체의 선택된 관심 영역을 표시하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  11. 제 10 항에 있어서,
    상기 적어도 하나의 3D 이미지에 상기 케어 마스크를 적용하는 단계를 더 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  12. 3 차원(3D) 비전 시스템을 사용하는 3D 비전 검사를 위한 방법으로서,
    상기 3D 비전 시스템을 사용하여 3D 물체의 적어도 하나의 3D 이미지를 획득하는 단계;
    상기 3D 비전 시스템을 사용하여, 상기 적어도 하나의 3D 이미지를 3D 기준 이미지에 정합시키는 단계;
    상기 3D 비전 시스템을 사용하여, 상기 적어도 하나의 3D 이미지를 상기 3D 기준 이미지와 비교하는 단계; 및
    상기 3D 비전 시스템을 사용하여, 상기 적어도 하나의 3D 이미지와 상기 3D 기준 이미지 간의 3D 차가 3D 분산 모델을 초과함을 검출하는 것에 기초하여 잠재적인 결함을 식별하는 단계
    를 포함하고, 상기 3D 분산 모델은 상기 3D 기준 이미지 내의 표면 포지션들 또는 표면 패치들에 대한 추정된 통계치들을 포함하는,
    3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  13. 제 12 항에 있어서,
    상기 3D 차는 미리결정된 임계치만큼 상기 3D 분산 모델을 초과하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  14. 제 12 항에 있어서,
    상기 적어도 하나의 3D 이미지를 필터링하는 단계를 더 포함하며,
    상기 적어도 하나의 3D 이미지를 3D 기준 이미지에 정합시키는 단계는 적어도 하나의 필터링된 3D 이미지를 상기 3D 기준 이미지에 정합시키는 단계를 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  15. 제 14 항에 있어서,
    상기 정합된 적어도 하나의 필터링된 3D 이미지를 필터링하는 단계를 더 포함하며,
    상기 적어도 하나의 3D 이미지를 3D 기준 이미지와 비교하는 단계는 필터링된 정합된 적어도 하나의 필터링된 3D 이미지를 상기 3D 기준 이미지와 비교하는 단계를 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  16. 제 14 항에 있어서,
    상기 적어도 하나의 3D 이미지와 상기 3D 기준 이미지 간의 3D 차가 3D 분산 모델을 초과함을 검출하는 것은 상기 적어도 하나의 필터링된 3D 이미지와 상기 3D 기준 이미지 간의 3D 차를 검출하는 것을 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  17. 제 12 항에 있어서,
    상기 3D 비전 시스템을 트레이닝하는 단계를 더 포함하며,
    상기 트레이닝하는 단계는:
    상기 3D 비전 시스템을 사용하여 상기 3D 물체의 적어도 하나의 3D 트레이닝 이미지를 획득하는 단계;
    상기 3D 비전 시스템을 사용하여, 상기 적어도 하나의 3D 트레이닝 이미지에 기초하여 상기 3D 기준 이미지를 추정하는 단계; 및
    상기 3D 비전 시스템을 사용하여, 상기 3D 기준 이미지에 기초하여 3D 분산 모델을 추정하는 단계
    를 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  18. 제 17 항에 있어서,
    상기 적어도 하나의 3D 트레이닝 이미지를 필터링하는 단계를 더 포함하며,
    상기 적어도 하나의 3D 트레이닝 이미지에 기초하여 상기 3D 기준 이미지를 추정하는 단계는 적어도 하나의 필터링된 3D 트레이닝 이미지에 기초하여 상기 3D 기준 이미지를 추정하는 단계를 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  19. 제 17 항에 있어서,
    상기 3D 기준 이미지를 필터링하는 단계를 더 포함하며,
    상기 3D 기준 이미지에 기초하여 상기 3D 분산 모델을 추정하는 단계는 필터링된 3D 기준 이미지에 기초하여 상기 3D 분산 모델을 추정하는 단계를 포함하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
  20. 삭제
  21. 제 8 항에 있어서,
    수집된 3D 트레이닝 이미지들로부터 3D 트레이닝 가시적 마스크들을 추출하는 단계;
    상기 3D 트레이닝 가시적 마스크들을 사용하여 상기 3D 기준 가시적 마스크를 추정하는 단계; 및
    케어 마스크에 기초하여, 상기 3D 런타임 가시적 마스크를 상기 3D 기준 가시적 마스크와 비교하는 구역을 제한하는 단계를 더 포함하고,
    상기 케어 마스크는 상기 3D 물체의 선택된 관심 영역을 표시하는, 3D 비전 시스템을 사용하는 3D 비전 검사를 위한 방법.
KR1020160079573A 2015-06-26 2016-06-24 3차원(3d) 비전 검사를 위한 방법 KR101910484B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562185444P 2015-06-26 2015-06-26
US62/185,444 2015-06-26

Publications (2)

Publication Number Publication Date
KR20170001648A KR20170001648A (ko) 2017-01-04
KR101910484B1 true KR101910484B1 (ko) 2018-10-22

Family

ID=56235709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160079573A KR101910484B1 (ko) 2015-06-26 2016-06-24 3차원(3d) 비전 검사를 위한 방법

Country Status (4)

Country Link
EP (2) EP3496035B1 (ko)
JP (1) JP7037876B2 (ko)
KR (1) KR101910484B1 (ko)
CN (1) CN106469448B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017114811A1 (de) * 2017-07-03 2019-01-03 Volume Graphics Gmbh Verfahren zur Bestimmung von Unsicherheiten in Messdaten aus einer Messung eines Objekts
CN107918948B (zh) * 2017-11-02 2021-04-16 深圳市自由视像科技有限公司 4d视频渲染方法
KR102045875B1 (ko) * 2018-03-16 2019-11-18 서울여자대학교 산학협력단 리얼센스를 이용한 목표물 3d 모델링방법
CN109297975A (zh) * 2018-08-16 2019-02-01 奇酷互联网络科技（深圳）有限公司 移动终端及检测方法、存储装置
EP3718939B1 (en) * 2019-04-03 2023-01-04 Fitesa Nãotecidos S.A. Device and method for detecting the presence of abnormalities in a reel
CN112561849B (zh) * 2019-09-26 2023-07-21 长鑫存储技术有限公司 晶圆缺陷检测方法
CN111340695A (zh) * 2020-02-10 2020-06-26 上海智幻软件科技有限公司 一种球幕视频的超分重建方法
WO2021188104A1 (en) * 2020-03-18 2021-09-23 Hewlett-Packard Development Company, L.P. Object pose estimation and defect detection
WO2022079064A1 (en) * 2020-10-12 2022-04-21 Esko Software Bvba System and method for visualization of variances observed on substrate surfaces
FR3126487B1 (fr) * 2021-08-30 2024-03-01 Safran Ceram Contrôle dimensionnel par projection
CN114136972A (zh) * 2021-10-25 2022-03-04 上汽大众汽车有限公司 一种蓝光扫描零件集成检测工具以及零件质量评价方法
CN115032200B (zh) * 2022-08-10 2022-10-21 广东省智能机器人研究院 新能源圆柱形电池顶部封口焊缝3d缺陷检测方法及系统
KR102640549B1 (ko) * 2023-08-17 2024-02-27 (주)쎄미콤 3d스캐너를 이용한 프로파일 온도센서의 불량검사방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000500236A (ja) 1995-11-14 2000-01-11 ラゾン，モーシェ コンピュータ立体ビジョンシステム及び方法
JP2004201085A (ja) 2002-12-19 2004-07-15 Hitachi Ltd 視覚情報処理装置および適用システム
US20140132729A1 (en) 2012-11-15 2014-05-15 Cybernet Systems Corporation Method and apparatus for camera-based 3d flaw tracking system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5808735A (en) * 1993-06-17 1998-09-15 Ultrapointe Corporation Method for characterizing defects on semiconductor wafers
US5640200A (en) 1994-08-31 1997-06-17 Cognex Corporation Golden template comparison using efficient image registration
JP4610702B2 (ja) 2000-07-27 2011-01-12 パナソニック株式会社 電子基板検査方法
US20020186878A1 (en) 2001-06-07 2002-12-12 Hoon Tan Seow System and method for multiple image analysis
US7653263B2 (en) * 2005-06-30 2010-01-26 General Electric Company Method and system for volumetric comparative image analysis and diagnosis
US7822254B2 (en) * 2006-04-21 2010-10-26 Siemens Medical Solutions Usa, Inc. Automatic positioning of matching multi-planar image reformatting (MPR) views of multiple 3D medical images
JP2009145285A (ja) 2007-12-18 2009-07-02 Dainippon Screen Mfg Co Ltd 欠陥検出方法および欠陥検出装置
JP2010230452A (ja) 2009-03-26 2010-10-14 Panasonic Electric Works Co Ltd 欠陥検査方法および欠陥検査システム
KR101116925B1 (ko) * 2009-04-27 2012-05-30 삼성메디슨 주식회사 초음파 영상을 정렬시키는 초음파 시스템 및 방법
EP2275989B1 (de) * 2009-07-06 2012-09-12 Sick Ag Stereoskopische 3D-Kamera
DE102009049849B4 (de) * 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
JP5546317B2 (ja) 2010-03-31 2014-07-09 株式会社デンソーアイティーラボラトリ 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP5684505B2 (ja) 2010-07-16 2015-03-11 株式会社キーエンス 画像処理装置、画像処理方法及びコンピュータプログラム
JP6092602B2 (ja) 2012-12-04 2017-03-08 株式会社安永 欠陥検査装置及び欠陥検査方法
CN104243970A (zh) * 2013-11-14 2014-12-24 同济大学 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000500236A (ja) 1995-11-14 2000-01-11 ラゾン，モーシェ コンピュータ立体ビジョンシステム及び方法
JP2004201085A (ja) 2002-12-19 2004-07-15 Hitachi Ltd 視覚情報処理装置および適用システム
US20140132729A1 (en) 2012-11-15 2014-05-15 Cybernet Systems Corporation Method and apparatus for camera-based 3d flaw tracking system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jens Guehring, Reliable 3D surface acquisition, registration and validation using statistical error models. 3-D DIGITAL IMAGING AND MODELING, 2001. PROCEEDINGS. THIRD INTERNATIONAL CONFERENCE ON 28 MA*

Also Published As

Publication number Publication date
EP3109826A2 (en) 2016-12-28
JP2017032548A (ja) 2017-02-09
KR20170001648A (ko) 2017-01-04
EP3109826A3 (en) 2017-04-12
EP3496035A1 (en) 2019-06-12
JP7037876B2 (ja) 2022-03-17
CN106469448B (zh) 2021-07-30
CN106469448A (zh) 2017-03-01
EP3109826B1 (en) 2019-02-13
EP3496035B1 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
KR101910484B1 (ko) 3차원(3d) 비전 검사를 위한 방법
US11158039B2 (en) Using 3D vision for automated industrial inspection
US11042146B2 (en) Automated 360-degree dense point object inspection
CN105787923B (zh) 用于平面表面分割的视觉系统和分析方法
EP3033875B1 (en) Image processing apparatus, image processing system, image processing method, and computer program
JP4885584B2 (ja) レンジファインダ校正方法及び装置
Abouelatta 3D surface roughness measurement using a light sectioning vision system
CN106897995B (zh) 一种面向机械装配过程的零部件自动识别方法
CN104713885A (zh) 一种用于pcb板在线检测的结构光辅助双目测量方法
JP7027978B2 (ja) 検査装置、検査方法、及び検査プログラム
US6718074B1 (en) Method and apparatus for inspection for under-resolved features in digital images
CA2464033C (en) Inspection system and method
CN114280075A (zh) 一种管类零件表面缺陷在线视觉检测系统及检测方法
Anchini et al. Metrological characterization of a vision-based measurement system for the online inspection of automotive rubber profile
Mosca et al. A RANSAC-based method for detecting post-assembly defects in aircraft interiors
CN115375608A (zh) 检测方法及装置、检测设备和存储介质
Breier et al. Accurate laser triangulation using a perpendicular camera setup to assess the height profile of PCBs
Tran et al. Extrinsic calibration of a camera and structured multi-line light using a rectangle
WO2022241574A1 (en) Texture mapping to polygonal models for industrial inspections
CN115375610A (zh) 检测方法及装置、检测设备和存储介质
Pham et al. A Mobile Vision-based System for Gap and Flush Measuring between Planar Surfaces using ArUco Markers
US11875502B2 (en) Production-speed component inspection system and method
Michael USING 3D VISION FOR AUTOMATED INDUSTRIAL INSPECTION
So et al. 3DComplete: Efficient completeness inspection using a 2.5 D color scanner
Gupta et al. Vision-Based Precision Deburring and Edge Breaking Process Quality Control

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]