KR102487842B1 - 차량 검사 시스템 및 그 방법 - Google Patents

차량 검사 시스템 및 그 방법 Download PDF

Info

Publication number
KR102487842B1
KR102487842B1 KR1020207029250A KR20207029250A KR102487842B1 KR 102487842 B1 KR102487842 B1 KR 102487842B1 KR 1020207029250 A KR1020207029250 A KR 1020207029250A KR 20207029250 A KR20207029250 A KR 20207029250A KR 102487842 B1 KR102487842 B1 KR 102487842B1
Authority
KR
South Korea
Prior art keywords
vehicle
sets
images
imaging devices
features
Prior art date
Application number
KR1020207029250A
Other languages
English (en)
Other versions
KR20210005571A (ko
Inventor
아미르 헤베르
드비르 파라비
일리야 그린쉬펀
오하드 헤베르
Original Assignee
유브이아이 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유브이아이 엘티디. filed Critical 유브이아이 엘티디.
Publication of KR20210005571A publication Critical patent/KR20210005571A/ko
Application granted granted Critical
Publication of KR102487842B1 publication Critical patent/KR102487842B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Abstract

차량 검사 방법 및 그 시스템이 제공되며, 방법은: 복수의 시점들에서 차량의 표면의 복수의 세그먼트들을 캡처하는 복수의 세트들의 이미지들을 획득하는 단계; 시점에서 대응하는 세그먼트를 캡처하는 한 세트의 이미지들을 사용하여 3D 패치를 생성하여, 복수의 3D 패치들을 발생시키는 단계; 이미징 디바이스들과 차량 사이의 상대적 이동에 기초하여 복수의 3D 패치들의 3D 변환을 추정하는 단계; 및 추정된 3D 변환을 사용하여 복수의 3D 패치들을 등록함으로써 차량의 복합 3D 포인트 클라우드를 발생시키는 단계를 포함한다. 복합 3D 포인트 클라우드는 복수의 세트들의 이미지들 중 적어도 일부에 포함되는 광 반사가 그로부터 제거되는 차량의 3D 메쉬 및/또는 3D 모델을 재구성하기 위해 사용될 수 있다.

Description

차량 검사 시스템 및 그 방법
본 개시된 발명 대상은 일반적으로, 차량 검사 분야에 관한 것이다.
마모 및 손상들에 대한 차량들 및 그 부품들(parts)의 현재 검사는 통상적으로 검사소에서 수동으로 수행된다. 이것은 비용이 들고 시간 소모적일 뿐만 아니라, 검사를 수행하는 특정 인원에 의해 야기되는 검사 에러들 및 변형들의 당하기 쉽다.
차량 검사의 특정 양태들은 컴퓨터 기술들의 발달로 부분적으로 자동화되었다. 그러나, 현재 검사 시스템들은 주로 차량들에 대해 획득되는 이미지들 상에 직접 작용하고 획득된 이미지들 및 이에 적용되는 이미지 처리 기술들의 제한으로 인해 부분적인 그리고 때때로 심지어 부정확한 검사 결과들만을 제공할 수 있다. 따라서, 차량의 상태에 관한 보다 완전하고 정확한 정보를 제공할 수 있는 첨단(advanced) 차량 검사 시스템에 대한 요구가 여전히 존재한다.
본 개시된 발명 대상의 특정 양태들에 따르면, 차량 검사의 컴퓨터화된 방법이 제공되며, 방법은: 한 세트의 이미징 디바이스들로부터, 차량의 표면의 복수의 세그먼트들을 캡처하는 복수의 세트들의 이미지들을 획득하는 단계 - 한 세트의 이미징 디바이스들은 차량이 통과하는 검사 통로의 적어도 하나의 측면 상에 위치되고 미리결정된 영역에 대응하는 시야(Field of View; FOV)를 커버하도록 배향되고, 복수의 세트들의 이미지들은 차량과 한 세트의 이미징 디바이스들 사이의 상대적 이동 동안 복수의 시점들에서 캡처되며, 따라서: i) 각각의 세트의 이미지들은 각각의 시점에서 미리결정된 영역 내에 속하는 각각의 세그먼트를 캡처하고, ii) 복수의 세트들의 이미지들에 캡처되는 복수의 세그먼트들은 복수의 세그먼트들 중 적어도 일부의 각각의 주어진 표면 포인트가 적어도 2개의 세트들의 이미지들의 적어도 2개의 시점들에서 캡처되는 그러한 방식으로 부분적으로 중첩되며, 적어도 2개의 세트들의 이미지들에서 캡처되는 주어진 표면 포인트는 마치 2개의 시점들에서 주어진 표면 포인트와 한 세트의 이미징 디바이스들 사이의 상이한 상대 위치들에 관련된 상이한 조명 조건들 하에서 캡처되는 것과 같음 -; 각각의 주어진 시점(time point)에 대해, 주어진 시점에서 대응하는 세그먼트를 캡처하는 한 세트의 이미지들을 사용하여 3D 패치 - 3D 패치는 대응하는 세그먼트에서 대응하는 표면 포인트들을 나타내는 3D 포인트들의 포인트 클라우드를 포함함 -를 생성하여, 복수의 시점들 및 복수의 세그먼트들에 대응하는 복수의 3D 패치들을 발생시키는 단계; 복수의 시점들에서 한 세트의 이미징 디바이스들과 차량 사이의 상대적 이동에 기초하여 복수의 3D 패치들의 3D 변환(transformation)을 추정하는 단계; 및 추정된 3D 변환을 사용하여 복수의 3D 패치들을 등록함으로써 차량의 복합 3D 포인트 클라우드를 발생시키는 단계를 포함하며, 복합 3D 포인트 클라우드는 복수의 세트들의 이미지들 중 적어도 일부에 포함되는 광 반사가 그로부터 제거되는 차량의 3D 메쉬 및/또는 3D 모델 - 3D 메쉬 및/또는 3D 모델은 차량 검사에 대해 사용가능함 -을 재구성하기 위해 사용가능하다.
위의 특징들에 더하여, 본 개시된 발명 대상의 이러한 양태에 따른 방법은 기술적으로 가능한 임의의 원하는 조합 또는 순열로, 아래에 열거되는 특징들 (i) 내지 (ix) 중 하나 이상을 포함할 수 있다:
(i). 각각의 시점에서, 각각의 세그먼트의 각각의 표면 포인트는 한 세트의 이미징 디바이스들 중 적어도 2개의 이미징 디바이스들에 의해 캡처될 수 있다.
(ii). 생성 단계는: 한 세트의 이미지들 중 각각의 이미지로부터 상기 차량을 특징화하는 특징(feature)을 추출하는 단계;
(iii). 매칭된 특징들을 획득하기 위해 세트 내의 상이한 이미지들로부터 추출되는 특징들 사이의 특징 매칭을 수행하는 단계; 및 매칭된 특징들을 나타내는 3D 포인트들 - 3D 포인트들은 3D 패치를 구성함 -을 획득하기 상기 매칭된 특징들을 삼각 측량하는 단계를 포함한다.
(iv). 방법은 다음의 필터링 메커니즘들: 즉, 미리결정된 영역의 경계, 깊이 평활 알고리즘, 연결 성분 분석, 및 전경 및 배경 분류 중 하나 이상에 기초하여 3D 패치로부터 아웃라이어들(outliers)을 필터링하는 단계를 더 포함한다.
(v). 추정 단계는: 복수의 세트들의 이미지들 각각으로부터 차량을 특징화하는 특징들을 추출하는 단계; 2개의 대응하는 시점들에서 중첩 및 캡처되는 중첩된 부분을 커버하는 2개의 세트들의 이미지들의 각각의 선택된 쌍 사이의 로컬 3D 변환을 추정하는 단계 - 추정하는 단계는 추출된 특징들로부터 선택되는 상호 특징들을 추적하는 것에 기초하여 수행됨 -; 및 복수의 시점들 동안 3D 변환에 대한 로컬 3D 변환을 집계하는 단계를 포함할 수 있다,
(vi). 로컬 3D 변환을 추정하는 단계는, 2개의 대응하는 시점들에서 중첩 및 캡처되는 중첩된 부분을 커버하는 2개의 세트들의 이미지들의 각각 선택된 쌍에 대해: 각각의 세트들의 매칭된 특징들을 획득하기 위해 2개의 세트들의 이미지들의 각각의 세트 내의 상이한 이미지들로부터 추출되는 특징들 사이에서 그리고 2개의 세트들로부터의 대응하는 이미지들 사이에서 특징 상관 매칭(feature correlation matching)을 수행하는 단계; 각각의 세트들의 매칭된 특징들 중에서 상호 특징들을 선택하는 단계; 각각의 세트의 이미지들 내의 상호 특징들을 삼각 측량하여, 2개의 세트들의 이미지들에서 상호 특징들(mutual features)을 나타내는 한 쌍의 3D 특징들을 발생시키는 단계; 및 한 쌍의 3D 특징 세트들 사이의 이동을 추적함으로써 2개의 세트들의 이미지들 사이의 로컬 3D 변환을 추정하는 단계를 포함할 수 있다.
(vii). 방법은 복합 3D 포인트 클라우드에 기초하여 차량의 표면을 나타내는 3D 메쉬를 생성하는 단계를 더 포함할 수 있으며, 3D 메쉬는 복합 3D 포인트 클라우드에서 이웃한 포인트들의 각각의 그룹에 대해 로컬 표면을 피팅시킴으로써 생성된다.
(viii). 방법은 표면 함수를 사용하여 복합 3D 포인트 클라우드를 필터링하는 단계를 더 포함할 수 있으며, 3D 메쉬는 필터링된 복합 3D 포인트 클라우드에 기초하여 생성된다.
(ix). 방법은 3D 변환에 기초한 복수의 시점들에서 한 세트의 이미징 디바이스들의 가상 위치들 - 가상 위치들은 복수의 시점들에서 상대적 이동에 따른 이미징 디바이스들의 조정된 위치들을 나타냄 -을 추정하는 단계; 및 상기 3D 메쉬 상에 차량의 컬러 정보 - 컬러 정보는 복수의 세트들의 이미지들 및 한 세트의 이미징 디바이스들의 가상 위치들에 기초하여 결정됨 -를 투영하여, 차량의 3D 모델을 발생시키는 단계를 더 포함할 수 있다.
(x). 방법은 차량의 3D 모델을 사용하여 차량의 하나 이상의 가상 뷰들을 렌더링하는 단계를 더 포함할 수 있으며, 3D 메쉬 및/또는 3D 모델 및/또는 하나 이상의 가상 뷰들은 차량의 표면 상의 이상들(anomalies)을 식별하기 위해 사용가능하다.
본 개시된 발명 대상의 다른 양태들에 따르면, 컴퓨터화된 차량 검사 시스템이 제공되며, 시스템은 프로세서 및 메모리 회로(PMC)를 포함하며, 프로세서 및 메모리 회로(processor and memory circuitry; PMC)는: 한 세트의 이미징 디바이스들로부터, 차량의 표면의 복수의 세그먼트들을 캡처하는 복수의 세트들의 이미지들을 획득하고 - 한 세트의 이미징 디바이스들은 차량이 통과하는 검사 통로의 적어도 하나의 측면 상에 위치되고 미리결정된 영역에 대응하는 시야(Field of View; FOV)를 커버하도록 배향되고, 복수의 세트들의 이미지들은 차량과 한 세트의 이미징 디바이스들 사이의 상대적 이동 동안 복수의 시점들에서 캡처되며, 따라서: i) 각각의 세트의 이미지들은 각각의 시점에서 미리결정된 영역 내에 속하는 각각의 세그먼트를 캡처하고, ii) 복수의 세트들의 이미지들에 캡처되는 복수의 세그먼트들은 복수의 세그먼트들 중 적어도 일부의 각각의 주어진 표면 포인트가 적어도 2개의 세트들의 이미지들 내의 적어도 2개의 시점들에서 캡처되는 그러한 방식으로 부분적으로 중첩되며, 적어도 2개의 세트들의 이미지들에서 캡처되는 주어진 표면 포인트는 마치 2개의 시점들에서 주어진 표면 포인트와 한 세트의 이미징 디바이스들 사이의 상이한 상대 위치들에 관련된 상이한 조명 조건들 하에서 캡처되는 것과 같음 -; 각각의 주어진 시점에 대해, 주어진 시점에서 대응하는 세그먼트를 캡처하는 한 세트의 이미지들을 사용하여 3D 패치 - 3D 패치는 대응하는 세그먼트에서 대응하는 표면 포인트들을 나타내는 3D 포인트들의 포인트 클라우드를 포함함 -를 생성하여, 복수의 시점들 및 복수의 세그먼트들에 대응하는 복수의 3D 패치들을 발생시키고; 복수의 시점들에서 한 세트의 이미징 디바이스들과 차량 사이의 상대적 이동에 기초하여 복수의 3D 패치들의 3D 변환을 추정하고; 추정된 3D 변환을 사용하여 복수의 3D 패치들을 등록함으로써 차량의 복합 3D 포인트 클라우드를 생성하도록 구성되며, 복합 3D 포인트 클라우드는 복수의 세트들의 이미지들 중 적어도 일부에 포함되는 광 반사가 그로부터 제거되는 차량의 3D 메쉬 및/또는 3D 모델 - 3D 메쉬 및/또는 3D 모델은 차량 검사에 대해 사용가능함 -을 재구성하기 위해 사용가능하다.
본 개시된 발명 대상의 양태는 기술적으로 가능한 임의의 원하는 조합 또는 순열에서, 필요한 부분만 약간 수정하여, 방법에 대하여 위에 나열되는 특징들 (i) 내지 (ix) 중 하나 이상을 포함할 수 있다.
추가적으로 또는 대안적으로, 본 양태는 기술적으로 가능한 임의의 원하는 조합 또는 순열로 아래에 나열되는 다음의 특징들 (x) 내지 (xix) 중 하나 이상을 포함할 수 있다:
(xi). 시스템은 검사 통로의 적어도 하나의 측면 상에 위치되는 적어도 하나의 폴을 포함하는 지지 구조체에 부착되는 한 세트의 이미징 디바이스들을 더 포함할 수 있다.
(xii). 시스템은 지지 구조체를 더 포함할 수 있다.
한 세트의 이미징 디바이스들은 상이한 높이들에서 지지 구조체에 부착되고 각각의 시점에서, 각각의 세그먼트의 각각의 표면 포인트가 한 세트의 이미징 디바이스들 중 적어도 2개의 이미징 디바이스들에 의해 캡처되는 그러한 방식으로 배향될 수 있다.
(xiii). 2개의 이웃한 이미징 디바이스들과 차량 사이의 각도는 60도 미만일 수 있다.
(xiv). 미리결정된 영역은 차량 치수들(dimensions)에 따라 결정될 수 있다.
(xv). 세트 내의 이미징 디바이스들의 수는 미리결정된 정확도 요건(requirement)에 따라 결정될 수 있다.
(xvi). 다수의 세트들의 이미징 디바이스들은 지지 구조체에 부착되고, 각각의 세트는 각각의 방향을 향하고, 이미징 디바이스들의 세트들의 수 및/또는 각각의 세트 내의 이미징 디바이스들의 수는 미리결정된 정확도 요건에 따라 결정될 수 있다.
(xvii). 시스템은 검사 통로의 지하에 매립되고 차량이 통과할 때 차량의 언터캐리지의 하나 이상의 이미지를 캡처하도록 구성되는 언더캐리지 검사 유닛을 더 포함할 수 있다.
(xviii). 시스템은 미리결정된 영역을 커버하는 조명을 제공하기 위해 검사 통로의 적어도 하나의 측면 상에 위치되는 하나 이상의 조명 유닛을 더 포함할 수 있다.
(xix). 차량은 이동하는 차량일 수 있고 지지 구조체는 차량이 지지 구조체에 대해 검사 통로 상에서 이동하도록 그라운드 상에 장착될 수 있다.
(xx). 차량은 정지 차량일 수 있으며 여기서 지지 구조체는 차량에 대해 이동하기 위해 이동식 플랫폼 상에 장착될 수 있다.
본 개시된 발명 대상의 다른 양태들에 따르면, 컴퓨터에 의해 실행될 때, 컴퓨터가 차량 검사의 방법을 수행하게 하는 명령들의 프로그램을 유형적으로 구현하는 비-일시적 컴퓨터 판독가능 저장 매체가 제공되며, 방법은: 한 세트의 이미징 디바이스들로부터, 차량의 표면의 복수의 세그먼트들을 캡처하는 복수의 세트들의 이미지들을 획득하는 단계 - 한 세트의 이미징 디바이스들은 차량이 통과하는 검사 통로의 적어도 하나의 측면 상에 위치되고 미리결정된 영역에 대응하는 시야(Field of View; FOV)를 커버하도록 배향되고, 복수의 세트들의 이미지들은 차량과 한 세트의 이미징 디바이스들 사이의 상대적 이동 동안 복수의 시점들에서 캡처되며, 따라서: i) 각각의 세트의 이미지들은 각각의 시점에서 미리결정된 영역 내에 속하는 각각의 세그먼트를 캡처하고, ii) 복수의 세트들의 이미지들에 캡처되는 복수의 세그먼트들은 복수의 세그먼트들 중 적어도 일부의 각각의 주어진 표면 포인트가 적어도 2개의 세트들의 이미지들 내의 적어도 2개의 시점들에서 캡처되는 그러한 방식으로 부분적으로 중첩되며, 적어도 2개의 세트들의 이미지들에서 캡처되는 주어진 표면 포인트는 마치 2개의 시점들에서 주어진 표면 포인트와 한 세트의 이미징 디바이스들 사이의 상이한 상대 위치들에 관련된 상이한 조명 조건들 하에서 캡처되는 것과 같음 -; 각각의 주어진 시점에 대해, 주어진 시점에서 대응하는 세그먼트를 캡처하는 한 세트의 이미지들을 사용하여 3D 패치 - 3D 패치는 대응하는 세그먼트에서 대응하는 표면 포인트들을 나타내는 3D 포인트들의 포인트 클라우드를 포함함 -를 생성하여, 복수의 시점들 및 복수의 세그먼트들에 대응하는 복수의 3D 패치들을 발생시키는 단계; 복수의 시점들에서 한 세트의 이미징 디바이스들과 차량 사이의 상기 상대적 이동에 기초하여 복수의 3D 패치들의 3D 변환을 추정하는 단계; 및 추정된 3D 변환을 사용하여 복수의 3D 패치들을 등록함으로써 차량의 복합 3D 포인트 클라우드를 발생시키는 단계를 포함하며, 복합 3D 포인트 클라우드는 복수의 세트들의 이미지들 중 적어도 일부에 포함되는 광 반사가 그로부터 제거되는 차량의 3D 메쉬 및/또는 3D 모델 - 3D 메쉬 및/또는 3D 모델은 차량 검사에 대해 사용가능함 -을 재구성하기 위해 사용가능하다.
본 개시된 발명 대상의 양태는 기술적으로 가능한 임의의 원하는 조합 또는 순열에서, 필요한 부분만 약간 수정하여, 방법에 대하여 위에 나열되는 특징들 (i) 내지 (ix) 중 하나 이상을 포함할 수 있다.
본 발명을 이해하고 그것이 어떻게 실제로 실행될 수 있는지를 보기 위해, 실시예들은 이제 첨부 도면들을 참조하여, 비-제한 예로서, 설명될 것이며, 여기서:
도 1a는 본 개시된 발명 대상의 특정 실시예들에 따른 차량 검사 시스템의 기능 블록도를 개략적으로 예시하고;
도 1b는 본 개시된 발명 대상의 특정 실시예들에 따른 3D 차량 모델 재구성 및 차량 검사를 할 수 있는 컴퓨터화된 시스템의 블록도를 개략적으로 예시하고;
도 2a 및 도 2b는 본 개시된 발명 대상의 특정 실시예들에 따른 이미징 디바이스 배열의 상이한 관점들의 일 예를 예시하고;
도 3은 본 개시된 발명 대상의 특정 실시예들에 따른 예시적 조명 디바이스 배열의 상면도를 예시하고;
도 4는 본 개시된 발명 대상의 특정 실시예들에 따른 3D 가상 좌표들에서 3D 경계 상자(bounding box)의 표현 및 이미징 디바이스들의 표현을 예시하고;
도 5는 본 개시된 발명 대상의 특정 실시예들에 따른 시스템의 교정 설정 스테이지를 개략적으로 예시하고;
도 6은 본 개시된 발명 대상의 특정 실시예들에 따른 3D 차량 모델 재구성 및 차량 검사의 일반화된 흐름도를 개략적으로 예시하고;
도 7은 본 개시된 발명 대상의 특정 실시예들에 따른 도 6에 대응하는 3D 차량 모델 재구성 및 차량 검사 시스템의 상세 처리 스테이지들의 일 예시적 예시를 개략적으로 예시하고;
도 8a 내지 도 8e는 본 개시된 발명 대상의 특정 실시예들에 따른 반사 제거의 일 예를 예시하고;
도 9a 내지 도 9d는 본 개시된 발명 대상의 특정 실시예들에 따른 시간 도메인에서 포인트 클라우드들의 3D 패치들의 추적 및 등록의 일 예를 예시하고;
도 10은 본 개시된 발명 대상의 특정 실시예들에 따른 각각의 시간 스탬프에서 추적된 카메라들의 표현으로 차량에 대해 생성되는 3D 메쉬를 예시하고;
도 11a는 본 개시된 발명 대상의 특정 실시예들에 따른 가상 3D 좌표 시스템에서 경계 상자 및 카메라들에 대해 재구성된 3D 패치의 일 예를 예시하고;
도 11b는 본 개시된 발명 대상의 특정 실시예들에 따른 메쉬화되고 컬러화된 3D 패치를 예시하고;
도 12는 본 개시된 발명 대상의 특정 실시예들에 따른 가상 뷰들로부터 생성되는 합성 차량 이미지들의 5개의 상이한 예들을 예시한다.
다음의 상세 설명에서, 다수의 특정 상세들은 발명의 철저한 이해를 제공하기 위해 진술된다.　그러나, 본 개시된 발명 대상은 이들 특정 상세들 없이 실시될 수 있다는 점이 당업자들에 의해 이해될 것이다.　다른 예들에서, 잘-알려진 방법들, 절차들, 구성요소들, 및 회로들은 본 개시된 발명 대상을 모호하게 하지 않도록 상세히 설명되지 않는다.
특별히 달리 명시되지 않는 한, 다음의 논의들로부터 명백한 바와 같이, 명세서 전체에 걸쳐 용어들 예컨대 "획득하는", "캡처하는", "생성하는", "추정하는", "등록하는", "추출하는", "수행하는", "삼각 측량하는", "필터링하는", " 집계하는", "검사하는", "선택하는", "투사하는", "피팅하는", "렌더링하는", "식별하는", "사용하는" 등등을 이용하는 논의들은 데이터를 다른 데이터로 조작 및/또는 변환하는 컴퓨터의 액션(들) 및/또는 프로세스(들)을 언급하며, 상기 데이터는 물리적, 예컨대 전자적, 양들로서 표현되고/되거나 상기 데이터는 물리적 객체들을 표현하는 것이 이해된다. 용어 "컴퓨터"는 비-제한 예로, 본 출원에 논의되는 차량 검사 시스템 및 그 부분들을 포함하는 데이터 처리 능력들을 갖는 임의의 종류의 하드웨어-기반 전자 디바이스를 커버하는 것으로 광범위하게 해석되어야 한다.
본원의 교시들에 따른 동작들은 비-일시적 컴퓨터 판독가능 저장 매체에 저장되는 컴퓨터 프로그램에 의해 원하는 목적들을 위해 특별히 구성되는 컴퓨터 또는 원하는 목적을 위해 특별히 구성되는 범용 컴퓨터에 의해 수행될 수 있다.
본원에 사용되는 용어들 "비-일시적 메모리", "비-일시적 저장 매체" 및 "비-일시적 컴퓨터 판독가능 저장 매체"는 본 개시된 발명 대상에 적합한 임의의 휘발성 또는 비-휘발성 컴퓨터 메모리를 커버하는 것으로 광범위하게 해석되어야 한다.
본 개시된 발명 대상의 실시예들은 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 다양한 프로그래밍 언어들은 본원에 설명되는 바와 같은 본 개시된 발명 대상의 교시들을 구현하기 위해 사용될 수 있다는 것이 이해될 것이다.
본원에 사용되는 바와 같이, 어구(phrase) "예를 들어," "예컨대", "예를 들어" 및 그 변형들은 본 개시된 발명 대상의 비-제한적 실시예들을 설명한다. "하나의 경우", "일부 경우들", "다른 경우들" 또는 그 변형들에 대한 설명(specification)의 기준은 실시예(들)과 관련하여 설명되는 특정 특징, 구조 또는 특성이 본 개시된 발명 대상의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 어구 "하나의 경우", "일부 경우들", "다른 경우들" 또는 그 변형들의 출현은 반드시 동일한 실시예(들)을 언급하는 것은 아니다.
특별히 달리 명시되지 않는 한, 별도의 실시예들의 맥락에서 설명되는 본 개시된 발명 대상의 특정 특징은 또한 단일 실시예에서 조합으로 제공될 수 있다는 것이 이해된다. 반대로, 단일 실시예의 맥락에서 설명되는 본 개시된 발명 대상의 다양한 특징들은 또한 별도로 또는 임의의 적합한 서브-조합으로 제공될 수 있다. 다음의 상세한 설명에서, 수많은 특정 상세들은 방법들 및 장치의 철저한 이해를 제공하기 위해 진술된다.
본 개시된 발명 대상의 실시예들에서, 도면들에 예시되는 하나 이상의 스테이지들(stages)은 상이한 순서로 실행될 수 있고/있거나 스테이지들의 하나 이상의 그룹들은 동시에 실행될 수 있고 그 역도 또한 같다.
이것을 염두에 두고, 본 개시된 발명 대상의 특정 실시예들에 따른 차량 검사 시스템의 기능 블록도를 개략적으로 예시하는 도 1을 주목한다.
도 1a에 예시된 시스템(100)은 차량을 자동으로 검사하기 위한 컴퓨터-기반 차량 검사 시스템이다. 시스템(100)은 3D 차량 모델 재구성 및 차량 검사를 위한 컴퓨터화된 시스템(101), 및 한 세트의 이미지 획득 디바이스들(130)(또한 본원에서 이미징 디바이스들로 지칭됨)을 포함한다. 시스템(101)은, 이미징 디바이스들(130)의 세트로부터, 차량의 표면의 복수의 세그먼트들을 캡처/획득하는 복수의 세트들의 이미지들을 획득하도록 구성될 수 있다. 이미징 디바이스들(130)의 세트는 시스템(101)에 동작적으로 연결될 수 있고 캡처된 이미지들은 유선 또는 무선 통신을 통해 시스템(101)에 전송될 수 있다.
본원에 사용되는 이미징 획득 디바이스들은 예를 들어, 이미지 및/또는 비디오 기록 기능들을 갖는 디지털 카메라와 같은, 특정 해상도 및 주파수에서 차량 이미지들을 캡처하기 위해 사용될 수 있는 이미지 획득 기능들을 구비하는 임의의 종류의 이미징 디바이스들 또는 범용 디바이스들을 언급할 수 있다. 이미징 디바이스들(130)의 세트는 차량(134)의 적어도 하나의 측면 상에(예를 들어, 차량(134)이 통과하는 검사 통로/레인(lane)의 적어도 하나의 측면 상에) 위치되는(장착되거나 달리 위치되는) 다수의 카메라 디바이스들을 포함할 수 있고 차량의 표면의 복수의 세그먼트들을 캡처하도록 구성될 수 있다. 일부 실시예들에서, 카메라 디바이스들은 차량의 두 측면들 상에 위치되어 있음으로써 차량의 두 측면들의 이미지들이 동시에 획득되고 처리될 수 있다. 일부 경우들에서, 차량(134)은 그러한 이미징 디바이스들을 구비한 검사 통로를 통과하는 이동 차량일 수 있다. 일부 다른 경우들에서, 차량(134)은 이미징 디바이스들의 세트가 차량에 대해 이동하기 위해 이동식 플랫폼 상에 장착되는 정지 차량일 수 있다.
본 개시는 이미징 디바이스들 및/또는 촬영된 바와 같은 이미지들의 특정 수, 유형, 커버리지, 및 관점에 의해서도, 이미징 디바이스들에 의한 이미지들의 특성 생성 방법들에 의해서도 제한되지 않는다는 것이 이해되어야 한다.
일부 실시예들에서, 시스템(100)은 또한 지지 구조체(132)를 포함할 수 있다. 지지 구조체(132)는 검사 통로의 적어도 하나의 측면 상에 위치되는 적어도 하나의 폴(pole)을 포함할 수 있다. 도 1a는 검사 통로의 일 측면 상에 각각 위치되는 2개의 폴들을 포함하는 예시적 지지 구조체를 예시한다. 각각의 폴은 이에 부착가능한 한 세트의 이미징 디바이스들을 갖는다. 이미징 디바이스들은 도 2a, 도 2b 및 도 4를 참조하여 더 상세히 설명되는 바와 같은, 미리결정된 영역(즉, 차량 모델 재구성을 위한 작업 영역)에 대응하는 시야(Field of View; FOV)를 커버하는 이미지들을 캡처하기 위해 차량과 관련하여 적절한 높이 및/또는 각도에 부착될 수 있다.
복수의 세트들의 이미지들은, 이미징 디바이스들의 세트에 의해 획득되는 바와 같이, 차량과 이미징 디바이스들의 세트 사이의 상대적 이동 동안 복수의 시점들에서 획득되며, 따라서: i) 각각의 세트의 이미지들은 각각의 시점에서 미리결정된 영역 내에 속하는 각각의 세그먼트를 캡처하고, ii) 복수의 세트들의 이미지들에 캡처되는 복수의 세그먼트들은 세그먼트들 중 적어도 일부의 각각의 주어진 표면 포인트가 적어도 2개의 세트들의 이미지들의 적어도 2개의 시점들에서 캡처되는 그러한 방식으로 부분적으로 중첩된다. 적어도 2개의 세트들의 이미지들에 캡처되는 주어진 표면 포인트는 마치 2개의 시점들에서 주어진 표면 포인트와 이미징 디바이스들의 세트 사이의 상이한 상대 위치들에 관련된 상이한 조명 조건들 하에서 캡처되는 것과 같다. 이미징 디바이스 배열의 상세들은 도 2a 및 도 2b를 참조하여 아래에 설명된다.
일부 실시예들에서, 이미징 디바이스들에 근접하여 위치되는 하나 이상의 조명 디바이스들(136)이 제공되고 이는 이미지들이 높은 해상도 및 품질에서 캡처될 수 있게 하기 위해 이미징 디바이스들의 FOV들을 커버하는 조명을 제공한다. 예로서, 조명 디바이스들(136)은 도 3을 참조하여 더 상세히 아래에 설명되는 바와 같이, 이미지 획들을 위한 주변 조명을 제공하기 위해, 통로의 측면 상에, 예를 들어, 폴들의 옆에 위치될 수 있다. 선택적으로, 이미지 획득 및/또는 조명은 (예를 들어, 로드 루프(road loop), IR 빔, VMD 등과 같은) 차량의 존재/접근을 검출할 수 있는 외부 감지 디바이스에 의해 트리거될 수 있다.
이미징 디바이스들(130)(및 만약에 있다면, 조명 디바이스들)은 시스템(101)에 의해 제어될 수 있다. 시스템(101)은 이미징 디바이스들(및 만약에 있다면, 조명 디바이스들)의 세트에 동작적으로 연결되고 그리고 디바이스들을 제어하고(예를 들어, 이미지 획득 및 조명 동작을 동기화하고), 설정(set-up) 스테이지 동안 시스템을 교정하고 런타임에서 3D 차량 모델을 생성하기 위해 차량의 획득된 이미지들을 처리하기 위해 사용될 수 있다.
이제, 도 1b를 참조하면, 본 개시된 발명 대상의 특정 실시예들에 따른 3D 차량 모델 재구성 및 차량 검사를 할 수 있는 컴퓨터화된 시스템의 블록도가 개략적으로 예시되어 있다.
시스템(101)은 하드웨어-기반 I/O 인터페이스(126) 및 저장 유닛(122)에 동작적으로 연결되는 처리 및 메모리 회로(processing and memory circuitry; PMC)(102)를 포함할 수 있다. PMC(102)는 도 6 내지 도 7을 참조하여 더 상세화되는 운영 체제(101)에 대해 필요한 모든 처리를 제공하도록 구성된다. PMC(102)는 프로세서(별도로 표시되지 않음) 및 메모리(별도로 표시되지 않음)를 포함한다. PMC(102)의 프로세서는 PMC에 포함되는 비-일시적 컴퓨터-판독가능 메모리 상에서 구현되는 컴퓨터-판독가능 명령들에 따라 수 개의 기능 모듈들을 수행하도록 구성될 수 있다. 그러한 기능 모듈들은 이하 PMC에 포함되는 것으로서 언급된다. 본원에 언급되는 용어 프로세서는 데이터 처리 능력들을 갖는 임의의 처리 회로를 커버하는 것으로 광범위하게 해석되어야 하고, 본 개시는 그 유형 또는 플랫폼, 또는 그 안에 포함되는 처리 코어들의 수에 제한되지 않는다는 점이 주목되어야 한다. 일부 경우들에서, 시스템(101)은 하나 이상의 외부 데이터 저장소들(138)에 동작적으로 연결될 수 있다.
특정 실시예들에 따르면, PMC(102)에 포함되는 기능 모듈들은 패치 생성 모듈(104), 변환 추정 모듈(106), 및 패치 등록 모듈(108)을 포함할 수 있다. 선택적으로, PMC는 메싱 모듈(110) 및 컬러링 모듈(112)을 더 포함할 수 있다. PMC에 포함되는 기능 모듈들은 그 사이에서 동작적으로 연결될 수 있다. 차량의 표면의 복수의 세그먼트들을 캡처하는 복수의 세트들의 이미지들을, 이미징 디바이스들의 세트로부터, (예를 들어, 하드웨어-기반 I/O 인터페이스(126)를 통해), 획득 시, 패치 생성 모듈(104)은, 각각의 주어진 시점에 대해, 주어진 시점에서 대응하는 세그먼트를 캡처하는 한 세트의 이미지들을 사용하여 3D 패치를 생성하도록 구성될 수 있다. 3D 패치는 대응하는 세그먼트에서 대응하는 표면 포인트들을 나타내는 3D 포인트들의 포인트 클라우드를 포함할 수 있어서, 복수의 시점들 및 복수의 세그먼트들에 대응하는 복수의 3D 패치들을 발생시킨다.
변환 추정 모듈(106)은 복수의 시점들에서 이미징 디바이스들의 세트와 차량 사이의 상대적 이동에 기초하여 복수의 3D 패치들의 3D 변환을 추정하도록 구성될 수 있다. 패치 등록 모듈(108)은 추정된 3D 변환을 사용하여 복수의 3D 패치들을 등록하도록 구성될 수 있으며 그것에 의해 차량의 복합 3D 포인트 클라우드를 발생시킨다. 복합 3D 포인트 클라우드는 차량의 3D 메쉬 및/또는 3D 모델을 재구성하기 위해 사용할 수 있다. 재구성된 3D 메쉬 및/또는 3D 모델은 예를 들어, 차량 검사를 위해 사용될 수 있다. 위에 설명된 이미지 획득 및 이미지 처리를 사용함으로써, 복수의 세트들의 이미지들 중 적어도 일부에 포함되는 광 방사는 재구성된 모델로부터 제거된다.
일부 실시예들에서, 선택적으로, 메싱 모듈(110)은 복합 3D 포인트 클라우드에 기초하여 차량의 표면을 나타내는 3D 메쉬를 생성하도록 구성될 수 있다. 3D 메쉬는 복합 3D 포인트 클라우드에서 이웃한 포인트들의 각각의 그룹에 대해 로컬 표면을 피팅시킴로써 생성될 수 있다. 추가적으로 및 선택적으로, 컬러링 모듈(112)은 3D 메쉬 상에 차량의 컬러 정보를 투영하도록 구성될 수 있다. 컬러 정보는 복수의 세트들의 이미지들 및 이미징 디바이스들의 세트의 가상 위치들에 기초하여 결정될 수 있어서, 차량의 3D 모델을 발생시킨다. 이들 기능 모듈들에 의한 이미지 처리의 상세들은 도 6 및 도 7을 참조하여 아래에 설명된다.
저장 유닛(122)은 차량의 획득된 이미지들을 저장하도록 구성될 수 있는 이미지 데이터베이스(123)를 포함할 수 있다. 일부 경우들에서, 이들 이미지들은 이미징 디바이스들(130)로부터 사전-획득되고 PMC에 의해 검색 및 처리될 이미지 데이터베이스(123)에 저장될 수 있다. 저장 유닛(122)은 또한 예를 들어, 복수의 3D 패치들, 추정된 3D 변환, 복합 3D 포인트 클라우드 등과 같은 중간 처리 결과들 중 임의의 것을 저장하도록 구성될 수 있다. 선택적으로, 이미지 데이터베이스(123)는 시스템(101) 외부에, 예를 들어, 외부 데이터 저장소들 중 하나, 외부 시스템 또는 공급자에 존재할 수 있고, 이미지들은 I/O 인터페이스(126)를 통해 검색될 수 있다.
I/O 인터페이스(126)는 입력으로서, 이미징 디바이스들 및/또는 이미지 데이터베이스로부터 복수의 세트들의 이미지들 획득하고, 출력으로서, 차량의 복합 3D 포인트 클라우드, 3D 메쉬, 또는 3D 모델을 제공하도록 구성될 수 있다. 선택적으로, 시스템(100)은 사용자에게 입력 및/또는 출력의 디스플레이를 렌더링하도록 구성되는 그래픽 사용자 인터페이스(graphical user interface; GUI)(124)를 더 포함할 수 있다. 선택적으로, GUI는 운영 체제(101)에 대한 사용자-지정 입력들을 가능하게 하도록 구성될 수 있다.
일부 실시예들에서, 시스템(101)은 전력을 이미징 디바이스들(및 만약에 있다면, 조명 디바이스들)에 공급하도록 구성되는 전력 관리기(power manager)(별도로 표시되지 않음)를 더 포함할 수 있다. 예로서, 전력 관리기는 이미지들의 획득 및 그로부터 반사들의 제거를 용이하게 하기 위해 특정 주파수에서 조명 유닛들을 디밍하도록 구성될 수 있다.
일부 경우들에서, 시스템(101)은 로컬 또는 원격(예를 들어, 클라우드-기반)일 수 있는 하나 이상의 외부 데이터 저장소들(138)에 동작적으로 연결될 수 있다. 획득된 이미지들 및/또는 런-타임(run-time) 이미지 처리의 결과들은 저장 유닛(122) 및/또는 외부 데이터 저장소들(138)에 저장될 수 있다.
일부 경우들에서, 검사 시스템(100)은 지하에 매립되는, 예를 들어, 2개의 폴들 사이에 언더캐리지(undercarriage) 검사 유닛(별도로 표시되지 않음)을 더 포함할 수 있다. 언더캐리지 검사 유닛은 차량이 통과할 때 차량의 언더캐리지의 하나 이상의 이미지들을 캡처하도록 구성되는 하나 이상의 이미징 디바이스들을 포함할 수 있다.
또한, 도 1a 및/또는 도 1b에 예시된 시스템은 분산 컴퓨팅 환경으로 구현될 수 있다는 점이 주목된다. 예로서 도 1b에 도시된 전술한 기능 모듈들 중 일부는 수 개의 로컬 및/또는 원격 디바이스들에 걸쳐 분산될 수 있고, 통신 네트워크를 통해 링크될 수 있다. 다른 예로서, 시스템(101)은 이미징 디바이스들로부터 상이한 위치에 위치될 수 있다.
기술 분야에 정통한 이들은 본 개시된 발명 대상의 교시들이 도 1a 및 도 1b에 예시되는 시스템들에 의해 구속되지 않으며; 등가 및/또는 수정된 기능은 다른 방식으로 통합 또는 분할될 수 있고 팜웨어 및 하드웨어와 소프트웨어의 임의의 적합한 조합으로 구현될 수 있다는 점을 쉽게 이해할 것이다. 도 1a 및 도 1b의 시스템들은 독립형 네트워크 엔티티들이거나, 다른 네트워크 엔티티들과, 완전히 또는 부분적으로 통합될 수 있다. 당업자들은 또한 데이터 저장소들 또는 그 안의 저장 유닛이 다른 시스템들과 공유되거나 제3자 장비를 포함하는 다른 시스템들에 의해 제공될 수 있다는 점을 쉽게 이해할 것이다.
반드시 그렇지는 않지만, 시스템(1001의 동작의 프로세스는 도 6 및 도 7 대해 설명되는 방법들의 스테이지들 중 일부 또는 전부에 대응할 수 있다. 마찬가지로, 도 6 및 도 7에 대해 설명되는 방법들 및 그들의 가능한 구현들은 시스템(101)에 의해 구현될 수 있다. 따라서, 그것은 도 6 및 도 7에 대해 설명되는 방법들과 관련하여 논의되는 실시예들이 또한 시스템(101)의 다양한 실시예들로서 필요한 부분만 약간 수정하여 구현될 수 있고, 그 역도 또한 마찬가지라는 점이 주목된다.
이제, 도 2a 및 도 2b를 참조하면, 본 개시된 발명 대상의 특정 실시예들에 따른 이미징 디바이스 배열의 상이한 관점들의 일 예가 예시되어 있다.
도 2a는 검사될 차량과 관련된 바와 같은 한 세트의 이미징 디바이스들의 상면도 및 정면도를 도시한다. 이미징 디바이스들(130)의 세트(예를 들어, 폴에 부착됨)는 미리결정된 영역(미리결정된 영역은 3D 작업 영역 또는 경계 상자이고 202는 미리결정된 영역의 길이-폭 평면을 도시함)에 대응하는 시야(Field of View; FOV)를 커버하도록 배향된다는 것을 상면도에서 볼 수 있다. 이미징 디바이스들의 세트가 차량과 이미징 디바이스들의 세트 사이의 상대적 이동 동안 복수의 시점들에서 이미지들을 계속 캡처하므로, 각각의 세트의 이미지들은 주어진 시점에서 미리결정된 영역(202) 내에 속하는 특정 세그먼트/부분(204)(예를 들어, 차량을 따라 "슬라이스")을 캡처한다. 이미징 디바이스들의 세트는 주어진 시점에서 촬영되는 이미지들의 세트의 범위가 미리결정된 영역의 전체 높이-폭 평면을 중첩 및 커버할 수 있는 그러한 방식으로 위치된다(도 2의 정면도에서 206 참조). 특히, 주어진 시점에서, 특정 세그먼트의 각각의 표면 포인트는 이미징 디바이스들의 세트의 적어도 2개의 이미징 디바이스들에 의해 캡처됨으로써, 삼각 측량이 포인트의 위치를 추정하기 위해 수행될 수 있다. 일부 경우들에서, 더 양호한 잡음 감소 및 에러 보정 목적들을 위해, 차량의 각각의 표면 포인트는 2개의 이웃한 이미징 디바이스들과 차량 사이의 각각의 각도가 (도 2b의 측면도에 예시된 바와 같이) 60도 미만인 상태로 적어도 3개의 이미징 디바이스들에 의해 캡처된다. 예로서, 일부 경우들에서, 각도들은 심지어 10도 또는 15도일 수 있다.
이미지 획득은 복수의 세그먼트들 중 적어도 일부의 각각의 주어진 표면 포인트가 적어도 2개의 세트들의 이미지들에서 적어도 2개의 시점들에 캡처되는 그러한 방식으로 부분적으로 중첩되는 복수의 세트들의 이미지들에 캡처되는 복수의 세그먼트들을 갖도록 수행된다. 일부 실시예들에서, 복수의 세그먼트들의 부분 중첩은 복수의 세그먼트들 중 다수의 이웃한 세그먼트들이 중첩된다는 것을 나타낼 수 있다. 예를 들어, 중첩되는 다수의 이웃한 세그먼트들은 상이하게 정의될 수 있고 범위가 2에서 N(N>2)까지 이를 수 있다. 이것은 예를 들어, 차량과 이미징 디바이스들 사이의 상대적 이동의 속도 및 이미징 디바이스들의 캡처 레이트(capture rate)와 관련될 수 있다. 예로서, 각각의 2개의 이웃한 세그먼트들은 2개의 세그먼트들 사이의 중첩된 부분이 2개의 세그먼트들에 대응하는 2개의 세트들의 이미지들에서 두 번 캡처되도록 중첩될 수 있다. 다른 예로서, 캡처 레이트가 더 높을 때, 각각의 5개의 이웃한 세그먼트들은 일부 표면 부분이 2개의 세트들의 이미지들에서 캡처될 수 있는 반면 일부 다른 부분이 모두 5개의 세트들의 이미지들에서 캡처될 수 있는 경우 중첩될 수 있다는 것이 가능하다. 설명의 단순화를 위해, 그것은 또한 이웃한 세그먼트들을 캡처하는 이미지들이 중첩되는(즉, 이미지들의 범위가 중첩되는) 실시예들 중 일부에서 언급된다는 점이 주목되어야 한다.
또한, N 세그먼트들이 캡처되는 경우, 일부 실시예들에서 모든 N 세그먼트들의 표면 포인트들은 적어도 2개의 세트들의 이미지들에서 적어도 두 번 캡처되는 것이 가능한 반면, 일부 다른 실시예들에서, 세그먼트들 중 일부의 표면 포인트들만이 이미지 획득의 제한으로 인해, 두 번 캡처되는 것이 또한 가능하다는 점이 주목되어야 한다. 유사하게, 하나의 세그먼트에서 표면 포인트들 중 일부만이 두 번 캡처되는 것이 또한 가능한 반면, 다른 것들은 그렇지 않다. 표면 포인트는 이미징 디바이스들에 의해 캡처될 수 있고 그것의 치수들에 의해 제한되지 않아야 하는 차량 표면 상의 작은 유닛을 언급할 수 있다. 본 개시는 중첩되는 세그먼트들의 수, 또는 캡처되는 표면 포인트들의 커버리지 또는 그들이 캡처되는 시간들의 수에 의해 제한되지 않는다는 것이 이해되어야 한다.
적어도 2개의 세트들의 이미지들에 캡처되는 주어진 표면 포인트는 2개의 시점들에서 주어진 표면 포인트와 이미징 디바이스들의 세트 사이의 상이한 상대 위치들에 관계된 상이한 조명 조건들 하에서 마치 캡처되는 것과 같다. 예로서, 중첩된 부분의 표면 포인트들은 서로 보상하고 세트들 중 일부에 존재하는 가능한 광 반사의 제거를 가능하게 하기 위해 3D 재구성 동안 대응하는 3D 패치들을 등록 및 결합시키도록 사용되는 적어도 2개의 세트들의 이미지에서 캡처된다.
일부 실시예들에서, 다수의 세트들의 이미징 디바이스들은 더 양호한 해상도를 달성하기 위해 이미지들을 캡처하도록 사용될 수 있다. 예로서, 3개의 세트들의 이미징 디바이스들이 사용될 수 있으며, 각각은 각각의 방향, 예를 들어, 차량이 다가오는 이동의 방향, 차량이 폴들을 통과할 때 차량을 향하는 방향, 및 차량의 떠나는 이동의 방향을 향한다.
정면도 및 측면도에 도시된 바와 같이, 일부 경우들에서, 폴들의 상부 부분들은 예를 들어, 곡선으로 만곡되고, 중앙을 향해 기울어질 수 있음으로써, 상단 상에 부착되는 이미징 디바이스들은 차량의 루프의 이미지들을 캡처하기 위해 아래쪽으로 향할 수 있다. 일부 실시예들에서, 지지 구조체는 2개의 폴들을 연결하는 루프(roof)를 더 포함할 수 있고, 상단 이미징 디바이스들은 루프에 부착될 수 있다.
특정 실시예들에 따르면, 미리결정된 영역은 검사 시스템이 3D 재구성을 위한 충분한 데이터를 제공할 수 있는 작업 영역의 제약을 제공하는 가상의 3D 경계 상자이다. 미리결정된 영역의 다른 예시는 도 4에 있으며, 이는 본 개시된 발명 대상의 특정 실시예들에 따른 3D 가상 좌표들에서 경계 상자의 3D 표현, 및 이미징 디바이스들의 표현을 도시한다. 3D 경계 상자는 주어진 시간에서 세트 내의 이미징 디바이스들 사이의 공통 FOV를 나타낼 수 있다. 일부 경우들에서, 미리결정된 영역은 차량 치수들에 따라 결정될 수 있다. 미리결정된 영역은 차량 길에 상에 임의의 제약을 부과하지 않으며, 높이 및 폭에만 제약을 부과한다. 따라서, 상이한 차량 유형들(예를 들어, 버스들, 자가용차들, 트럭들 등) 및 치수들은 상이한 미리결정된 영역 사이즈들 및 볼륨들을 야기할 수 있다. 예를 들어, 미리결정된 영역의 폭 및 높이는 통과하는 차량의 폭 및 높이에 따라 결정될 수 있다.
예로서, 미리결정된 영역의 높이를 확장시키기 위해, 이미징 디바이스들은 차량의 외부를 따라 요구되는 중첩 제약들을 제공하기 위해 폴들을 따라 추가될 수 있다.
다른 예로서, 미리결정된 영역의 폭을 확장시키기 위해, 이미징 디바이스들은 차량의 외부를 따라 요구되는 중첩 제약들을 제공하기 위해, 루프를 레인(lane)으로 더 확장시키도록 폴의 상단 상에 추가될 수 있다.
일부 경우들에서, 미리결정된 정확도 요건(예를 들어, 고객에 의해 요구된 3D 모델 정확도)의 파라미터는 이미징 디바이스들의 배열에 영향을 미칠 수 있다. 예로서, 각각의 세트 내의 이미징 디바이스들의 수는 미리결정된 정확도 요건에 따라 결정될 수 있다. 예를 들어, 더 양호한 모델 정확도를 달성하기 위해, 더 많은 각도들은 이미징 디바이스들의 양을 증가시키고/시키거나 이미징 디바이스들의 캡처 레이트를 증가시킴으로써 회득되며, 따라서 이미지들에서 더 높은 중첩을 야기한다. 다수의 세트들의 이미징 디바이스들이 전술한 바와 같이 각각의 방향을 각각 향하도록 사용되는 경우, 이미징 디바이스들의 세트들의 수 및/또는 각각의 세트 내의 이미징 디바이스들의 수는 미리결정된 정확도 요건에 따라 결정된다.
일부 경우들에서, 차량 속도의 파라미터는 차량이 빨리 진행할수록, 이용가능한 획득 시간이 적을수록, 정확도에 영향을 미칠 수 있다. 더 높은 속도들을 지원하기 위해, 이미징 디바이스들의 양을 증가시키고/시키거나 이미징 디바이스들의 캡처 레이드를 증가시키는 것이 요구될 수 있다.
도 3은 본 개시된 발명 대상의 특정 실시예들에 따른 예시적 조명 디바이스 배열의 상면도를 예시한다. 도 3에 도시된 바와 같이, 4개의 주변 조명 디바이스들(302)은 검사 통로의 측면들 상에 배치되고 미리결정된 영역에서 차량에 광을 제공하기 위해 사용된다. 조명 디바이스들은 짧은 노출 시간들에서 차량을 캡처할 수 있는 충분한 광을 제공하고 이미지들에서 모션 스미어들(motion smears)을 회피하는 것을 목표로 한다.
일부 경우들에서, 조명 디바이스들은 폴들을 따라서 부착(예를 들어, 설치)될 수 있다. 예로서, 조명 디바이스들은 이미징 디바이스들의 세트들 사이에 배치될 수 있거나, 그들은 이미징 디바이스들에 대해 다른 위치들에 배열될 수 있다. 조명 디바이스들은 미리결정된 영역을 커버하는 충분한 조명을 제공하기 위해 상이한 각도들을 향할 수 있다.
조명에서 기인하는 가능한 반사들은 차량 상의 상이한 영역들에서 나타날 수 있다. 차량 상의 반사의 영역들은 예를 들어, 조명 디바이스의 각도, 이미징 디바이스 및 차량 부분의 형상 등에 의존할 수 있다. 조명 디바이스들은 항상 필요한 것은 아니고 일부 경우들에서 자연광 또는 주변 조명이 그 대신 사용될 수 있다는 점이 주목되어야 한다. 조명 디바이스들이 설치된 경우들에서, 반사를 회피하기 위해 조명 디바이스를 차량에 지향되게 하지 않는 것이 바람직하다.
전술한 바와 같이, 검사 시스템은 이동 차량 또는 정지 차량을 검사하기 위해 사용될 수 있다. 차량이 이동 차량인 경우들에서, 이미징 디바이스들(또는 이에 부착되는 지지 구조체)은 차량이 지지 구조체에 대해 검사 통로 상에서 이동하도록 그라운드 상에 장착될 수 있다. 차량이 정지 차량인 경우들에서, 지지 구조체는 차량에 대해 이동하기 위해 이동식 플랫폼 상에 장착된다.
상술한 바와 같은 이미징 디바이스들(및 만약에 있다면 조명 디바이스들)의 배열로, 이미지들은 차량과 이미징 디바이스들 사이의 상대적 이동 동안 이미징 디바이스들의 세트에 의해 캡처됨으로써 세그먼트들 중 적어도 일부에 의해 커버되는 표면 내의 임의의 포인트는 상이한 시점들에서 이미징 디바이스의 세트에 의해 캡처되어, 상이한 캡처된 이미지들을 발생시킨다. 표면 포인트를 커버하는 이들 캡처된 이미지들은 상이한 시점들에서 주어진 표면 포인트와 이미징 디바이스들 사이의 상대 위치들에 관련된 상이한 조명 조건들 하에서 마치 캡처되는 것과 같다. 이것은 가능한 광 반사들에 의해 영향을 받는 것 없이 차량의 3D 모델을 적절하게 재구성하기 위해 검사 시스템이 상이한 시점들로부터 캡처되는 이미지들을 이용할 수 있게 한다. 일부 경우들에서, 하나의 세트 내의 이미지들은 그들이 상이한 각도들로부터 캡처되므로 광 반사의 제거를 또한 도울 수 있다.
이제, 도 5를 참조하면, 본 개시된 발명 대상의 특정 실시예들에 따른 시스템의 교정 설정 스테이지가 개략적으로 예시되어 있다.
이미징 디바이스(및 만약에 있다면 조명 디바이스들)를 위치시킨 후, 도 1 내지 도 3을 참조하여 상술한 바와 같이, 교정 절차들(calibration procedures)은 시스템의 런-타임 프로세스들 동안 사용될 가상 3D 좌표 시스템에서 카메라 파라미터 세트들을 획득하기 위해 적용될 수 있다.
하나 이상의 교정 타겟들(510)은 도 5의 상면도 및 정면도에 도시된 바와 같은 미리결정된 영역에 위치될 수 있는 반면(502), 조명 디바이스들은 (만약에 있다면) 이미징 디바이스들이 이미지들을 캡처하는 것을 허용하는 위치들에서 동작가능하다. 조준(기하학적) 교정(504)이 수행될 수 있다. 이미징 디바이스들과 타겟들 사이의 기하학적 관계들을 정의하는 카메라 위치 파라미터들이 추정되고, 경계 상자 위치는 카메라 위치들로부터 유도될 수 있다. 위치 파라미터들은 시스템(101)에 저장될 수 있다. 컬러 교정(506)이 또한 수행될 수 있다. 컬러 보정(correction) 파라미터들은 각각의 이미징 디바이스에 대해 동일한 컬러 밸런스에 도달하도록 계산되고, 시스템(101)에 저장될 수 있다. 일부 경우들에서 교정은 설정 스테이지에서 수행될 수 있다는 점이 주목된다. 다른 경우들에서, 설정 스테이지가 없을 수도 있고 대안적으로 그것은 런타임 구성 동안 수행될 수 있다.
이제, 도 6을 참조하면, 본 개시된 발명 대상의 특정 실시예들에 따른 3D 차량 모델 재구성 및 차량 검사의 일반화된 흐름도가 개략적으로 예시되어 있다.
복수의 세트들의 이미지들은 한 세트의 이미징 디바이스들로부터 (예를 들어 도 1b에 예시되는 I/O 인터페이스(126)에 의해) 획득될 수 있다(602). 복수의 세트들의 이미지들은 복수의 시점들에서 차량의 표면의 복수의 세그먼트들을 캡처할 수 있다.
도 1a 및 도 1b를 참조하여 상술한 바와 같이, 이미징 디바이스들의 세트는 차량이 통과하는 검사 통로의 적어도 하나의 측면 상에 위치되고 미리결정된 영역에 대응하는 시야(Field of View; FOV)를 커버하도록 배향될 수 있다. 복수의 세트들의 이미지들은 차량과 이미징 디바이스들의 세트 사이의 상대적 이동 동안 복수의 시점들에서 획득되며, 따라서; i) 각각의 세트의 이미지들은 각각의 시점에서 미리결정된 영역 내에 속하는 각각의 세그먼트를 캡처하고, ii) 복수의 세트들의 이미지들에 캡처되는 복수의 세그먼트들은 복수의 세그먼트들 중 적어도 일부의 각각의 주어진 표면 포인트가 적어도 2개의 세트들의 이미지들에서 적어도 2개의 시점들에 캡처되는 그러한 방식으로 부분적으로 중첩된다. 적어도 2개의 세트들의 이미지들에 캡처되는 주어진 표면 포인트는 2개의 시점들에서 주어진 표면 포인트와 이미징 디바이스들의 세트 사이의 상이한 상대 위치들에 관련된 상이한 조명 조건들 하에서 마치 캡처되는 것과 같다. 전술한 바와 같이, 일부 실시예들에서, 중첩되는 이웃한 세그먼트들의 수는 상이하게 정의될 수 있으며, 범위에 2에서 N(N>2)까지 이른다. 그러나, 시스템의 의도된 효과(즉, 반사 제거)를 가능하게 하기 위해, 일부 실시예들에서, 차량 표면의 각각의 부분(또는 표면의 대부분의 부분)은 적어도 2개의 세트들의 이미지들에서 적어도 2개의 시점들에 캡처되어야 한다.
이미지 획득 스테이지는 도 7에서 더 예시된다(도 7은 본 개시된 발명 대상의 특정 실시예들에 따른 도 6에 대응하는 3D 차량 모델 재구성 및 차량 검사 시스템의 상세화된 처리 스테이지들의 일 예시적 예시를 도시한다). 일단 시스템(100)이 교정되면, 교정된 시스템은 차량이 접근하는 런-타임(run-time)에서 개시될 수 있다. 개시(initiation)는 (예를 들어, 로드 루프, IR 빔, VMD 등과 같은) 차량의 존재를 검출할 수 있는 외부 감지 디바이스에 의해 트리거될 수 있다(701).
개시할 시에, 조명 디바이스들은 (만약에 있다면) 턴 온 되고 이미징 디바이스들의 세트는 교정 설정 스테이지에서 획득된 바와 같은 컬러 보정 파라미터들을 갖는 미리정의된 캡처 레이트에서 이미지들을 획득하는 것을 시작한다(702). 이미징 디바이스들의 세트는 동일한 시간에서 이미지들을 캡처하도록 동기화될 수 있고 캡처된 이미지들은 캡처링 시간 및 이미지 디바이스 식별자의 메타데이터와 함께 저장될 수 있다.
일부 실시예들에서, 선택적으로, 캡처된 이미지들은 (예를 들어, 이미징 디바이스들(130)에 의해 또는 시스템(100)의 PMC(102)에 의해 일단 이에 전송되면) 사전-처리될 수 있다(703). 예로서, 캡처된 이미지들은 이미지들의 캡처 시간에 따라 복수의 세트들의 이미지들로 소팅될 수 있다. 다른 예로서, 사전-처리는 다음 중 하나 이상을 포함할 수 있다: 디-베이어링(de-bayering), 플랫-필드 보정(flat-field correction), 컬러 보정, 렌즈 왜곡 보정, 및 에지 강조(edge enhancement) 등. 캡처된 및/또는 사전-처리된 이미지들은 블록(604)을 참조하여 아래에 설명되는 바와 같이, 3D 패치들을 생성하기 위해 더 처리될 수 있다. 외부 감지 디바이스가 차량이 검출 영역 밖(예를 들어, 미리결정된 영역 밖)에 있다고 검출할 때, 그것은 이미징 디바이스들에게 이미지들을 획득하는 것을 중지하도록 명령할 수 있다.
도 6을 다시 참조하면, 각각의 주어진 시점(즉, 주어진 캡처 시간)에대해, 3D 패치는 주어진 시점에서 대응하는 세그먼트를 캡처하는 한 세트의 이미지들을 사용하여 (예를 들어, 패치 생성 모듈(104)에 의해) 생성/재구성될 수 있다(604). 3D 패치는 미리결정된 영역(즉, 가상 경계 상자)에서 대응하는 세그먼트의 대응하는 표면 포인트들의 3D 위치를 나타내는 3D 포인트들의 포인트 클라우드를 포함할 수 있다. 따라서, 복수의 3D 패치들은 복수의 시점들 및 복수의 세그먼트들에 대응하여 생성될 수 있다. 일부 경우들에서, 하나보다 많은 패치(예를 들어, 한 세트의 패치들)는 세그먼트의 상이한 부분들을 커버하는 각각의 주어진 시점에 대해 생성될 수 있다.
특정 실시예들에 따르면, 패치 생성을 위한 입력들은 (예를 들어, 초점 길이, 초점 중심, 센서 사이즈, 다른 카메라들에 대한 각각의 카메라의 방향 및 변환 등과 같은) 교정된 카메라 위치들과 함께, 주어진 시점에서 이미징 디바이스들의 세트에 의해 동시에 촬영되는 한 세트의 이미지들을 포함할 수 있다.
예시의 목적을 위해, 3D 패치를 생성하는 일 예시적 프로세스가 이제 설명된다. 먼저, 차량을 특징화하는 특징들(features)은 이미지들의 세트의 각각의 이미지로부터 추출될 수 있다. 예를 들어, 일부 경우들에서, 코너(예를 들어, 2개 이상의 에지들의 교차) 검출 알고리즘은 특징들을 위치시키기 위해 사용될 수 있다. 그 다음, 특징 매칭(feature matching)은 예를 들어, 정규화된 교차-상관을 사용함으로써 매칭된 특징들을 획득하기 위해 세트 내의 상이한 이미지들로부터 추출되는 특징들 사이에서 수행될 수 있다. 일부 경우들에서, 매칭된 특징들은 필터링될 수 있다. 예를 들어, 불일치 함수(discrepancy function)(즉, 특징들의 모션들을 고려하는 특징들의 구조를 보존하는 모션 통계 구조 모델을 설명하는 함수)는 모델에 피팅되지 않고 따라서 아웃라이어들(outliers)로 고려되는 특징들을 필터링하기 위해 사용될 수 있다. 일단 추출된 특징들이 매칭되면(일부 경우들에서 또한 필터링되면), 매칭된 특징들은 매칭된 특징들을 나타내는 3D 포인트들을 획득하기 위해 삼각 측량될 수 있으며, 3D 포인트들은 3D 패치를 구성한다. 삼각 측량은 공지된 포인트들로부터 그것에 삼각형들을 형성함으로써, 예를 들어, 적어도 2개의 이미징 디바이스들로부터 매칭된 특징으로 송신되는 3D 광선들의 교차점을 발견함으로써 포인트의 위치를 결정하는 프로세스를 언급한다. 선택적으로, 각각의 삼각 측량된 특징은 밀집한 3d 재구성을 생성하기 위해 포토 일관성 가정(photo consistency assumption)을 사용하여 가장 가까운 특징들로 확장될 수 있다.
3D 패치 생성은 일부 경우들에서 상술한 이미징 디바이스 구조 및 대응하는 방법론을 사용하여 반드시 구현되어야 할 필요는 없다는 점이 주목되어야 한다. 다른 적합한 구조들 및 방법론들은 상기에 더하여 또는 그 대신에 사용될 수 있다. 예로서, (예를 들어, 스테레오 카메라들, ToF(time-of-flight) 카메라들 등과 같은) 깊이 카메라들(depth cameras)이 사용될 수 있고 깊이 맵이 생성될 수 있다. 다른 예로서, Lidar(즉, light detection and ranging)은 타겟의 디지털 3D 표현들을 만들기 위해 사용될 수 있다. 일부 경우들에서, 그러한 구조들(예를 들어, 깊이 카메라들 또는 Lidar)은 그들이 설정 스테이지에서 이미징 디바이스들과 함께 교정되고 동일한 좌표 시스템에 동의하는 한, 상술된 바와 같은 이미징 디바이스들과 함께 사용될 수 있다. 예를 들어, 그러한 경우들에서, Lidar는 3D 패치 생성을 위해 사용될 수 있고, 이미징 디바이스들로부터의 이미지 데이터는 블록(612)을 참조하여 아래에 설명되는 바와 같이 투영 목적들을 위해 사용될 수 있다.
특정 실시예들에 따르면, 일부 경우들에서, 잡음들을 나타내는 아웃라이어들(outliers)은 (도 7의 블록(705)에서 예시된 바와 같이) 3D 패치들로부터 필터링될 필요가 있다. 이것은 3D 재구성이 매우 잡음이 있는 프로세스이고 상이한 유형들의 잡음들이 결과 3D 패치들에 포함될 수 있기 때문이다. 예시적 목적들을 위해, 이제, 본 개시된 발명 대상에서 별도로 또는 임의의 적합한 조합으로 사용될 수 있는 소수의 필터링 메커니즘들이 아래에 예시되어 있다.
예로서, 3D 패치는 미리결정된 영역(즉, 3D 패치가 생성되고 경계될 것으로 예상되는 경계 상자)에 따라 필터링될 수 있다. 예를 들어, 경계 상자의 외부에 속하는 3D 포인트들은 3D 패치로부터 필터링될 수 있다.
3D 패치의 포인트들과 대응하는 이미징 디바이스들 사이의 거리들을 나타내는 깊이 맵(depth map)은 아웃라이어들을 필터링하기 위해 사용될 수 있다. 깊이 맵은 3D 포인트들을 다시 2D로 투영하고, 이미지 평면 상에서 그것의 'x' 및 'y' 좌표들을 획득하고 포인트의 강도를 그것이 투영된 카메라로부터 3D 포인트의 거리를 나타내는 것으로 설정함으로써 생성될 수 있다. 다른 예로서, 특정 깊이 평활 알고리즘들은 아웃라이어 포인트들을 평활화하거나 제거하기 위해 깊이 맵에 적용될 수 있다. 이것은 예를 들어, 이웃한 포인트들이 비슷하고 아웃라이어 포인트들이 표면 연속성을 만족시키지 않는다는 가정에 기초할 수 있다.
추가 예로서, 연결된 구성요소 분석이 깊이 맵에 적용될 수 있고, 임의의 분리된 구성요소들이 또한 필터링될 수 있다. 다른 추가 예로서, 일부 경우들에서, 캡처된 이미지들은 3D 패치 생성 동안, 또한 재구성될 수 있고 경계 상자 내에 속할 수 있는 배경 영역을 포함할 수 있다. 일부 경우들에서, 특징 매칭 프로세스에서의 특정 에러들로 인해, 재구성된 배경은 차량과 연결된 것으로 보일 수 있다. 이러한 유형의 아웃라이어들을 필터링하기 위해, 전경 마스크(foreground mask)는 깊이 맵 상에 임계값을 적용함으로써 생성될 수 있다. 마스크는 (예를 들어, 그래프-컷과 같은) 특정 그래프-기반 알고리즘들로 더 개선될 수 있다. 개선된 마스크는 3D 패치들에서 픽셀들을 분류하고 그것이 전경 또는 배경 분포에 속하는지 여부를 각각의 픽셀에 대해 판단하기 위해 사용될 수 있다. 예를 들어, 3D 패치들은 전경 마스크 상에 투영될 수 있고 전경에 속하는 임의의 3D 포인트들은 차량에 속하며, 포인트들의 나머지는 아웃라이어들인 것으로 렌더링한다.
3D 재구성 단계 동안 획득되는 3D 패치들은 일부 경우들에서 평탄 표면들의 재구성이 대부분 부족하다는 점이 주목되어야 한다. 예를 들어, 이러한 단계의 출력은 대부분, 예를 들어, 에지들, 코너들 및 고대비 영역들(high contrast areas) 등을 포함하는, 반-밀집한 3D 포인트 클라우드일 수 있다. 누락 정보, 예컨대 표면 및 컬러 정보 등은 블록들(610 및 612)을 참조하여 아래에 설명되는 바와 같이 나중 단계들에서 채워질 수 있다.
또한, 다른 3D 재구성 기술들은 예를 들어, 이미지들로부터 음영 정보를 분해하고 평탄 저대비 영역들(low contrast areas)의 재구성의 프로세스를 용이하게 할 수 있으며, 따라서 보다 개선된 3D 포인트 클라우드를 생성하는 것을 보조할 수 있는 정규 맵들(예를 들어, 포인트 클라우드에서 각각의 포인트를 나타내는 작은 3D 평면들의 방향을 포함하는 맵들)을 추정할 수 있는 기술들과 같은, 상기에 더하여 또는 그 대신에 사용될 수 있다는 점이 주목된다.
상술한 바와 같이, 블록(604)에서 3D 재구성의 출력은 차량이 검사 시스템을 통과함에 따라, 복수의 세그먼트들 및 복수의 시점들에 대응하는 복수의 3D 패치들이다. 이미지들의 세트들 사이의 캡처 시간의 변화로 인해, 이미지들의 세트들 중 적어도 일부는 그들의 범위에서 부분적으로 중첩된다. 따라서, 3D 패치들은 또한 서로의 상단 상에 오버레이되고 광 반사를 갖는 이미지들의 부분들/영역들은 패치들에서 홀들을 야기할 수 있다. 이것은 반사가, 재구성 프로세스에서 잡음의 유형으로서, 상술한 바와 같은 필터링 과정에서 필시 필터링될 수 있기 때문이며, 그것에 의해 패치들이 전체/완전한 3D 모델로 재구성되는 것을 방지한다. 차량들의 표면이 통상적으로 평탄 및 평활하고 따라서 매우 반사적일 수 있다고 가정하면(예를 들어, 거울의 성질과 유사함), 검사 동안 차량에 대해 캡처되는 이미지들은 종종 반사들을 포함하며, 따라서 그것은 차량 모델의 재구성 동안 반사들을 제거하는 것이 기술적으로 매우 어려울 수 있다. 본 개시의 하나의 목표는 추가 상세로 아래에 설명되는 바와 같은, 변환을 적절하게 추정하고 3D 패치들을 등록함으로써 이러한 문제를 해결하는 것이다.
차량의 완전한 3D 재구성을 생성하기 위해, 각각의 3D 패치는 차량 이동에 기초하여 나란히(one next to the other) 배치될 필요가 있다. (상이한 시점들에서 캡처되는 이미지들의 대응하는 세트들로부터 재구성되는) 복수의 3D 패치들은 광 반사에 의해 야기되는 누락 정보를 보상할 수 있도록 하기 위해 적절히 등록될 필요가 있다. 특정 실시예들에 따르면, (복수의 3D 패치들의) 3D 변환은 복수의 시점들에서 이미징 디바이스들의 세트와 차량 사이의 상대적 이동에 기초하여 (예를 들어, 변환 추정 모듈(106)에 의해) 추정될 수 있다(606). 등록은 추정된 3D 변환을 사용하여 수행될 수 있다.
이동은 차량과 이미징 디바이스들의 세트 사이에서 상대적이므로, 일부 실시예들에서, 이동 차량의 추적은 이동하는 이미징 디바이스들의 추적에 의해 (즉, 이미징 디바이스들의 세트가 마치 정지 차량에 대해 이동하는 것과 같이) 실현될 수 있다. 따라서, 시간 내의 이미징 디바이스들의 구조(예를 들어, 카메라들의 세트의 위치 및 방향)의 3D 변환은 (도 7의 블록(706)에서 예시된 바와 같이) 식별될 수 있으며, 이는 이미징 디바이스들의 세트에 의해 캡처되는 이미지들의 세트들에서 상호 특징들(mutual features)의 변환과 동일하다. 3D 변환은 교정이 설정 동안 수행될 때 리지드(rigid) 변환을 언급할 수 있거나, 교정이 설정 동안 수행되지 않고 런타임에서 재구성 동안에만 수행될 때 아핀(Affine) 변환을 언급할 수 있다. 리지드 변환은 회전 및 병진(translation)을 포함하는, 모든 쌍의 포인트들 사이의 유클리드 거리를 보존하는 유클리드 공간에서의 기하학적 변환을 언급한다. 예를 들어, 임의의 적절한 리지드 변환은 회전 다음에 병진이 이어지는 것으로서 분해될 수 있다.
이제, 변환 추정을 수행하는 일 예가 예시된다. 먼저, 차량을 특징화하는 특징들은 복수의 세트들의 이미지들 각각으로부터 추출될 수 있다. 상술한 바와 같은 유사 특징 추출 방법들, 및/또는 일부 더 복잡한 방법들이 이러한 목적을 위해 사용될 수 있다. 예로서, (상이한 관점들로 인해 상이한 시점들에서 변할 수 있는) 특징들의 스케일 및 방향을 또한 결정할 수 있는 특징 추출의 특정 방법들은 추출된 특징들의 더 많은 정보를 획득하기 위해 사용될 수 있다. 예를 들어, 그러한 방법들 중 하나는 예를 들어, 상이한 이미지 스케일들의 코너들과 같은 특징들을 (예를 들어, 이미지들을 스케일링함으로써) 찾고 특징들의 방향을 결정하기 위해 이웃한 영역에서 특징들의 이웃한 픽셀들 및 2차 구배들을 또한 검토한다. 특징들의 2D 좌표들은 2D 이차 함수를 피팅시키고 최대값을 발견함으로써 서브-픽셀 정확도로 추정될 수 있다. 일부 경우들에서, 이진 디스크립터(binary descriptor)는 이진 스트링(binary string)을 사용하여 특징 외관(feature appearance)을 인코딩하는 방법을 사용하여, 각각의 특징에 대해 생성될 수 있다.
특징(feature) 추출 다음에, 로컬 3D 변환은 2개의 대응하는 시점들에서 중첩 및 캡처되는 2개의 세트들의 이미지들의 각각의 선택된 쌍 사이에서 추정될 수 있다. 추정은 추출된 특징들로부터 선택되는 상호 특징들을 추적하는 것에 기초하여 수행될 수 있다. 일부 경우들에서, 선택되는 2개의 세트들의 이미지들은 2개의 연속적인 시점들에서 캡처되지만, 이것이 반드시 그러한 것은 아니다. 예를 들어, 시간 t 및 시간 t+5에서 캡처되는 이미지들은 그들이 중첩된 부분을 공유하는 한 로컬 3D 추정을 추정하기 위해 선택될 수 있다. 특정 실시예들에 따르면, 2개의 대응하는 시점들에서 중첩 및 캡처되는 각각의 2개의 세트들의 이미지들에 대한 로컬 변화는 다음과 같이 추정될 수 있다.
먼저, 특징 매칭은 매칭된 특징들의 각각의 세트들을 획득하기 위해, 2개의 세트들의 이미지들의 각각의 세트 내의 상이한 이미지들로부터 추출되는 특징들 사이에서 그리고 2개의 세트들로부터의 대응하는 이미지들 사이에서 수행될 수 있다. 예로서, 특징 매칭은 (예를 들어, 특징들 사이의 최소 해밍(Hamming) 거리를 계산함으로써) 억지 기법(brute-force) 매칭을 사용하여 수행될 수 있다. 일부 경우들에서, 초기 매칭된 특징들은 추가로 필터링될 필요가 있는 더 큰 백분률의 아웃라이어들을 포함할 수 있다. 이러한 목적을 위해, 아웃라이어들을 통계적으로 필터링하기 위해 특징들의 이웃한 정보를 이용하는 그리드-기반(grid-based) 모션 통계 방법이 사용될 수 있다. 추출된 특징들이 리지드(rigid)인 것을 고려하면, 특징들의 패턴, 구조 및/또는 순서는 필터레이션(filtration)을 위해 식별되고 사용될 수 있다. 설명적이고 예시적인 목적들을 위해, 3개의 세트들의 매칭된 특징들이 생성될 수 있다: 시간 t에서 상이한 카메라들에 의해 캡처되는 이미지들 사이의 매칭된 특징들을 포함하는 매치 세트 A, 시간 t+1에서 상이한 카메라들에 의해 캡처되는 이미지들 사이의 매칭된 특징들을 포함하는 매치 세트 B, 및 시간 t 및 t+1에서 2개의 세트들로부터의 대응하는 이미지들(즉, 동일한 카메라에 의해 캡처되는 이미지들) 사이의 매칭된 특징들을 포함하는 매치 세트 C.
매칭된 특징들의 각각의 세트들 중에서 상호 특징들(Mutual features)이 선택될 수 있다(본 예에서, 모든 3개의 세트들의 상호 매치들 -
Figure 112020107601988-pct00001
). 각각의 이미지 세트의 상호 특징들은 삼각 측량될 수 있어서(예를 들어, A 및 B의 상호 특징들은 각각의 시점들에서 상이한 카메라들의 이미지들로부터의 2D 정보 및 교정 정보를 사용하여 3D로 각각 삼각 측량될 수 있음), 2개의 세트들의 이미지들에서 상호 특징들을 나타내는 한 쌍의 3D 특징 세트들을 발생시킨다. 3D 특징 세트들의 쌍은 동일한 사이즈를 갖고 상이한 시점들에서 동일한 특징들을 나타낸다. 선택적으로, 3D 특징 세트들은 예를 들어, 상술한 바와 같은 경계 상자를 사용하여 다시 필터링될 수 있다. 특징들의 리지드 모션(rigid motion)으로 인해, 그들은 또한 거리들에 의해 필터링될 수 있다. 예를 들어, 거리들은 구형 클러스터로 피팅될 수 있는 대응하는 특징들 사이에서 계산될 수 있다. 구형 클러스터 외부에 놓여 있는 임의의 특징은 아웃라이어들로서 간주될 수 있고, 따라서 필터링될 수 있다. 일단 특징들이 매칭 및 필터링되면, 2개의 세트들의 이미지들 사이(즉, 2개의 시점들 사이)의 로컬 리지드 변환은 3D 특징 세트들의 쌍 사이의 이동(예를 들어, 회전 및 병진)을 추적함으로써 추정될 수 있다. 예로서, 리지드 변환 행렬(matrix)은 예를 들어, 특징들 사이의 공분산 행렬(covariance matrix )에 기초하여 변환을 추정하기 위해 생성될 수 있다.
일단 중첩되는 이미지들의 2개의 세트들의 각각의 선택된 쌍 사이의 로컬 3D 변환이 추정되면, 모든 로컬 변환들은 복수의 시점들(예를 들어, t=0 내지 t=n) 동안 3D 변환의 체인(또한 3D 변환으로서 본원에 언급됨)에 집계될 수 있다. 일부 경우들에서, 추가 필터레이션이 3D 변환에 적용될 수 있다. 예로서, 중간 필터링(median filtering)은 아웃라이어들을 제거하기 위해 변환에 적용될 수 있다. 추가적으로 또는 대안적으로, 모션 함수는 평활화 목적들을 위해 변환에 피팅될 수 있다.
추정된 3D 변환을 사용하여, 복수의 3D 패치들은 (예를 들어, 패치 등록 모듈(108)에 의해) 등록될 수 있으며(608) 그것에 의해 차량의 복합 3D 포인트 클라우드를 발생시킨다. 등록은 또한 도 7에서 707로서 예시된다. 등록 동안, 각각의 3D 패치는 그것의 계산된 변환에 따라 변환될 수 있고, 3D 패치들이 모두 변환되고 차례로 정렬될 때, 복합 3D 포인트 클라우드가 생성된다. 일부 실시예들에서, 추가적인 등록이 적용될 수 있어서, 보다 미세한 등록을 추구한다. 예를 들어, 포인트-클라우드들의 중첩 형상들 사이의 차이들을 반복적으로 최소화하도록 시도하는 ICP(Iterative Closest Point) 알고리즘(또는 그 변형들)이 사용될 수 있다.
복합 3D 포인트 클라우드는 차량 검사를 위한 차량의 차량 모델을 재구성하기 위해 사용될 수 있다. 복수의 세트들의 이미지들 중 적어도 일부에 포함되는 광 반사는 재구성된 차량 모델로부터 제거될 수 있으며, 이는 상술한 바와 같은 패치들의 변환 및 등록의 추정에 의해 적어도 달성된다.
거리 모델을 패치들 사이에 단순히 피팅시키고 형상 매칭을 포인트 클라우드들 사이에서 수행하도록 시도하는 특정 등록 방법들과 비교하여, 본 개시는 3D 패치들 상에 적용될 변환 규칙을 추정하기 위해 이미지들로부터 추출되는 특별히 선택된 상호 특징들을 추적하는 추적 시스템을 구현한다. 이것은 보다 정확한 등록을 제공하고, 3D 포인트 클라우드들에서 모든 포인트들의 등록을 수행하는 것 보다 계산적으로 보다 효율적일 수 있다.
특정 실시예들에 따르면, 일단 복합 3D 포인트 클라우드가 획득되면, 차량의 표면을 나타내는 3D 메쉬는 복합 3D 포인트 클라우드에 기초하여 (예를 들어, 메싱 모듈(110)에 의해) 생성될 수 있다(610). 3D 메쉬는 복합 3D 포인트 클라우드에서 이웃한 포인트들의 각각의 그룹(예를 들어, 3개 한 벌의 이웃한 포인트들)에 대해 로컬 표면(페이스(face)로서 언급됨)을 피팅시킴으로써 생성될 수 있다. 일부 경우들에서, 추가 필터레이션은 복합 포인트 클라우드가 양호한 메싱을 수행하기에 여전히 너무 잡음이 있을 수 있기 때문에 (도 7을 언급 시 708에 예시되는 바와 같이) 수행될 수 있다. 예로서, 필터레이션을 수행하기 위해, 전체 포인트 클라우드는 예를 들어, 차량의 상이한 측면들에 대응하는 상이한 표면들로 클러스터링될 수 있다. 표면 함수는 각각의 표면에 피팅될 수 있다. 이러한 표면에 대응하지 않는 임의의 포인트들은 필터링될 수 있다. 상이한 표면 클러스터들은 전체 차량에 다시 결합될 수 있고 통계 필터링은 표면들을 더 평활화시키기 위해 적용될 수 있다.
일부 실시예들에서, 3D 포인트 클라우드는 그 다음, 메쉬에서 정점들(즉, 코너 포인트들 또는 각진 포인트들)의 균등-스프레드(even-spread)를 생성하기 위해 균일하게 샘플링될 수 있다. 표면 재구성 방법과 같은 메싱 방법을 사용하여, 3D 메쉬는 서브-샘플링된 정점들로부터 생성될 수 있다. 일부 경우들에서, 이러한 메쉬는 그 안에 포함되는 적은 수의 정점들로 인해 "저해상도 메쉬(low resolution mesh)"로서 간주될 수 있다(709). 그러나, 그것은 차량 메쉬 재구성의 가까운 근사치이다. 복합 3D 포인트 클라우드는 그 다음, 저해상도 메쉬로 개선될 수 있다. 3D 포인트 클라우드의 각각의 포인트는 메쉬에서 가장 가까운 정점을 찾고, 포인트와 가장 가가운 정점 사이의 거리가 임계값보다 더 크면, 포인트는 메쉬의 가장 가까운 정점의 좌표들의 t와 함께 할당된다(710). 그렇지 않으면, 포인트는 그대로 유지된다. 다음으로, 포인트 클라우드는 이번에는 더 높은 해상도로, 균일하게 다시 한번 서브-샘플링될 수 있고 포인트 클라우드는 고해상도 메쉬로 재-메싱될 수 있다(711). 메쉬 상의 표면 평활화 기술들이 적용되어, 전체 차량의 3D 메쉬를 발생시킨다. 이러한 단계까지, 컬러 정보는 여전히 누락되지만, 3D 메쉬의 기하구조는 차량 표면들을 만족시킨다.
3D 변환을 사용하여, 복수의 시점들에서 이미징 디바이스들의 세트의 가상 위치들이 추정될 수 있다. 가상 위치들은 복수의 시점들에서 상대적 이동에 따른 이미징 디바이스의 조정된 위치들을 나타낸다. 예를 들어, 이미징 디바이스 구조(예를 들어, 위치들 및 방향)는 추적되고, 각각의 세그먼트에 대응하고 3D 메쉬와 정렬하는 각각의 시점에 대한 이미징 디바이스 구조가 획득될 수 있다.
선택적으로, 음영 인식 조명 모델은 메쉬의 정점들의 표면 최적화 및 개선을 위해 사용될 수 있다. 선택적으로, 이미지들로부터의 추출된 특징들 및 전체 시퀀스의 조정 위치들을 사용하여, 특징들은 3D 메쉬로 투영될 수 있고 그 다음, 재-투영 에러를 최소화하고 카메라 조정 파라미터들을 고정시키기 위해 이미지들로 다시 투영될 수 있다. 이것은 필요한 것은 아니지만, 이것은 메쉬의 더 미세한 텍스처링을 산출할 수 있다.
차량의 컬러 정보가 3D 메쉬 상으로 투영될 수 있다(612). 컬러 정보는 복수의 세트들의 이미지들 및 이미징 디바이스들의 세트의 가상 위치들에 기초하여 결정될 수 있다. 예로서, 페이스들(faces)의 컬러들은 페이스들을 "보는" 카메라에 기초하여 3D 메쉬에 이미지들을 투영함으로써 산출될 수 있고(712), 컬러 정보는 예를 들어, "반사들"로서 간주되는 포화된 컬러를 배제하는, 컬러들의 가중된(예를 들어, 가중치들은 카메라로부터의 거리에 따를 수 있음) 평균에 의해 결정될 수 있다(713):
Figure 112020107601988-pct00002
. 따라서, 컬러 정보를 갖는 차량의 3D 모델이 생성될 수 있다(714).
요청된 가상 뷰들/가상 카메라들은 3D 모델로부터 합성 이미지들을 렌더링하고(716) 그들을 로컬 또는 클라우드 저장장치에 저장시키는 프로세스에 입력된다(715). 저장장치로로부터, 데이터는 사용자에게 제시하기 위해(717) 사용자 인터페이싱 소프트웨어에 이용가능하다.
가상 뷰들을 갖는 3D 메쉬 및/또는 3D 모델은 예를 들어, 균열, 스크랩들, 벌지들(bulges), 절단들, 스낵들(snags), 천공들, 이물질들, 또는 일상의 사용에서 기인하는 다른 손상 등과 같은 잠재적인 손상들 및 열화(deterioration)를 나타낼 수 있는 임의의 이상(anomaly)을 포함하는, 차량의 이상들을 식별하기 위해 사용될 수 있다. 3D 메쉬 및/또는 3D 모델에서 광 반사의 제거로 인해, 이전에 발견되지 않을 수 있는 이상들이 이제 밝혀질 수 있다. 게다가, 차량 상의 이상들의 정확한 위치들이 위치될 수 있다. 예를 들어, 상이한 이미지들로부터 검출되는 동일한 스크래치들과 같은 반복된 이상들은 식별 및 제거될 수 있으며, 그것에 의해 더 양호한 검출 결과들을 렌더링한다.
도 8a 내지 도 8e는 본 개시된 발명 대상의 특정 실시예들에 따른 반사 제거의 일 예이다.
도 8a에서, (원으로 마킹된) 반사를 갖는 차량 세그먼트의 캡처된 이미지의 프리젠테이션이 있다. 도 8b는 도 8a로부터의 이미지에 대응하는 포인트 클라우드의 3D 패치를 예시한다. 포인트 클라우드는 반사가 위치되는 차량의 부분에 대응하는 홀을 갖는다는 것을 알 수 있다. 도 8c에서, (원으로 마킹된) 도 8a에서 반사를 겪는 영역에 반사가 없는 차량 세그먼트의 캡처된 이미지의 프리젠테이션이 있다. 이러한 이미지는 동일한 이미징 디바이스에 의해 상이한 시점에서 촬영되며, 따라서 영역과 이미징 디바이스 사이의 상이한 상대 위치/관점에 관련된 상이한 조명 조건 하에서 캡처된다. 도 8d는 도 8c로부터의 이미지에 대응하는 포인트 클라우드의 3D 패치를 예시한다. 도 8b에 도시된 바와 같은 홀을 갖기 위해 사용되는 포인트 클라우드의 영역이 3D 포인트들로 채워진 것을 알 수 있다. 도 8e는 홀들을 갖지 않는 복합 3D 포인트 클라우드를 야기하는 (도 8b 및 도 8d로부터의) 포인트 클라우드의 두 3D 패치들의 조합을 도시하며, 그것에 의해 반사를 효과적으로 제거한다.
도 9a 내지 도 9d는 본 개시된 발명 대상의 특정 실시예들에 따른 시간 도메인에서 포인트 클라우드들의 3D 패치들의 추적 및 등록의 일 예를 예시한다.
도 9a는 특정 시점(예를 들어, t=n)에서 촬영되는, 미리결정된 영역(예를 들어, 경계 상자)에 의해 경계되는 포인트 클라우드의 3D 패치의 프리젠테이션이다. 도 9b는 차량이 시스템을 따라 더 나아간 후 특정 시점(예를 들어, t=n+1)에서 촬영된, 미리결정된 영역에 의해 경계되는 포인트 클라우드의 3D 패치의 프리젠테이션이다. 도 9c는 3D 패치들에 기초하여 미리결정된 영역에 의해 경계되는 시간에서 생성되는 복합 3D 포인트 클라우드를 도시한다. 도 9d에서, 미리결정된 영역 제약은 제거되고, 포인트 클라우드 패치들은 전체 차량의 복합 3D 포인트 클라우드를 달성하기 위해 3D 변환을 추정함으로써 등록된다.
도 10은 본 개시된 발명 대상의 특정 실시예들에 따른 각각의 시간 스탬프에서 추적된 카메라들의 표현으로 차량에 대해 생성되는 3D 메쉬를 예시한다.
이전에 설명된 바와 같이, 본 개시의 특정 실시예들은 이동 차량 대신에 이동 카메라들을 역 가정하며, 이는 카메라들(예를 들어, 각각의 세그먼트에 대응하고 3D 메쉬와 정렬하는 각각의 시점에 대한, 예를 들어, 위치들 및 방향과 같은, 카메라 구조)을 추적하는 것 및 모든 3D 패치들을 함께 등록하기 위해 변환을 추정하는 것을 가능하게 한다. 복수의 시점들에서 이미징 디바이스들의 세트의 가상 위치들은 도 10에 예시되며, 이는 3D 변환을 사용하여 추정된다.
예시의 목적을 위해, 도 11a는 가상 3D 좌표 시스템에서 경계 상자 및 카메라들에 대해 재구성된 3D 패치의 일 예를 예시하고, 도 11b는 본 개시된 발명 대상의 특정 실시예들에 따른 메쉬화되고 컬러화된 3D 패치를 예시한다.
도 12는 본 개시된 발명 대상의 특정 실시예들에 따른 가상 뷰들로부터 생성되는 합성 차량 이미지들의 5개의 상이한 예들을 예시한다. 이들 합성 이미지들은 그들이 마치 이미징 디바이스들이 실제로 위치되는 곳과 다른 관점들로부터 촬영되는 것과 같이 재구성된 3D 모델에 따라 생성된다.
본 설명에서 검사 시스템 및 이미지 처리의 구조, 포지셔닝 및 구성을 참조하여 설명되는 예들 및 실시예들은 결코 모든 가능한 대안들을 포함하지 않지만 비-제한 예들 만을 예시하도록 의도된다는 것이 이해된다.
본 발명은 그것의 응용에서 본원에 포함되거나 도면들에 예시되는 설명에서 진술되는 상세들에 제한되지 않는다는 것이 이해되어야 한다. 본 발명은 다른 실시예들이 가능하고 다양한 방식들로 실시 및 수행되는 것이 가능하다. 따라서, 본원에 이용되는 어법 및 용어는 설명을 위한 것이고 제한으로서 간주되지 않아야 한다는 것이 이해되어야 한다. 이와 같이, 당업자들은 본 개시가 기초하는 개념이 본 개시된 발명 대상의 수 개의 목적들을 실시하기 위한 다른 구조들, 방법들, 및 시스템들을 설계하기 위한 기본으로서 쉽게 이용될 수 있다는 점을 이해할 것이다.
또한, 본 발명에 따른 시스템은 적어도 부분적으로, 적합하게 프로그래밍된 컴퓨터 상에서 구현될 수 있다는 것이 이해될 것이다. 마찬가지로, 본 발명은 본 발명의 방법을 실행하기 위한 컴퓨터에 의해 판독가능한 컴퓨터 프로그램을 고려한다. 본 발명은 본 발명의 방법을 실행하기 위한 컴퓨터에 의해 실행가능한 명령들의 프로그램을 유형적으로 구체화하는 비-일시적 컴퓨터 판독가능 메모리 또는 저장 매체를 더 고려한다.
프로세서가 본 발명의 양태들을 실행하게 하는 비-일시적 컴퓨터 판독가능 저장 매체는 명령 실행 디바이스에 의해 사용하기 위한 명령들을 유지 및 저장할 수 있는 유형의 디바이스일 수 있다. 컴퓨터 판독가능 저장 매체는 예를 들어, 전자 저장 디바이스, 자기 저장 디바이스, 광 저장 디바이스, 전자기 저장 디바이스, 반도체 저장 디바이스, 또는 전술한 것의 임의의 적합한 조합일 수 있지만, 이에 제한되지 않는다.
당업자들은 다양한 수정들 및 변경들이 첨부된 청구항들에 그리고 이에 의해 정의되는 그것의 범위로부터 벗어나는 것 없이 위에 설명된 바와 같은 본 발명의 실시예들에 적용될 수 있다는 점을 쉽게 이해할 것이다.

Claims (31)

  1. 차량 검사의 컴퓨터화된 방법에 있어서,
    한 세트의 다수의 이미징 디바이스들로부터, 차량의 표면의 복수의 세그먼트들을 캡처하는 복수의 세트들의 다수의 이미지들을 획득하는 단계 - 상기 한 세트의 다수의 이미징 디바이스들은 상기 차량이 통과하는 검사 통로의 적어도 하나의 측면 상에 위치되고 미리결정된 영역에 대응하는 시야(Field of View; FOV)를 커버하도록 배향되고, 상기 복수의 세트들의 다수의 이미지들은 상기 차량과 상기 한 세트의 다수의 이미징 디바이스들 사이의 상대적 이동 동안 복수의 시점들에서 캡처되며, 따라서: i) 각각의 세트의 다수의 이미지들은 각각의 시점에서 상기 미리결정된 영역 내에 속하는 각각의 세그먼트를 캡처하고, ii) 상기 복수의 세트들의 다수의 이미지들에 캡처되는 상기 복수의 세그먼트들은 상기 복수의 세그먼트들 중 적어도 일부의 각각의 주어진 표면 포인트가 적어도 2개의 세트들의 다수의 이미지들에서 적어도 2개의 시점들에 캡처되는 그러한 방식으로 부분적으로 중첩되며, 상기 적어도 2개의 세트들의 다수의 이미지들에서 캡처되는 상기 주어진 표면 포인트는 상기 2개의 시점들에서 상기 주어진 표면 포인트와 상기 한 세트의 다수의 이미징 디바이스들 사이의 상이한 상대 위치들에 관련된 상이한 조명 조건들 하에서 마치 캡처되는 것과 같음 -;
    각각의 주어진 시점에 대해, 상기 주어진 시점에서 대응하는 세그먼트를 캡처하는 한 세트의 다수의 이미지들을 사용하여 3D 패치 - 상기 3D 패치는 상기 대응하는 세그먼트에서 대응하는 표면 포인트들을 나타내는 3D 포인트들의 포인트 클라우드를 포함함 -를 생성하여, 상기 복수의 시점들 및 상기 복수의 세그먼트들에 대응하는 복수의 3D 패치들을 발생시키는 단계;
    상기 복수의 시점들에서 상기 한 세트의 다수의 이미징 디바이스들과 상기 차량 사이의 상기 상대적 이동에 기초하여 상기 복수의 3D 패치들의 3D 변환을 추정하는 단계; 및
    상기 추정된 3D 변환을 사용하여 상기 복수의 3D 패치들을 등록함으로써 상기 차량의 복합 3D 포인트 클라우드를 발생시키는 단계 - 상기 복합 3D 포인트 클라우드는 상기 복수의 세트들의 다수의 이미지들 중 적어도 일부에 포함되는 광 반사가 그로부터 제거되는 상기 차량의 3D 메쉬 및/또는 3D 모델을 재구성하기 위해 사용가능하되, 상기 3D 메쉬 및/또는 3D 모델은 차량 검사를 위해 사용가능함 -를 포함하며;
    상기 추정 단계는:
    상기 복수의 세트들의 다수의 이미지들 각각으로부터 상기 차량을 특징화하는 특징들(features)을 추출하는 단계;
    각각의 세트들의 매칭된 특징들을 획득하기 위해 상기 2개의 세트들의 다수의 이미지들의 각각의 세트 내의 상이한 이미지들로부터 추출되는 특징들 사이에서 그리고 상기 2개의 세트들로부터의 대응하는 이미지들 사이에서 특징 매칭을 수행하는 단계;
    상기 각각의 세트들의 매칭된 특징들 중에서 상호 특징들을 선택하는 단계;
    각각의 세트의 다수의 이미지들 내의 상기 상호 특징들을 삼각 측량하여, 상기 2개의 세트들의 다수의 이미지들에서 상기 상호 특징들을 나타내는 한 쌍의 3D 특징들을 발생시키는 단계; 및
    상기 한 쌍의 3D 특징 세트들 사이의 이동을 추적함으로써 상기 2개의 세트들의 다수의 이미지들 사이의 로컬 3D 변환을 추정하는 단계를 포함하는, 2개의 대응하는 시점들에서 중첩 및 캡처되는 2개의 세트들의 다수의 이미지들의 각각의 선택된 쌍 사이의 로컬 3D 변환을 추정하는 단계; 및
    상기 복수의 시점들 동안 3D 변환에 대한 상기 로컬 3D 변환을 집계하는 단계를 포함하는, 컴퓨터화된 방법.
  2. 제1항에 있어서,
    상기 i)에서, 상기 각각의 시점에서, 상기 각각의 세그먼트의 각각의 표면 포인트는 상기 한 세트의 다수의 이미징 디바이스들 중 적어도 2개의 이미징 디바이스들에 의해 캡처되는, 컴퓨터화된 방법.
  3. 제1항에 있어서,
    상기 복수의 3D 패치들을 발생시키는 단계는:
    상기 한 세트의 다수의 이미지들 중 각각의 이미지로부터 상기 차량을 특징화하는 특징들을 추출하는 단계;
    매칭된 특징들을 획득하기 위해 상기 세트 내의 상이한 이미지들로부터 추출되는 특징들 사이의 특징 매칭을 수행하는 단계; 및
    상기 매칭된 특징들을 나타내는 3D 포인트들 - 상기 3D 포인트들은 3D 패치를 구성함 -을 획득하기 위해 상기 매칭된 특징들을 삼각 측량하는 단계를 포함하는, 컴퓨터화된 방법.
  4. 제3항에 있어서,
    다음의 필터링 메커니즘들: 즉, 상기 미리결정된 영역의 경계, 깊이 평활 알고리즘, 연결된 구성요소 분석, 및 전경 및 배경 분류 중 하나 이상에 기초하여 상기 3D 패치로부터 아웃라이어들(outliers)을 필터링하는 단계를 더 포함하는, 컴퓨터화된 방법.
  5. 제1항에 있어서,
    상기 복합 3D 포인트 클라우드에 기초하여 상기 차량의 상기 표면을 나타내는 3D 메쉬를 생성하는 단계를 더 포함하며, 상기 3D 메쉬는 상기 복합 3D 포인트 클라우드에서 이웃한 포인트들의 각각의 그룹에 대해 로컬 표면을 피팅시킴으로써 생성되는, 컴퓨터화된 방법.
  6. 제5항에 있어서,
    표면 함수를 사용하여 상기 복합 3D 포인트 클라우드를 필터링하는 단계를 더 포함하며, 상기 3D 메쉬는 상기 필터링된 복합 3D 포인트 클라우드에 기초하여 생성되는, 컴퓨터화된 방법.
  7. 제5항에 있어서,
    상기 3D 변환에 기초하여 상기 복수의 시점들에서 상기 한 세트의 다수의 이미징 디바이스들의 가상 위치들 - 상기 가상 위치들은 상기 복수의 시점들에서 상기 상대적 이동에 따른 상기 이미징 디바이스들의 조정된 위치들을 나타냄 -을 추정하는 단계; 및
    상기 3D 메쉬 상에 상기 차량의 컬러 정보 - 상기 컬러 정보는 상기 복수의 세트들의 다수의 이미지들 및 상기 한 세트의 다수의 이미징 디바이스들의 상기 가상 위치들에 기초하여 결정됨 -를 투영하여, 상기 차량의 3D 모델을 발생시키는 단계를 더 포함하는, 컴퓨터화된 방법.
  8. 제7항에 있어서,
    상기 차량의 상기 3D 모델을 사용하여 상기 차량의 하나 이상의 가상 뷰들을 렌더링하는 단계를 더 포함하며, 상기 3D 메쉬 및/또는 상기 3D 모델 및/또는 상기 하나 이상의 가상 뷰들은 상기 차량의 상기 표면 상의 이상들(anomalies)을 식별하기 위해 사용가능한, 컴퓨터화된 방법.
  9. 컴퓨터화된 차량 검사 시스템에 있어서, 상기 시스템은 프로세서 및 메모리 회로(processor and memory circuitry; PMC)를 포함하며, 상기 프로세서 및 메모리 회로(PMC)는:
    한 세트의 다수의 이미징 디바이스들로부터, 차량의 표면의 복수의 세그먼트들을 캡처하는 복수의 세트들의 다수의 이미지들을 획득하고 - 상기 한 세트의 다수의 이미징 디바이스들은 상기 차량이 통과하는 검사 통로의 적어도 하나의 측면 상에 위치되고 미리결정된 영역에 대응하는 시야(Field of View; FOV)를 커버하도록 배향되고, 상기 복수의 세트들의 다수의 이미지들은 상기 차량과 상기 한 세트의 다수의 이미징 디바이스들 사이의 상대적 이동 동안 복수의 시점들에서 캡처되며, 따라서: i) 각각의 세트의 다수의 이미지들은 각각의 시점에서 상기 미리결정된 영역 내에 속하는 각각의 세그먼트를 캡처하고, ii) 상기 복수의 세트들의 다수의 이미지들에 캡처되는 상기 복수의 세그먼트들은 상기 복수의 세그먼트들 중 적어도 일부의 각각의 주어진 표면 포인트가 적어도 2개의 세트들의 다수의 이미지들에서 적어도 2개의 시점들에 캡처되는 그러한 방식으로 부분적으로 중첩되며, 상기 적어도 2개의 세트들의 다수의 이미지들에서 캡처되는 상기 주어진 표면 포인트는 상기 2개의 시점들에서 상기 주어진 표면 포인트와 상기 한 세트의 다수의 이미징 디바이스들 사이의 상이한 상대 위치들에 관련된 상이한 조명 조건들 하에서 마치 캡처되는 것과 같음 -;
    각각의 주어진 시점에 대해, 상기 주어진 시점에서 대응하는 세그먼트를 캡처하는 한 세트의 다수의 이미지들을 사용하여 3D 패치 - 상기 3D 패치는 상기 대응하는 세그먼트에서 대응하는 표면 포인트들을 나타내는 3D 포인트들의 포인트 클라우드를 포함함 -를 생성하여, 상기 복수의 시점들 및 상기 복수의 세그먼트들에 대응하는 복수의 3D 패치들을 발생시키고;
    상기 복수의 시점들에서 상기 한 세트의 다수의 이미징 디바이스들과 상기 차량 사이의 상기 상대적 이동에 기초하여 상기 복수의 3D 패치들의 3D 변환을 추정하고;
    상기 추정된 3D 변환을 사용하여 상기 복수의 3D 패치들을 등록함으로써 상기 차량의 복합 3D 포인트 클라우드 - 상기 복합 3D 포인트 클라우드는 상기 복수의 세트들의 다수의 이미지들 중 적어도 일부에 포함되는 광 반사가 그로부터 제거되는 상기 차량의 3D 메쉬 및/또는 3D 모델을 재구성하기 위해 사용가능하되, 상기 3D 메쉬 및/또는 3D 모델은 차량 검사에 대해 사용가능함 -를 발생시키도록 구성되며;
    상기 PMC는:
    상기 복수의 세트들의 다수의 이미지들 각각으로부터 상기 차량을 특징화하는 특징들(features)을 추출하고;
    각각의 세트들의 매칭된 특징들을 획득하기 위해 상기 2개의 세트들의 다수의 이미지들의 각각의 세트 내의 상이한 이미지들로부터 추출되는 특징들 사이에서 그리고 상기 2개의 세트들로부터의 대응하는 이미지들 사이에서 특징 매칭을 수행하는 것;
    상기 각각의 세트들의 매칭된 특징들 중에서 상호 특징들을 선택하는 것;
    각각의 세트의 다수의 이미지들 내의 상기 상호 특징들을 삼각 측량하여, 상기 2개의 세트들의 다수의 이미지들에서 상기 상호 특징들을 나타내는 한 쌍의 3D 특징들을 발생시키는 것; 및
    상기 한 쌍의 3D 특징 세트들 사이의 이동을 추적함으로써 상기 2개의 세트들의 다수의 이미지들 사이의 로컬 3D 변환을 추정하는 것을 포함하는, 2개의 대응하는 시점들에서 중첩 및 캡처되는 2개의 세트들의 다수의 이미지들의 각각의 선택된 쌍 사이의 로컬 3D 변환을 추정하고;
    상기 복수의 시점들 동안 3D 변환에 대한 상기 로컬 3D 변환을 집계함으로써 상기 3D 변환을 추정하도록 구성되는, 컴퓨터화된 차량 검사 시스템,
  10. 제9항에 있어서,
    상기 i)에서, 상기 각각의 시점에서, 상기 각각의 세그먼트의 각각의 표면 포인트는 상기 한 세트의 다수의 이미징 디바이스들 중 적어도 2개의 이미징 디바이스들에 의해 캡처되는, 컴퓨터화된 차량 검사 시스템.
  11. 제9항에 있어서,
    상기 PMC는:
    상기 한 세트의 다수의 이미지들 중 각각의 이미지로부터 상기 차량을 특징화하는 특징들을 추출하고;
    매칭된 특징들을 획득하기 위해 상기 세트에서 상이한 이미지들로부터 추출되는 특징들 사이의 특징 매칭을 수행하고;
    상기 매칭된 특징들을 나타내는 3D 포인트들 - 상기 3D 포인트들은 3D 패치를 구성함 -을 획득하기 위해 상기 매칭된 특징들을 삼각 측량함으로써 3D 패치를 생성하도록 구성되는, 컴퓨터화된 차량 검사 시스템.
  12. 제11항에 있어서,
    상기 PMC는 다음의 필터링 메커니즘들: 즉, 상기 미리결정된 영역의 경계, 깊이 평활 알고리즘, 연결된 구성요소 분석, 및 전경 및 배경 분류 중 하나 이상에 기초하여 상기 3D 패치로부터 아웃라이어들(outliers)을 필터링하도록 더 구성되는, 컴퓨터화된 차량 검사 시스템.
  13. 제9항에 있어서,
    상기 PMC는 상기 복합 3D 포인트 클라우드에 기초하여 상기 차량의 상기 표면을 나타내는 3D 메쉬를 생성하도록 더 구성되며, 상기 3D 메쉬는 상기 복합 3D 포인트 클라우드에서 이웃한 포인트들의 각각의 그룹에 대해 로컬 표면을 피팅시킴으로써 생성되는, 컴퓨터화된 차량 검사 시스템.
  14. 제13항에 있어서,
    상기 PMC는 표면 함수를 사용하여 상기 복합 3D 포인트 클라우드를 필터링하도록 더 구성되며, 상기 3D 메쉬는 상기 필터링된 복합 3D 포인트 클라우드에 기초하여 생성되는, 컴퓨터화된 차량 검사 시스템.
  15. 제13항에 있어서,
    상기 PMC는:
    상기 3D 변환에 기초하여 상기 복수의 시점들에서 상기 한 세트의 다수의 이미징 디바이스들의 가상 위치들 - 상기 가상 위치들은 상기 복수의 시점들에서 상기 상대적 이동에 따른 상기 이미징 디바이스들의 조정된 위치들을 나타냄 -을 추정하고;
    상기 3D 메쉬 상에 상기 차량의 컬러 정보 - 상기 컬러 정보는 상기 복수의 세트들의 다수의 이미지들 및 상기 한 세트의 다수의 이미징 디바이스들의 상기 가상 위치들에 기초하여 결정됨 -를 투영하여, 상기 차량의 3D 모델을 발생시키도록 더 구성되는, 컴퓨터화된 차량 검사 시스템.
  16. 제15항에 있어서,
    상기 PMC는 상기 차량의 상기 3D 모델을 사용하여 상기 차량의 하나 이상의 가상 뷰들을 렌더링하도록 더 구성되며, 상기 3D 메쉬 및/또는 상기 3D 모델 및/또는 상기 하나 이상의 가상 뷰들은 상기 차량의 상기 표면 상의 이상들(anomalies)을 식별하기 위해 사용가능한, 컴퓨터화된 차량 검사 시스템.
  17. 제9항에 있어서,
    상기 검사 통로의 적어도 하나의 측면 상에 위치되는 적어도 하나의 폴(pole)을 포함하는 지지 구조체에 부착되는 상기 한 세트의 다수의 이미징 디바이스들을 더 포함하는, 컴퓨터화된 차량 검사 시스템.
  18. 제17항에 있어서,
    상기 지지 구조체를 더 포함하며, 상기 한 세트의 다수의 이미징 디바이스들은 상이한 높이들에서 상기 지지 구조체에 부착되고 각각의 시점에서, 상기 각각의 세그먼트의 각각의 표면 포인트가 상기 한 세트의 다수의 이미징 디바이스들 중 적어도 2개의 이미징 디바이스들에 의해 캡처되는 그러한 방식으로 배향되는, 컴퓨터화된 차량 검사 시스템.
  19. 제18항에 있어서,
    2개의 이웃한 이미징 디바이스들과 상기 차량 사이의 각도는 60도 미만인, 컴퓨터화된 차량 검사 시스템.
  20. 제9항에 있어서,
    상기 미리결정된 영역은 차량 치수들(dimensions)에 따라 결정되는, 컴퓨터화된 차량 검사 시스템.
  21. 제9항에 있어서,
    상기 한 세트의 다수의 이미징 디바이스들 내의 이미징 디바이스들의 수는 미리결정된 정확도 요건(accuracy requirement)에 따라 결정되는, 컴퓨터화된 차량 검사 시스템.
  22. 제17항에 있어서,
    다수의 세트들의 다수의 이미징 디바이스들은 상기 지지 구조체에 부착되며, 각각의 세트는 각각의 방향을 향하고, 상기 다수의 이미징 디바이스들의 세트들의 수 및/또는 상기 각각의 세트 내의 이미징 디바이스들의 수는 미리결정된 정확도 요건에 따라 결정되는, 컴퓨터화된 차량 검사 시스템.
  23. 제9항에 있어서,
    상기 검사 통로의 지하에 매립되고 상기 차량이 통과할 때 상기 차량의 언더캐리지(undercarriage)의 하나 이상의 이미지를 캡처하도록 구성되는 언더캐리지 검사 유닛을 더 포함하는, 컴퓨터화된 차량 검사 시스템.
  24. 제9항에 있어서,
    상기 미리결정된 영역을 커버하는 조명을 제공하기 위해 상기 검사 통로의 상기 적어도 하나의 측면 상에 위치되는 하나 이상의 조명 유닛들을 더 포함하는, 컴퓨터화된 차량 검사 시스템.
  25. 제17항에 있어서,
    상기 차량은 이동 차량이고 상기 지지 구조체는 상기 차량이 상기 지지 구조체에 대해 상기 검사 통로 상에서 이동하도록 그라운드 상에 장착되는, 컴퓨터화된 차량 검사 시스템.
  26. 제17항에 있어서,
    상기 차량은 정지 차량이며 여기서 상기 지지 구조체는 상기 차량에 대해 이동하기 위해 이동식 플랫폼 상에 장착되는, 컴퓨터화된 차량 검사 시스템.
  27. 컴퓨터에 의해 실행될 때, 상기 컴퓨터가 차량 검사 방법을 수행하게 하는 명령들을 포함하는 비-일시적 컴퓨터 판독가능 매체에 있어서, 상기 방법은:
    한 세트의 다수의 이미징 디바이스들로부터, 차량의 표면의 복수의 세그먼트들을 캡처하는 복수의 세트들의 다수의 이미지들을 획득하는 단계 - 상기 한 세트의 다수의 이미징 디바이스들은 상기 차량이 통과하는 검사 통로의 적어도 하나의 측면 상에 위치되고 미리결정된 영역에 대응하는 시야(Field of View; FOV)를 커버하도록 배향되고, 상기 복수의 세트들의 다수의 이미지들은 상기 차량과 상기 한 세트의 다수의 이미징 디바이스들 사이의 상대적 이동 동안 복수의 시점들에서 캡처되며, 따라서: i) 각각의 세트의 다수의 이미지들은 각각의 시점에서 상기 미리결정된 영역 내에 속하는 각각의 세그먼트를 캡처하고, ii) 상기 복수의 세트들의 다수의 이미지들에 캡처되는 상기 복수의 세그먼트들은 상기 복수의 세그먼트들 중 적어도 일부의 각각의 주어진 표면 포인트가 적어도 2개의 세트들의 다수의 이미지들에서 적어도 2개의 시점들에 캡처되는 그러한 방식으로 부분적으로 중첩되며, 상기 적어도 2개의 세트들의 다수의 이미지들에서 캡처되는 상기 주어진 표면 포인트는 상기 2개의 시점들에서 상기 주어진 표면 포인트와 상기 한 세트의 다수의 이미징 디바이스들 사이의 상이한 상대 위치들에 관련된 상이한 조명 조건들 하에서 마치 캡처되는 것과 같음 -;
    각각의 주어진 시점에 대해, 상기 주어진 시점에서 대응하는 세그먼트를 캡처하는 한 세트의 다수의 이미지들을 사용하여 3D 패치 - 상기 3D 패치는 상기 대응하는 세그먼트에서 대응하는 표면 포인트들을 나타내는 3D 포인트들의 포인트 클라우드를 포함함 -를 생성하여, 상기 복수의 시점들 및 상기 복수의 세그먼트들에 대응하는 복수의 3D 패치들을 발생시키는 단계;
    상기 복수의 시점들에서 상기 한 세트의 다수의 이미징 디바이스들과 상기 차량 사이의 상기 상대적 이동에 기초하여 상기 복수의 3D 패치들의 3D 변환을 추정하는 단계; 및
    상기 추정된 3D 변환을 사용하여 상기 복수의 3D 패치들을 등록함으로써 상기 차량의 복합 3D 포인트 클라우드를 발생시키는 단계 - 상기 복합 3D 포인트 클라우드는 상기 복수의 세트들의 다수의 이미지들 중 적어도 일부에 포함되는 광 반사가 그로부터 제거되는 상기 차량의 3D 메쉬 및/또는 3D 모델을 재구성하기 위해 사용가능하되, 상기 3D 메쉬 및/또는 3D 모델은 차량 검사를 위해 사용가능함 -를 포함하며;
    상기 추정 단계는:
    상기 복수의 세트들의 다수의 이미지들 각각으로부터 상기 차량을 특징화하는 특징들(features)을 추출하는 단계;
    각각의 세트들의 매칭된 특징들을 획득하기 위해 상기 2개의 세트들의 다수의 이미지들의 각각의 세트 내의 상이한 이미지들로부터 추출되는 특징들 사이에서 그리고 상기 2개의 세트들로부터의 대응하는 이미지들 사이에서 특징 매칭을 수행하는 단계;
    상기 각각의 세트들의 매칭된 특징들 중에서 상호 특징들을 선택하는 단계;
    각각의 세트의 다수의 이미지들 내의 상기 상호 특징들을 삼각 측량하여, 상기 2개의 세트들의 다수의 이미지들에서 상기 상호 특징들을 나타내는 한 쌍의 3D 특징들을 발생시키는 단계; 및
    상기 한 쌍의 3D 특징 세트들 사이의 이동을 추적함으로써 상기 2개의 세트들의 다수의 이미지들 사이의 로컬 3D 변환을 추정하는 단계를 포함하는, 2개의 대응하는 시점들에서 중첩 및 캡처되는 2개의 세트들의 다수의 이미지들의 각각의 선택된 쌍 사이의 로컬 3D 변환을 추정하는 단계; 및
    상기 복수의 시점들 동안 3D 변환에 대한 상기 로컬 3D 변환을 집계하는 단계를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
KR1020207029250A 2018-03-29 2019-03-26 차량 검사 시스템 및 그 방법 KR102487842B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862649594P 2018-03-29 2018-03-29
US62/649,594 2018-03-29
PCT/IL2019/050342 WO2019186545A1 (en) 2018-03-29 2019-03-26 System of vehicle inspection and method thereof

Publications (2)

Publication Number Publication Date
KR20210005571A KR20210005571A (ko) 2021-01-14
KR102487842B1 true KR102487842B1 (ko) 2023-01-13

Family

ID=68057958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207029250A KR102487842B1 (ko) 2018-03-29 2019-03-26 차량 검사 시스템 및 그 방법

Country Status (5)

Country Link
US (1) US11301981B2 (ko)
EP (1) EP3776465B1 (ko)
JP (1) JP7224604B2 (ko)
KR (1) KR102487842B1 (ko)
WO (1) WO2019186545A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783443B2 (en) 2019-01-22 2023-10-10 Fyusion, Inc. Extraction of standardized images from a single view or multi-view capture
US11176704B2 (en) 2019-01-22 2021-11-16 Fyusion, Inc. Object pose estimation in visual data
US10964109B1 (en) * 2019-10-23 2021-03-30 Lenflash.Com, Corp. Method for creating an exact digital replica of a vehicle
DE102019132289A1 (de) * 2019-11-28 2021-06-02 Krauss-Maffei Wegmann Gmbh & Co. Kg Kalibrierung eines Trainingssystems
US11776142B2 (en) 2020-01-16 2023-10-03 Fyusion, Inc. Structuring visual data
US11562474B2 (en) 2020-01-16 2023-01-24 Fyusion, Inc. Mobile multi-camera multi-view capture
US11605151B2 (en) 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging
DE102022002668A1 (de) 2022-07-21 2024-02-01 TWlNNER GmbH Fahrzeugoberflächenanalysevorrichtung und Verfahren zur Fahrzeugoberflächenanalyse

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4784555B2 (ja) 2007-05-25 2011-10-05 トヨタ自動車株式会社 形状評価方法、形状評価装置および三次元検査装置
US10591277B2 (en) 2016-07-28 2020-03-17 Liberty Reach Inc. Method and system for measuring outermost dimension of a vehicle positioned at an inspection station
US20180211373A1 (en) * 2017-01-20 2018-07-26 Aquifi, Inc. Systems and methods for defect detection
WO2019164501A1 (en) * 2018-02-23 2019-08-29 Sony Mobile Communications Inc. Methods, devices, and computer program products for improved mesh generation in constructed 3d images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Robust Approach for 3D Cars Reconstruction, SCIA 2007.
Automated inspection of gaps on the automobile production line through stereo vision and specular reflection, ELSEVIER, 2001.08.

Also Published As

Publication number Publication date
WO2019186545A1 (en) 2019-10-03
EP3776465A1 (en) 2021-02-17
JP2021520008A (ja) 2021-08-12
US11301981B2 (en) 2022-04-12
US20210090242A1 (en) 2021-03-25
JP7224604B2 (ja) 2023-02-20
EP3776465B1 (en) 2024-05-08
EP3776465A4 (en) 2021-12-22
KR20210005571A (ko) 2021-01-14

Similar Documents

Publication Publication Date Title
KR102487842B1 (ko) 차량 검사 시스템 및 그 방법
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
JP5342036B2 (ja) ３ｄ表面形状をキャプチャーするための方法
Qin et al. 3D change detection at street level using mobile laser scanning point clouds and terrestrial images
JP7253323B2 (ja) ３次元計測システム及び３次元計測方法
KR101283262B1 (ko) 영상 처리 방법 및 장치
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
KR101969082B1 (ko) 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
WO2021134285A1 (zh) 图像跟踪处理方法、装置、计算机设备和存储介质
Kedzierski et al. Methodology of improvement of radiometric quality of images acquired from low altitudes
JP6534296B2 (ja) ３次元モデル生成装置、３次元モデル生成方法、及びプログラム
CN110738731A (zh) 一种用于双目视觉的3d重建方法和系统
CN110998657A (zh) 图像处理设备、图像处理方法和程序
Sportouche et al. Building extraction and 3D reconstruction in urban areas from high-resolution optical and SAR imagery
JP2007272292A (ja) 影認識方法及び影境界抽出方法
CN109242900B (zh) 焦平面定位方法、处理装置、焦平面定位系统及存储介质
Novacheva Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection
Chen et al. True orthophoto generation using multi-view aerial images
TW201913574A (zh) 應用於物件檢測之攝影機與雷射測距儀的數據融合方法
Zabuawala et al. Fusion of LiDAR and aerial imagery for accurate building footprint extraction
Kanzok et al. Efficient removal of inconsistencies in large multi-scan point clouds
KR101907057B1 (ko) 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치
Chotikakamthorn Near point light source location estimation from shadow edge correspondence
Yao et al. Complex and photo-realistic scene representation based on range planar segmentation and model fusion
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant