KR20190013467A - 제조 또는 다른 동작 동안 물체의 라이브 계측 - Google Patents
제조 또는 다른 동작 동안 물체의 라이브 계측 Download PDFInfo
- Publication number
- KR20190013467A KR20190013467A KR1020180071265A KR20180071265A KR20190013467A KR 20190013467 A KR20190013467 A KR 20190013467A KR 1020180071265 A KR1020180071265 A KR 1020180071265A KR 20180071265 A KR20180071265 A KR 20180071265A KR 20190013467 A KR20190013467 A KR 20190013467A
- Authority
- KR
- South Korea
- Prior art keywords
- sensors
- point cloud
- scanning
- sensor
- model
- Prior art date
Links
- 238000004519 manufacturing process Methods 0.000 title claims description 18
- 238000000034 method Methods 0.000 claims abstract description 85
- 238000005259 measurement Methods 0.000 claims abstract description 41
- 230000010287 polarization Effects 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 10
- 238000003491 array Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000001052 transient effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
Abstract
물체의 라이브 계측을 위한 방법은 물체의 전자 이미지를 수집하기 위해 복수의 센서에 의해 스캐닝 동작을 수행하는 단계를 포함한다. 전자 이미지는 물체의 라이브 계측을 위한 3-D 포인트 클라우드 데이터를 포함하고 각 센서로부터의 포인트 클라우드 데이터는 물체를 나타내는 포인트 클라우드를 정의한다. 방법은 또한 제조된 물체의 재구성된 모델을 발생시키기 위해 복수의 센서로부터 포인트 클라우드를 스티칭하는 단계를 포함한다. 방법은 물체가 물체의 설계된 모델에 대한 허용가능 오차 내에서 제조됨을 결정하기 위해 제조된 물체의 재구성된 모델을 물체의 설계된 모델과 비교하는 단계를 더 포함한다.
Description
본 발명은 물체를 검사하고 물체의 측정 또는 계측(metrology)을 수행하는 것에 관한 것으로, 특히 제조 또는 다른 동작 동안 물체의 라이브 또는 거의 실시간의 계측에 관한 것이다.
제조 또는 다른 공정 동안 더 큰 부품이나 물체를 검사하는 것은 제조 공정에 대해 비용과 시간을 추가하는 시간-소모성이고 노동 집약적인 동작이다. 제조 동안 이러한 구성 요소를 측정함에 있어서의 부정확성은 제조 비효율성 및 품질 결함을 또한 야기시킬 수 있다. 따라서, 이들 결함을 극복하고, 생산 사이클 초기에 결함을 검출하며, 검사 시간을 단축시키고, 제조, 검사 또는 다른 프로세스의 자동화를 위해 이용가능한 시스템 및 방법이 필요하다.
일례에 따르면, 물체의 라이브 계측을 위한 방법은 물체의 전자 이미지를 수집하기 위해 복수의 센서에 의해 스캐닝 동작을 수행하는 단계를 포함한다. 전자 이미지는 물체의 라이브 계측을 위한 3-D 포인트 클라우드 데이터를 포함하고 각 센서로부터의 포인트 클라우드 데이터는 물체를 나타내는 포인트 클라우드를 정의한다. 방법은 또한 제조된 물체의 재구성된 모델을 발생시키기 위해 함께 복수의 센서로부터 포인트 클라우드를 스티칭하는 단계를 포함한다. 방법은 물체가 물체의 설계된 모델에 대한 허용가능 오차 내에서 제조됨을 결정하기 위해 제조된 물체의 재구성된 모델을 물체의 설계된 모델과 비교하는 단계를 더 포함한다.
다른 예에 따르면, 물체의 라이브 계측을 위한 시스템은 물체의 전자 이미지를 수집하기 위해 스캐닝 동작을 수행하기 위한 복수의 센서를 포함한다. 전자 이미지는 물체의 라이브 계측을 위한 3-D 포인트 클라우드 데이터를 포함한다. 각 센서로부터의 포인트 클라우드 데이터는 물체를 나타내는 포인트 클라우드를 정의한다. 시스템은 또한 프로세서 및 프로세서 상에서 동작하는 라이브 계측 모듈을 포함한다. 라이브 계측 모듈은 제조된 물체의 재구성된 모델을 발생시키도록 복수의 센서로부터 함께 포인트 클라우드를 스티칭하는 단계를 포함하는 기능의 세트를 수행하도록 구성된다. 기능의 세트는 또한 물체가 물체의 설계된 모델에 대한 허용가능 오차 내에서 제조됨을 결정하도록 제조된 물체의 재구성된 모델을 물체의 설계된 모델에 비교하는 단계를 포함한다.
또 다른 예에 따르면, 물체의 라이브 계측을 위한 컴퓨터 프로그램 제품은 내장된 프로그램 명령을 갖춘 컴퓨터 판독가능 저장 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 그 자체가 일시적인 매체가 아니다. 프로그램 명령은 장치로 하여금 물체의 전자 이미지를 수집하기 위해 복수의 센서에 의해 스캐닝 동작을 수행하는 단계를 포함하는 방법을 수행하도록 장치에 의해 실행가능하다. 전자 이미지는 물체의 라이브 계측을 위한 3-D 포인트 클라우드 데이터를 포함한다. 각 센서로부터의 포인트 클라우드 데이터는 물체를 나타내는 포인트 클라우드를 정의한다. 방법은 또한 제조된 물체의 재구성된 모델을 발생시키기 위해 함께 복수의 센서로부터 포인트 클라우드를 스티칭하는 단계를 포함한다. 방법은 물체가 물체의 설계된 모델에 대한 허용가능 오차 내에서 제조됨을 결정하기 위해 제조된 물체의 재구성된 모델을 물체의 설계된 모델과 비교하는 단계를 더 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 방법 또는 기능의 세트는 소정의 어레이 또는 다른 형태의 센서의 어레이에 복수의 센서를 배치하는 단계를 더 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 방법 또는 기능의 세트는 제조 동안 사람 및 장비로부터의 간섭을 회피하기 위해 복수의 센서를 물체로부터 소정 거리에 배치하는 단계를 더 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 방법 또는 기능의 세트는 센서와 대향하여 스캐닝되어지는 물체의 표면 또는 측면으로 스캐닝 동작을 수행하기 위해 선택된 방향에 물체를 위치시키는 단계와 스캐닝 동작을 수행한 후 3-D 포인트 클라우드 데이터를 저장하는 단계를 포함한다. 방법 또는 기능의 세트는 부가적으로 물체의 다른 표면 또는 측면을 스캐닝하기 위해 다른 선택된 방향으로 물체를 재위치시키는 단계와 각각의 스캐닝 동작을 수행한 후 3-D 포인트 클라우드 데이터를 저장하는 단계를 포함한다. 포인트 클라우드를 함께 스티칭하는 단계는 함께 물체의 선택된 방향의 각각으로부터 포인트 클라우드를 스티칭하는 단계를 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 스캐닝 동작을 수행하는 단계는 복수의 센서의 비행 시간 센서의 그룹을 이용하여 깊이 맵을 생성하는 단계를 포함한다. 깊이 맵은 비행 시간 센서로부터 물체까지의 거리를 포함하는 포인트 클라우드 데이터의 포인트 클라우드를 포함한다. 스캐닝 동작을 수행하는 단계는 또한 다수의 편광 이미지를 수집하기 위해 깊이 맵을 이용하여 복수의 센서의 다수의 편광 센서 또는 스캐닝 센서를 이용하여 물체를 스캐닝하는 단계를 포함한다. 각 편광 이미지는 각 스캐닝 센서에 의해 발생된 편광 포인트 클라우드를 정의한다. 스캐닝 동작을 수행하는 단계는 또한 결합된 편광 센서 맵을 형성하기 위해 함께 편광 이미지를 스티칭하는 단계를 포함한다. 스캐닝 동작을 수행하는 단계는 부가적으로 복수의 센서 중 복수의 3-D 스캐닝 센서를 이용하여 물체의 복수의 표면 이미지를 캡처하는 단계를 포함한다. 각 표면 이미지는 3-D 스캐닝 센서에 대향하는 물체의 표면 또는 측면의 3-D 스캐닝 센서 각각에 의해 발생된 표면 이미지 포인트 클라우드를 정의한다. 스캐닝 동작을 수행하는 단계는 부가적으로 복수의 센서에 대향하는 물체의 표면 또는 측면의 물체의 표면 표현을 발생시키도록 결합된 편광 센서 맵에 표면 이미지를 맵핑하는 단계를 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 방법 또는 기능의 세트는 깊이 맵을 이용하여 복수의 스캐닝 영역을 조명하는 단계를 더 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 방법 또는 기능의 세트는 깊이 맵을 이용하여 복수의 스캐닝 영역을 결정하는 단계를 더 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 함께 편광 이미지를 스티칭하는 단계는 편광 포인트 클라우드로부터 물체의 표현을 발생시키는 단계를 포함한다. 물체의 표현은 해상도 적응형 메쉬를 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 결합된 편광 센서 맵에 표면 이미지를 맵핑하는 단계는 편광 포인트 클라우드 및 표면 이미지 포인트 클라우드를 이용하여 물체의 표현을 발생시키는 단계를 포함한다. 물체의 표면 표현은 물체의 3-D 계측을 위해 물체에 대응하는 해상도 적응형 메쉬를 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 표면 표현을 발생시키는 단계는 각 포인트 클라우드의 중간 암시적 표현을 이용하여 편광 포인트 클라우드 및 표면 이미지 포인트 클라우드에 메쉬를 피팅시키는 단계를 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 함께 포인트 클라우드를 스티칭하는 단계는 포인트 클라우드를 이용하여 해상도 적응형 메쉬를 발생시키는 단계를 포함한다. 해상도 적응형 메쉬는 물체의 3-D 계측을 위해 제조된 물체의 재구성된 모델에 대응한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 함께 포인트 클라우드를 스티칭하는 단계는 각 포인트 클라우드의 중간 암시적 표현을 이용하여 포인트 클라우드에 메쉬를 피팅시키는 단계를 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 방법 또는 기능의 세트에서, 제조된 물체의 재구성된 모델의 정확도는 실제 제조된 물체에 대해 약 0.003 인치 내이다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 방법 또는 기능의 세트는 머신에 의한 부주의 한 접촉을 회피하기 위해 머신의 머신 제어기에 대한 입력으로서 제조된 물체의 재구성된 모델을 제공하는 단계를 더 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 복수의 센서는 LIDAR(Light Detection and Ranging) 장치 또는 시스템의 어레이, 특수 위상 이미징 센서의 어레이, 비행 시간 센서 또는 카메라의 어레이, 입체 카메라의 어레이, 라이트 필드 카메라의 어레이, 고해상도 카메라 어레이 또는 여기서 설명된 기능을 수행할 수 있는 다른 형태의 장치 또는 센서 중 하나 이상을 포함한다.
다른 예 또는 이전의 예 중 어느 것에 따르면, 제조된 물체의 재구성된 모델은 스캐닝 동작을 수행하기 위해 실시간에 가깝게 발생된다.
논의된 특징, 기능 및 장점은 다양한 예에서 독립적으로 달성될 수 있거나, 또는 다음의 상세한 설명 및 도면을 참조하여 더 자세히 설명될 수 있는 또 다른 예에서 결합될 수 있다.
도 1은 본 발명의 예에 따른 물체의 라이브 계측을 수행하기 위한 시스템의 예의 개략적인 블록도이다.
도 2는 본 발명의 실시 예에 따른 물체의 라이브 계측을 위한 방법의 예의 플로우차트이다.
도 3은 본 발명의 예에 따른 물체의 표면 표현을 발생시키기 위해 스캐닝 동작을 수행하기 위한 방법의 예의 플로우차트이다.
도 4는 본 발명의 다른 실시 예에 따른 물체의 라이브 계측을 수행하기 위한 시스템의 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 물체의 라이브 계측을 위한 방법의 예의 플로우차트이다.
도 3은 본 발명의 예에 따른 물체의 표면 표현을 발생시키기 위해 스캐닝 동작을 수행하기 위한 방법의 예의 플로우차트이다.
도 4는 본 발명의 다른 실시 예에 따른 물체의 라이브 계측을 수행하기 위한 시스템의 예를 나타낸 도면이다.
이하의 예의 상세한 설명이 본 발명의 특정 예를 설명하는 첨부된 도면을 참조하여 언급된다. 다른 구조 및 동작을 갖는 다른 예들은 본 발명의 범위를 벗어나지 않는다. 동일한 도면 부호는 다른 도면에서 동일한 엘리먼트 또는 구성요소를 지칭할 수 있다.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서가 본 발명의 측면들을 수행하게 하기 위한 컴퓨터 판독가능 프로그램 명령을 갖는 컴퓨터 판독가능 저장 매체(또는 미디어)를 포함할 수 있다.
컴퓨터 판독가능 저장 매체는 명령 실행 장치에 의한 이용을 위한 명령을 보유하고 저장할 수 있는 유형의 장치(tangible device)일 수 있다. 컴퓨터 판독가능 저장 매체는, 예컨대 이에 한정되지는 않지만, 전자 저장 장치, 자기 저장 장치, 광학 저장 장치, 전자기 저장 장치, 반도체 저장 장치, 또는 이들의 임의의 적절한 조합일 수 있다. 컴퓨터 판독가능 저장 매체의 보다 구체적인 예의 비한정 리스트는 다음을 포함한다: 휴대용 컴퓨터 디스켓, 하드 디스크, RAM(Random Access Memory), ROM(Read Only Memory), EPROM(erasable programmable read-only memory) 또는 플래시 메모리(Flash memory), SRAM(static random access memory), CD-ROM, DVD(digital versatile disk), 메모리 스틱, 플로피 디스크, 펀치-카드(punch-card) 또는 명령이 기록된 홈의 상승된 구조와 같은 기계적으로 인코딩된 장치, 및 이들의 소정의 적절한 조합. 여기서 이용되는 바와 같이, 컴퓨터 판독가능 저장 매체는 전파(radio waves) 또는 다른 자유롭게 전파하는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파하는 전자기파 (예컨대, 광섬유 케이블을 통해 지나가는 광 펄스), 또는 전선을 통해 전송되는 전기 신호와 같은 일시적인 신호(transitory signals)로 해석되어서는 안된다.
여기서 설명된 컴퓨터 판독가능 프로그램 명령은 컴퓨터 판독가능 저장 매체로부터 각각의 컴퓨팅/프로세싱 장치로, 또는 네트워크, 예컨대 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 네트워크를 매개로 외부 컴퓨터 또는 외부 저장 장치로 다운로드 될 수 있다. 네트워크는 구리 전송 케이블, 광 전송 광섬유, 무선 전송, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및/또는 에지 서버(edge servers)를 포함할 수 있다. 각 컴퓨팅/프로세싱 장치의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독가능 프로그램 명령을 수신하고 각각의 컴퓨팅/프로세싱 장치 내의 컴퓨터 판독가능 저장 매체에 저장하기 위해 컴퓨터 판독가능 프로그램 명령을 포워딩한다.
본 발명의 동작을 수행하기 위한 컴퓨터 판독가능 프로그램 명령은 어셈블러 명령(assembler instructions), ISA(instruction-set-architecture) 명령, 머신 명령(machine instructions), 머신 의존 명령(machine dependent instructions), 마이크로코드(microcode), 펌웨어 명령(firmware instructions), 상태 설정 데이터(state-setting data), 또는 소스 코드 또는 Smalltalk, C ++ 등과 같은 객체 지향 프로그래밍 언어(object oriented programming language) 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차형 프로그래밍 언어(procedural programming languages)를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 객체 코드(object code)를 포함할 수 있다. 컴퓨터 판독가능 프로그램 명령은 전체적으로 사용자의 컴퓨터 상에서, 부분적으로는 사용자의 컴퓨터 상에서, 독립형 소프트웨어 패키지로서, 부분적으로 사용자의 컴퓨터 상에서 그리고 부분적으로 원격 컴퓨터 상에서 또는 전체적으로 원격 컴퓨터 또는 서버 상에서 실행할 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 네트워크(WAN)를 포함하는 소정 형태의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있고, 또는 연결은 (예컨대, 인터넷 서비스 제공자(Internet Service Provider)를 이용하는 인터넷을 통해) 외부 컴퓨터에 대해 이루어질 수 있다. 몇몇 예에서, 예컨대, 프로그램 가능 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그램 가능 논리 어레이(PLA)를 포함하는 전자 회로는, 본 발명의 측면을 수행하기 위해, 전자 회로를 개인화하기 위해 컴퓨터 판독가능 프로그램 명령의 상태 정보를 이용하여 컴퓨터 판독가능 프로그램 명령을 실행할 수 있다.
본 발명의 측면은 본 발명의 예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 플로우차트 및/또는 블록도를 참조하여 여기서 설명된다. 플로우차트 및/또는 블록도의 각각의 블록, 및 플로우차트 및/또는 블록도의 블록의 조합은 컴퓨터 판독가능 프로그램 명령에 의해 구현될 수 있음을 이해할 것이다.
이들 컴퓨터 판독가능 프로그램 명령은 머신을 생산하도록 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램가능 데이터 프로세싱 장치의 프로세서에 제공되고, 컴퓨터의 프로세서 또는 다른 프로그램가능 데이터 프로세싱 장치를 매개로 실행되는 명령은 플로우차트 및/또는 블록도 블록 또는 블록들에서 특정된 기능들/행위들을 구현하기 위한 수단을 생성한다. 이들 컴퓨터 판독가능 프로그램 명령은 또한 특정 방식으로 기능하도록 컴퓨터, 프로그램가능 데이터 프로세싱 장치 및/또는 다른 장치를 지시할 수 있는 컴퓨터 판독가능 저장 매체에 저장될 수 있어, 그 내에 저장된 명령을 갖춘 컴퓨터 판독가능 저장 매체는 플로우차트 및/또는 블록도 블록 또는 블록들에서 특정된 기능/작용의 측면을 구현하는 명령들을 포함하는 제조 물품을 구비한다.
컴퓨터 판독가능 프로그램 명령은 또한 컴퓨터 구현 프로세스를 생성하도록 컴퓨터, 다른 프로그램가능 장치 또는 다른 장치 상에서 수행되는 일련의 동작 단계를 야기시키도록 컴퓨터, 다른 프로그램가능 데이터 프로세싱 장치, 또는 다른 장치 상에 로딩되고, 따라서 컴퓨터, 다른 프로그램가능 장치 또는 다른 장치 상에서 실행하는 명령은 플로우차트 및/또는 블록도 블록 또는 블록들에서 특정된 기능들/행위들을 구현한다.
도 1은 본 발명의 실시 예에 따른 물체(102)의 라이브 계측을 수행하기 위한 시스템(100)의 일례의 블록 개략도이다. 시스템(100)은 물체(102)의 전자 이미지(106; electronic images)를 수집하기 위해 스캐닝 동작을 수행하기 위한 복수의 센서(104)를 포함한다. 물체(102)가 측정, 조립되고 있고, 제조 및/또는 몇몇 다른 동작이 여기에 기술된 바와 같이 제조된 물체(102; as-manufactured object)로서의 재구성된 모델(112; reconstructed model)을 이용하는 물체(102) 상에서 수행되고 있다. 시스템(100)에 의해 수행가능한 스캐닝 동작의 예가 도 1 및 도 2를 참조하여 보다 상세히 설명된다. 전자 이미지(106)는 물체(102)의 라이브 계측 또는 라이브 3-D 계측을 위한 3차원(3-D) 포인트 클라우드 데이터(108; point cloud data)를 포함한다. 각 센서(104)로부터의 포인트 클라우드 데이터(108)는 물체(102)를 나타내는 포인트 클라우드(110)를 정의한다. 센서(104)의 예는, 이에 한정되지는 않지만, 디지털 카메라, lidar(Light Detection and Ranging) 장치 또는 시스템, 3-D 레이저 스캐닝 장치, TOF(time-of-flight) 카메라 또는 센서, 특수 위상 이미징 센서, 입체 카메라, 라이트 필드 카메라(light field cameras), 고해상도 카메라 또는 센서, 또는 이와 유사한 이미징 장치를 포함한다. 센서(104)는 이들 다른 형태의 센서의 소정의 조합을 포함할 수 있고, 다른 형태의 센서(104)는 도 4을 참조하여 설명된 예시적인 시스템(400)과 유사한 소정의 어레이 또는 어레이들 또는 그룹으로 배열되거나 배치될 수 있다. 부가적으로, 복수의 센서(104) 및 구조화된 광 프로젝터(120; structured light projectors)는 물체(102)와 관련된 제조, 조립 또는 다른 기능에 이용되는 사람 또는 장비(142)로부터의 소정의 간섭을 회피하기 위해 배치되거나 물체(102)로부터 소정 거리 만큼 공간지워진다.
일례에 따르면, 복수의 센서(104)는 3차원(3-D) 스캐닝 센서(114), TOF 센서(116) 및 편광 센서(118; polarization sensors) 또는 다른 형태의 스캐닝 센서를 포함한다. 예시적 시스템(100)은 스캐닝 동작을 위해 센서(104)와 대향하는 물체(102)의 표면(124)을 조명하기 위한 복수의 구조화된 광 프로젝터(120)를 또한 포함한다. 3차원 스캐닝 센서(114)는 물체(102)의 3차원 전자 이미지(106)를 수집한다. 전자 이미지(106)는 물체(102)의 라이브 계측을 위한 3차원(3-D) 포인트 클라우드 데이터(108)를 포함한다. 각 센서(104)로부터의 포인트 클라우드 데이터(108)는 물체(102)를 나타내는 포인트 클라우드(110)를 정의한다.
TOF 센서(116)는 스캐닝 동작 동안 센서(104)로부터 물체(102)의 표면(124) 상의 깊이 "D" 또는 포인트(122) 또는 3-D 장소의 범위 데이터를 포함하는 이미지(106)를 수집한다. TOF 센서(116)는 물체(102) 상에 적외선 광 빔을 반사시키고 광 빔을 전송하는 것으로부터 물체(102)로부터 반사된 광 빔의 복귀까지의 시간을 측정하는 것에 의해 깊이(D) 또는 범위를 결정한다. 포인트 클라우드(110)는 물체(102) 상의 포인트(122)의 깊이 정보를 포함하는 각 TOF 센서(116)에 의해 발생된다. TOF 센서(116)에 의해 발생된 포인트 클라우드(110)는 여기서 설명되는 바와 같이 제조된 물체(102)의 재구성된 모델(112)을 발생시키는데 이용하기 위한 깊이 맵(126; depth map)을 정의한다.
편광 센서(118; polarization sensors) 또는 다른 형태의 스캐닝 센서는 빛이 물체(102) 상의 포인트(122) 또는 3-D 장소로부터 반사되는 벡터 정보(vector information)를 포함하는 편광 이미지(128; polarization images) 또는 다른 전자 스캐닝 이미지를 수집한다. 각 편광 센서(118)로부터의 편광 이미지(128) 또는 각 스캐닝 센서로부터의 다른 전자 스캐닝 이미지는 여기서 설명된 바와 같이 제조된 물체(102)의 재구성된 모델(112)을 발생시키는데 이용되는 미시적 레벨(microscopic level) 상의 물체(102)의 3차원 형상 정보를 구비하는 측정치(measurements)를 포함하는 포인트 클라우드(110)를 정의한다.
전자 이미지(106)는 물체(102)의 3D 포인트 클라우드 데이터(108)를 포함한다. 각 센서(104)로부터의 포인트 클라우드 데이터(108)는 물체(102)를 나타내는 포인트 클라우드(110)를 정의한다. 각각의 포인트 클라우드(110)는 다수의 포인트(132)를 포함하고, 각 포인트(132)는 물체(102)의 표면(124) 상의 대응하는 포인트(122)에 대한 적어도 장소 정보를 포함한다. 각 센서(104)로부터의 포인트 클라우드 데이터(108) 또는 포인트 클라우드(110)는 데이터베이스(130) 또는 다른 데이터 저장 장치에 저장된다. 일례에 따르면, 물체(102)는 항공기 또는 항공기의 일부이고, 여기서 설명되는 바와 같이, 제조된 물체(102)로서의 재구성된 모델(112)은 조립 또는 제조 동안 또는 몇몇 다른 목적을 위해 항공기 또는 항공기의 일부의 3-D 라이브 계측을 위해 이용된다. 다른 예에서, 물체(102)는 소정의 제품 또는 품목 또는 제품 또는 품목의 일부이고, 여기서 설명되는 바와 같이, 재구성된 모델(112)은 조립, 제조 또는 다른 동작 중에 장치 또는 장비에 대해 3-D 라이브 계측을 수행하는데 이용된다.
시스템(100)은 또한 프로세서(134) 및 프로세서(134) 상에서 동작하는 라이브 계측 모듈(136; live metrology module)을 포함한다. 예시적인 일례에 따르면, 라이브 계측 모델은 도 2 및 도 3을 참조하여 설명 된 동작 또는 기능을 수행하도록 구성된다. 예컨대, 라이브 계측 모듈 (136)은, 이에 한정되는 것은 아니지만, 물체(102)가 물체(102)의 설계된 모델(138; as-designed model)에 대한 허용가능 오차(140; allowable tolerances) 내에서 제조되고 있음을 결정하기 위해 제조된 물체(102)의 재구성된 모델(112)을 발생시키고, 물체(102)의 설계된 모델(138)에 대해 재구성된 모델(112)을 비교하도록 함께 복수의 센서(104)로부터 포인트 클라우드(110)를 스티칭(stitching)하는 것을 포함하는 기능 세트를 수행하도록 구성된다. 재구성된 모델(112)은 도 2 및 도 3을 참조하여 설명된 스캐닝 동작을 수행하기 위해 실시간에 가깝게 발생된다.
일례에 따르면, 시스템(100)은 스캐닝을 위해 다른 방향(orientations) 또는 위치(positions)에 물체(102)를 위치시키기 위한 장치(144)를 또한 포함한다. 항공기 또는 항공기 구성요소와 같은 큰 물체(102)에 대해, 물체(102)는 센서(104)에 대향하는 다른 표면 또는 측면으로 위치될 필요가 있을 수 있으므로, 완성 또는 전체 제조된 물체(102)의 위치의 재구성 모델(112)이 발생되거나 형성될 수 있다. 일례에 따르면, 장치(144)는 또한 물체(102)와 관련된 제조, 조립 또는 다른 기능에 이용되는 사람 또는 장비(142)가 장치(144)에 대해 이동가능하도록 크기가 정해진다. 프로세서(134)는 3-D 스캐닝 센서(114), 비행 시간 센서(116; time-of-flight sensors), 편광 센서(118; polarization sensors) 또는 스캐닝 센서 및 구조화된 광 프로젝터(120)의 동작을 제어한다. 또 다른 예에 따르면, 프로세서(134) 또는 다른 프로세서는 스캐닝을 위한 물체(102)를 위치시키기 위해 장치(144)를 또한 제어한다.
도 2는 본 발명의 일례에 따른 물체의 라이브 계측을 위한 방법(200)의 일례의 플로우차트이다. 일례에 따르면, 방법(200)은 도 1의 시스템(100)에 의해 실시되고 구현된다. 블록(202)에서, 센서가 조정된다(calibrated). 설계된 물체(as-designed object)에 대한 치수를 검증하는 알려지거나 표준 물체는 그들이 올바르게 동작하고 정확한 측정 데이터를 수집함을 확인하도록 센서를 조정하기 위해 시스템(100)에 배치될 수 있다. 또한, 조정(calibration)은 적절히 실행되도록 라이브 계측 모듈(136)에 의해 이용되는 파라미터(내적(intrinsic) 및 외적(extrinsic) 파라미터)를 수집한다. 제조된 물체의 재구성된 모델의 정확도는 바람직하게는 측정되는 실제 제조 된 물체 또는 재구성된 모델이 발생시키는 실제 제조된 물체에 대해 약 0.003 인치 내이다.
블록(204)에서, 물체는 센서에 대향하여 스캐닝되어지는 물체의 표면 또는 측면으로 스캐닝 동작을 수행하기 위해 선택된 방향에 위치된다. 블록(206)에서, 스캐닝 동작은 물체의 전자 이미지를 수집하기 위해 복수의 센서에 의해 수행된다. 전자 이미지는 물체의 라이브 3-D 계측을 위한 3-D 포인트 클라우드 데이터를 포함한다. 각 센서로부터의 포인트 클라우드 데이터는 앞에서 설명된 것과 비슷한 물체를 나타내는 포인트 클라우드를 정의한다. 블록(206)에서 이용 가능한 스캐닝 동작의 예가 도 3을 참조하여 설명될 것이다. 블록(208)에서, 3-D 포인트 클라우드 데이터는 스캐닝 동작을 수행한 후 저장된다.
블록(210)에서, 물체의 다른 방향(orientation)이 물체의 다른 표면 또는 측면을 스캐닝하기 위해 선택되어져야 하는지의 여부에 대한 결정이 이루어진다. 다른 방향이 선택되면, 방법(200)은 블록(204)으로 복귀하고, 물체는 물체의 다른 표면 또는 측면을 스캐닝하기 위해 다른 선택된 방향으로 위치되거나 재위치된다. 방법(200)은 이전에 설명된 것과 유사하게 계속된다. 이 프로세스는 제조된 물체의 완전한 재구성 모델을 제공하도록 물체의 모든 원하는 표면이나 측면이 스캔될 때까지 계속된다. 포인트 클라우드 데이터 또는 3-D 포인트 클라우드 데이터는 각 스캔 동작을 수행한 후 저장된다.
블록(212)에서, 모든 스캐닝 동작에 대한 복수의 센서로부터의 포인트 클라우드는 제조된 물체의 재구성된 모델을 발생시키도록 함께 스티칭(stitched)되거나 융합된다(fused). 함께 포인트 클라우드를 스티칭하는 것은 함께 물체의 각 선택된 방향으로부터 포인트 클라우드를 스티칭하는 것을 포함한다. 일례에 따르면, 포인트 클라우드를 함께 스티칭 또는 융합시키는 것은 포인트 클라우드를 이용하여 해상도 적응형 메쉬(resolution adaptive mesh)를 발생시키는 것을 포함한다. 해상도 적응형 메쉬는 물체의 3-D 계측을 위해 제조된 물체의 재구성된 모델에 대응한다. 해상도 적응형 메쉬(이하, "해상도 적응형 메쉬 스티칭 기법(resolution adaptive mesh stitching technique)"이라 함)를 발생시킴으로써 포인트 클라우드를 함께 스티칭 또는 융합시키는 예는 복수의 센서 또는 3-D 스캐닝 시스템에 의해 발생된 3-D 포인트 클라우드 데이터 또는 포인트 클라우드 데이터를 표현하고 최적으로 결합하고, 여기서 설명된 것과 마찬가지로, 항공기와 같은 물체의 제조 또는 조립 공정 동안 예컨대 공장과 같은 큰 공간 체적 내의 물체를 측정하고 추적하기 위한 방법 및 시스템을 이용한다. 해상도 적응형 메쉬 스티칭 기술에 이용되는 시스템 및 방법은 동일한 물체를 관측하는 복수의 센서의 다른 방향에서 공간적으로 변하는 해상도를 고려하면서 포인트 클라우드를 계측에 유용한 표면 표현으로 변환한다. 해상도 적응형 메쉬 스티칭 기법에 이용되는 시스템 및 방법은 포인트 클라우드에서 포인트의 예상되는 정확도에 따라 다르게 표면 표현에 대한 각 포인트의 기여도의 가중치(weighting)를 줌으로써 이 작업을 수행한다. 이는 모든 포인트에 동등하게 가중치를 부여하고 물체로부터 방향 및 거리를 관찰하는 함수로서 센서의 예측 해상도에 대한 사전 지식 또는 센서 해상도 모델을 통합하지 않는 기존의 표면 재구성 방법과는 대조적이다. 해상도 적응형 메쉬 스티칭 기법에 이용되는 시스템 및 방법은 동일한 물체를 관찰하는 복수의 센서로부터이지만 다른 방향(directions)과 거리로부터 포인트 클라우드의 스티칭 또는 융합으로부터 추출된 제조된 물체의 재구성된 모델 또는 물체의 3-D 표면 표현을 최적화한다.
다른 예에 따르면, 포인트 클라우드를 함께 스티칭하는 것은 각 포인트 클라우드의 중간 암시적 표현(intermediate implicit representation)을 이용하여 포인트 클라우드에 메쉬를 피팅하는 것(fitting)을 포함한다. 각각의 포인트 클라우드의 중간 암시적 표현(이하, "중간 암시적 표현 스티칭 기술(intermediate implicit representation stitching technique)"이라 함)을 이용하여 포인트 클라우드를 함께 스티칭 또는 융합시키는 예는 복수의 센서 또는 3-D 스캐닝 시스템에 의해 발생된 3-D 포인트 클라우드 데이터 또는 포인트 클라우드 데이터를 표현하고 최적으로 결합하고, 여기서 설명된 것과 마찬가지로, 항공기와 같은 이러한 물체의 조립 또는 제조 공정 동안 공장 바닥과 같은 큰 공간 체적 내의 물체를 측정하고 추적하기 위한 시스탬 및 방법을 이용한다. 중간 암시적 표현 스티칭 기술에서 이용되는 방법 또는 시스템은 동일한 물체를 관측하는 복수의 센서 또는 3-D 스캐닝 시스템의 다른 방향에서 공간적으로 변하는 해상도를 고려하면서 포인트 클라우드를 계측에 유용한 표면 표현으로 변환한다. 중간 암시적 표현 스티칭 기법에 이용되는 방법 또는 시스템은 3-D 스캐닝 시스템의 센서의 각각의 해상도를 고려하는 포인트 클라우드 또는 포인트 클라우드들의 중간 암시적 표현을 이용하여 포인트 클라우드 또는 포인트 클라우드들을 메쉬 피팅을 위한 최적화된 포인트 클라우드로 변환하는 것에 의해 수행한다 중간 암시적 표현 스티칭 기법에서 이용되는 방법 또는 시스템은 동일한 물체를 관찰하는 복수의 센서로부터이지만 다른 방향(directions)과 거리로부터 포인트 클라우드의 스티칭 또는 융합으로부터 추출된 제조된 물체의 재구성된 모델 또는 물체의 3-D 표면 표현을 최적화한다.
블록(214)에서, 제조된 물체의 재구성된 모델이 물체가 물체의 설계된 모델에 대한 허용가능 오차 내에서 제조되었음을 결정하도록 물체의 설계된 모델에 대해 비교된다.
블록(216)에서, 제조된 물체와 설계된 물체 사이의 소정의 편차(deviation)는 제조된 물체의 재구성된 모델을 이용하여 결정된다. 재구성된 모델을 이용하는 제조 동작과 같이, 동작이 물체에 대해 수행될 수 있다. 예컨대, 일례에 따르면, 제조된 물체의 재구성된 모델은 머신에 의한 부주의 한 접촉을 회피하기 위해 머신의 머신 제어기(machine controller)에 대한 입력으로서 이용된다.
도 3은 본 발명의 일례에 따른 물체의 표면 표현을 발생시키기 위해 스캐닝 동작을 수행하기 위한 방법(300)의 일례의 플로우차트이다. 일례에 따르면, 방법(300)은 도 2의 블록(206)에서 스캐닝 동작을 수행하기 위해 이용된다. 일례에 따르면, 방법(300)은 도 1의 시스템(100)에서 실시되어 구현된다. 블록(302)에서, 깊이 맵(depth map)은 복수의 센서의 비행 시간 센서(time-of-flight)의 그룹을 이용하여 생성된다. 깊이 맵은 비행 시간 센서로부터 물체까지의 거리 또는 범위를 포함하는 포인트 클라우드 데이터의 포인트 클라우드를 포함한다.
블록(304)에서, 복수의 스캐닝 영역(scanning regions)은 깊이 맵을 이용하여 조명된다(illuminated). 도 1의 예시적인 예에 따르면, 스캐닝 영역은 구조화된 광 프로젝터(120)에 의해 조명된다.
블록 (306)에서, 객체는 다수의 편광 이미지를 수집하기 위해 깊이 맵을 이용하여 다수의 편광 센서 또는 복수의 센서의 다른 스캐닝 센서를 이용하여 스캐닝된다. 물체 상의 복수의 스캐닝 영역은 깊이 맵을 이용하여 결정된다. 각 편광 이미지는 각 편광 센서에 의해 발생된 편광 포인트 클라우드를 정의한다. 일례에 따르면, 편광 또는 스캐닝 센서는 스캐닝을 위해 물체에 대해 이동하기 위해 엘리베이터(elevator) 상에 장착된다. 엘리베이터와 관련된 엘리베이터 구역은 스캐닝 동작 동안 엘리베이터 구역에 의해 정의된 영역이 물체를 회피하도록 평방 피트(square footage)에 의해 할당된다. 센서는 또한 스캐닝 동작을 수행하기 위해 팬/틸트 유닛(pan/tilt units) 상에 장착되고, 이들과 관련된 영역은 스캐닝 동안 물체를 회피한다.
블록(308)에서, 편광 이미지는 완료, 결합된(conjoined) 또는 융합된 편광 센서 맵을 형성하도록 함께 스티칭되거나 융합된다. 일례에 따르면, 편광 이미지는 상기한 해상도 적응형 메쉬 스티칭 또는 중간 암시적 표현 스티칭 기술을 이용하여 함께 스티칭되거나 융합된다. 편광 이미지를 함께 스티칭하는 것은 편광 포인트 클라우드로부터 물체의 표현을 발생시키는 것을 포함한다. 물체의 표현은 해상도 적응형 메쉬를 포함한다.
블록(310)에서, 물체의 복수의 표면 이미지가 복수의 센서의 복수의 3-D 스캐닝 센서를 이용하여 캡처되거나 수집된다. 각 표면 이미지는 3-D 스캐닝 센서에 대향하는 물체의 표면 또는 측면의 3-D 스캐닝 센서 각각에 의해 생성된 표면 이미지 포인트 클라우드를 정의한다.
블록(312)에서, 표면 이미지는 복수의 센서에 대향하는 물체의 표면 또는 측면의 물체의 표면 표현을 발생시키도록 결합된 또는 완전한 편광 센서 맵에 매핑된다. 일례에 따르면, 물체의 표면 이미지를 정의하는 포인트 클라우드 및 편광 이미지는 상기한 해상도 적응형 메쉬 스티칭 또는 중간 암시적 표현 스티칭 기술을 이용하여 맵핑되거나 융합된다. 결합된 또는 완전한 편광 센서 맵에 표면 이미지를 맵핑하는 것은 편광 포인트 클라우드 및 표면 이미지 포인트 클라우드를 이용하여 물체의 표면 표현을 발생시키는 것을 포함한다. 물체의 표면 표현은 물체의 3-D 라이브 계측을 위해 물체에 대응하는 해상도 적응형 메쉬를 포함한다. 일례에 따르면, 표면 표현을 발생시키는 것은 각 포인트 클라우드의 중간 암시적 표현을 이용하여 편광 포인트 클라우드 및 표면 이미지 포인트 클라우드에 메쉬를 피팅하는 것을 포함한다.
도 4는 본 발명의 다른 실시 예에 따른 물체(404)의 라이브 계측을 수행하기 위한 시스템(400)의 예를 도시한 것이다. 예시적인 예에 따르면, 시스템(400)은 도 1의 시스템(100)을 위해 이용되거나 또는 도 1의 시스템(100)의 일부이다. 시스템(400)은 스캐닝을 위해 물체(404)를 위치시키기 위한 장치(402)를 포함한다. 장치(402)는 도 1의 장치(144)를 위해 이용될 수 있다. 물체(404)를 위치시키기 위한 장치(402)는 베이스(406; base) 및 베이스 (406)로부터 연장되는 한 쌍의 대향 측벽(408, 410; opposite side walls)을 포함한다. 갠트리(412; gantry)는 측벽(408 및 410)의 상부 사이에서 연장되고 각 측벽 (408 및 410) 상의 트랙(414; track)을 따라 이동한다. 갠트리(412)는 여기서 설명된 바와 같이 물체(404)의 다른 표면 또는 측면을 스캐닝하기 위해 물체(404)를 위치시키거나 재위치시키기 위한 크레인(416; crane)을 포함한다.
또한, 시스템(400)은 스캐닝 동작을 수행하기 위한 복수의 센서(420) 및 조명 프로젝터(422; lighting projectors)를 지지하기 위한 장착 배열(418; mounting arrangement)를 포함한다. 일 실시 예에 따르면, 장착 배열(418)은 수직 구조 부재(428; vertical structural members) 사이에서 연장되는 조명 프로젝터(422)와 센서(420)를 장착하기 위한 복수의 수평 구조 부재(426; horizontal structural members)를 포함하는 래더형 구조체(ladder type structure) 또는 복수의 트러스(424; trusses)를 포함한다. 상기한 것과 마찬가지로, 일례에 따르면, 센서(420)는 제조된 물체의 재구성 된 모델을 발생시키기 위해 다른 형태의 데이터를 수집하기 위한 다른 형태의 센서 또는 카메라를 포함한다. 센서(420)는 특정 스캐닝 동작 및/또는 스캐닝되는 물체를 기초로 소정의 어레이 또는 그룹에 배치된다. 예컨대, 제1 수평 구조 부재(426a)는 물체(404)를 스캐닝하고 제조된 물체(404)의 재구성된 모델을 발생시키기 위한 데이터를 포함하는 전자 이미지를 수집하기 위한 팬/틸트 유닛(430; pan/tilt units)의 복수의 어레이를 포함한다. 팬/틸트 유닛(430)의 예는 3-D 스캐닝 센서 또는 장치를 포함하지만, 이에 한정되지는 않는다. 제2 수평 구조 부재(426b)는 3-D 스캐닝 센서(432) 또는 카메라의 복수의 어레이를 포함한다. 제3 수평 구조 부재(426c)는 비행 시간 센서(434)의 복수의 어레이를 포함하고, 제4 수평 구조 부재(426d)는 복수의 조명 프로젝터(422) 또는 적외선 조명 프로젝터를 포함한다. 도 4의 예시적인 예는, 시스템(400)의 일 측면 상 또는 하나의 측벽(408)과 관련된 장착 배열(418) 및 센서(420)를 도시한다. 다른 예에서, 장착 배열(418) 및 센서(420)는 시스템(400)의 양측에 있거나, 양 측벽(408 및 410)과 관련된다.
일례에 따르면, 방법(200 및 300) 중 어느 하나는 도 1의 컴퓨터 프로그램 제품(146)과 같은 컴퓨터 프로그램 제품 상에서 실시된다. 컴퓨터 프로그램 제품(146)은 그와 함께 실시되는 컴퓨터 프로그램 명령(148)을 갖춘 앞에서 설명된 것과 동일한 컴퓨터 판독가능 저장 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 본질적으로 일시적인 매체가 아니다. 프로그램 명령은 장치로 하여금 방법(200 또는 300)을 수행하게 하도록 도 1의 프로세서(134)와 같은 장치에 의해 실행가능하다. 일례에 따르면, 컴퓨터 프로그램 명령(148)은 프로세서(134)와 관련하여 저장 장치 상에 저장되고 컴퓨터 프로그램 제품(146)으로부터 다운로드 가능한 라이브 계측 모듈(136)을 정의한다.
도면에서 플로우차트 및 블록도는 본 발명의 다양한 예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 구조, 기능 및 동작을 도시한다. 이와 관련하여, 플로우차트 또는 블록도의 각 블록은 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령어를 구비하는 모듈, 세그먼트 또는 명령의 부분을 나타낼 수 있다. 몇몇 다른 구현에서, 블록에서 주지된 기능은 도면에서 주지된 순서를 벗어나 야기될 수도 있다. 예컨대, 연속적으로 도시된 2개의 블록은, 사실상, 실질적으로 동시에 실행될 수 있거나, 포함된 기능에 따라 때때로 블록이 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 플로우차트의 각 블록, 및 블록도 및/또는 플로우차트의 블록의 조합은 특정 기능 또는 동작을 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현되거나 특수 목적 하드웨어와 컴퓨터 명령의 조합을 수행될 수 있음을 주지해야 한다.
여기서 이용되는 용어는 특정 예만을 설명하기 위한 것으로, 본 발명의 예를 제한하려는 것은 아니다. 여기서 이용되는 바와 같이, 단수 형태 "하나"는 문맥 상 다르게 지시하지 않는 한 복수 형태를 포함하는 것으로 의도된다. 본 명세서에서 사용되는 용어 "구비하는" 및/또는 "구비하는 것"은, 본 명세서에서 이용될 때, 언급된 특징, 정수, 단계, 동작, 엘리먼트 및/또는 구성요소의 존재를 특정하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 엘리먼트, 구성요소 및/또는 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해될 것이다.
이하의 청구범위에서 모든 수단 또는 단계와 기능 엘리먼트의 대응하는 구조, 재료, 작용 및 균등물은 구체적으로 청구되는 다른 청구된 엘리먼트와 조합하여 기능을 수행하기 위한 임의의 구조, 재료 또는 행위를 포함한다. 본 예에 대한 설명은 예시 및 설명의 목적으로 제공되었지만, 개시된 형태의 예로 망라되거나 한정되는 것은 아니다. 많은 수정 및 변형이 예의 범위 및 정신을 벗어나지 않으면서 당업자에게 명백 할 것이다.
더욱이, 본 발명은 다음의 조항에 따른 예를 구비한다:
조항 1. 물체의 라이브 계측을 위한 방법으로:
물체의 전자 이미지를 수집하기 위해 복수의 센서에 의한 스캐닝 동작을 수행하는 단계, 전자 이미지는 물체의 라이브 계측을 위한 3-D 포인트 클라우드 데이터를 구비하고 각 센서로부터의 포인트 클라우드 데이터는 물체를 나타내는 포인트 클라우드를 정의하고;
제조된 물체의 재구성된 모델을 발생시키도록 함께 센서로부터 포인트 클라우드를 함께 스티칭하는 단계; 및
물체가 물체의 설계된 모델에 대한 허용가능 오차 내에서 제조됨을 결정하도록 제조된 물체의 재구성된 모델을 물체의 설계된 모델에 비교하는 단계;를 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
조항 2. 조항 1의 방법으로, 복수의 센서를 소정의 어레이 또는 다른 형태의 센서 어레이에 배치하는 단계를 더 갖추어 이루어지는 것을 특징으로 한다.
조항 3. 조항 1의 방법으로, 제조 동안 사람 및 장비로부터의 간섭을 회피하기 위해 복수의 센서를 물체로부터 소정 거리에 배치하는 단계를 더 갖추어 이루어지는 것을 특징으로 한다.
조항 4. 조항 1의 방법으로,
센서와 대향하여 스캐닝되어지는 물체의 표면 또는 측면으로 스캐닝 동작을 수행하기 위해 선택된 방향에 물체를 위치시키는 단계와;
스캐닝 동작을 수행한 후 3-D 포인트 클라우드 데이터를 저장하는 단계;
물체의 다른 표면 또는 측면을 스캐닝하기 위해 다른 선택된 방향으로 물체를 재위치시키는 단계; 및
각각의 스캐닝 동작을 수행한 후 3-D 포인트 클라우드 데이터를 저장하는 단계, 포인트 클라우드를 함께 스티칭하는 단계는 함께 물체의 선택된 방향의 각각으로부터 포인트 클라우드를 스티칭하는 단계를 구비하고;를 더 갖추어 이루어지는 것을 특징으로 한다.
조항 5. 조항 1의 방법으로,
스캐닝 동작을 수행하는 단계는:
복수의 센서의 비행 시간 센서의 그룹을 이용하여 깊이 맵을 생성하는 단계, 깊이 맵은 비행 시간 센서로부터 물체까지의 거리를 포함하는 포인트 클라우드 데이터의 포인트 클라우드를 구비하고;
다수의 편광 이미지를 수집하기 위해 깊이 맵을 이용하여 복수의 센서의 다수의 스캐닝 센서를 이용하여 물체를 스캐닝하는 단계, 각 편광 이미지는 각 스캐닝 센서에 의해 발생된 편광 포인트 클라우드를 정의하고;
결합된 편광 센서 맵을 형성하기 위해 함께 편광 이미지를 스티칭하는 단계;
복수의 센서 중 복수의 3-D 스캐닝 센서를 이용하여 물체의 복수의 표면 이미지를 캡처하는 단계, 각 표면 이미지는 3-D 스캐닝 센서에 대향하는 물체의 표면 또는 측면의 3-D 스캐닝 센서 각각에 의해 발생된 표면 이미지 포인트 클라우드를 정의하고; 및
복수의 센서에 대향하는 물체의 표면 또는 측면의 물체의 표면 표현을 발생시키도록 결합된 편광 센서 맵에 표면 이미지를 맵핑하는 단계;를 갖추어 이루어지는 것을 특징으로 한다.
조항 6. 조항 5의 방법으로, 깊이 맵을 이용하여 복수의 스캐닝 영역을 조명하는 단계를 더 갖추어 이루어지는 것을 특징으로 한다.
조항 7. 조항 5의 방법으로, 깊이 맵을 이용하여 복수의 스캐닝 영역을 결정하는 단계를 더 갖추어 이루어지는 것을 특징으로 한다.
조항 8. 조항 5의 방법으로, 함께 편광 이미지를 스티칭하는 단계는 편광 포인트 클라우드로부터 물체의 표현을 발생시키는 단계를 구비하고, 물체의 표현은 해상도 적응형 메쉬를 구비하는 것을 특징으로 한다.
조항 9. 조항 5의 방법으로, 결합된 편광 센서 맵에 표면 이미지를 맵핑하는 단계는 편광 포인트 클라우드 및 표면 이미지 포인트 클라우드를 이용하여 물체의 표현을 발생시키는 단계를 구비하고, 물체의 표면 표현은 물체의 3-D 계측을 위해 물체에 대응하는 해상도 적응형 메쉬를 구비하는 것을 특징으로 한다.
조항 10. 조항 9의 방법으로, 표면 표현을 발생시키는 단계는 각 포인트 클라우드의 중간 암시적 표현을 이용하여 편광 포인트 클라우드 및 표면 이미지 포인트 클라우드에 메쉬를 피팅시키는 단계를 갖추어 이루어지는 것을 특징으로 한다.
조항 11. 조항 1의 방법으로, 함께 편광 이미지를 스티칭하는 단계는 포인트 클라우드를 이용하여 해상도 적응형 메쉬를 발생시키는 단계를 포함하고, 해상도 적응형 메쉬는 물체의 3-D 계측을 위해 제조된 물체의 재구성된 모델에 대응하는 것을 특징으로 한다.
조항 12. 조항 1의 방법으로, 함께 포인트 클라우드를 스티칭하는 단계는 각 포인트 클라우드의 중간 암시적 표현을 이용하여 포인트 클라우드에 메쉬를 피팅시키는 단계를 갖추어 이루어지는 것을 특징으로 한다.
조항 13. 조항 1의 방법으로, 제조된 물체의 재구성된 모델의 정확도는 실제 제조된 물체에 대해 약 0.003 인치 내인 것을 특징으로 한다.
조항 14. 조항 1의 방법으로, 머신에 의한 부주의 한 접촉을 회피하기 위해 머신의 머신 제어기에 대한 입력으로서 제조된 물체의 재구성된 모델을 제공하는 단계를 더 갖추어 이루어지는 것을 특징으로 한다.
조항 15. 물체의 라이브 계측을 위한 시스템으로,
물체의 전자 이미지를 수집하기 위해 스캐닝 동작을 수행하기 위한 복수의 센서, 전자 이미지는 물체의 라이브 계측을 위한 3-D 포인트 클라우드 데이터 및 물체를 나타내는 포인트 클라우드를 정의하는 각 센서로부터의 포인트 클라우드 데이터를 구비하고;
프로세서; 및
프로세서 상에서 동작하는 라이브 계측 모듈을 구비하여 구성되고, 기능의 세트를 수행하도록 구성되어지는 라이브 계측 모듈이:
제조된 물체의 재구성된 모델을 발생시키도록 함께 복수의 센서로부터 포인트 클라우드를 스티칭하는 단계와;
물체가 물체의 설계된 모델에 대한 허용가능 오차 내에서 제조됨을 결정하도록 제조된 물체의 재구성된 모델을 물체의 설계된 모델에 비교하는 단계;를 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 시스템.
조항 16. 조항 15의 시스템으로, 복수의 센서는 LIDAR(Light Detection and Ranging) 장치 또는 시스템의 어레이, 특수 위상 이미징 센서의 어레이, 비행 시간 센서 또는 카메라의 어레이, 입체 카메라의 어레이, 라이트 필드 카메라의 어레이, 고해상도 카메라 어레이 중 하나 이상을 구비하여 구성되는 것을 특징으로 한다.
조항 17. 조항 15의 시스템으로, 제조된 물체의 재구성된 모델은 스캐닝 동작을 수행하기 위해 실시간에 가깝게 발생되는 것을 특징으로 한다.
조항 18. 조항 15의 시스템으로, 스캐닝 동작은,
복수의 센서 중 비행 시간 센서의 그룹을 이용하여 깊이 맵을 생성하는 단계, 깊이 맵은 비행 시간 센서로부터 물체까지의 거리를 포함하는 포인트 클라우드 데이터의 포인트 클라우드를 구비하고;
다수의 편광 이미지를 수집하기 위해 깊이 맵을 이용하여 복수의 센서 중 다수의 스캐닝 센서를 이용하여 물체를 스캐닝하는 단계, 각 편광 이미지는 각 스캐닝 센서에 의해 발생된 편광 포인트 클라우드를 정의하고;
결합된 편광 센서 맵을 형성하기 위해 함께 편광 이미지를 스티칭하는 단계;
복수의 센서 중 복수의 3-D 스캐닝 센서를 이용하여 물체의 복수의 표면 이미지를 캡처하는 단계, 각 표면 이미지는 3-D 스캐닝 센서와 대향하는 물체의 표면 또는 측면의 3-D 스캐닝 센서의 각각에 의해 발생된 표면 이미지 포인트 클라우드를 정의하고; 및
복수의 센서와 대향하는 물체의 표면 또는 측면의 물체의 표면 표현을 발생시키도록 결합된 편광 센서 맵에 표면 이미지를 맵핑하는 단계;를 포함하는 기능의 세트를 갖추어 이루어지는 것을 특징으로 한다.
조항 19. 물체의 라이브 계측을 위한 컴퓨터 프로그램 제품으로, 컴퓨터 프로그램 제품은 내장된 프로그램 명령을 갖춘 컴퓨터 판독가능 저장 매체를 구비하고, 컴퓨터 판독가능 저장 매체는 그 자체가 일시적인 매체가 아니고, 프로그램 명령은 장치로 하여금:
물체의 전자 이미지를 수집하기 위해 복수의 센서에 의해 스캐닝 동작을 수행하는 단계, 전자 이미지는 물체의 라이브 계측을 위한 3-D 포인트 클라우드 데이터 및 물체를 나타내는 포인트 클라우드를 정의하는 각 센서로부터의 포인트 클라우드 데이터를 구비하고;
제조된 물체의 재구성된 모델을 발생시키기 위해 함께 복수의 센서로부터 포인트 클라우드를 스티칭하는 단계; 및
물체가 물체의 설계된 모델에 대한 허용가능 오차 내에서 제조됨을 결정하기 위해 제조된 물체의 재구성된 모델을 물체의 설계된 모델과 비교하는 단계;를 포함하는 방법을 수행하도록 장치에 의해 실행가능한 것을 특징으로 하는 물체의 라이브 계측을 위한 컴퓨터 프로그램 제품.
조항 20. 조항 19의 컴퓨터 프로그램 제품으로, 스캐닝 동작을 수행하는 단계는:
복수의 센서의 비행 시간 센서의 그룹을 이용하여 깊이 맵을 생성하는 단계, 깊이 맵은 비행 시간 센서로부터 물체까지의 거리를 포함하는 포인트 클라우드 데이터의 포인트 클라우드를 구비하고;
다수의 편광 이미지를 수집하기 위해 깊이 맵을 이용하여 복수의 센서의 다수의 스캐닝 센서를 이용하여 물체를 스캐닝하는 단계, 각 편광 이미지는 각 스캐닝 센서에 의해 발생된 편광 포인트 클라우드를 정의하고;
결합된 편광 센서 맵을 형성하기 위해 함께 편광 이미지를 스티칭하는 단계;
복수의 센서 중 복수의 3-D 스캐닝 센서를 이용하여 물체의 복수의 표면 이미지를 캡처하는 단계, 각 표면 이미지는 3-D 스캐닝 센서에 대향하는 물체의 표면 또는 측면의 3-D 스캐닝 센서 각각에 의해 발생된 표면 이미지 포인트 클라우드를 정의하고; 및
복수의 센서에 대향하는 물체의 표면 또는 측면의 물체의 표면 표현을 발생시키도록 결합된 편광 센서 맵에 표면 이미지를 맵핑하는 단계;를 갖추어 이루어지는 것을 특징으로 한다.
여기서 특정 예가 도시되고 설명되었음에도 불구하고, 당업자는 동일한 목적을 달성하기 위해 계산된 임의의 구성이 도시된 특정 예를 대체할 수 있고, 해당 예가 다른 환경에서 다른 애플리케이션을 갖는다는 것을 이해할 것이다. 본 애플리케이션은 모든 적용 또는 변형을 포함한다. 다음의 청구범위는 본 발명의 예의 범위를 역서 설명된 특정 예들로 제한하려는 것이 아니다.
Claims (15)
- 물체의 라이브 계측을 위한 방법(200)으로:
물체(102)의 전자 이미지(106)를 수집하기 위해 복수의 센서(104)에 의한 스캐닝 동작을 수행하는 단계(206, 300), 전자 이미지는 물체의 라이브 계측을 위한 3-D 포인트 클라우드 데이터(108)를 구비하고 각 센서로부터의 포인트 클라우드 데이터는 물체를 나타내는 포인트 클라우드(110)를 정의하고;
제조된 물체의 재구성된 모델(112)을 발생시키도록 함께 복수의 센서로부터 포인트 클라우드를 스티칭하는 단계(212); 및
물체가 물체의 설계된 모델에 대한 허용가능 오차(140) 내에서 제조되었음을 결정하도록 제조된 물체의 재구성된 모델을 물체의 설계된 모델에 비교하는 단계(214);를 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
- 제1항에 있어서,
복수의 센서를 소정의 어레이 또는 다른 형태의 센서 어레이(420)에 배치하는 단계를 더 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
- 제1항 또는 제2항에 있어서,
제조 동안 사람 및 장비로부터의 간섭을 회피하기 위해 복수의 센서를 물체로부터 소정 거리에 배치하는 단계를 더 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
- 제1항 또는 제2항에 있어서,
센서와 대향하여 스캐닝되어지는 물체의 표면 또는 측면으로 스캐닝 동작을 수행하기 위해 선택된 방향에 물체를 위치시키는 단계(204)와;
스캐닝 동작을 수행한 후 3-D 포인트 클라우드 데이터를 저장하는 단계(208);
물체의 다른 표면 또는 측면을 스캐닝하기 위해 다른 선택된 방향으로 물체를 재위치시키는 단계(210, 204); 및
각각의 스캐닝 동작을 수행한 후 3-D 포인트 클라우드 데이터를 저장하는 단계, 포인트 클라우드를 함께 스티칭하는 단계는 함께 물체의 선택된 방향의 각각으로부터 포인트 클라우드를 스티칭하는 단계(208)를 구비하고;를 더 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
- 제1항 또는 제2항에 있어서,
스캐닝 동작을 수행하는 단계는:
복수의 센서의 비행 시간 센서(116)의 그룹을 이용하여 깊이 맵을 생성하는 단계(302), 깊이 맵은 비행 시간 센서로부터 물체까지의 거리를 포함하는 포인트 클라우드 데이터의 포인트 클라우드를 구비하고;
다수의 편광 이미지(128)를 수집하기 위해 깊이 맵을 이용하여 복수의 센서의 다수의 스캐닝 센서(104,118)를 이용하여 물체를 스캐닝하는 단계(306), 각 편광 이미지는 각 스캐닝 센서에 의해 발생된 편광 포인트 클라우드를 정의하고;
결합된 편광 센서 맵을 형성하기 위해 함께 편광 이미지를 스티칭하는 단계(308);
복수의 센서 중 복수의 3-D 스캐닝 센서(114)를 이용하여 물체의 복수의 표면 이미지를 캡처하는 단계(310), 각 표면 이미지는 3-D 스캐닝 센서에 대향하는 물체의 표면 또는 측면의 3-D 스캐닝 센서 각각에 의해 발생된 표면 이미지 포인트 클라우드를 정의하고; 및
복수의 센서에 대향하는 물체의 표면 또는 측면의 물체의 표면 표현을 발생시키도록 결합된 편광 센서 맵에 표면 이미지를 맵핑하는 단계(312);를 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
- 제5항에 있어서,
깊이 맵을 이용하여 복수의 스캐닝 영역을 조명하는 단계(304)를 더 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
- 제5항에 있어서,
깊이 맵을 이용하여 복수의 스캐닝 영역을 결정하는 단계(306)를 더 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
- 제5항에 있어서,
함께 편광 이미지를 스티칭하는 단계(308)는 편광 포인트 클라우드로부터 물체의 표현을 발생시키는 단계를 구비하고, 물체의 표현은 해상도 적응형 메쉬를 구비하는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
- 제5항에 있어서,
결합된 편광 센서 맵에 표면 이미지를 맵핑하는 단계(312)는 편광 포인트 클라우드 및 표면 이미지 포인트 클라우드를 이용하여 물체의 표현을 발생시키는 단계를 구비하고, 물체의 표면 표현은 물체의 3-D 계측을 위해 물체에 대응하는 해상도 적응형 메쉬를 구비하는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
- 제9항에 있어서,
표면 표현을 발생시키는 단계(312)는 각 포인트 클라우드의 중간 암시적 표현을 이용하여 편광 포인트 클라우드 및 표면 이미지 포인트 클라우드에 메쉬를 피팅시키는 단계를 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
- 제1항 또는 제2항에 있어서,
머신에 의한 부주의 한 접촉을 회피하기 위해 머신의 머신 제어기에 대한 입력으로서 제조된 물체의 재구성된 모델을 제공하는 단계(216)를 더 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 방법.
- 물체의 라이브 계측을 위한 시스템(100, 400)으로,
물체(102)의 전자 이미지(106)를 수집하기 위해 스캐닝 동작(206, 300)을 수행하기 위한 복수의 센서(104), 전자 이미지는 물체의 라이브 계측을 위한 3-D 포인트 클라우드 데이터(108) 및 물체를 나타내는 포인트 클라우드(110)를 정의하는 각 센서로부터의 포인트 클라우드 데이터를 구비하고;
프로세서(134); 및
프로세서 상에서 동작하는 라이브 계측 모듈(136)을 구비하여 구성되고,
기능의 세트를 수행하도록 구성되어지는 라이브 계측 모듈이:
제조된 물체의 재구성된 모델(112)을 발생시키도록 함께 복수의 센서로부터 포인트 클라우드를 스티칭하는 단계(212)와;
물체가 물체의 설계된 모델에 대한 허용가능 오차(140) 내에서 제조됨을 결정하도록 제조된 물체의 재구성된 모델을 물체의 설계된 모델에 비교하는 단계(214);를 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 시스템.
- 제12항에 있어서,
복수의 센서(104)는 LIDAR(Light Detection and Ranging) 장치 또는 시스템의 어레이, 특수 위상 이미징 센서의 어레이, 비행 시간 센서 또는 카메라의 어레이, 입체 카메라의 어레이, 라이트 필드 카메라의 어레이, 고해상도 카메라 어레이 중 하나 이상을 구비하여 구성되는 것을 특징으로 하는 물체의 라이브 계측을 위한 시스템.
- 제12항 또는 제13항에 있어서,
스캐닝 동작(206, 300)은
복수의 센서 중 비행 시간 센서(116)의 그룹을 이용하여 깊이 맵을 생성하는 단계(302), 깊이 맵은 비행 시간 센서로부터 물체까지의 거리를 포함하는 포인트 클라우드 데이터의 포인트 클라우드를 구비하고;
다수의 편광 이미지(128)를 수집하기 위해 깊이 맵을 이용하여 복수의 센서 중 다수의 스캐닝 센서를 이용하여 물체를 스캐닝하는 단계(306), 각 편광 이미지는 각 스캐닝 센서에 의해 발생된 편광 포인트 클라우드를 정의하고;
결합된 편광 센서 맵을 형성하기 위해 함께 편광 이미지를 스티칭하는 단계(308);
복수의 센서 중 복수의 3-D 스캐닝 센서(114)를 이용하여 물체의 복수의 표면 이미지를 캡처하는 단계(310), 각 표면 이미지는 3-D 스캐닝 센서와 대향하는 물체의 표면 또는 측면의 3-D 스캐닝 센서의 각각에 의해 발생된 표면 이미지 포인트 클라우드를 정의하고; 및
복수의 센서와 대향하는 물체의 표면 또는 측면의 물체의 표면 표현을 발생시키도록 결합된 편광 센서 맵에 표면 이미지를 맵핑하는 단계(312);를 포함하는 기능의 세트를 갖추어 이루어지는 것을 특징으로 하는 물체의 라이브 계측을 위한 시스템.
- 물체의 라이브 계측을 위한 컴퓨터 프로그램 제품(146)으로, 컴퓨터 프로그램 제품은 내장된 프로그램 명령(148)을 갖춘 컴퓨터 판독가능 저장 매체를 구비하고, 컴퓨터 판독가능 저장 매체는 그 자체가 일시적인 매체가 아니고, 프로그램 명령은 장치로 하여금:
물체의 전자 이미지를 수집하기 위해 복수의 센서에 의해 스캐닝 동작을 수행하는 단계(206, 300), 전자 이미지는 물체의 라이브 계측을 위한 3-D 포인트 클라우드 데이터 및 물체를 나타내는 포인트 클라우드를 정의하는 각 센서로부터의 포인트 클라우드 데이터를 구비하고;
제조된 물체의 재구성된 모델(112)을 발생시키기 위해 함께 복수의 센서로부터 포인트 클라우드를 스티칭하는 단계(212); 및
물체가 물체의 설계된 모델에 대한 허용가능 오차(140) 내에서 제조됨을 결정하기 위해 제조된 물체의 재구성된 모델(112)을 물체의 설계된 모델(138)과 비교하는 단계(214);를 포함하는 방법을 수행하도록 장치에 의해 실행가능한 것을 특징으로 하는 물체의 라이브 계측을 위한 컴퓨터 프로그램 제품.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/663,397 | 2017-07-28 | ||
| US15/663,397 US10732284B2 (en) | 2017-07-28 | 2017-07-28 | Live metrology of an object during manufacturing or other operations |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190013467A true KR20190013467A (ko) | 2019-02-11 |
| KR102643295B1 KR102643295B1 (ko) | 2024-03-04 |
Family
ID=62597302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180071265A KR102643295B1 (ko) | 2017-07-28 | 2018-06-21 | 제조 또는 다른 동작 동안 물체의 라이브 계측 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10732284B2 (ko) |
| EP (1) | EP3435028B1 (ko) |
| JP (1) | JP7294778B2 (ko) |
| KR (1) | KR102643295B1 (ko) |
| ES (1) | ES2757561T3 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3480626A1 (en) * | 2017-11-02 | 2019-05-08 | Koninklijke Philips N.V. | Improved depth image reconstruction |
| BR112022006602A2 (pt) * | 2019-10-07 | 2022-06-28 | Boston Polarimetrics Inc | Sistemas e métodos para aumento de sistemas de sensores e sistemas de imageamento com polarização |
| CN112686949A (zh) * | 2020-12-30 | 2021-04-20 | 深圳艾灵网络有限公司 | 一种车辆定位方法、系统及相关设备 |
| CN113190772B (zh) * | 2021-03-31 | 2024-11-08 | 广州朗国电子科技股份有限公司 | 一种智能云屏的信息发布及反馈方法、系统及存储介质 |
| EP4198449A1 (en) * | 2021-12-14 | 2023-06-21 | Hexagon Technology Center GmbH | Metrology system |
| CN116540255A (zh) * | 2022-01-26 | 2023-08-04 | 上海飞机制造有限公司 | 利用多台激光雷达测量并获得飞机面型的系统和方法 |
| US11875457B2 (en) * | 2022-02-22 | 2024-01-16 | Zebra Technologies Corporation | 3D product reconstruction from multiple images collected at checkout lanes |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016194728A1 (ja) * | 2015-06-01 | 2016-12-08 | 新日鐵住金株式会社 | クランクシャフトの検査方法及び装置 |
| US20170010087A1 (en) * | 2015-07-07 | 2017-01-12 | Quality Vision International, Inc. | Method and apparatus for scanning object |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5886702A (en) | 1996-10-16 | 1999-03-23 | Real-Time Geometry Corporation | System and method for computer modeling of 3D objects or surfaces by mesh constructions having optimal quality characteristics and dynamic resolution capabilities |
| US20050140670A1 (en) | 2003-11-20 | 2005-06-30 | Hong Wu | Photogrammetric reconstruction of free-form objects with curvilinear structures |
| US7593565B2 (en) | 2004-12-08 | 2009-09-22 | Rudolph Technologies, Inc. | All surface data for use in substrate inspection |
| WO2006074310A2 (en) | 2005-01-07 | 2006-07-13 | Gesturetek, Inc. | Creating 3d images of objects by illuminating with infrared patterns |
| CN101464999B (zh) * | 2007-12-19 | 2011-01-05 | 鸿富锦精密工业（深圳）有限公司 | 三维色阶比对系统及方法 |
| WO2010099036A1 (en) | 2009-02-25 | 2010-09-02 | Dimensional Photonics International, Inc. | Intensity and color display for a three-dimensional metrology system |
| DE102009040991B4 (de) | 2009-09-10 | 2012-11-08 | Carl Zeiss Ag | Messanordnung und Verfahren zum Vermessen einer Oberfläche |
| US8983794B1 (en) | 2010-10-04 | 2015-03-17 | The Boeing Company | Methods and systems for non-destructive composite evaluation and repair verification |
| JP2013186100A (ja) | 2012-03-12 | 2013-09-19 | Hitachi Ltd | 形状検査方法およびその装置 |
| FR2992762B1 (fr) | 2012-06-29 | 2014-07-11 | Real Fusio France | Procede de generation d’un maillage d’au moins un objet en trois dimensions |
| ES2780575T3 (es) | 2013-01-21 | 2020-08-26 | Vricon Systems Ab | Un procedimiento y disposición para proporcionar un modelo 3d |
| US9524582B2 (en) | 2014-01-28 | 2016-12-20 | Siemens Healthcare Gmbh | Method and system for constructing personalized avatars using a parameterized deformable mesh |
| EP2930691A1 (en) | 2014-04-10 | 2015-10-14 | Dassault Systèmes | Fitting sample points with an isovalue surface |
| CN104063894B (zh) | 2014-06-13 | 2017-02-22 | 中国科学院深圳先进技术研究院 | 点云三维模型重建方法及系统 |
| US10260866B2 (en) | 2015-03-06 | 2019-04-16 | Massachusetts Institute Of Technology | Methods and apparatus for enhancing depth maps with polarization cues |
| US9646410B2 (en) | 2015-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Mixed three dimensional scene reconstruction from plural surface models |
| EP3188033B1 (en) | 2015-12-31 | 2024-02-14 | Dassault Systèmes | Reconstructing a 3d modeled object |
-
2017
- 2017-07-28 US US15/663,397 patent/US10732284B2/en active Active
-
2018
- 2018-05-23 ES ES18173753T patent/ES2757561T3/es active Active
- 2018-05-23 EP EP18173753.7A patent/EP3435028B1/en active Active
- 2018-06-21 KR KR1020180071265A patent/KR102643295B1/ko active IP Right Grant
- 2018-07-20 JP JP2018136443A patent/JP7294778B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016194728A1 (ja) * | 2015-06-01 | 2016-12-08 | 新日鐵住金株式会社 | クランクシャフトの検査方法及び装置 |
| US20170010087A1 (en) * | 2015-07-07 | 2017-01-12 | Quality Vision International, Inc. | Method and apparatus for scanning object |
Also Published As
| Publication number | Publication date |
|---|---|
| US10732284B2 (en) | 2020-08-04 |
| JP2019039909A (ja) | 2019-03-14 |
| KR102643295B1 (ko) | 2024-03-04 |
| ES2757561T3 (es) | 2020-04-29 |
| EP3435028B1 (en) | 2019-08-21 |
| EP3435028A1 (en) | 2019-01-30 |
| JP7294778B2 (ja) | 2023-06-20 |
| US20190033461A1 (en) | 2019-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102643295B1 (ko) | 제조 또는 다른 동작 동안 물체의 라이브 계측 | |
| KR101604037B1 (ko) | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 | |
| Ellenberg et al. | Use of unmanned aerial vehicle for quantitative infrastructure evaluation | |
| Fassi et al. | Comparison between laser scanning and automated 3d modelling techniques to reconstruct complex and extensive cultural heritage areas | |
| Soudarissanane et al. | Optimizing terrestrial laser scanning measurement set-up | |
| CN112161619B (zh) | 位姿检测方法、三维扫描路径规划方法和检测系统 | |
| US20140132729A1 (en) | Method and apparatus for camera-based 3d flaw tracking system | |
| Lattanzi et al. | 3D scene reconstruction for robotic bridge inspection | |
| Cho et al. | Target-focused local workspace modeling for construction automation applications | |
| Marcin et al. | Hierarchical, three‐dimensional measurement system for crime scene scanning | |
| GB2519201A (en) | Processing apparatus for three-dimensional data, processing method therefor, and processing program therefor | |
| JPWO2017119202A1 (ja) | 構造物の部材特定装置及び方法 | |
| Sommer et al. | Scan methods and tools for reconstruction of built environments as basis for digital twins | |
| Gordon et al. | Metric performance of a high-resolution laser scanner | |
| Senthilvel et al. | Comparison of handheld devices for 3D reconstruction in construction | |
| JP2013178174A (ja) | 複数の格子を用いた三次元形状計測装置 | |
| JP6316240B2 (ja) | 測定装置及び測定方法 | |
| Liu et al. | Plane-based self-calibration and improvement of three-dimensional multi-beam laser scanning with two-axis-mirror | |
| Niola et al. | A new real-time shape acquisition with a laser scanner: first test results | |
| Kavulya et al. | Effects of Color, Distance, And Incident angle on Quality of 3D point clouds | |
| Durán-Dominguez et al. | 3D study of cultural heritage for conservation: reliability of the portable 3D laser scanners | |
| Becker et al. | Reality capture methods for remote inspection of building work | |
| Al-Durgham et al. | Bundle adjustment-based stability analysis method with a case study of a dual fluoroscopy imaging system | |
| Gražulis et al. | The horizontal deformation analysis of high-rise buildings | |
| KR20220075309A (ko) | 차량 부품의 갭 및 플러시의 측정 방법 및 측정 터널 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20180621 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20210601 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20180621 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230818 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240222 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240228 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240228 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |