KR20200132838A

KR20200132838A - 오브젝트의 3차원 이미지 생성 방법 및 시스템

Info

Publication number: KR20200132838A
Application number: KR1020207018049A
Authority: KR
Inventors: 오이스테인 스코테임; 헨릭 스쿠만-올슨
Original assignee: 지비드 에이에스
Priority date: 2017-12-22
Filing date: 2018-11-26
Publication date: 2020-11-25
Also published as: GB2569656A; JP2021507440A; CN112106105A; GB2569656B; US11763518B2; GB201721819D0; JP7350343B2; WO2019120896A1; CN112106105B; EP3729367A1; US20200334895A1

Abstract

오브젝트의 3 차원 이미지를 생성하는 방법은, 이미징 시스템으로부터 입력 포인트 클라우드 데이터 세트를 수신하는 단계 - 상기 입력 포인트 클라우드 데이터 세트는 둘 이상의 입력 포인트 클라우드들을 포함함 -; 상기 각각의 입력 포인트 클라우드들 내의 각각의 포인트에 대해, 상기 포인트에 대해 지정된 3차원 좌표들에서의 불확실성의 정도를 반영하는 품질 파라미터 값을 결정하는 단계; 상기 오브젝트 표면의 3차원 표현을 생성하기 위한 출력 포인트 클라우드를 생성하는 단계 - 상기 출력 포인트 클라우드 내의 각각의 포인트에 대해, 상기 각각의 포인트의 상기 좌표들은 상기 입력 포인트 클라우드들 내의 상기 포인트들의 상기 좌표 값들에 기초하여 계산됨 -;을 포함하고, 상기 계산에서 상기 각각의 입력 포인트 클라우드들 내의 상기 좌표 값들이 고려되는 정도는 상기 각각의 포인트들과 관련된 상기 품질 파라미터 값들에 기초하여 결정된다.

Description

오브젝트의 3차원 이미지 생성 방법 및 시스템

본 명세서에 기술되는 실시 예들은 오브젝트의 3차원 이미지(three-dimensional image)를 생성하는 방법 및 시스템에 관한 것이다.

3차원 표면 이미징(three-dimensional surface imaging)(3D 표면 이미징)은 빠르게 성장하는 기술 분야이다. 본 명세서에 사용된 용어 "3D 표면 이미징"은 3차원 모두에서 공간 정보를 캡처함으로써(즉, 종래의 이미지 또는 사진에 존재하는 상기 2차원 공간 정보 외에 깊이 정보를 캡처함으로써), 오브젝트의 상기 표면(들)의 3D 표현을 생성하는 프로세스를 나타내는 것으로 이해될 수 있다. 이러한 3D 표현은, 예를 들어, 화면에 "3D 이미지"로 시각적으로 표시될 수 있다.

오브젝트 표면의 3D 이미지를 생성하는데 필요한 상기 데이터를 획득하는데 여러 가지 다른 기술들이 사용될 수 있다. 이러한 기술들은 구조 광 조명(structured light illumination), ToF 이미징(time of flight imaging), 홀로그래픽 기술들(holographic techniques), 스테레오 시스템들(stereo systems)(액티브 및 패시브 모두) 및 레이저 라인 삼각측량(laser line triangulation)을 포함하지만 이에 국한되지는 않는다. 각각의 경우에, 상기 데이터는 3차원 공간에서 서로 다른 포인트들에 대해 세기 값들(intensity values)이 기록되는 "포인트 클라우드(point cloud)"의 형태로 캡처될 수 있으며, 상기 클라우드의 각각의 포인트들은 자체의 (x, y, z) 좌표들 세트, 및 관련 세기 값(I)을 가진다.

도 1은 상기 포인트 클라우드의 상기 데이터가 메모리에 저장될 수 있는 방법의 예를 보여준다. 도시된 바와 같이, 상기 데이터는 N 개의 행들과 M 개의 열들을 가지는 2차원 포인트 클라우드 행렬(two-dimensional point cloud matrix)(101)의 형태로 저장된다. 상기 행렬들의 각각의 요소는 상기 클라우드 내의 포인트에 대한 {x_ij y_ij, z_ij} 좌표를 포함하는 데이터 튜플(data tuple)을 포함하고, 여기서 i = {1, 2… N}, j = {1, 2,… M} 이고, N과 M은 정수 값들이다. 상기 데이터 튜플은 또한 해당 포인트에 대한 세기 값(I_ij)을 포함한다. 상기 세기 값들과 상기 각각의 공간 좌표들은 고려 중인 상기 오브젝트의 상기 외부 표면들을 함께 정의한다. 상기 오브젝트의 3D 표현을 제공하기 위해 상기 포인트들을 3 차원으로 렌더링 할 수 있다.

경우에 따라, 상기 포인트 클라우드 데이터는 2D 센서 어레이(sensor array)를 사용하여 획득된 상기 오브젝트의 하나 이상의 2차원 이미지들로부터 계산될(computed) 수 있다. 이러한 경우, 상기 포인트 클라우드 행렬 내의 상기 요소들은 상기 센서 어레이 내의 픽셀 요소들에 맵핑될(mapped) 수 있다. 예를 들어, 주어진 행렬 요소에 대해, i 및 j 인덱스들은 상기 센서 어레이 내의 상기 각각의 픽셀 요소의 상기 위치를 나타낼 수 있다. 그런 다음, 상기 {x_ij y_ij, z_ij} 좌표들은 하나 이상의 상기 2차원 이미지들에서 해당 픽셀에서 보여지는 바와 같이 포인트의 공간 내의 위치를 정의할 수 있다.

모든 형태들의 이미징과 마찬가지로, 상기 최종 3D 이미지의 신호 대 잡음비(SNR)는 상기 이미지 데이터를 캡처하는데 사용되는 상기 센서의 상기 동적 범위에 의해 부분적으로 결정될 것이다. 상기 오브젝트 상의 상이한 포인트들에서 수신된 상기 신호 세기가 상당히 다를 수 있는 경우 - 예를 들어, 상기 오브젝트의 표면에는 매우 밝고 매우 어두운 영역들이 다수 포함되어 있기 때문에 - (i) 상기 오브젝트의 상기 어두운 영역들로부터 충분한 광이 수신되도록 상기 조명 세기 및/또는 센서 노출 시간(illumination intensity and/or sensor exposure time)을 최대화하는 것(maximizing), 및 (ii) 상기 오브젝트의 상기 밝은 영역들로부터의 신호로 상기 센서의 포화를 피하기 위해 상기 조명 세기 및/또는 센서 노출 시간을 최소화하는 것(minimizing) 사이에서 균형이 맞아야 한다. 이러한 문제점을 해결하기 위하여, 제안된 해결 수단 중 하나는 고 동적 범위(HDR: High Dynamic Range) 이미징 개념을 3D 이미징에 적용하는 것이다. HDR 이미징은 디지털 이미지들에서 볼 수 있는 광 레벨들에서 동적 범위를 증가시키기 위해 확립된 기술이다. 상기한 기술은 상이한 노출 시간들로 동일한 장면의 여러 이미지들을 캡처하는 단계, 및 상기 이미지들로부터 상기 데이터를 후-처리하여(post-processing) 상기 장면의 단일 HDR 이미지를 생성하는 단계를 포함한다. 상기 더 긴 노출 시간들로 캡처된 이미지들은 상기 카메라에 도달하는 신호가 충분하지 않아(insufficient signal) 짧은 노출 시간들로 캡처된 이미지들에서는 식별할 수 없는 상기 장면의 어두운 영역들에서 디테일을 캡처할 수 있다. 한편, 상기 더 짧은 노출 시간들로 캡처된 이미지들은 상기 카메라 포화(saturation)로 인해 더 긴 노출 시간들로 캡처된 상기 이미지들에서는 식별할 수 없는 상기 장면의 밝은 영역들에서 디테일을 캡처할 수 있다. 적절한 HDR 알고리즘을 사용하여 이러한 이미지들을 후-처리함으로써, 상기 디테일 요소들이 상기 이미지의 밝은 영역과 어두운 영역 모두에 걸쳐 보이는 단일의 고해상도 이미지(single, high definition image)를 얻을 수 있다.

상기 HDR 이미징의 원리들은, 일반적으로, 기존의 2D 이미징과 동일한 방식으로 3D 이미징에 적용할 수 있다. 도 2는 이를 구현하는 방법의 예를 개략적으로 보여준다. 2D HDR 이미징과 유사한 방식으로, 다수 이미지 데이터 세트들을 상이한 노출 설정들로 캡처할 수 있지만, 이러한 경우 상기 이미지 데이터 세트들은 2D 이미지 데이터가 아닌 3D 이미지 데이터를 포함하며, 즉 상기 이미지 데이터 세트들은 보고 있는 상기 장면에서 포인트들의 상기 3차원 위치들을 지정한다. 각각의 이미지 데이터 세트는 각각의 포인트 클라우드 행렬(201a, 201b, 201c)의 형태로 저장될 수 있다. 이어서, 상기 포인트 클라우드 행렬들은 상기 3D HDR 이미지가 렌더링 될 수 있는 단일 포인트 클라우드 행렬(203)로 병합될 수 있다. 그러나 3D HDR 이미징은 2D HDR 이미징에 비해 추가적인 문제점을 제기한다. 한 가지 문제점은, 2D 이미징과 달리, 각각의 포인트의 상기 3차원 좌표들을 획득하기 위해 추가적인 계산 단계가 필요하다는 점이다. 상기 획득된 이미지 데이터에서 SNR의 부족의 영향은 이러한 추가 계산에 의해 합성될 수 있고, 상기 출력 이미지에서 각각의 포인트의 상기 3D 좌표들이 계산되는 상기 정확도에 크게 영향을 미친다.

따라서, 3D HDR 이미지들을 생성하는 개선된 기술들을 제공할 필요가 있다.

본 발명의 제1측면에 따르면, 오브젝트의 3차원 이미지를 생성하는 방법을 제공하고, 상기 방법은:

상기 오브젝트를 이미지화 하는데 사용되는 이미징 시스템(imaging system)으로부터 입력 포인트 클라우드 데이터(input point cloud data) 세트를 수신하는 단계 - 상기 입력 포인트 클라우드 데이터 세트는 둘 이상의 포인트 클라우드들을 포함하고, 각각의 포인트 클라우드는 상기 오브젝트의 상기 표면 상의 포인트들의 상기 3차원 좌표들을 정의하고, 상기 각각의 입력 포인트 클라우드 내의 데이터는 상기 이미징 시스템에 의해 획득된 각각의 이미지 데이터 세트로부터 계산되고, 각각의 이미지 데이터 세트는 상기 이미징 시스템에 대한 상이한 노출 설정(different exposure setting)을 사용하여 획득됨 -;

상기 각각의 입력 포인트 클라우드들 내의 각각의 포인트에 대해, 품질 파라미터의 값을 판단하는 단계 - 각각의 포인트에 대한 상기 품질 파라미터의 상기 값은 상기 포인트 클라우드 내의 상기 포인트에 대해 지정된 상기 3차원 좌표들에서의 불확실성(uncertainty)의 정도를 반영함 -;

상기 입력 포인트 클라우드 데이터 세트로부터 포인트들의 그룹들을 식별하는 단계 - 각각의 그룹은 각각의 입력 포인트 클라우드(input point cloud)로부터의 포인트를 포함함 -;

상기 오브젝트 표면의 3D 표현을 생성하기 위한 출력 포인트 클라우드(output point cloud)를 생성하는 단계 - 상기 출력 포인트 클라우드는 상기 오브젝트의 상기 표면 상의 포인트들의 상기 3차원 좌표들을 정의함,

상기 출력 포인트 클라우드 내의 각각의 포인트에 대해, 상기 각각의 포인트의 상기 좌표들은 상기 각각의 식별된 포인트들의 그룹들 중 각각의 하나 내의 상기 포인트들의 상기 좌표 값들에 기초하여 계산되고, 상기 계산에서 상기 그룹 내의 각각의 포인트의 상기 좌표 값들이 고려되는 정도는 상기 각각의 포인트와 관련된 상기 품질 파라미터의 상기 값들에 기초하여 판단됨 -; 을 포함하고,

상기 방법은 상기 출력 포인트 클라우드 내의 상기 데이터에 기초하여 상기 오브젝트의 3차원 이미지를 렌더링하는 단계를 포함한다.

상기 이미징 시스템은 광 센서(light sensor)를 포함하는 광학 이미징 시스템(optical imaging system)일 수 있다. 상기 각각의 입력 포인트 클라우드 내의 데이터는 상기 광 센서 상에 캡처된 상기 오브젝트의 하나 이상의 2D 이미지들(2D images)로부터 계산될 수 있다.

각각의 이미지 데이터 세트를 획득하는데 사용된 상기 노출 설정은, 상기 센서 노출 시간(sensor integration time); 상기 센서 감도(sensor sensitivity); 상기 오브젝트와 상기 센서 사이의 상기 경로에서 구경 조리개(aperture stop)의 크기; 상기 오브젝트를 조명하는데 사용되는 광의 세기(intensity); 및 상기 오브젝트와 상기 센서 사이의 상기 광 경로에 배치되는 ND 필터의 강도(strength) 중 하나 이상을 바꿈으로써 변경될 수 있다.

상기 각각의 입력 포인트 클라우드 내의 데이터는 각각의 2차원 포인트 클라우드 행렬(two dimensional point cloud matrix)로서 저장될 수 있다. 상기 행렬 내의 각각의 요소는 각각의 포인트의 상기 3차원 좌표들, 상기 포인트에 대한 상기 세기 값, 및 상기 포인트에 대한 상기 품질 파라미터 값을 포함할 수 있다. 각각의 그룹 내의 상기 포인트들은 상기 각각의 입력 포인트 클라우드 행렬들 내의 상기 동일한 요소 위치를 가지는 것으로 식별될 수 있다. 상기 광 센서는 2차원 픽셀 어레이(two dimensional pixel array)를 포함한다. 상기 행렬 요소들은 상기 어레이 내의 각각의 픽셀 요소들(pixel elements)에 맵핑될 수 있다.

상기 이미징 시스템은 각각의 이미지 데이터 세트를 획득하기 위해 구조 조명(structured illumination)을 이용하는 시스템일 수 있다.

각각의 이미지 데이터 세트는 상기 광 센서 상에 캡처된 상기 오브젝트의 2D 이미지들의 시퀀스를 포함할 수 있다. 상기 시퀀스 내의 각각의 2D 이미지는 상이한 조명 패턴을 사용하여 캡처될 수 있다. 상기 시퀀스 내의 상기 이미지들은 상기 각각의 노출 설정에 대한 상기 입력 포인트 클라우드 행렬을 계산하는데 사용될 수 있다.

각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 포인트 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 콘트라스트의 측정치(measure of contrast)를 포함할 수 있다.

각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는, 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 세기의 표준 편차(standard deviation in intensity)에 기초하여 계산될 수 있다.

각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는, 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 세기의 최대 휘도 및 최소 휘도 사이의 차이(difference between the maximum and minimum brightness in intensity)에 기초하여 계산될 수 있다.

각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는, 상기 포인트의 상기 3D 좌표들에서 모델링된 에러에 기초하여 계산될 수 있다. 상기 에러는 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 상기 세기의 함수(function of intensity)로서 모델링될 수 있다.

각각의 이미지 데이터 세트는 그레이-코드된 이미지들(Gray-coded images)의 시퀀스 및 위상 시프트된 이미지들(phase shifted images)의 시퀀스를 포함할 수 있다. 상기 그레이-코드된 이미지들 및 위상 시프트된 이미지들의 시퀀스로부터의 상기 데이터는 각각의 픽셀 요소에 대해 상기 포인트 클라우드 내의 각각의 포인트의 상기 좌표들이 계산되는 값을 도출하기 위해 결합될 수 있다. 상기 포인트 클라우드 내의 각각의 포인트에서 상기 좌표들에서의 상기 에러는 상기 각각의 픽셀 요소에 대해 계산된 상기 값에서의 상기 에러의 함수로서 모델링될 수 있다.

각각의 입력 포인트 클라우드는 각각의 포인트에 대한 컬러 정보(colour information)를 포함할 수 있다. 상기 컬러 정보는 RGB 값들로 인코딩될 수 있다.

본 발명의 제2측면에 따르면, 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금 상기 제1측면에 따른 방법을 수행하도록 하는 컴퓨터 실행 코드를 포함하는 컴퓨터 판독가능 저장 매체를 제공한다.

본 발명의 제3측면에 따르면, 오브젝트의 3차원 이미지를 생성하는 시스템이 제공되고, 상기 시스템은:

상기 오브젝트로부터 이미지 데이터(image data)를 획득하는 센서(sensor);

상기 센서의 상기 노출을 변경하는 제어기(controller) - 상기 센서는 상이한 노출들(different exposures)에서 각각의 이미지 데이터 세트들을 획득하도록 구성됨 -; 및

상기 획득된 이미지 데이터를 처리하는 프로세서(processor) - 각각의 이미지 데이터 세트에 대해, 상기 프로세서는 입력 포인트 클라우드(input point cloud)를 생성하도록 구성되고, 상기 포인트 클라우드는 상기 오브젝트의 상기 표면 상의 포인트들의 상기 3차원 좌표들(three-dimensional coordinates) 및 각각의 포인트에서의 세기 값(intensity value)을 정의함 -;

상기 프로세서는 하기와 같이 추가로 구성된다:

상기 각각의 입력 포인트 클라우드들 내의 각각의 포인트에 대해, 품질 파라미터의 값을 판단하는 것 - 각각의 포인트에 대한 상기 품질 파라미터의 상기 값은 상기 포인트 클라우드 내의 상기 포인트에 대해 지정된 상기 3차원 좌표들에서의 확실성(certainty)의 정도를 반영함 -;

상기 입력 포인트 클라우드 데이터 세트로부터 포인트들의 그룹들을 식별하는 것 - 각각의 그룹은 각각의 입력 포인트 클라우드(input point cloud)로부터의 포인트를 포함함 -; 및

상기 오브젝트 표면의 3D 표현을 생성하기 위한 출력 포인트 클라우드(output point cloud)를 생성하는 것 - 상기 출력 포인트 클라우드는 상기 오브젝트의 상기 표면 상의 포인트들의 상기 3차원 좌표들 및 각각의 포인트에서의 세기 값을 정의하고, 상기 출력 포인트 클라우드 내의 각각의 포인트에 대해, 상기 각각의 포인트의 상기 좌표들은 상기 각각의 식별된 포인트들의 그룹들 내의 상기 포인트들의 상기 좌표 값들에 기초하여 계산되고, 상기 계산에서 상기 그룹 내의 각각의 포인트의 세 좌표 값들이 고려되는 정도는 상기 각각의 포인트와 관련된 상기 품질 파라미터의 상기 값들에 기초하여 판단됨 -, 및 상기 출력 포인트 클라우드 내의 상기 데이터에 기초하여 상기 오브젝트의 3차원 이미지를 렌더링하는 것,

상기 이미징 시스템은 광학 이미징 시스템(optical imaging system)일 수 있다. 상기 센서는 광 센서(light sensor)일 수 있다. 상기 각각의 입력 포인트 클라우드 내의 데이터는 상기 광 센서 상에 캡처된 상기 오브젝트의 하나 이상의 2D 이미지들로부터 계산될 수 있다.

상기 제어기는 상기 센서 노출 시간(sensor integration time); 상기 센서 감도(sensor sensitivity); 상기 오브젝트와 상기 센서 사이의 상기 경로에서 구경 조리개(aperture stop)의 크기; 상기 오브젝트를 조명하는데 사용되는 광의 세기(intensity); 및 상기 오브젝트와 상기 센서 사이의 상기 광 경로에 배치되는 ND 필터의 강도(strength) 중 하나 이상을 바꿈으로써 상기 노출을 변경하도록 구성된다:

상기 각각의 입력 포인트 클라우드 내의 데이터는 각각의 2차원 포인트 클라우드 행렬(two dimensional point cloud matrix)로서 저장될 수 있다. 상기 행렬 내의 각각의 요소는 각각의 포인트의 상기 3차원 좌표들, 상기 포인트에 대한 상기 세기 값, 및 상기 포인트에 대한 상기 품질 파라미터 값을 포함할 수 있다. 각각의 그룹 내의 상기 포인트들은 상기 각각의 입력 포인트 클라우드 행렬들 내의 상기 동일한 요소 위치를 가지는 것으로 식별될 수 있다.

상기 광 센서는 2차원 픽셀 어레이(two dimensional pixel array)를 포함할 수 있다. 상기 행렬 요소들은 상기 어레이 내의 각각의 픽셀 요소들(pixel elements)에 맵핑될 수 있다.

각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는, 상기 포인트의 상기 3D 좌표들에서 모델링된 에러에 기초하여 계산될 수 있다. 상기 에러는 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 상기 세기의 함수(function of intensity)로서 모델링될 수 있다. 각각의 이미지 데이터 세트는 그레이-코드된 이미지들(Gray-coded images)의 시퀀스 및 위상 시프트된 이미지들(phase shifted images)의 시퀀스를 포함할 수 있다. 상기 시스템은 상기 그레이-코드된 이미지들 및 위상 시프트된 이미지들의 시퀀스로부터의 상기 데이터를 결합하여 각각의 픽셀 요소에 대해 상기 포인트 클라우드 내의 각각의 포인트의 상기 좌표들이 계산되는 값을 도출하도록 구성될 수 있다. 상기 포인트 클라우드 내의 각각의 포인트에서 상기 좌표들에서의 상기 에러는 상기 각각의 픽셀 요소에 대해 계산된 상기 값에서의 상기 에러의 함수로서 모델링될 수 있다.

상기 센서는 컬러 이미지 센서(colour image sensor)일 수 있다. 각각의 입력 포인트 클라우드는 각각의 포인트에 대한 컬러 정보(colour information)를 포함할 수 있다. 상기 컬러 정보는 RGB 값들로 인코딩될 수 있다.

본 명세서에 설명된 실시 예들은 오브젝트의 3D HDR 이미지들을 획득하기 위한 수단들을 제공한다. 다수의 이미지 데이터 세트들을 캡처하여 3D HDR 이미지를 획득한다. 상기 이미지 데이터는 당업계에 공지된 여러 기술들 중 하나를 사용하여 획득될 수 있다; 이러한 기술들은, 예를 들어, 구조 광 조명(structured light illumination), ToF 이미징(time of flight imaging), 및 홀로그래픽 기술들(holographic techniques) 뿐만 아니라 스테레오 이미징(stereo imaging)(액티브 및 패시브 모두) 및 레이저 라인 삼각측량(laser line triangulation)을 포함할 수 있다. 각각의 이미지 데이터 세트는 상기 오브젝트 표면 상의 상기 포인트들의 3 차원 좌표들 및 상기 세기들을 지정하는 각각의 입력 포인트 클라우드(input point cloud)를 계산하는데 사용될 수 있다. 그런 다음, 상기 각각의 포인트 클라우드의 정보는 단일 출력 포인트 클라우드(single output point cloud)를 제공하는 방식으로 결합되거나 병합될 수 있으며, 이로부터 상기 오브젝트의 3D 이미지를 렌더링 할 수 있다.

중요한 점은, 각각의 입력 포인트 클라우드 행렬을 계산하는데 사용되는 상기 이미지 데이터 세트들은 상이한 노출 설정들(different exposure settings)로 획득되어, 상기 이미징 시스템의 상기 노출이 각각의 이미지 데이터 세트마다 상이하게 된다. 여기서, "노출 설정"은 상기 시스템의 상기 노출을 변화시키기 위해 조정될 수 있는 상기 이미징 시스템의 물리적 파라미터(physical parameter)를 나타낸다. 광학 이미징 시스템을 사용하는 경우, 각각의 이미지 데이터 세트를 캡처하는 사이에 변경되는 상기 설정들은, 예를 들어, 상기 카메라/광 센서의 상기 노출 시간(integration time of the camera/light sensor), 상기 카메라/조명 센서 조리개의 상기 크기(size of the camera/light sensor aperture), 상기 장면이나 오브젝트를 조명하는데 사용되는 빛의 상기 세기(intensity of light used to illuminate the scene or object), 및 상기 카메라나 광 센서의 상기 감도(sensitivity of the camera or light sensor)를 포함할 수 있다. 상기 카메라 또는 광 센서의 상기 감도는, 예를 들어, 상기 장치에 적용되는 상기 이득을 조정함으로써 가변될 수 있다. 다른 예에서, 중성 밀도 필터(neutral density filter)는 상기 오브젝트와 상기 카메라/광 센서 사이의 상기 광 경로에 배치될 수 있다. 이어서, 상기 중성 밀도 필터의 상기 세기는 상기 카메라 또는 광 센서에 도달하는 상기 광량을 가변시키기 위해, 새로운 이미지 데이터 세트가 획득될 때마다 변경될 수 있다.

일부 실시 예에서, 상기 노출 설정들 중 하나만이 각각의 노출에 대해 가변될 수 있고, 다른 노출 설정들은 새로운 이미지 데이터 세트가 획득될 때마다 일정하게 유지된다. 다른 실시 예에서, 둘 이상의 설정들이 각각의 새로운 이미지 데이터 세트를 캡처하는 중간에 가변될 수 있다. 더 많은 노출로 상기 이미지 데이터가 획득되는 경우, 이는 상기 오브젝트 또는 장면의 어두운 영역들에서 검출되는 상기 신호를 최대화할 것이다. 이에 따라, 상기 어두운 영역들의 상기 포인트들에 대한 SNR이 증가될 수 있고, 이들 포인트들의 상기 공간 좌표들은 이러한 이미지 데이터 세트로부터 포인트 클라우드를 컴파일할 때 더 정확하게 계산될 수 있다. 반대로, 상기 노출을 줄이도록 상기 노출 설정들을 조정하면, 상기 카메라나 광 센서가 포화되지 않고 상기 오브젝트나 장면의 밝은 영역들에서 캡처된 상기 신호를 최대화할 수 있다. 따라서, 상기 노출을 감소시킴으로써, 상기 밝은 영역들의 포인트들에 대한 SNR을 증가시킬 수 있는 제2이미지 데이터 세트를 획득할 수 있다. 결국, 이러한 밝은 영역들의 포인트들의 상기 공간 좌표들이 더 정확하게 계산될 수 있는 제2포인트 클라우드를 생성하는 것이 가능해진다. 이러한 상이한 포인트 클라우드들로부터의 상기 데이터는 상기 출력 3D 이미지의 상기 SNR이 상기 오브젝트의 상기 밝고 어두운 영역들 모두에 대해 향상되도록 하는 방식으로 결합될 수 있다.

상기 각각의 포인트 클라우드들로부터의 상기 데이터를 가장 잘 결합하는 방법을 판단하기 위해, 본 명세서에 설명된 실시 예에서, 각각의 이미지 데이터 세트의 각각의 포인트에 대해 추가적인 "품질 파라미터(quality parameter)"가 평가된다. 도 3은 실시 예에서 사용되는 포인트 클라우드 행렬(301)의 예를 도시한다. 도 1의 종래의 포인트 클라우드 행렬과 대조적으로, 도 3의 상기 포인트 클라우드 행렬의 각각의 요소는 추가적인 값(q_ij)을 포함한다. 상기 품질 파라미터의 상기 값(q_ij)은 상기 행렬에서 해당 각각의 포인트의 상기 {x_ij, y_ij, z_ij} 좌표들에서 불확실성(uncertainty)의 정도를 반영한다. 일부 실시 예에서, 상기 품질 파라미터의 상기 값은 해당 포인트의 상기 {x_ij, y_ij, z_ij} 값들에서 상기 예상되는 에러(error)의 최상의 추정치(best estimate)를 제공한다.

상기 품질 파라미터는 상기 각각의 입력 포인트 클라우드 내의 상기 이미지 데이터를 캡처하는데 사용되는 상기 특정 기술에 따라 다수의 상이한 방식들 중 하나로 정의될 수 있다. 아래에서 더 상세히 논의되는 일 예에서, 상기 출력 포인트 클라우드가 계산되는 상기 이미지 데이터를 획득하기 위해 구조 조명 접근법(structured illumination approach)이 이용된다; 이러한 경우, 주어진 포인트에 대한 상기 품질 파라미터의 상기 값은, 예를 들어, 상기 구조 조명 패턴의 상기 밝고 어두운 프린즈들이 그 위에 투영됨에 따라 상기 오브젝트 표면 상의 해당 포인트에서 보여지는 콘트라스트의 정도로부터 도출될 수 있다. 즉, 상기 품질 파라미터는 상기 조명 패턴의 밝은 프린지(light fringe)에 의해 조명될 때 해당 포인트로부터 검출되는 상기 광량, 및 어두운 프린지(dark fringe)에 의해 조명될 때 해당 포인트로부터 검출되는 상기 광량의 차이와 관련되거나 그로부터 도출될 수 있다. 일부 실시 예에서, 일련의 정현파 변조된 세기 패턴(sinusoidally modulated intensity patterns)이 상기 오브젝트 상에 투영될 수 있으며, 상기 연속 이미지들의 상기 세기 패턴들은 서로에 대해 위상 시프트된다(phase shifted); 여기서, 상기 품질 파라미터는 각각의 세기 패턴들이 상기 오브젝트 상에 투영될 때, 각각의 포인트에서 측정되는 상기 세기와 관련되거나 이로부터 유도될 수 있다.

다른 예에서, 3D 이미징을 위해 ToF 시스템을 사용하는 경우, 주어진 포인트에서 상기 회복되는 신호의 상기 진폭은 해당 포인트에서 상기 품질 파라미터의 값을 도출하기 위해 상기 시스템에서 상기 주변 광의 측정치와 비교될 수 있다. 다른 예에서, 스테레오-이미징 시스템을 사용하는 경우, 상기 품질 파라미터는 제1카메라 상에서 캡처된 이미지에서 식별되는 특징들을 제2카메라 상에서 캡처된 이미지에서 식별되는 특징들과 비교 및 매칭하고, 상기 매치의 품질에 대한 점수를 판단함으로써 획득될 수 있다. 상기 점수는, 예를 들어, 절대 오차의 합(SAD: sum of absolute differences)으로 계산될 수 있다:

여기서

는 상기 이미지 픽셀 좌표들(image pixel coordinates)이고,

는 상기 스테레오 이미지 쌍(stereo image pair)이며,

는 SAD가 평가되는 상기 시차(disparity)이며,

는 상기 매칭이 수행되는 상기 어레이의 상기 치수들(dimensions of the array)(픽셀 수)이다. 상기 시차 추정치

는

를 사용하여 픽셀

에 대해 구한다. 상기 추정된 SAD 값에 따라, 이는 상기 스테레오 이미지들에 기초하여 재구성된 포인트 클라우드 내의 각각의 포인트에서 상기 3D 좌표들의 상기 불확실성의 측정치로서 추가로 해석될 수 있다. 바람직하다면, 상기 SAD는 예를 들어, 성능을 향상을 위해 영역 이미지 세기(regional image intensity)로 정규화될 수 있다.

상기 입력 포인트 클라우드 데이터를 수집하기 위해 어떤 특정 이미징 방법이 사용되든 간에, 상기 품질 파라미터는 상기 출력 포인트 클라우드에서 포인트들의 상기 좌표 값들을 도출할 때 각각의 입력 포인트 클라우드 내의 상기 공간 좌표들에 대한 값들이 고려되는 정도를 판단하는데 사용될 수있다. 예를 들어, 상기 출력 포인트 클라우드 행렬에서 주어진 요소 {i, j}의 경우, 해당 포인트에 대한 상기 좌표 값들 {x_ij, y_ij, z_ij} 세트는 상기 입력 포인트 클라우드 행렬들에서 동일한 위치 {i, j}에서의 각각의 좌표 값들 {x_ij, y_ij, z_ij} 세트에 각각의 가중치를 적용함으로써 도출될 수 있다. 각각의 행렬에 적용되는 상기 가중치는 상기 각각의 행렬 내의 해당 위치에서의 상기 품질 파라미터(q_ij)의 상기 값에 의존할 수 있다. 이러한 방식으로, 상기 출력 포인트 클라우드 행렬 내의 상기 값들 {x_ij, y_ij, z_ij}은 해당 포인트에서 더 높은 SNR을 가지는 상기 이미지 데이터 세트(들)로부터 획득된 값들에 대해 바이어스 될 수 있다.

다른 예에서, 상기 출력 포인트 클라우드 행렬 내의 상기 요소 {i, j}에 대한 상기 좌표 값들 세트 {x_ij, y_ij, z_ij}는 상기 입력 클라우드 행렬들 중 단일 행렬로부터 상기 {x_ij, y_ij, z_ij} 값들을 선택함으로써 선별될 수 있다. 상기 값들이 선택되는 상기 입력 포인트 클라우드 행렬은 상기 다른 입력 행렬들과 비교하여 해당 포인트에서 q의 값이 가장 높은 행렬일 수 있다.

다른 예에서, 상기 출력 포인트 클라우드 행렬에서 주어진 요소 {i, j}의 경우, 해당 포인트에 대한 좌표 값들 {x_ij, y_ij, z_ij} 세트는 상기 입력 포인트 클라우드 행렬들에서 상기 위치 {i, j}에 있는 각각의 좌표 값들 {x_ij, y_ij, z_ij} 세트들을 평균함으로써 도출될 수 있다. 즉, 상기 출력 포인트 클라우드 행렬의 상기 값(x_ij)은 상기 각각의 입력 포인트 클라우드 행렬들의 상기 포인트 {i, j}에서 상기 각각의 값들(x_ij)의 평균을 포함할 수 있고, 상기 출력 포인트 클라우드 행렬의 상기 값(y_ij)은 상기 각각의 입력 포인트 클라우드 행렬들의 상기 포인트 {i, j}에서 상기 각각의 값들(y_ij)의 평균을 포함할 수 있고, 상기 출력 포인트 클라우드 행렬의 상기 값(z_ij)은 상기 각각의 입력 포인트 클라우드 행렬들의 상기 포인트 {i, j}에서 상기 각각의 값들(z_ij)의 평균을 포함할 수 있다. 상기 평균화는 임계치 기준(threshold criterion)에 종속될 수 있고, 여기서 상기 연관된 q 값이 임계치보다 높은 값들만이 평균값을 계산하는데 사용된다. 예를 들어, 상기 입력 포인트 클라우드 행렬들 중 하나의 요소에서의 상기 값들 {x_ij, y_ij, z_ij}이 상기 임계치보다 낮은 q 값이 수반되는 경우, 해당 요소에서의 상기 값들 {x_ij, y_ij, z_ij}은 상기 출력 포인트 클라우드 행렬에 사용될 상기 값들 {x_ij, y_ij, z_ij}을 계산할 목적으로 무시될 수 있다.

상기 임계치 기준은 전술한 다른 시나리오들에서도 적용될 수 있는 것으로 이해될 것이다; 예를 들어, 상기 입력 행렬들의 상기 포인트 클라우드 행렬들 내의 상기 동일한 위치 {i, j}에서 상기 좌표 값들 {x_ij, y_ij, z_ij} 세트들에 각각의 가중치를 적용하여 상기 출력 포인트 클라우드 행렬 내의 요소 {i, j}에 대한 상기 값들 {x_ij, y_ij, z_ij}을 계산하는 경우, 상기 임계치 미만인 q 값을 수반하는 좌표 값들 {x_ij, y_ij, z_ij} 세트들에 제로 가중치(zero weighting)가 적용될 수 있다.

본 발명의 실시 예들은 이제 첨부 도면들을 참조하여 예로서 설명될 것이다.
도 1은 종래의 포인트 클라우드 행렬의 예를 도시한 도면이다.
도 2는 단일 포인트 클라우드 행렬을 형성하기 위해 다중 포인트 클라우드 행렬들이 어떻게 병합 또는 결합될 수 있는지를 도시한 도면이다.
도 3은 본 명세서에 기술된 실시 예의 포인트 클라우드 행렬의 예를 도시한다.
도 4는 본 명세서에서 기술된 실시 예의 단계들의 순서도를 도시한다.
도 5는 일 실시 예의 구조 조명 이미징 시스템의 개략도를 도시한다.
도 6은 그레이-코딩 및 위상 시프팅의 조합이 오브젝트로부터 3D 공간 정보를 복구하기 위해 사용되는 실시 예에서, GCPS 값의 상기 표준 편차가 신호 진폭의 함수로서 어떻게 가변될 수 있는지의 예를 도시한다.
도 7은 도 5의 상기 이미징 시스템을 사용하여 다수의 입력 포인트 클라우드 행렬들이 획득될 수 있고, 단일 출력 포인트 클라우드 행렬을 생성하는데 사용되는 방법의 개략도를 도시한다.
도 8은 본 명세서에 기술된 실시 예의 포인트 클라우드 행렬의 예를 도시한다.

도 4는 본 명세서에 기술된 실시 예들에서 수행되는 단계들의 순서도를 도시한다. 제1단계(S401)에서, 다수의 3D 이미지 데이터 세트들(sets of 3D image data)이 이미징 시스템(imaging system)에 의해 획득된다. 각각의 3D 이미지 데이터 세트(each set of 3D image data)는 각각의 포인트에서 상기 표면의 상기 세기(intensity) 또는 휘도(brightness) 레벨에 대한 값과 함께, 이미지화 되는 오브젝트의 상기 표면 상의 상이한 포인트들의 상기 3D 좌표들을 정의하는 각각의 입력 포인트 클라우드(input point cloud)를 계산하는데 사용될 수 있다.

단계(S402)에서, 상기 품질 파라미터(quality parameter)의 값은 상기 각각의 입력 포인트 클라우드들 내의 각각의 포인트와 관련된 상기 데이터에 대해 평가된다. 상술한 바와 같이, 상기 품질 파라미터의 상기 값은 각각의 포인트에서 상기 3-차원 좌표들(three-dimensional co-ordinates)에서의 상기 불확실성(uncertainty)의 측정치를 포함한다. 상기 품질 파라미터는 상기 각각의 입력 포인트 클라우드들 내의 각각의 포인트에서 상기 공간 좌표들(spatial coordinates)을 계산하는데 사용되는 상기 획득된 세기 값들의 함수로서 계산될 수 있다.

단계(S403)에서, 상기 획득된 이미지 데이터 세트들 각각에 포함된 상기 이미지 데이터에 기초하여 3D 이미지 데이터의 단일 출력 세트(single output set)가 계산된다. 상기 획득된 이미지 데이터 세트들과 마찬가지로, 상기 출력 이미지 데이터 세트는 상기 이미지화 되는 상기 오브젝트의 상기 표면 상의 상기 상이한 포인트들의 상기 3D 좌표들에 대한 값들을, 각각의 포인트에서의 상기 표면의 상기 세기 또는 휘도 레벨과 함께 정의한다. 여기서, 상기 3D 좌표들에 대한 상기 값들은 상기 각각의 품질 파라미터 값들에 따라 상기 각각의 입력 포인트 클라우드들에 지정된 상기 3D 좌표들에 대한 상기 값들을 가중함으로써 계산된다. 이어서, 상기 출력 이미지 데이터 세트는 상기 오브젝트의 3D 이미지를 렌더링하는데 사용될 수 있다(단계(S404)).

3D 이미지 데이터를 획득하기 위하여, 구조 광 조명 방법(structured light illumination method)을 사용하는 예시적인 실시 예가 이하 도 5 내지 도 7을 참조하여 설명될 것이다. 도 5를 참조하면, 구조 광 조명을 사용하여 오브젝트(object)(501)의 3D 이미지들을 캡처하기에 적합한 시스템의 개략도가 도시되어 있다. 상기 시스템은 프로젝터(projector)(503) 및 카메라(camera)(505)를 포함한다. 상기 프로젝터는 공간적으로 달라지는 2D 조명 패턴(illumination pattern)을 상기 오브젝트(40) 위로 투영하는데 사용된다. 상기 패턴 자체는 일련의 밝고 어두운 프린지들(light and dark fringes)(507, 509)을 포함한다. 상기 패턴은, 예를 들어, 공간 광 변조기(spatial light modulator)를 사용하여 생성될 수 있다. 상기 카메라(505)는 상기 프로젝터에 의해 조명되는 상기 오브젝트의 2D 이미지를 획득하는데 사용된다.

상기 카메라와 상기 프로젝터 사이의 상기 각도로 인하여, 상기 오브젝트의 상기 표면 토폴로지(surface topology)의 변화들(variations)이 발생하면, 상기 카메라에 의해 감지되는 상기 밝고 어두운 프린지들의 상기 패턴이 왜곡될 것이다(distorted). 이에 의해, 상기 패턴의 상기 왜곡은 상기 오브젝트의 상기 3D 표면에 대한 정보를 인코딩할 것이고, 그 표면 토폴로지를 추론하는데 사용될 수 있다. 상기 3D 정보는 상기 오브젝트가 상이한 광 패턴들로 조명되는 순차적 이미지들을 캡처하고, 상기 이미지들의 시퀀스에 걸쳐 각각의 픽셀에 대해 상기 측정된 세기를 비교함으로써 복구될 수 있다.

본 실시 예에서, 위상 시프트 기술(phase shifting technique)이 상기 3D 정보를 획득하기 위해 사용된다. 위상 시프트는 정현파 변조된 세기 패턴들(sinusoidally modulated intensity patterns)의 시퀀스가 상기 오브젝트 위로 투영되는 공지 기술로서, 각각의 패턴은 상기 이전 패턴에 대해 위상 시프트 된다(phase shifted). 상기 조명된 오브젝트의 2D 이미지는 상기 세기 패턴이 바뀔 때마다 캡처된다. 상기 오브젝트의 상기 표면 토폴로지의 변화들은 상기 표면에 걸쳐 상이한 포인트들에서 상기 카메라에 의해 보여지듯 상기 세기 패턴의 상기 위상을 바꿀 것이다. 상기 2D 이미지들의 상기 시퀀스에 걸쳐 상기 동일한 픽셀의 상기 광 세기들을 비교함으로써, 각각의 포인트에서 상기 위상을 계산할 수 있고, 이를 사용하여 상기 오브젝트에 대한 깊이 정보(depth information)를 획득할 수 있다. 상기 데이터는 2D 어레이(2D array)로 출력되고, 각각의 요소는 상기 카메라의 상기 각각의 픽셀들에 맵핑되며, 해당 픽셀에서 볼 수 있는 포인트의 상기 3D 공간 좌표들을 정의한다.

이해할 점은, 위상 시프트 외에, 다른 기술들이 또한 상기 3D 공간 정보를 복구하는데 사용될 수 있다는 것이다; 예를 들어, 일부 실시 예에서, 그레이-코딩 기술(Gray-coding technique)이 사용될 수 있거나, 그레이-코딩 및 위상 시프트의 조합이 사용될 수 있다. 상기 2D 이미지들의 상기 시퀀스로부터 상기 3D 공간 정보를 디코딩하는데 사용되는 정확한 알고리즘들은 상기 특정 조명 패턴들 및 상기 이미지들의 시퀀스에 걸쳐 해당 패턴들이 변경되는 방식에 따라 달라질 것이다; 이들 기술들 및 다른 기술들을 사용하여 상기 깊이 정보를 복구하기 위한 알고리즘들에 대한 추가 정보는, 간행물 "정확한 3D 형상 결정을 위한 구조 광 투영(Structured light projection for accurate 3D shape determination)" (O. Skotheim 및 F. Couweleers, ICEM12 - 2004년 8월 29일 - 9월 2일, 이탈리아의 Politecnico di Bari, 실험 메커니즘들에 관한 12차 국제 회의)에서 확인할 수 있다. 각각의 경우, 상기 조명 패턴이 변화하고 상기 포인트들이 상기 패턴의 밝고 어두운 영역들에 노출됨에 따라, 상기 오브젝트 상의 각각의 포인트에서의 상기 세기들의 변화를 고려하여 상기 오브젝트의 상기 3D 공간 정보가 계산된다.

그레이-코딩 및 위상 시프트의 조합이 상기 3D 공간 정보를 복구하기 위해 사용되는 일 예에서, 상기 프로젝터는 그레이-코드 및 위상-시프트된 일련의 패턴들 둘 모두를 상기 오브젝트 위로 투영하는데 사용된다. (예를 들어 Giovanna Sansoni, Matteo Carocci 및 Roberto Rodella의 "그레이-코드와 위상 시프트 광 보호의 조합에 기반한 3차원 비전: 상기 체계적인 오류들의 분석 및 보상" 이라는 제목-Applied Optics, 38, 6565-6573, 1999-의 기사에서 이러한 방법에 대한 자세한 내용을 볼 수 있다). 여기서, 상기 오브젝트의 각각의 포인트에 대해, 2개의 대응하는 픽셀 위치들을 정의할 수 있다: (i) 상기 프로젝터 픽셀 좌표(projector pixel coordinate), 즉 상기 오브젝트 상의 해당 포인트 상에 입사된 상기 광이 발산되는 상기 프로젝터의 픽셀 위치, 및 (ii) 상기 카메라 픽셀 좌표(camera pixel coordinate), 즉 상기 오브젝트 상의 해당 포인트에 의해 반사된 상기 광이 캡처되는 상기 카메라의 상기 픽셀 위치. 적절한 알고리즘을 사용하고, 상기 카메라와 프로젝터의 상기 상대 위치들(이들 상대 위치들은 표준 교정 측정(standard calibration measurement)을 사용하여 간단하게 결정됨)을 고려하여, 상기 카메라에서 캡처된 상기 이미지들은 각각의 카메라 픽셀에 대해 상기 대응하는 프로젝터 픽셀 좌표를 결정하기 위해 처리될 수 있다. 실제로, 특정 카메라 픽셀이 "보고 있는" 프로젝터 픽셀에 대한 결정이 이루어질 수 있다. 또한, 상기 그레이-코드 패턴들과 위상 시프트 패턴들로부터 수신된 상기 이미지 데이터를 조합함으로써, 상기 프로젝터 픽셀 좌표는 상기 프로젝터 픽셀들 자체보다 높은 해상도로 결정될 수 있다.

상술한 방법은 다음과 같이 이해될 수 있다. 먼저, 다수의 N 그레이-코드 패턴들을 선택하고, 상기 위상 시프트 패턴들에서 정현파 프린지들의 수를 2N으로 설정함으로써, 상기 프린지들이 상기 N 그레이-코드 패턴들의 시퀀스에서 상기 이진 전이들(binary transitions)과 정렬될 수 있다. 상기 결과적인 그레이 코드 단어들인,

와 상기 위상에 대해 획득된 상기 값들인,

를 조합하여, 상기 시야의 각각의 위치에서 상기 절대 프린지 위치(absolute fringe position)를 나타내는 "GCPS" 값들 세트를 형성할 수 있다. 상기 GCPS 값들은 차례로 상기 코드의 최소/최대로부터 상기 프로젝터 이미지의 폭(

) 및 높이(

)까지의 상기 값들의 스케일링을 수행함으로써 상기 프로젝터 픽셀 좌표들을 결정하는데 사용될 수 있고; 사실상, 상기 카메라의 모든 픽셀에서 상기 사인 패턴들의 상기 위상을 추정함으로써 상기 "프린지 변위(fringe displacement)"를 측정할 수 있다.

다음으로, 다음과 같이 정의할 수 있다:

여기서,

는 상기 그레이 코드 측정들(Gray code measurements)의 상기 결과이고,

는 상기 위상 스테핑 측정들(phase stepping measurements)의 결과로서, 둘 다 수직 프린지들(vertical fringes)로 수행된다. (이전과 같이, 상기 인덱스들(

)은 상기 이미지 센서의 상기 픽셀 요소들을 나타낸다). 위의 방정식에서 상기 카메라 이미지의 각각의 픽셀에 대한 상기 오리지널 서브 픽셀 프로젝터 열(originating subpixel projector column)을 계산할 수 있다.

여기서

및

은 수직 프린지들에 대한 상기 GCPS 코드의 상기 최대 및 최소 값들이다. 마찬가지로, 수평 프린지들(horizontal fringes)을 사용하여 GCPS 값을 획득할 때 다음과 같이 정의할 수 있다:

이어서,

에 대한 상기 방정식을 사용하여 상기 카메라 이미지의 각각의 픽셀에 대한 상기 오리지널 서브 픽셀 프로젝터 행(originating subpixel projector row)을 다음과 같이 계산할 수 있다:

여기서

및

은 수평 프린지들의 상기 GCPS 코드에 대한 상기 최대 및 최소 값들이다.

상기 서브 픽셀 프로젝터 열 및 행 좌표들(subpixel projector column and row coordinates)

을 획득한 경우, 이러한 값들은 이미지화 되는 상기 오브젝트 상의 상기 포인트들의 상기 {x, y, z} 좌표들을 획득하는데 사용될 수 있다. 구체적으로, 상기 프로젝터 g 상의 포인트로부터 광을 수신하도록 설정된 주어진 카메라 픽셀 p에 대해, 상기 렌즈 파라미터들, 상기 카메라와 프로젝터 사이의 거리 등을 고려하여, 스테레오 비전(stereo vision)에 사용된 것과 유사한 공지된 삼각각의 측량 방법들을 사용하여 좌표들 {x_ij, y_ij, z_ij}을 가지는 상기 오브젝트 상의 포인트의 위치 추정치 E를 도출할 수 있다.

각각의 GCPS 값의 상기 불확실성은 상기 복구된 신호의 상기 진폭과 주변 광의 상기 존재 낮은 정도에 의해 크게 영향을 받을 것이다. 본 발명자들에 의해 수행된 실험들은 상기 수신된 신호의 상기 진폭이 특정 레벨 아래로 떨어질 때까지 상기 GCPS 값의 상기 불확실성이 일반적으로 상당히 일정하며, 그 후 상기 불확실성이 거의 기하급수적으로 증가한다는 것을 보여주었다; 이는 상기 측정된 진폭과 주변 광이 사전 설정된 모델을 통해 상기 GCPS 값의 예상된 측정 불확실성으로 변환될 수 있음을 의미하고(도 6에 예제가 제공됨), 이는 세기의 함수로 상기 GCPS 값의 상기 표준 편차(std)를 나타낸다. 위의 상기 위치 추정값 E를 획득하기 위해 사용된 것과 동일한 계산을 사용하지만, 이제 상기 프로젝터 픽셀 위치를

로 설정하며, 여기서

는 상기 감지된 신호 진폭에서 상기 GCPS 값의 상기 표준 편차에서 파생되고, 이로써 새로운 위치 추정치 E'를 획득할 수 있다. 상기 위치 측정치 E에서 추정된 표준 편차

는

를 가정함으로써 도출될 수 있다. 이어서, 상기 추정치

를 사용하여 상기 품질 파라미터를 정의할 수 있다.

상기 구조 조명에 어떤 알고리즘이 사용되는지에 관계없이, 3D 공간 정보를 높은 정확도로 계산하기 위해서는 최대 신호 대 잡음(maximal signal to noise)으로 상기 오브젝트 상의 각각의 포인트에서 상기 세기의 변화를 측정하는 것이 바람직할 것이다. 이것은 상기 조명 패턴의 밝고 어두운 영역들에 선택적으로 노출되는 특정 포인트로 보이는 상기 세기의 상기 콘트라스트가 가능한 한 높아야 한다는 것을 차례로 요구한다. 앞서 논의한 바와 같이, 특정 포인트에서의 상기 콘트라스트의 정도는 상기 오브젝트의 상기 표면에 걸쳐 광범위한 세기들를 수용할 필요성에 의해 제한될 수 있다; 상기 오브젝트 자체의 상기 표면이 많은 밝고 어두운 영역들을 포함한다면, 상기 카메라의 상기 유한한 동적 범위를 고려할 때, 상기 오브젝트의 밝은 영역들이 상기 조명 패턴에서 더 밝은 프린지들에 노출되는 포화 효과들(saturation effects)을 일으키지 않으면서 상기 오브젝트의 표면의 어두운 영역들로부터 상기 복구된 신호를 최대화하는 것이 불가능할 수 있다. 따라서, 단일 노출에서 상기 표면 상의 모든 포인트에서 볼 수 있는 상기 세기들의 상기 콘트라스트를 최적화하지 못할 수 있다(이러한 맥락에서, "노출(exposure)"은 각각의 포인트 클라우드가 계산될 수 있는 상기 2D 이미지들의 시퀀스의 캡처를 지칭하는 것으로 이해될 것이다).

위의 문제점을 해결하기 위해, 본 명세서에 기술된 실시 예에서, 다수의 노출들이 상이한 설정들을 사용하여 수행된다. 이것의 예는 도 7에 그림으로 표시되어 있다. 먼저, 2D 이미지들의 제1시퀀스는 제1세트의 노출 설정들을 사용하여 캡처된다. 본 예에서, 상기 노출 설정들은 상기 카메라 조리개(camera aperture)의 상기 상대적 크기를 바꿈으로써 변경되지만, 상기 노출 설정들은 상기 이미징 시스템의 하나 이상의 다른 파라미터들을 조정함으로써 변경될 수도 있음을 이해할 것이다. 상기 원(701)은 상기 이미지들의 제1시퀀스를 캡처하는데 사용되는 상기 카메라 조리개(camera aperture)의 상기 상대적 크기(relative size)를 나타내고, 상기 패턴들(703a, 703b, 703c)은 이미지들의 상기 제1시퀀스에서 상기 각각의 이미지들을 캡처할 때 상기 오브젝트 위로 투영되는 상기 조명 패턴들(illumination patterns)을 나타낸다. 도시된 바와 같이, 각각의 조명 패턴(703a, 703b, 703c)은 일련의 선택적으로 밝고 어두운 프린지들이 상기 오브젝트 상에 투영되는 정현파 변조된 세기 패턴(sinusoidally modulated intensity pattern)을 포함한다. 상기 시야를 가로지르는 상기 패턴의 상기 위상은 각각의 패턴 바로 아래의 상기 파동에 의해 개략적으로 도시되며, 상기 파동의 상기 골들(troughs)에 대응하는 상기 패턴의 상기 어두운 프린지들 및 상기 파동의 상기 산들(peaks)에 대응하는 상기 밝은 프린지들이 있다. 도시된 바와 같이, 상기 연속적인 이미지들에서의 상기 조명 패턴들은 서로에 대해 위상 시프트 되고, 각각의 패턴에서의 상기 밝고 어두운 프린지들의 상기 위치들은 서로에 대해 변환된다(translated). 적절한 알고리즘은 2D 이미지들의 상기 시퀀스에 걸쳐 상기 동일한 픽셀의 상기 광의 세기들을 비교하기 위해 사용되며, 해당 포인트의 상기 깊이 정보를 계산한다. 이어서, 상기 3차원 공간 정보는 각각의 포인트에 대한 상기 세기 값과 함께 제1포인트 클라우드 행렬(first point cloud matrix)(705)에 저장된다.

상기 3차원 좌표들 {x, y, x} 및 세기 값들 I 외에도, 상기 포인트 클라우드 행렬(705)의 각각의 요소는 앞서 도 3에 도시된 바와 같이 상기 품질 파라미터 q에 대한 값을 포함한다. 본 실시 예에서, 상기 값 q는 상기 3개의 상이한 조명 패턴들(703a, 703b, 703c)이 상기 오브젝트 상에 투영되는 것으로 보여지는 상기 각각의 카메라 픽셀 In (i,j)에서 상기 관찰된 세기들의 상기 표준 편차에 기초하여 결정된다. 다른 실시 예에서, 상기 값 q는 이미지들의 상기 시퀀스에 걸쳐 해당 픽셀에서 상기 최대 세기 값과 최소 세기 값 사이의 차이에 기초하여 결정된다. 이런 식으로, 상기 품질 파라미터는 상기 이미지들의 시퀀스에 걸쳐 각각의 픽셀에서 볼 수 있는 상기 콘트라스트의 측정치를 정의한다.

상기 처리의 다음 단계에서, 상기 노출 설정들은 상기 원(707)에 의해 반사된 바와 같이 상기 카메라 조리개의 크기를 확장하여 조정됨으로써, 상기 카메라에 도달할 상기 오브젝트로부터의 광량을 증가시킨다. 2D 이미지들의 제2시퀀스가 캡처되고, 상기 조명 패턴들(709a, 709b, 709c)은 상기 시퀀스의 각각의 이미지에 대해 다시 변화된다. 상기 2D 이미지들의 제2시퀀스는 세기 값 및 상기 품질 파라미터 q에 대한 값과 함께 각각의 요소에 대한 상기 깊이 정보를 기록하는 제2입력 3D 이미지 포인트 클라우드(second input 3D image point cloud)(711)를 계산하는데 사용된다. 상기 이미지들의 제1시퀀스와 상기 이미지들의 상기 제2시퀀스 사이의 상기 노출의 차이로 인해, 주어진 픽셀 요소 {i, j}에서 볼 수 있는 상기 콘트라스트의 정도는 상기 이미지들의 2개의 시퀀스들에 걸쳐 변할 가능성이 있다; 예를 들어, 상기 주어진 픽셀 요소{i, j}에서 검출된 상기 최대 세기 레벨과 최소 세기 레벨 사이의 상기 차이는 상기 2개의 이미지 세트들 사이에서 달라질 것이다. 따라서, 상기 제1포인트 클라우드 행렬(705)에 기록된 상기 q 값들은 상기 제2포인트 클라우드 행렬(711)에 기록된 상기 q 값들과 다를 가능성이 있다.

또 다른 단계에서, 상기 노출 설정들은 원(713)으로 도시된 바와 같이 상기 카메라 조리개의 크기를 확장시킴으로써 추가로 조정된다. 상기 조명 패턴들(715a, 715b, 715c)이 상기 오브젝트 위로 투영된 상태에서, 2D 이미지들의 제3시퀀스가 상기 카메라 상에 캡처된다. 상기 2D 이미지들의 제3시퀀스는 제3입력 3D 이미지 포인트 클라우드 행렬(third input 3D image point cloud matrix)(717)을 계산하는데 사용되며, 이는 세기 값 및 상기 품질 파라미터 q에 대한 값과 함께 각각의 요소에 대한 상기 깊이 정보를 다시 기록한다. 상기 제1 및 제2 포인트 클라우드 행렬들의 경우처럼, 상기 이미지들의 제2시퀀스와 상기 이미지들의 제3시퀀스 사이의 상기 노출의 차이는 상기 동일한 픽셀 요소 {i, j}에서 볼 수 있는 상기 콘트라스트의 정도가 상기 이미지들의 제2 및 제3시퀀스에 걸쳐 달라질 가능성이 있음을 의미한다. 따라서, 상기 제3포인트 클라우드 행렬(717)에 기록된 q 값들은 상기 제1포인트 클라우드 행렬(705) 및 상기 제2포인트 클라우드 행렬(711)과 다를 가능성이 있다.

이미지들의 각각의 시퀀스에 대한 상기 포인트 클라우드 행렬들을 계산한 후, 상기 방법은 상기 각각의 포인트 클라우드 행렬들의 상기 데이터를 사용하여 단일 출력 포인트 클라우드 행렬(719)을 컴파일함으로써 진행되고, 이는 이어서 상기 오브젝트의 3D 표현을 렌더링하는데 사용될 수 있다.

도 7에 도시된 본 예는 이미지들의 총 3개의 입력 시퀀스들을 포함하지만, 이것은 단지 예일뿐이며, 상기 출력 포인트 클라우드 행렬은 N >= 2인 임의의 수 N 포인트 클라우드들을 캡처하여 계산될 수 있다는 것을 이해할 것이다. 마찬가지로, 상술한 예에서, 상기 노출은 이미지들의 각각의 시퀀스를 캡처하는 사이의 상기 카메라 조리개의 크기를 증가시킴으로써 변화되었지만, 이것이 노출을 변화시킬 수 있는 유일한 수단은 아니라는 것 - 상기 노출이 변화할 수 있는 다른 방법의 예로는, 상기 조명 세기(illumination intensity) 증가, 상기 카메라 노출 시간(camera integration time) 증가, 상기 카메라 감도(camera sensitivity) 또는 이득(gain) 증가, 또는 상기 오브젝트와 상기 카메라 사이의 상기 광학 경로에 배치된 중성 밀도 필터(neutral density filter)의 상기 세기를 변화시키는 것이 포함된다는 것을 쉽게 이해할 수 있을 것이다.

상이한 노출 설정들에서 다수의 3D 이미지들을 캡처하고, 해당 데이터 세트들로부터의 상기 데이터를 결합하여 단일 출력 3D 이미지(single output 3D image)를 제공함으로써, 본 명세서에 기술된 실시 예들은 상기 카메라의 동적 범위의 상기 한계들을 보상하는 것을 도울 수 있고, 상기 오브젝트 표면 상의 더 어두고 포인트들 및 더 밝은 포인트들 모두에 대해 향상된 신호 대 잡음비(enhanced signal to noise ratio)를 제공한다. 그렇게 함으로써, 실시 예들은 3D 표면 이미징의 종래 방법들을 사용하는 경우, 상기 최종 이미지로부터 완전히 누락되거나 노이즈에 의해 지배될 수 있는 영역들로부터 사용 가능한 데이터가 캡처되도록 보장할 수 있고, 상기 오브젝트의 표면 토폴로지가 이러한 3D 표면 이미징의 종래 방법들과 비교하여 더 정확하게 맵핑되도록 보장할 수 있다.

전술한 실시 예에서, 상기 카메라 센서는 그레이 스케일로 이미징되고 있는 것으로 가정되고; 즉, 상기 센서에 입사하는 상기 총 광 레벨과 관련하여 각각의 픽셀에서 단일 세기 값(single intensity value)이 측정된다. 그러나, 본 명세서에 기술된 실시 예들은 컬러 이미징 시나리오들(color imaging scenarios)에 동일하게 적용 가능하다는 것이 이해될 것이다. 예를 들어, 일부 실시 예에서, 상기 카메라 센서는 베이어 마스크(Bayer mask)가 상기 입사광을 적색, 녹색 및 청색 채널들로 분해하는데 사용되는 RGB 센서를 포함할 수 있고; 다른 실시 예에서, 상기 카메라 센서는 3개의 개별 CCD 센서들이 상기 각각의 적색, 청색 및 녹색 광 신호들을 수집하는데 사용되는 3-CCD 장치를 포함할 수 있다. 이러한 경우, 상기 포인트 클라우드 행렬들은 전술한 실시 예에서와 동일한 방식으로 획득될 것이지만, 각각의 행렬 요소 내에서, 상기 세기 값들(I_ij)은 상기 3개의 컬러 세기들(r_ij, g_ij, b_ij)로 분해될 것이다. 도 8은 그러한 포인트 클라우드 행렬의 예를 보여준다.

본 명세서에 기술된 주제 및 동작의 구현들은 본 명세서에 개시된 구조를 포함하는 디지털 전자 회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어, 및 이들의 구조적 등가물들, 또는 그들 중 하나 이상의 조합으로 실현될 수 있음을 이해할 것이다. 본 명세서에 기술된 주제의 구현들은 데이터 처리 장치의 실행 또는 동작을 제어하기 위해 컴퓨터 저장 매체에 인코딩된 하나 이상의 컴퓨터 프로그램, 즉 하나 이상의 컴퓨터 프로그램 명령 모듈을 사용하여 실현될 수 있다. 선택적으로 또는 부가적으로, 상기 프로그램 명령들은 인위적으로 생성된 전파 신호, 예를 들어 데이터 처리 장치에 의해 실행하기 위해 적합한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위해 생성되는 기계-생성 전기, 광학 또는 전자기 신호에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능한 저장 장치, 컴퓨터 판독 가능한 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 장치, 또는 이들 중 하나 이상의 조합일 수 있거나 이에 포함될 수 있다. 또한, 컴퓨터 저장 매체는 전파 신호가 아니지만, 컴퓨터 저장 매체는 인위적으로 생성된 전파 신호로 인코딩된 컴퓨터 프로그램 명령들의 소스 또는 목적지일 수 있다. 상기 컴퓨터 저장 매체는 또한 하나 이상의 분리된 물리적 구성 요소들 또는 매체(예를 들어, 다수의 CDs, 디스크들 또는 다른 저장 장치들)일 수 있거나 이에 포함될 수 있다.

특정 실시 예들이 설명되었지만, 이들 실시 예들은 단지 예로서 제시되었으며, 본 발명의 범위를 제한하도록 의도되지 않았다. 실제로, 본 명세서에 설명된 상기 신규한 방법들, 장치들 및 시스템들은 다양한 형태로 구현될 수 있다; 또한, 본 명세서에 기술된 상기 방법들 및 시스템들의 형태로 다양한 생략들, 대체들 및 변경들이 본 발명의 정신으로부터 벗어나지 않고 이루어질 수 있다. 첨부된 청구 범위들 및 그 등가물들은 본 발명의 범위 및 사상 내에 속하는 그러한 형태 또는 변형을 포함하도록 의도된다.

Claims

오브젝트의 3차원 이미지를 생성하는 방법으로서,
상기 오브젝트를 이미지화 하는데 사용되는 이미징 시스템(imaging system)으로부터 입력 포인트 클라우드 데이터(input point cloud data) 세트를 수신하는 단계 - 상기 입력 포인트 클라우드 데이터 세트는 둘 이상의 포인트 클라우드들을 포함하고, 각각의 포인트 클라우드는 상기 오브젝트의 상기 표면 상의 포인트들의 상기 3차원 좌표들을 정의하고, 상기 각각의 입력 포인트 클라우드 내의 데이터는 상기 이미징 시스템에 의해 획득된 각각의 이미지 데이터 세트로부터 계산되고, 각각의 이미지 데이터 세트는 상기 이미징 시스템에 대한 상이한 노출 설정(different exposure setting)을 사용하여 획득됨 -;
상기 각각의 입력 포인트 클라우드들 내의 각각의 포인트에 대해, 품질 파라미터의 값을 판단하는 단계 - 각각의 포인트에 대한 상기 품질 파라미터의 상기 값은 상기 포인트 클라우드 내의 상기 포인트에 대해 지정된 상기 3차원 좌표들에서의 불확실성(uncertainty)의 정도를 반영함 -;
상기 입력 포인트 클라우드 데이터 세트로부터 포인트들의 그룹들을 식별하는 단계 - 각각의 그룹은 각각의 입력 포인트 클라우드(input point cloud)로부터의 포인트를 포함함 -;
상기 오브젝트 표면의 3D 표현을 생성하기 위한 출력 포인트 클라우드(output point cloud)를 생성하는 단계 - 상기 출력 포인트 클라우드는 상기 오브젝트의 상기 표면 상의 포인트들의 상기 3차원 좌표들을 정의하고, 상기 출력 포인트 클라우드 내의 각각의 포인트에 대해, 상기 각각의 포인트의 상기 좌표들은 상기 각각의 식별된 포인트들의 그룹들 중 각각의 하나 내의 상기 포인트들의 상기 좌표 값들에 기초하여 계산되며, 상기 계산에서 상기 그룹 내의 각각의 포인트의 상기 좌표 값들이 고려되는 정도는 상기 각각의 포인트와 관련된 상기 품질 파라미터의 상기 값들에 기초하여 판단됨 -;
을 포함하고,
상기 방법은 상기 출력 포인트 클라우드 내의 상기 데이터에 기초하여 상기 오브젝트의 3차원 이미지를 렌더링하는 단계를 포함하는,
오브젝트의 3차원 이미지 생성 방법.
제 1 항에 있어서,
상기 이미징 시스템은 광 센서(light sensor)를 포함하는 광학 이미징 시스템(optical imaging system)인,
오브젝트의 3차원 이미지 생성 방법.
제 2 항에 있어서,
상기 각각의 입력 포인트 클라우드 내의 데이터는 상기 광 센서 상에 캡처된 상기 오브젝트의 하나 이상의 2D 이미지들(2D images)로부터 계산되는,
오브젝트의 3차원 이미지 생성 방법.
제 2 항 또는 제 3 항에 있어서,
각각의 이미지 데이터 세트를 획득하는데 사용된 상기 노출 설정은 하기 중 하나 이상을 바꿈으로써 변경되는:
상기 센서 노출 시간(sensor integration time);
상기 센서 감도(sensor sensitivity);
상기 오브젝트와 상기 센서 사이의 상기 경로에서 구경 조리개(aperture stop)의 크기;
상기 오브젝트를 조명하는데 사용되는 광의 세기(intensity); 및
상기 오브젝트와 상기 센서 사이의 상기 광 경로에 배치되는 ND 필터의 강도(strength);
오브젝트의 3차원 이미지 생성 방법.
제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 각각의 입력 포인트 클라우드 내의 데이터는 각각의 2차원 포인트 클라우드 행렬(two dimensional point cloud matrix)로서 저장되고,
상기 행렬 내의 각각의 요소는 각각의 포인트의 상기 3차원 좌표들, 상기 포인트에 대한 상기 세기 값, 및 상기 포인트에 대한 상기 품질 파라미터 값을 포함하고;
각각의 그룹 내의 상기 포인트들은 상기 각각의 입력 포인트 클라우드 행렬들 내의 상기 동일한 요소 위치를 가지는 것으로 식별되는,
오브젝트의 3차원 이미지 생성 방법.
제 5 항에 있어서,
상기 광 센서는 2차원 픽셀 어레이(two dimensional pixel array)를 포함하고,
상기 행렬 요소들은 상기 어레이 내의 각각의 픽셀 요소들(pixel elements)에 맵핑되는,
오브젝트의 3차원 이미지 생성 방법.
제 6 항에 있어서,
상기 이미징 시스템은 각각의 이미지 데이터 세트를 획득하기 위해 구조 조명(structured illumination)을 이용하는 시스템인,
오브젝트의 3차원 이미지 생성 방법.
제 7 항에 있어서,
각각의 이미지 데이터 세트는 상기 광 센서 상에 캡처된 상기 오브젝트의 2D 이미지들의 시퀀스를 포함하고, 상기 시퀀스 내의 각각의 2D 이미지는 상이한 조명 패턴을 사용하여 캡처되며, 상기 시퀀스 내의 상기 이미지들은 상기 각각의 노출 설정에 대한 상기 입력 포인트 클라우드 행렬을 계산하는데 사용되는,
오브젝트의 3차원 이미지 생성 방법.
제 8 항에 있어서,
각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 포인트 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 콘트라스트의 측정치(measure of contrast)를 포함하는,
오브젝트의 3차원 이미지 생성 방법.
제 8 항 또는 제 9 항에 있어서,
각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는, 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 세기의 표준 편차(standard deviation in intensity)에 기초하여 계산되는,
오브젝트의 3차원 이미지 생성 방법.
제 8 항 또는 제 9 항에 있어서,
각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는, 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 세기의 최대 휘도 및 최소 휘도 사이의 차이(difference between the maximum and minimum brightness in intensity)에 기초하여 계산되는,
오브젝트의 3차원 이미지 생성 방법.
제 8 항에 있어서,
각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는, 상기 포인트의 상기 3D 좌표들에서 모델링된 에러에 기초하여 계산되고, 상기 에러는 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 상기 세기의 함수(function of intensity)로서 모델링되는,
오브젝트의 3차원 이미지 생성 방법.
제 12 항에 있어서,
각각의 이미지 데이터 세트는 그레이-코드된 이미지들(Gray-coded images)의 시퀀스 및 위상 시프트된 이미지들(phase shifted images)의 시퀀스를 포함하고,
상기 그레이-코드된 이미지들 및 위상 시프트된 이미지들의 시퀀스로부터의 상기 데이터는 각각의 픽셀 요소에 대해 상기 포인트 클라우드 내의 각각의 포인트의 상기 좌표들이 계산되는 값을 도출하기 위해 결합되고,
상기 포인트 클라우드 내의 각각의 포인트에서 상기 좌표들에서의 상기 에러는 상기 각각의 픽셀 요소에 대해 계산된 상기 값에서의 상기 에러의 함수로서 모델링되는,
오브젝트의 3차원 이미지 생성 방법.
제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
각각의 입력 포인트 클라우드는 각각의 포인트에 대한 컬러 정보(colour information)를 포함하는,
오브젝트의 3차원 이미지 생성 방법.
제 11 항에 있어서,
상기 컬러 정보는 RGB 값들로 인코딩되는,
오브젝트의 3차원 이미지 생성 방법.
컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금 제 1 항 내지 제 15 항 중 어느 한 항에 따른 방법을 수행하도록 하는 컴퓨터 실행 코드를 포함하는 컴퓨터 판독가능 저장 매체.
오브젝트의 3차원 이미지를 생성하는 시스템으로서,
상기 오브젝트로부터 이미지 데이터(image data)를 획득하는 센서(sensor);
상기 센서의 상기 노출을 변경하는 제어기(controller) - 상기 센서는 상이한 노출들(different exposures)에서 각각의 이미지 데이터 세트들을 획득하도록 구성됨 -; 및
상기 획득된 이미지 데이터를 처리하는 프로세서(processor) - 각각의 이미지 데이터 세트에 대해, 상기 프로세서는 입력 포인트 클라우드(input point cloud)를 생성하도록 구성되고, 상기 포인트 클라우드는 상기 오브젝트의 상기 표면 상의 포인트들의 상기 3차원 좌표들(three-dimensional coordinates) 및 각각의 포인트에서의 세기 값(intensity value)을 정의함 -;
을 포함하고,
상기 프로세서는 하기를 추가로 수행하도록 구성되는:
상기 각각의 입력 포인트 클라우드들 내의 각각의 포인트에 대해, 품질 파라미터의 값을 판단하는 것 - 각각의 포인트에 대한 상기 품질 파라미터의 상기 값은 상기 포인트 클라우드 내의 상기 포인트에 대해 지정된 상기 3차원 좌표들에서의 확실성(certainty)의 정도를 반영함 -;
상기 입력 포인트 클라우드 데이터 세트로부터 포인트들의 그룹들을 식별하는 것 - 각각의 그룹은 각각의 입력 포인트 클라우드(input point cloud)로부터의 포인트를 포함함 -; 및
상기 오브젝트 표면의 3D 표현을 생성하기 위한 출력 포인트 클라우드(output point cloud)를 생성하는 것 - 상기 출력 포인트 클라우드는 상기 오브젝트의 상기 표면 상의 포인트들의 상기 3차원 좌표들 및 각각의 포인트에서의 세기 값을 정의하고, 상기 출력 포인트 클라우드 내의 각각의 포인트에 대해, 상기 각각의 포인트의 상기 좌표들은 상기 각각의 식별된 포인트들 그룹들 중 각각의 하나 내의 상기 포인트들의 상기 좌표 값들에 기초하여 계산되고, 상기 계산에서 상기 그룹 내의 각각의 포인트의 세 좌표 값들이 고려되는 정도는 상기 각각의 포인트와 관련된 상기 품질 파라미터의 상기 값들에 기초하여 판단됨 -, 및 상기 출력 포인트 클라우드 내의 상기 데이터에 기초하여 상기 오브젝트의 3차원 이미지를 렌더링하는 것;
오브젝트의 3차원 이미지 생성 시스템.
제 17 항에 있어서,
상기 이미징 시스템은 광학 이미징 시스템(optical imaging system)이고,
상기 센서는 광 센서(light sensor)인,
오브젝트의 3차원 이미지 생성 시스템.
제 18 항에 있어서,
상기 각각의 입력 포인트 클라우드 내의 데이터는 상기 광 센서 상에 캡처된 상기 오브젝트의 하나 이상의 2D 이미지들로부터 계산되는,
오브젝트의 3차원 이미지 생성 시스템.
제 18 항 또는 제 19 항에 있어서,
상기 제어기는 하기 중 하나 이상을 바꿈으로써 상기 노출을 변경하도록 구성되는:
상기 센서 노출 시간(sensor integration time);
상기 센서 감도(sensor sensitivity);
상기 오브젝트와 상기 센서 사이의 상기 경로에서 구경 조리개(aperture stop)의 크기;
상기 오브젝트를 조명하는데 사용되는 광의 세기(intensity); 및
상기 오브젝트와 상기 센서 사이의 상기 광 경로에 배치되는 ND 필터의 강도(strength);
오브젝트의 3차원 이미지 생성 시스템.
제 18 항 내지 제 20 항에 있어서,
상기 각각의 입력 포인트 클라우드 내의 데이터는 각각의 2차원 포인트 클라우드 행렬(two dimensional point cloud matrix)로서 저장되고,
상기 행렬 내의 각각의 요소는 각각의 포인트의 상기 3차원 좌표들, 상기 포인트에 대한 상기 세기 값, 및 상기 포인트에 대한 상기 품질 파라미터 값을 포함하고;
각각의 그룹 내의 상기 포인트들은 상기 각각의 입력 포인트 클라우드 행렬들 내의 상기 동일한 요소 위치를 가지는 것으로 식별되는,
오브젝트의 3차원 이미지 생성 시스템.
제 21 항에 있어서,
상기 광 센서는 2차원 픽셀 어레이(two dimensional pixel array)를 포함하고,
상기 행렬 요소들은 상기 어레이 내의 각각의 픽셀 요소들(pixel elements)에 맵핑되는,
오브젝트의 3차원 이미지 생성 시스템.
제 22 항에 있어서,
상기 이미징 시스템은 각각의 이미지 데이터 세트를 획득하기 위해 구조 조명(structured illumination)을 이용하는 시스템인,
오브젝트의 3차원 이미지 생성 시스템.
제 23 항에 있어서,
각각의 이미지 데이터 세트는 상기 광 센서 상에 캡처된 상기 오브젝트의 2D 이미지들의 시퀀스를 포함하고, 상기 시퀀스 내의 각각의 2D 이미지는 상이한 조명 패턴을 사용하여 캡처되며, 상기 시퀀스 내의 상기 이미지들은 상기 각각의 노출 설정에 대한 상기 입력 포인트 클라우드 행렬을 계산하는데 사용되는,
오브젝트의 3차원 이미지 생성 시스템.
제 24항에 있어서,
각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 포인트 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 콘트라스트의 측정치(measure of contrast)를 포함하는,
오브젝트의 3차원 이미지 생성 시스템.
제 23 항 또는 제 24 항에 있어서,
각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는, 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 세기의 표준 편차(standard deviation in intensity)에 기초하여 계산되는,
오브젝트의 3차원 이미지 생성 시스템.
제 23 항 또는 제 24 항에 있어서,
각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는, 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 세기의 최대 휘도 및 최소 휘도 사이의 차이(difference between the maximum and minimum brightness in intensity)에 기초하여 계산되는,
오브젝트의 3차원 이미지 생성 시스템.
제 23 항에 있어서,
각각의 입력 포인트 클라우드 행렬에 대해, 상기 입력 클라우드 행렬 내의 각각의 요소에 대한 상기 품질 파라미터는, 상기 포인트의 상기 3D 좌표들에서 모델링된 에러에 기초하여 계산되고, 상기 에러는 상기 이미지들의 시퀀스에 걸쳐 상기 대응하는 픽셀에서 보여지는 상기 세기의 함수(function of intensity)로서 모델링되는,
오브젝트의 3차원 이미지 생성 시스템.
제 28 항에 있어서,
각각의 이미지 데이터 세트는 그레이-코드된 이미지들(Gray-coded images)의 시퀀스 및 위상 시프트된 이미지들(phase shifted images)의 시퀀스를 포함하고,
상기 시스템은 상기 그레이-코드된 이미지들 및 위상 시프트된 이미지들의 시퀀스로부터의 상기 데이터를 결합하여 각각의 픽셀 요소에 대해 상기 포인트 클라우드 내의 각각의 포인트의 상기 좌표들이 계산되는 값을 도출하도록 구성되고,
상기 포인트 클라우드 내의 각각의 포인트에서 상기 좌표들에서의 상기 에러는 상기 각각의 픽셀 요소에 대해 계산된 상기 값에서의 상기 에러의 함수로서 모델링되는,
오브젝트의 3차원 이미지 생성 시스템.
제 17 항 내지 제 29 항 중 어느 한 항에 있어서,
상기 센서는 컬러 이미지 센서(colour image sensor)이고, 각각의 입력 포인트 클라우드는 각각의 포인트에 대한 컬러 정보(colour information)를 포함하는,
오브젝트의 3차원 이미지 생성 시스템.
제 30 항에 있어서,
상기 컬러 정보는 RGB 값들로 인코딩되는,
오브젝트의 3차원 이미지 생성 시스템.