KR20160082931A - 깊이 카메라를 교정하는 방법 - Google Patents

Abstract

깊이 카메라를 교정하는 방법으로서, S1) 물리적 3차원 참조 대상체 (PO) 의 복수의 깊이 지도들 (DMS) 을 획득하기 위해 교정되는 깊이 카메라 (DC) 를 사용하는 단계로서, 복수의 깊이 지도들 (DMS) 은 참조 대상체를 기준으로 한 깊이 카메라의 상이한 포지션들에 대응하는, 상기 깊이 카메라 (DC) 를 사용하는 단계; S2) 깊이 카메라의 교정 파라미터들의 세트 (SCP_i) 에 배정된 값들에 의존하여, 상기 깊이 지도들로부터 참조 대상체의 3차원 복원물 (3DR_i) 을 컴퓨팅하는 단계; S3) 단계 S2) 에서 컴퓨팅된 3차원 복원물 및 참조 대상체의 미리 결정된 디지털 모델 (RM) 간의 에러 (ERR_i) 를 컴퓨팅하는 단계; 및 S4) 단계 S3) 에서 컴퓨팅된 에러를 최소화하는, 상기 교정 파라미터들의 세트의 값들 (SCP) 을 선택하는 단계를 포함하며, 상기 단계 S2) 및 단계 S3) 는 깊이 카메라의 상기 교정 파라미터들의 세트에 상이한 값들을 배정함으로써 반복되고, 상기 단계 S2) 내지 단계 S4) 는 컴퓨터에 의해 수행되는, 깊이 카메라 교정 방법이다.

Description

깊이 카메라를 교정하는 방법{METHOD FOR CALIBRATING A DEPTH CAMERA}

본 발명은 깊이 카메라를 교정 (calibration) 하는 컴퓨터 구현 방법에 관한 것이다.

본 발명은 기존의 카메라들 및/또는 깊이 카메라들과 같은 센서들에 의해 획득된 데이터로부터 물리적 3차원 대상체들의 디지털 모델들을 구축함에 있어서 존재하는 3차원 (3D) 복원의 기술 분야에 속한다. 3D 복원은 컴퓨터 비전, 컴퓨터 그래픽스 및 증강 현실과 같은 애플리케이션들에 적합하다.

더 정확하게는, 본 발명은 깊이 카메라들의 교정 - 그리고 더 상세하게는 "내재적" 교정에 관한 것이다. 깊이 카메라들 (또한 "레인지 카메라들"로서 알려짐) 은 깊이 카메라의 특정 포인트로부터의 장면에서의 포인트들의 거리를 보여주는 2차원 (2D) 이미지들 - "깊이 지도들"로서 알려짐 - 을 생성하는 디바이스들이다. 여러 상이한 기술들이 깊이 카메라들을 구현하기 위해 사용될 수 있으며; 가장 광범위하게 사용되는 것 중에서, 레이더와 유사한 원리에 기초한 TOF (time-of-flight) 카메라들과, 적외선 패턴을 장면 상에 투영하며, 그것의 이미지를 획득하고 이미지 프로세싱을 사용하여 깊이 정보를 유추하는 구조화된 광 카메라들이 언급될 수도 있다. 깊이 카메라들은 "RGB-깊이", 또는 단순히 "RGBD" 이미지들이라고 지칭될 수 있는 컬러 및 깊이 양쪽 모두의 정보를 포함하는 2차원 이미지들을 생성하기 위해 기존의 컬러 (RGB - 적색, 녹색 및 청색) 카메라들과 조합될 수도 있다. 깊이 카메라와 흑백 카메라의 조합이 또한 가능하지만, 덜 유용하다.

도 1에 예시된 바와 같이, 깊이 카메라 (DC) 가 상이한 포지션들로부터 "물리적" 3차원 대상체 (PO) 의 다수의 깊이 지도들 (DM1, DM2, DM3) ("순수" 깊이 지도들 또는 RGBD 이미지들) 을 획득하는데 사용될 수 있다. 컴퓨터에 의해 실행되는 복원 알고리즘 (RA) 이, 깊이 지도들을 입력들로서 취하여 물리적 대상체의 3차원 복원물 (3DR) 을 생성한다. 여러 적합한 복원 알고리즘들이 업계에서 알려져 있는데, 예컨대 『R.A. Newcombe et al. "KinectFusion: Real-Time Dense Surface Mapping and Tracking", Symposium ISMAR 2011』을 참조한다.

복원 알고리즘은, 자신의 입력들에서, 상이한 깊이 지도들을 획득하기 위해 깊이 카메라들에 의해 취해진 포지션들 및 배향들 ("포즈들") 을 수신하는 것이 반드시 필요한 것은 아닌데, 그 이유는 이 정보 - "외재적" 교정이라고 또한 지칭됨 - 가 깊이 지도들 자체들을 사용하여 유추되기 때문이다. 반면에, 깊이 카메라의 "내재적" 교정 파라미터들 - 이를테면 깊이 카메라의 초점 거리(들), 주점 (principal point) 및 가능하게는 왜곡 파라미터들 - 이 복원 알고리즘에 제공되어야 한다. 내재적 교정 파라미터들의 중요성은 도 2에 의해 강조 표시되는데, 그 도면은 입력들로서 사용되는 깊이 지도들을 획득하는데 사용되는 깊이 카메라의 초점 거리의 상이한 값들을 복원 알고리즘에 제공함으로써 획득된 두 개의 3차원 대상체들의 상이한 복원물들 - 상부 라인 상의 토끼를 나타내는 작은 입상 (figurine), 하부 라인 상의 큐브 - 을 도시한다. 양쪽 라인들 상에서, (한 프레임에서의) 중앙 이미지는 초점 거리의 정확한 값들에 대응하며, 좌측 및 우측의 이미지들은 이 파라미터의 점점 더 부정확한 값들에 대응한다. 깊이 카메라의 부정확한 교정이 완전히 의미 없는 복원물로 이어질 수 있다는 것을 알 수 있다.

몇몇 경우들에서, 깊이 카메라의 제조업자에 의해 제공된 교정 파라미터들은 3D 복원을 위해 사용될 수 있지만 (이는 R.A. Newcombe 등의 위에서 참조된 논문의 경우임), 더욱 정확한 결과들이 요구된다면, 전용 교정 단계가 수행되어야만 한다. 깊이 (또는 RGB-깊이) 카메라를 교정하는 문제는 예컨대 다음의 문서들에서 해결되었다:

- Herrera C., D., Kannala, J., Heikkila, J., "Joint depth and color camera calibration with distortion correction", TPAMI, 2012;

- R.Y. Tsai, "An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision", Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, pp. 364-374, 1986;

- Zhang, Zhengyou "Flexible Camera Calibration By Viewing a Plane From Unknown Orientations", ICCV, 1999.

이들 문서들 중 첫 번째 것은 RGB-깊이 카메라의 경우에 특히 관련되는 것이지만, 장면의 세기 이미지를 또한 제공하는 다른 종류들의 깊이 카메라에 또한 적용될 수 있으며, 다른 두 개의 문서들은 깊이 측정들을 허용하지 않는 기존의 카메라들의 교정에 관련되는 것이지만, 그것들의 교시는 RGB-깊이 카메라들에, 그리고 적외선 패턴이 투영된 장면의 그레이스케일 이미지를 획득하는 깊이 카메라들에 또한 적용된다.

이들 접근법들은 코너들 간에 알려진 거리를 갖는 체스보드와 같은 알려진 2D 기하구조의 평면 패턴을 사용하며, 그것의 여러 이미지들은 교정되는 RGB 또는 RGB-깊이 카메라를 사용하여 획득된다. 이들 이미지들은 교정 파라미터들이 추출되는 카메라의 투영 행렬을 추정하는 것을 허용한다.

이들 접근법들은 생성자 데이터시트들의 사용보다 더욱 강력하지만, 그 접근법들이 3D 복원을 위한 충분히 정확한 교정 파라미터들을 제공한다는 것, 예를 들면, 초점 길이들에 대한 에러가 외재적 파라미터들, 즉, 카메라의 포지션 및 배향을 나타내는 파라미터들 상의 드리프트에 의해 보상될 수 있다는 것은 보장되지 않는다. 더구나, 획득된 파라미터들은 이미지 획득을 위해 사용된 프로토콜에 극도로 의존한다.

Popo Gui 등에 의한 논문 "Accurately Calibrate Kinect Sensor Using Indoor Control Field (실내 제어 필드를 사용한 키넥트 센서의 정확한 교정)”은 알려진 포지션의 다수의 제어 포인트들을 포함하는 제어 필드를 이미지화함으로써 깊이 카메라를 교정하는 방법을 개시한다. 이 방법은 깊이 카메라의 특정한 종류들에만 적용되고, 제어 포인트들은 마커들에 의해 구체화되어야 하므로, 비현실적일 수도 있다.

본 발명은 위에서 언급된 종래 기술의 단점들을 극복하는 것과, 특히 3D 복원에 더욱 적합한 깊이 카메라를 위한 교정 방법을 제공하는 것을 목적으로 한다.

본 발명의 목적은 깊이 카메라를 교정하는 방법을 제공하며, 그 방법은,

S1) 물리적 3차원 참조 대상체의 복수의 깊이 지도들을 획득하기 위해 교정되는 깊이 카메라를 사용하는 단계로서, 복수의 깊이 지도들은 참조 대상체를 기준으로 한 깊이 카메라의 상이한 포지션들에 대응하는, 상기 깊이 카메라를 사용하는 단계;

S2) 깊이 카메라의 교정 파라미터들의 세트에 배정된 값들에 의존하여, 상기 깊이 지도들로부터 참조 대상체의 3차원 복원물을 컴퓨팅하는 단계;

S3) 단계 S2) 에서 컴퓨팅된 3차원 복원물 및 참조 대상체의 미리 결정된 디지털 모델 간의 에러를 컴퓨팅하는 단계; 및

S4) 단계 S3) 에서 컴퓨팅된 에러를 최소화하는, 상기 교정 파라미터들의 세트의 값들을 선택하는 단계를 포함하며,

상기 단계 S2) 및 단계 S3) 는 깊이 카메라의 상기 교정 파라미터들의 세트에 상이한 값들을 배정함으로써 반복되고,

상기 단계 S2) 내지 단계 S4) 는 컴퓨터에 의해 수행된다.

이러한 방법의 상이한 실시형태들에 따르면,

- 상기 단계 S2) 및 단계 S3) 는 깊이 카메라의 상기 교정 파라미터들의 세트에 각각의 미리 결정된 값들을 배정함으로써 미리 결정된 횟수로 반복될 수도 있으며, 상기 미리 결정된 값들은 파라미터 공간을 샘플링한다.

- 대안으로, 상기 단계 S2) 및 단계 S3) 는, 단계 S3) 에서 컴퓨팅된 에러가 미리 결정된 임계값 미만 또는 이하가 되기까지 반복될 수도 있다.

- 상기 교정 파라미터들의 세트는 깊이 카메라의 적어도 초점 거리 및 주점의 두 개의 좌표들을 포함할 수도 있다. 상기 교정 파라미터들의 세트는 적어도 하나의 왜곡 파라미터를 또한 포함할 수도 있다.

- 상기 단계 S2) 는, 참조 포지션을 기준으로, 상기 깊이 지도들의 각각에 대응하는 깊이 카메라의 포지션을 공동으로 결정하고 상기 깊이 지도들을 단일 3차원의 부호 있고 절단된 (truncated) 거리 필드에 융합하는 단계; 및 상기 거리 필드의 등가면 (isosurface) 을 참조 대상체의 상기 복원물을 구성하는 3차원 메시로 추출하는 단계를 포함할 수도 있다.

- 상기 단계 S3) 는 상기 에러를 컴퓨팅하기 전에 단계 S2) 에서 컴퓨팅된 3차원 복원물 및 참조 대상체의 상기 미리 결정된 디지털 모델을 등록시키는 단계를 포함할 수도 있다.

- 상기 단계 S3) 는 단계 S2) 에서 컴퓨팅된 3차원 복원물 및 참조 대상체의 상기 미리 결정된 디지털 모델 간의 정확한 또는 근사 하우스도르프 (Hausdorff) 거리 또는 대칭적 하우스도르프 거리를 컴퓨팅하는 단계를 포함할 수도 있다.

본 발명의 다른 목적은 컴퓨터 시스템으로 하여금 이러한 방법의 단계 S2) 내지 단계 S4) 를 수행하게 하는 컴퓨터 실행가능 명령들을 포함하는 컴퓨터 판독가능 데이터 저장 매체 상에 저장된 컴퓨터 프로그램 제품이다.

본 발명의 다른 목적은 컴퓨터 시스템으로 하여금 이러한 방법의 단계 S2) 내지 단계 S4) 를 수행하게 하는 컴퓨터 실행가능 명령들을 포함하는 컴퓨터 판독가능 데이터 저장 매체이다.

본 발명의 다른 목적은 메모리 및 그래픽 사용자 인터페이스에 커플링된 프로세서를 포함하며, 메모리는 컴퓨터 시스템으로 하여금 이러한 방법의 단계 S2) 내지 단계 S4) 를 수행하게 하는 컴퓨터 실행가능 명령들을 저장하는, 컴퓨터 시스템이다.

"깊이 카메라"는 깊이 정보를 포함하는 이미지들을 생성하는 임의의 디바이스를 나타낸다.

"깊이 지도"는 "순수" 깊이 지도 (깊이 정보만 포함함) 또는 RGBD 깊이 지도와 같은 깊이 정보를 포함하는 임의의 이미지를 나타낸다.

깊이 카메라의 "교정 파라미터들"은 장면이 깊이 정보를 포함하는 이미지로 변환되는 방법에 영향을 미치는 깊이 카메라의 "내재적" 파라미터들, 즉, 모든 광학적, 기계적, 전자적 등의 파라미터를 나타내기 위해 특별히 사용될 것이다. 교정 파라미터들은 보통 다음을 포함한다:

- 광학에서, "물리적" 초점 거리 (F) 는 초기에 시준된 광선 (collimated ray) 들이 렌즈에 의해 초점까지 가져가지는 거리이다. 그러나, 카메라들을 모델링하는 경우, 초점 거리 "f"는 렌즈의 물리적 초점 거리 (F) (mm 단위로 측정됨) 와 이미지화 센서의 화소 밀도 (화소수/mm) 의 곱으로서 가장 자주 정의되고, 그러므로 화소수 단위로 측정된다. 화소들이 직사각형이면, x 방향 및 y 방향을 따라 두 개의 상이한 화소 밀도 값들, 즉, sx 및 sy가 존재한다. 결과로서, 두 개의 초점 거리들이 다음으로 정의된다: fx=sxㆍF 및 fy=syㆍF. fx 및 fy만이, 카메라를 실제로 해체하고 그 카메라의 컴포넌트들을 직접적으로 측정하는 일 없이 도출될 수 있다.

- 이미지 평면에서의 주점의 좌표들. 주점은 카메라의 광학적 축과 카메라의 이미지 평면의 교차점에 의해 정의된다.

- 왜곡 파라미터들이 카메라 렌즈의 방사상 및/또는 접선 왜곡을 표시한다. 보통, 그것들은 비왜곡된 및 왜곡된 이미지 포인트들을 연결하는 다항식 함수의 파라미터들이다.

깊이 카메라가, 벡터, 또는 적합한 "파라미터 공간"의 포인트, 및 포즈 - 즉, 깊이 카메라의 포지션 및 배향을 형성하는, 교정 파라미터들의 세트에 의해 특징화될 수 있다. 포즈를 표시하는 파라미터들은 "외재적 파라미터들"로서 또한 지칭된다.

물리적 대상체 (즉, 물리적 세계에 존재하는 대상체) 의 최소 치수가 그 물리적 대상체의 최대 치수의 1/100 이상, 바람직하게는 1/10이라면 물리적 대상체는 "3차원"으로 간주될 수 있다.

물리적 대상체의 "디지털 모델"이 컴퓨터 메모리에서의 이러한 물리적 대상체의 (또는 단순히 그 물리적 대상체의 외표면의) 파일, 복수의 파일들 또는 데이터 구조 형태의 표현이다. 예를 들면, 디지털 모델이 대상체를 그 대상체의 외표면에 대응하는 그리드, 또는 포인트 클라우드로서 표현할 수 있다. "3D 디지털 모델"이 대상체의 3차원 공간 구조를 보존하는 디지털 모델이다;

"복원 (reconstruction)"이 대상체의 깊이 지도들로부터 대상체의 디지털 모델을 구축하는 프로세스를 지칭하고, 또한 이 프로세스에 의해 획득된 디지털 모델을 지칭한다.

"거리 필드"가 컴퓨터 메모리에서의, 물리적 대상체를 포함하는 물리적 공간의 부분을 표현하는 특정 데이터 구조이다. 이 물리적 공간의 부분은 복셀 (voxel) 들로 이산화된 ("복셀화된") 유한한 "복원 공간"에 의해 표현된다. 수치 값이 각각의 복셀에 기인하는데, 상기 값은 복셀 및 물리적 대상체의 표면 간의 거리 (통상, 부호 있고 절단된 거리) 를 표시한다. 복원 공간의 "등가면"이 동일한 값의 복셀들에 의해 정의된 표면이다.

"등록 (registering)”이 물리적 대상체의 정확히 또는 적어도 대략적으로 두 개의 디지털 모델들을 연결하는 강체 변환 (rigid transformation) (회전-병진) 을 결정하는 동작이다.

본 발명의 부가적인 특징들 및 장점들은 다음의 첨부 도면들에 연계하여 취해지는 후속하는 설명으로부터 명확하게 될 것이다:
도 1은, 위에서 설명된 것으로, 깊이 카메라를 사용하여 물리적 대상체의 3차원 복원을 수행하는 프로세스의 개략적 표현이며;
도 2는, 위에서 설명된 것으로, 3차원 복원에 대한 깊이 카메라의 교정의 중요성을 예시하며;
도 3은 본 발명의 일 실시형태에 따른 교정 방법의 흐름도이며; 그리고
도 4는 본 발명의 일 실시형태에 따른 방법을 수행하기에 적합한 컴퓨터 시스템의 블록도이다.

도 3의 흐름도에서 예시된 바와 같이, 교정되는 깊이 카메라 (DC) 는, 정확한 3차원 디지털 모델 (참조 모델, RM) 이 이용가능한 3차원 물리적 참조 대상체 (PO) 의 깊이 지도들의 세트 (DMS) 를 취하는데 사용된다.

그 다음에, 참조 대상체의 3차원 복원이 적합한 복원 알고리즘 (RA) 을 깊이 지도들에 적용함으로써 수행된다. 그 복원 알고리즘은, 깊이 카메라의 알려져 있지 않은 교정 파라미터들 - 초점 거리(들), 주점, 가능하게는 또한 왜곡 파라미터들 - 의 세트를 요구하고, 그것의 결정이 본 발명 방법의 목표이다. 이 목표를 위해, 각각의 교정 파라미터의 특정 값에 의해 각각이 특징화되는 파라미터들의 유한한 수의 세트들 - 또는 벡터들 - SCP_i를 제공하는 파라미터 공간의 샘플링이 수행된다. 예를 들어, 비점수차 (astigmatism) 와 왜곡이 무시된다면, 깊이 카메라는 세 개의 내재적 교정 파라미터들, 즉, 깊이 카메라의 초점 거리 (f) 와 깊이 카메라의 주점의 좌표들 (u₀, v₀) 에 의해 특징화된다. N 개의 파라미터 벡터들 SCP_i=[f_i, u_0,i, v_0,i] - 단 f_i∈[f_min, f_max], u_0,i∈[u_0,min, u_0,max], v_0,i∈ [v_0,min, v_0,max], i∈[1, N] - 이 3차원 파라미터 공간을 샘플링함으로써 획득된다.

파라미터 공간의 첫 번째 샘플 (SCP₁) 이 참조 대상체의 첫 번째 복원을 수행하기 위해 선택된다. 다른 샘플들이 본 발명 방법의 연속하는 반복들 동안 사용된다.

여러 복원 알고리즘들, 이를테면 위에서 참조된 논문 『R.A. Newcombe et al. "KinectFusion: Real-Time Dense Surface Mapping and Tracking", Symposium ISMAR 2011』에서 설명된 것과 같은 것이 종래 기술로부터 알려져 있고 본 발명 방법을 구현하는데 사용될 수도 있으며, 이 논문은 참조로 본원에 통합된다. 『Richard Szeliski "Computer Vision: Algorithms and Applications". Springer, New York, 2010』을 또한 참조한다.

이 방법은 복수의 깊이 지도들을 참조 대상체를 포함하는 장면의 단일화된 표현 속으로 반복적으로 융합하기 위해 절단된 부호 있는 거리 필드를 사용한다. 위에서 언급했듯이, 거리 필드는, 유한한 복원 볼륨을 정의하며 그 볼륨을 복셀화하고 각각의 복셀에 참조 대상체의 3D 표면으로부터의 부호 있고 절단된 거리 d(x,y,z) 를 배정함으로써 획득되며, x,y,z는 복원 볼륨의 좌표들이다. 거리가 부호 있다는 사실은 참조 대상체의 외부로부터 그 내부를 구별하는 것을 허용한다. 각각의 복셀은 이 복셀에 대해 현재 깊이 지도에 의해 주어진 정보의 상대적 중요성을 세트 (DMS) 의 모든 다른 깊이 지도들과 비교하여 균형을 유지하게 하는 가중치 (w) 에 의해 또한 특징화된다. d(x,y,z) 가 또한 음함수 (implicit function) 를 정의한다는 것, 즉, 거리 필드에 의해 표현된 표면이 d(x,y,z)=0 에 의해 주어지고 따라서 (x,y,z) 에서의 표면에 대한 법선이 (x,y,z) 에서의 d의 구배에 의해 주어진다는 것은 주목할 가치가 있다.

복원 알고리즘은 반복적으로 수행된다. 첫 번째 깊이 지도가 거리 필드를 기준으로 임의적으로 위치된 다음, 더 설명되는 프로세스에 따라 거리 필드 속으로 융합된다.

n번째 반복을 수행하기 위해, (n-1) 번째 깊이 지도를 획득하는 경우의 깊이 카메라의 포지션 및 배향 (즉, 포즈) 은 알려져 있다고 가정된다. n번째 깊이 지도를 깊이 필드 속에 융합하는 것이 가능해지기 전에, 이 이미지에 대응하는 카메라의 포즈, 즉, 참조 프레임에 대해 카메라의 포지션 및 배향을 정의하는 회전 및 병진을 추정하는 것이 필요하다. 이는 이른바 점 대 면 (point-to-plane) 반복 최근접 포인트 (closest point) 알고리즘을 사용하여 수행된다.

이 알고리즘에 따르면, 광선 투사법 (ray-casting) 이 깊이 카메라의 (n-1) 번째 포지션으로부터 보여진 - 즉, d(x,y,z)=0에 의해 정의된 - 거리 필드에 저장된 현재 표면의 추정물 (또는 "가상 뷰") 을 컴퓨팅하는데 사용된다. 가상 뷰는 (n-1) 번째 포즈로부터의 실제 뷰보다 잡음이 덜 하며, 더구나 실제 뷰 대신 가상 뷰를 사용하는 것이 포즈의 드리프트를 피한다.

광선이 타임 n-1에서 깊이 카메라의 포지션으로부터 이 가상 뷰의 각각의 화소를 통하여 복원 볼륨을 향하여 트레이싱되고, 그 광선이 그 표면과 교차하는 경우 (즉, 그 광선이 정극성 거리를 갖는 복셀로부터 부극성 거리를 갖는 다음의 복셀로 진행하는 경우) 연관된 포인트가 표면 d(x,y,z) =0에서 생성된다. 이 포인트에서의 표면에 대한 법선은 그 포인트에서 거리 필드의 구배를 컴퓨팅함으로써 결정된다. 따라서, refPC라고 지칭되는 포인트 클라우드가 획득된다.

현재 (n번째) 깊이 지도의 각각의 화소는 그 다음에 역으로 투영되어 다른 포인트 클라우드를 생성하고, 그 클라우드의 각각의 포인트에 대응하는 표면에 대한 법선은 이웃 화소들에 대응하는 포인트들 간의 벡터곱 (cross product) 을 컴퓨팅함으로써 또한 결정된다. 이 포인트 클라우드는 currPC라고 지칭된다.

그 다음에, refPC 및 currPC 간의 등록이 수행된다. 우선, n번째 깊이 지도에 대응하는 깊이 카메라의 포즈는 (n-1) 번째 포즈에 일치하도록 초기화된다. 그 다음에, 그것은 수렴에 도달되기까지 반복적으로 최적화된다. 반복 최적화는 다음의 단계들을 포함한다:

currPC 포인트 클라우드에서의 각각의 포인트에 대해, refPC 포인트 클라우드에서의 최근접 포인트가 발견된다. 그렇게 하기 위해, currPC의 각각의 포인트는, 자신을 refPC의 포인트에 연관시키기 위하여, 현재 n번째 추정된 포즈를 사용하여 가상 뷰 상에 투영된다. 아웃라이어 (outlier) 들이 두 개의 법선들 (즉, refPC의 포인트에 대한 법선과 currPC의 포인트에 대한 법선) 간의 각도가 임계값보다 더 큰, 또는 두 개의 대응 포인트들간의 거리가 임계값보다 더 큰 경우의 대응관계 (correspondence) 들을 제거함으로써 거부된다.

각각의 소스 포인트를 이전 단계에서 발견된 그것의 정합에 최상으로 정렬시키는 회전 및 병진의 조합이 추정된다. 가우스-뉴턴 알고리즘은, currPC로부터의 각각의 포인트와 상기 포인트의 refPC에서의 대응 포인트 및 상기 대응 포인트에서의 법선에 의해 정의된 평면까지의 거리에 의해 정의된 점 대 면 거리에 기초하여, 평균 제곱 거리 비용 함수를 최소화하는데 사용된다. 강력한 M-추정기들이 수렴을 개선하기 위해 또한 사용될 수 있다. 이러한 점 대 면 거리는 또한 부정확한 대응관계들에 대해 점 대 점 거리보다 더 강력하다.

소스 포인트들 (즉, refPC의 포인트들) 은 획득된 변환을 사용하여 변환된다.

위의 단계들은 비용 함수가 정의된 임계값의 미만 또는 이하가 되기까지, 또는 최대 수의 반복들이 수행되기까지 반복된다.

일단 참조 프레임에 대해 현재 깊이 지도의 병진 및 배향이 알려지면, 상기 현재 깊이 지도는 거리 필드에 융합된다. 그렇게 하기 위해, 현재 깊이 지도에 의해 주어진 새로운 정보는 거리 필드의 각각의 복셀에 저장된 이전의 정보와 단순히 평균화된다. 거리 필드의 각각의 복셀은 깊이 지도 상에 투영되고, 이 복셀의 센서까지의 거리는 복셀의 투영에서 깊이 지도에 의해 주어진 깊이와 비교된다. 이는 현재 깊이 지도에 따른 복셀을 가져야 하는 거리 d'을 제공한다. 그 다음에 다음의 평균화가 수행되며 (상이한 체계들이 가능하다):

d_n = (w'_nd'_n + w_n-1d_n-1)/(w_n-1+w'_n)

w_n = max(w_{n -1}+w'_n, M)

여기서 인덱스 "n" 또는 "n-1"은 반복 횟수를 지칭하고, 그러므로 포즈의 반복 횟수를 지칭한다. 가중치 (w) 는 1로 초기화된 다음 미리 설정된 최대 값 (M) 으로 제한되면서 두 번째 수학식에 따라 증가할 수도 있다. 가중치 (w') 는 (정밀도가 거리와 함께 종종 감소한다는 사실을 감안한) d'에 또는 카메라의 중앙과 복셀을 연결하는 광선의 입사각에 의존하는 값 또는 일정한 값 (예컨대 1) 중 어느 하나를 취할 수 있다.

마지막으로, 거리 필드의 등가면 d(x,y,z)=0는 이 표면의 이산 삼각형 메시 표현으로 추출된다. 이는, 8 개의 이웃 복셀들을 한 번에 취한 다음 이들 8 개의 복셀들을 통과하는 등가면의 부분을 표현하는데 필요한 다각형(들)을 결정하는, 거리 필드를 통해 진행하는 잘 알려진 마칭 큐브 (Marching Cubes) 알고리즘을 사용하여 행해질 수 있다.

이 방식으로 획득된 참조 대상체의 3차원 복원물 (3DR_i) 은 그 다음에 내재적 파라미터들의 추정을 검증하기 위하여 자신과 비교될 참조모델 (RM) 과 정렬 (등록) 된다. 적절한 등록 및 비교가 도 3에서, 블록 "CMP"에 의해 공동으로 표현된다.

3D 모델 등록을 위한 고전적 방법들은 상이한 포인트 클라우드들에 속한 포인트들 간의 강력한 대응관계들로 이어지는 포인트들의 감소된 서브세트의 확고한 기술 (description) 에 기초한다. 이 종류의 접근법의 파이프라인은 세 개의 스테이지들로 분할된다:

제 1 스테이지는 설명될 포인트들의 서브세트를 결정하는데 있다. 그들 포인트들은 포인트 클라우드의 가장 주목할 만한 기하구조들, 이를테면 코너들 또는 에지들을 표현해야만 한다. 그러므로 그것들은 "키포인트들" 또는 "관심 지점들"이라고 지칭된다.

제 2 스테이지는 그들 포인트들을 기술하는데 있다. 그 기술은 종종 그것들의 이웃들에 기초한다. 동일한 기하구조를 표현하는 포인트들을 정합시키고 상이한 기하구조들의 포인트들을 구별하기 위하여, 기술은 충분히 상세하여야만 한다.

마지막으로 (제 3 스테이지), 유사한 기술을 갖는 포인트들은 함께 정합된다. 그들 대응관계들은 항상 올바른 것은 아니며, 아웃라이어들 (나쁜 대응관계들) 을 인라이어들 (양호한 대응관계들) 로부터 구별하기 위하여, 통계적 방법들, 이를테면 RANSAC (RANdom Sample Consensus) 이 종종 사용된다. 포인트 클라우드들 간의 최종 강체 변환은 인라이어들로부터 수행된다. 이 접근법은 논문 『M. A. Fischler et al. "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography" Commun. ACM 24 (1981) 381 395』에서 알려져 있으며, 이 논문은 참조로 통합된다.

등록 문제를 해결하는 대안적 접근법들이 본 발명에 또한 적용될 수 있다. 실시간 컴퓨테이션을 허용하는 접근법이 논문 『B. Drost et al.: "Model Globally, Match Locally: Efficient and Robust 3D Object Recognition", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), San Francisco, California (USA), June 2010』에서 설명되어 있으며, 이 논문은 또한 참조로 통합된다. 이 접근법은 포인트 쌍 특징 기술자 컴퓨테이션을 위한 간단하고 고속인 방법에 기초한다. 결과적으로, 많은 포인트 쌍들이 엄청난 수의 대응관계들을 초래하는 유사한 기술을 가질 것이다. 그러므로, 그것들 중 대부분은 잘못될 것이다. 투표 체계가 그 다음에 인라이어들을 아웃라이어들로부터 분별하기 위해 수행된다.

일단 복원된 모델 (3DR_i) 이 참조모델 (RM) 에 등록되면, 모델들 간의 3D 대 3D 거리가 모델들 간의 에러 (ERR_i) 를 추정하기 위해 컴퓨팅된다. 그 에러는 예컨대 평균 제곱 거리 또는 (가능하게는 대칭적) 하우스도르프 거리일 수 있다. 제 1 표면 (S1) 및 제 2 표면 (S2) 간의 하우스도르프 거리 d_H (S1, S2) 는 다음에 의해 주어지며:

여기서 p는 S1의 포인트이고

여기서 p'은 S2의 포인트이고

는 유클리드 놈 (Euclidian norm) 이다.

대체로, d _H (S1,S2)≠ d _H (S2,S1) 이며; 대칭적 하우스도르프 거리는 그러면 다음으로서 정의된다

.

참조로 통합된 논문 『N. Aspert et al. "Measurement errors between surfaces using the Haussdorff distance", ICME 2002』는, 두 개의 표면들 간의 근사 하우스도르프 거리를 추정하는 효율적인 알고리즘을 설명한다.

에러 (ERR_i) 는 그 다음에 고정된 임계값 (TH) 과 비교된다. 그 에러가, 이 임계값 미만 또는 이하이면, 반복은 중단되고 SCP_i는 깊이 카메라의 최적의 교정 파라미터들을 제공한다. 그렇지 않으면, "i"는 증가되고 (즉, 교정 파라미터들에 대한 상이한 시도 값들이 선택되고) 새로운 반복이 수행된다. 파라미터 공간의 모든 샘플들이 사용되었다면 (즉, "i"가 그것의 최대 값을 획득했다면), 최저 에러에 대응하는 파라미터들의 세트는 선택된다. 대안으로, 임계값에 대한 비교는 생략될 수 있고, 파라미터 공간의 전체 탐사는 어느 경우에나 수행된다.

이 방식으로 발견된 교정 파라미터들이 3D 재구성에 대해 최적이라는 것이 쉽게 이해될 수 있다.

본 발명 방법 (또는, 더 정확하게는, 깊이 지도들의 획득에 뒤따르는 그것의 데이터 프로세싱 부분) 은, 가능하게는 컴퓨터 네트워크를 포함하며, 하드 디스크, 고체 상태 디스크 또는 CD-ROM과 같은 컴퓨터 판독가능 매체 상에 적합한 프로그램을 비휘발성 형태로 저장하고 상기 프로그램을 자신의 마이크로프로세서(들) 및 메모리를 사용하여 실행하는 적절히 프로그램된 범용 컴퓨터 또는 컴퓨터 시스템에 의해 수행될 수 있다.

본 발명의 예시적인 실시형태에 따른 방법을 수행하는데 적합한 컴퓨터가 도 4를 참조하여 설명된다. 도 4에서, 그 컴퓨터는 위에서 설명된 프로세스들을 수행하는 중앙 프로세싱 유닛 (CPU; P) 을 구비한다. 프로세스는 메모리, 이를테면 RAM (M1) 또는 ROM (M2) 내에, 또는 하드 디스크 드라이브 (HDD; M3), DVD/CD 드라이브 (M4) 상에 실행 가능한 프로그램, 즉, 컴퓨터 판독가능 명령들의 세트로서 저장될 수 있거나, 또는 원격으로 저장될 수 있다. 참조 대상체의 적어도 하나의 디지털 모델이 또한, 메모리 디바이스들 (M1 내지 M4) 중 하나 이상 상에, 또는 원격으로 저장된다.

청구된 발명은 본 발명 프로세스의 컴퓨터 판독가능 명령들 및/또는 디지털 모델(들)이 저장되는 컴퓨터 판독가능 매체들의 형태에 의해 제한되지 않는다. 예를 들어, 명령들, 시도하는 교정 파라미터들의 세트 및 디지털 모델(들)은 CD들, DVD들 상에, 플래시 메모리, RAM, ROM, PROM, EPROM, EEPROM, 하드 디스크 또는, 서버 또는 컴퓨터와 같이 컴퓨터 지원 설계 스테이션이 통신하는 임의의 다른 정보 프로세싱 디바이스 내에 저장될 수 있다. 프로그램, 시도하는 교정 파라미터들의 세트 및 디지털 모델(들)은 동일한 메모리 디바이스 상에 또는 상이한 메모리 디바이스들 상에 저장될 수 있다.

게다가, 본 발명 방법을 수행하기에 적합한 컴퓨터 프로그램이 CPU 800과 마이크로소프트 비스타, 마이크로소프트 윈도우즈 7, 유닉스, 솔라리스, 리눅스, 애플 MAC-OS 및 당업자들에게 알려진 다른 시스템들과 같은 운영 체제와 연계하여 실행하는 유틸리티 애플리케이션, 백그라운드 데몬, 또는 운영 체제의 컴포넌트, 또는 그것들의 조합으로서 제공될 수 있다.

CPU (P) 는 인텔 오브 아메리카 (Intel of America) 의 제논 프로세서 또는 AMD 오브 아메리카의 옵테론 (Opteron) 프로세서일 수 있거나, 또는 다른 프로세서 유형들, 이를테면 프리스케일 코오퍼레이션 오브 아메리카의 프리스케일 콜드파이어, IMX, 또는 ARM 프로세서일 수 있다. 대안으로, CPU는 인텔 코오퍼레이션 오브 아메리카의 Core2 Duo와 같은 프로세서일 수 있거나, 또는 당업자가 인식할 바와 같이 FPGA, ASIC, PLD 상에 또는 개별 로직 회로들을 사용하여 구현될 수 있다. 게다가, CPU는 위에서 설명된 본 발명 프로세스들의 컴퓨터 판독가능 명령들을 수행하기 위해 협업하는 다수의 프로세서들로서 구현될 수 있다.

도 4에서의 컴퓨터 지원 설계 스테이션은 로컬 영역 네트워크 (LAN), 광역 네트워크 (WAN), 인터넷 등과 같은 네트워크와 인터페이싱하기 위한 인텔 코오퍼레이션 오브 아메리카의 인텔 이더넷 PRO 네트워크 인터페이스 카드와 같은 네트워크 인터페이스 (NI) 를 또한 구비한다. 컴퓨터 지원 설계 스테이션은 디스플레이 (DY), 이를테면 휴렛 패커드 HPL2445w LCD 모니터와 인터페이싱하기 위한 디스플레이 제어기 (DC), 이를테면 NVIDIA 코오퍼레이션 오브 아메리카의 NVIDIA 지포스 GTX 그래픽 어댑터를 더 구비한다. 범용 I/O 인터페이스 (IF) 가 키보드 (KB) 와 포인팅 디바이스 (PD), 이를테면 롤러 볼, 마우스, 터치패드 등과 인터페이싱힌다. 디스플레이, 키보드 및 포인팅 디바이스는, 디스플레이 제어기 및 I/O 인터페이스들과 함께, 그래픽 사용자 인터페이스를 형성한다.

디스크 제어기 (DKC) 가 HDD (M3) 및 DVD/CD (M4) 와 통신 버스 (CBS) 를 접속시키며, 통신 버스는 컴퓨터 지원 설계 스테이션의 컴포넌트들의 모두를 상호접속시키는 ISA, EISA, VESA, PCI, 또는 유사물일 수 있다.

디스플레이, 키보드, 포인팅 디바이스, 뿐만 아니라 디스플레이 제어기, 디스크 제어기, 네트워크 인터페이스, 및 I/O 인터페이스의 일반적인 특징들 및 기능의 설명이 이들 특징들이 알려져 있으므로 간결함을 위해 여기서는 생략된다.

Claims (11)

1. 깊이 카메라를 교정하는 방법으로서,
   S1) 물리적 3차원 참조 대상체 (PO) 의 복수의 깊이 지도들 (DMS) 을 획득하기 위해 교정되는 깊이 카메라 (DC) 를 사용하는 단계로서, 상기 복수의 깊이 지도들 (DMS) 은 상기 참조 대상체를 기준으로 한 상기 깊이 카메라의 상이한 포지션들에 대응하는, 상기 깊이 카메라 (DC) 를 사용하는 단계;
   S2) 상기 깊이 카메라의 내재적 교정 파라미터들의 세트 (SCP_i) 에 배정된 값들에 의존하여, 상기 깊이 지도들로부터 상기 참조 대상체의 외표면의 3차원 복원물 (3DR_i) 을 컴퓨팅하는 단계;
   S3) 단계 S2) 에서 컴퓨팅된 상기 3차원 복원물 및 상기 참조 대상체의 상기 외표면의 미리 결정된 디지털 모델 (RM) 간의 에러 (ERR_i) 를 컴퓨팅하는 단계; 및
   S4) 단계 S3) 에서 컴퓨팅된 상기 에러를 최소화하는, 상기 내재적 교정 파라미터들의 세트의 값들 (SCP) 을 선택하는 단계를 포함하며,
   상기 단계 S2) 및 단계 S3) 는 상기 깊이 카메라의 상기 내재적 교정 파라미터들의 세트에 상이한 값들을 배정함으로써 반복되고,
   상기 단계 S2) 내지 단계 S4) 는 컴퓨터에 의해 수행되는, 깊이 카메라 교정 방법.
2. 제 1 항에 있어서,
   상기 단계 S2) 및 단계 S3) 는 상기 깊이 카메라의 상기 내재적 교정 파라미터들의 세트에 각각의 미리 결정된 값들을 배정함으로써 미리 결정된 횟수로 반복되며, 상기 미리 결정된 값들은 파라미터 공간을 샘플링하는, 깊이 카메라 교정 방법.
3. 제 1 항에 있어서,
   상기 단계 S2) 및 단계 S3) 는, 단계 S3) 에서 컴퓨팅된 상기 에러가 미리 결정된 임계값 (TH) 미만 또는 이하가 되기까지 반복되는, 깊이 카메라 교정 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 내재적 교정 파라미터들의 세트는 상기 깊이 카메라의 적어도 초점 거리 및 주점의 두 개의 좌표들을 포함하는, 깊이 카메라 교정 방법.
5. 제 4 항에 있어서,
   상기 내재적 교정 파라미터들의 세트는 또한, 적어도 하나의 왜곡 파라미터를 포함하는, 깊이 카메라 교정 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 단계 S2) 는, 참조 포지션을 기준으로, 상기 깊이 지도들의 각각에 대응하는 상기 깊이 카메라의 포지션을 공동으로 결정하고 상기 깊이 지도들을 단일 3차원의 부호 있고 절단된 거리 필드에 융합하는 단계; 및 상기 거리 필드의 등가면을 상기 참조 대상체의 상기 복원물을 구성하는 3차원 메시로 추출하는 단계를 포함하는, 깊이 카메라 교정 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   상기 단계 S3) 는 상기 에러를 컴퓨팅하기 전에 단계 S2) 에서 컴퓨팅된 상기 3차원 복원물 및 상기 참조 대상체의 상기 미리 결정된 디지털 모델을 등록시키는 단계를 포함하는, 깊이 카메라 교정 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   상기 단계 S3) 는 단계 S2) 에서 컴퓨팅된 상기 3차원 복원물 및 상기 참조 대상체의 상기 미리 결정된 디지털 모델 간의 정확한 또는 근사적인 하우스도르프 거리 또는 대칭적 하우스도르프 거리를 컴퓨팅하는 단계를 포함하는, 깊이 카메라 교정 방법.
9. 컴퓨터 판독가능 데이터 저장 매체 (M1, M2, M3, M4) 상에 저장된 컴퓨터 프로그램 제품으로서,
   컴퓨터 시스템으로 하여금 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 방법의 단계 S2) 내지 단계 S4) 를 수행하게 하는 컴퓨터 실행가능 명령들을 포함하는, 컴퓨터 프로그램 제품.
10. 컴퓨터 실행가능 명령들을 포함하는 컴퓨터 판독가능 데이터 저장 매체 (M1, M2, M3, M4) 로서,
    상기 컴퓨터 실행가능 명령들은, 컴퓨터 시스템으로 하여금 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 방법의 단계 S2) 내지 단계 S4) 를 수행하게 하는, 컴퓨터 판독가능 데이터 저장 매체.
11. 메모리 (M1, M2, M3, M4) 및 그래픽 사용자 인터페이스 (IF, KB, PD, DC, DY) 에 커플링된 프로세서 (P) 를 포함하는 컴퓨터 시스템으로서,
    상기 메모리는 컴퓨터 실행가능 명령들을 저장하고,
    상기 컴퓨터 실행가능 명령들은 상기 컴퓨터 시스템으로 하여금 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 방법의 단계 S2) 내지 단계 S4) 를 수행하게 하는, 컴퓨터 시스템.

Images