KR20150105190A

KR20150105190A - 컬러-코드화된 구조를 사용하는 카메라 캘리브레이션 방법 및 장치

Info

Publication number: KR20150105190A
Application number: KR1020150007273A
Authority: KR
Inventors: 로렌조 소르지; 안드레이 부쉬네브스키
Original assignee: 톰슨 라이센싱
Priority date: 2014-03-06
Filing date: 2015-01-15
Publication date: 2015-09-16
Also published as: EP2916286A1; EP2916288A1; JP2015171143A; US20150254854A1; CN104899857A

Abstract

컬러-코드화된 구조를 사용하는 카메라 캘리브레이션 방법 및 장치(30)가 서술된다. 이러한 카메라 캘리브레이션 방법은: 컬러-코드화된 구조가 캡쳐되는 이미지를 카메라로부터 수신하는 단계(10); 이미지에서 복수의 좌표 포인트들을 결정하는 단계(11); 및 좌표 포인트들을 사용하여 카메라 캘리브레이션을 수행하는 단계(12)를 포함한다. 컬러-코드화된 구조는 상이한 컬러 채널들의 적어도 2 세트의 패턴들을 포함한다.

Description

컬러-코드화된 구조를 사용하는 카메라 캘리브레이션 방법 및 장치{CAMERA CALIBRATION METHOD AND APPARATUS USING A COLOR-CODED STRUCTURE}

특히 컬러-코드화된 구조를 사용하는, 카메라 캘리브레이션 방법 및 장치가 제안된다. 카메라 캘리브레이션이라고 하는 기술 분야는 카메라의 이미지 형성 처리의 설명에 대한 수학적 모델의 특징을 목표로 하는 알고리즘들 및 기술들을 수집한다. 또한, 이러한 방법 및 장치에 적합한 컴퓨터 판독가능 매체도 제안된다.

카메라 모델 평가, 즉 카메라 캘리브레이션에 대한 하나의 필수 요건은, 실제 세계에서 일부 포인트들의 3D 좌표들과 하나의 캘리브레이션 이미지 상의 또는 캘리브레이션 이미지들의 세트 내의 이들의 투영 사이에 에러가 없는 대응성의 입력 데이터세트이다. 이러한 입력 데이터세트는 일반적으로 이미지들 상의 캘리브레이션 오브젝트를 캡쳐하여 이들로부터 대응성을 추출하는 것에 의해 취득될 수 있다(참고문헌 [I]). 문헌에 제안되고 시장에서 사용가능한 대다수의 카메라 캘리브레이션 알고리즘들은 메트릭 캘리브레이션(metric calibration)이라고 하며, 3D 월드 장면의 종래 알려진 메트릭 정보의 명백한 활용을 강조한다. 이러한 실정으로, 그리드형 패턴(grid-like pattern)이 보통 이용되는데, 이는 검출하기 용이하고, 단일 채널 그레이스케일 이미지의 형태로 캡쳐될 수 있으며, 메트릭 카메라 캘리브레이션에 요구되는 필요한 메트릭 정보, 즉 그리드 포인트들의 세트 및 그 좌표를 제공할 수 있기 때문이다.

이상의 선두적인 추세와 병행하여, 일부 연구들은, 캘리브레이션 오브젝트로부터 추론되는 논-메트릭(non-metric) 특징들만을 사용하는, 카메라 캘리브레이션에 대한 상이한 어프로치를 다루어 왔다. 이러한 어프로치에 대한 예시적인 실현 중 하나는, 동일한 3D 라인으로부터 투영되는 이미지 포인트들 상에 공선 제약(collinearity constraint)을 강제하는 것이다(참고문헌 [II, III]). 이들 기술은 여러 이점들을 제공한다. 3D 월드 포인트 좌표들의 부정확한 할당이라는 바람직하지 못한 가능성이 제거된다, 즉 캘리브레이션 그리드의 3D 좌표들의 정확한 복구와 같은 보다 높은 강건성(robustness)이 요구되지 않는다. 이에 대응하는 평가 문제점에 대한 복잡성이 최소 레벨로 감소되고, 따라서 카메라를 캘리브레이트하는데 보다 효과적이 되며, 특히 왜곡된 모델들을 초래하기 쉬운 광각 렌즈들을 구비하는 것들에 대해 효과적이다.

논-메트릭 캘리브레이션 어프로치들은, 근본적인 평가 문제점의 수학적 공식화를 개발하는 어려움으로 인해 해당 분야에서 지금까지 크게 성공하지 못했다. 또한, 관련된 카메라 모델 불확정성의 완전한 이해가 부족하다. 참고문헌 [IV]에 따르면, 논-메트릭 입력 데이터를 사용하는 완전한 유클리드(Euclidean) 캘리브레이션은, 3D 좌표 포인트들의 공선 제약의 강제 뿐만 아니라 3D 라인 번들들 사이의 평행성 및 직교성도 필요로 한다.

그리드형 패턴의 소스로서 널리 사용되는 표준 체커보드는 실제로 메트릭 캘리브레이션 기술에 대한 요구를 충족하지만, 논-메트릭 캘리브레이션 어프로치에 대한 최적의 솔루션은 아니다. 라인들의 번들을 검출하는 라인 평가를 목표로 하는 로우 레벨 처리에 적용될 때, 체커보드의 라인들 교차는 데이터 수집에 대해 무시할 수 없는 방해를 초래할 수 있다.

따라서, 그리드형 구조의 라인 교차들로부터의 바람직하지 못한 방해를 제거할 수 있지만, 동시에 포인트 공선성, 라인 평행성 및 직교성 등 다른 요건들을 유지할 수 있는, 카메라 캘리브레이션을 위한 개선된 솔루션을 제안하는 것이 본 발명의 목적이다. 구체적으로, 본 발명은 컬러-코드화된 구조를 사용하여 단일 이미지 내의 2-성분(bi-component) 캘리브레이션 패턴들을 통합하는 솔루션을 제공한다.

일 실시예에 따르면, 카메라 캘리브레이션 방법은:

- 컬러-코드화된 구조가 캡쳐되는 이미지를 카메라로부터 수신하는 단계, 컬러-코드화된 구조는 상이한 컬러 채널들의 적어도 2 세트의 패턴들을 포함함;

- 이미지에서 컬러-코드화된 구조와 관련되는 복수의 좌표 포인트들을 결정하는 단계; 및

- 좌표 포인트들을 사용하여 카메라 캘리브레이션을 수행하는 단계를 포함한다.

이에 따라, 카메라 캘리브레이션 장치는:

- 컬러-코드화된 구조가 캡쳐되는 이미지를 카메라로부터 수신하도록 구성되는 이미지 수신부, 컬러-코드화된 구조는 상이한 컬러 채널들의 적어도 2 세트의 패턴들을 포함함 ; 및

- 이미지에서 컬러-코드화된 구조와 관련되는 복수의 좌표 포인트들을 결정하고, 좌표 포인트들을 사용하여 카메라 캘리브레이션을 수행하도록 구성되는 카메라 캘리브레이션부를 포함한다.

또한, 카메라 캘리브레이션을 위한 명령어들을 저장하고 있는 컴퓨터 판독가능 스토리지 매체로서, 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금:

- 컬러-코드화된 구조가 캡쳐되는 이미지를 카메라로부터 수신하고, 컬러-코드화된 구조는 상이한 컬러 채널들의 적어도 2 세트의 패턴들을 포함함;

- 이미지에서 컬러-코드화된 구조와 관련되는 복수의 좌표 포인트들을 결정하며;

- 좌표 포인트들을 사용하여 카메라 캘리브레이션을 수행하게 한다.

보다 나은 이해를 위해서, 제안되는 솔루션들은 이제 도면들을 참조하여 이하 설명에서 보다 상세히 설명될 것이다. 이들 솔루션은 개시되는 예시적인 실시예들에 한정되는 것이 아니라는 점과 첨부되는 특허청구범위에 정의되는 바와 같이 제안되는 솔루션들의 범위를 벗어나지 않고도 구체화된 특징들이 명백히 조합되고 및/또는 변형될 수 있다는 점이 이해된다.
도 1은 카메라 캘리브레이션 방법의 바람직한 일 실시예를 도시하는 흐름도이다.
도 2는 카메라 캘리브레이션 방법의 바람직한 다른 실시예를 도시하는 흐름도이다.
도 3은 카메라 캘리브레이션 방법의 바람직한 일 실시예에 사용되는 예시적인 컬러-코드화된 구조를 도시한다.
도 4는 카메라 캘리브레이션 방법의 예시적인 일 실시예를 도시하는 흐름도이다.
도 5는 도 4에 도시된 카메라 캘리브레이션 방법의 예시적인 실시예로부터 취득되는 결과들을 도시한다.
도 6은 도 4에 도시된 카메라 캘리브레이션 방법의 예시적인 실시예로부터 취득되는 보다 많은 결과들을 도시한다.
도 7은 정제 처리를 포함하는 카메라 캘리브레이션 방법의 바람직한 일 실시예를 도시하는 흐름도이다.
도 8은 컬러 및 그레이스케일 이미지들 상의 수직 엣지로서 캘리브레이션 데이터세트들의 검출 결과들을 도시한다.
도 9는 카메라 캘리브레이션 방법의 바람직한 실시예들에서 정제 처리에 사용되는 2개의 예시적인 엣지 템플릿들을 도시한다.
도 10은 카메라 캘리브레이션 방법의 바람직한 일 실시예에서 예시적인 정제 처리를 도시하는 흐름도이다.
도 11은 카메라 캘리브레이션 방법의 바람직한 실시예들에서의 정제 처리에 사용되는 기하학적 변환(geometric transformation) 및 광도 정규화(photometric normalization) 기법을 도시한다.
도 12는 제안되는 카메라 캘리브레이션 방법의 예시적 실시예들로부터, 정제 처리를 하여 취득되는 결과 및 정제 처리를 하지 않고 취득되는 결과를 도시한다.
도 13은 제안되는 카메라 캘리브레이션 방법의 바람직한 실시예들을 사용하는 캘리브레이션 처리의 향상을 도시한다.
도 14는 카메라 캘리브레이션 방법의 실시예들을 수행하도록 구성되는 장치의 바람직한 실시예를 도시하는 개략도이다.

도 1은 카메라 캘리브레이션 방법의 바람직한 실시예를 개략적으로 도시하는 것으로; 컬러-코드화된 구조가 캡쳐되는 이미지를 카메라로부터 수신하는 단계(10), 컬러-코드화된 구조는 컬러 채널들이 상이한 적어도 2 세트의 패턴들을 포함함; 이미지에서 컬러-코드화된 구조와 관련되는 복수의 좌표 포인트들을 결정하는 단계(11); 및 좌표 포인트들을 사용하여 카메라 캘리브레이션을 수행하는 단계(12)를 포함한다. 컬러-코드화된 구조는 컬러 채널들이 상이한 적어도 2 세트의 패턴들을 포함하는 임의 종류의 구조일 수 있다. 예를 들어, 컬러-코드화된 구조는 카메라에 의해 캡쳐되는 2D 표면 상에 디스플레이되는 컬러-코드화된 그래프일 수 있다. 유사하게, 패턴들의 세트는, 예를 들어, 평행 라인들 또는 평행 스트라이프들 등 임의 종류의 패턴들일 수 있다.

바람직하게는, 도 2에 도시된 바와 같이, 본 방법은, 컬러-코드화된 구조의 적어도 2 세트의 패턴들을 구별하는 단계(13)를 더 포함하고, 따라서 각 세트의 패턴들에 대한 좌표 포인트들의 부분 집합을 각각 결정한다(11). 이 경우, 좌표 포인트들의 각 부분집합은 컬러-코드화된 구조의 패턴들의 대응 세트와 관련된다.

또한, 카메라 캘리브레이션 방법의 바람직한 일 실시예는 선택적으로: 각각 컬러-코드화된 구조가 캡쳐되는 복수의 이미지들을 카메라로부터 수신하는 단계(10); 및 각각의 이미지들에 대한 복수의 좌표 포인트들을 결정하는 단계(11)를 포함할 수 있다. 하나 보다 많은 이미지가 캡쳐되고 사용될 때 카메라 캘리브레이션의 결과는 향상될 수 있고 보다 정확하다.

일반적으로 캘리브레이션 데이터세트라고 하는, 좌표 포인트들의 결정 및 수집은 각각의 이미지 내의 캘리브레이션 오브젝트의 식별(즉, 본 방법에서의 컬러-코드화된 구조)을 목표로 한다. 이는 이미지 특징들의 세트의 검출 및 이들과 캘리브레이션 오브젝트 상의 소스 특징들 사이의 대응성의 수립을 의미한다.

이하에서는 본 발명의 방법의 바람직한 일 실시예가 상세히 서술되고 설명될 것이다. 공지된 기능들 또는 구성들의 반복되는 서술 및 상세한 설명이 본 발명의 요지를 불필요하게 모호하게 할 수 있는 경우, 그 상세한 서술은 생략될 것이라는 점에 주의하여야 한다.

도 3의 (a)는 바람직한 실시예에 사용되는 예시적인 컬러-코드화된 구조를 도시하는 것으로, 2 세트의 패턴들을 포함하는 컬러-코드화된 그래프이다. 각각의 2 세트의 패턴들은 각각 평행 스트라이프의 번들이며, 2개 번들들의 컬러 채널들은 상이하다. 바람직하게는, 평행 스트라이프들의 2개 번들들이 상호 직교한다. 예를 들어, 도 3의 (b) 및 (c)에 도시된 바와 같이, 평행 스트라이프들의 수평 번들은 적색이고, 수직 번들은 청색이다. 예를 들어, 적색, 청색 및 녹색 등 기본 패턴 블럭을 구축하는데 본 명세서에 사용되는 컬러들은 카메라의 오토 화이트 밸런스를 용이하게 하도록 선택된다. 제안된 컬러-코드화된 구조는 그레이 톤의 평균 컬러를 생성한다. 이는 대부분의 오토매틱 화이트 밸런스 알고리즘들의 그레이-월드 가정을 충족하기 때문에 유리하고, 따라서 실외 및 실내 상황들 양자 모두에 대해 우수한 캘리브레이션 뷰들의 성공적인 수집을 가능하게 한다. 이러한 바람직한 실시예에 사용되는 컬러-코드화된 그래프에 대해서, 라인들의 번들들의 수, 각 번들의 컬러 채널 및 임의의 2개 번들들 사이의 상대 각도는, 물론 융통성이 있고 상이한 요구사항들 및 상황들에 의존하여 조절될 수 있다.

컬러-코드화된 그래프는, 스크린 상에 간단히 보여질 수 있고, 카메라에 의해 캡쳐되어 상이한 위치들로부터 상이한 방향들로 캘리브레이트될 수 있다. 이들 캡쳐된 이미지들은 초기 캘리브레이션 이미지 데이터세트를 제공한다. 이미지 데이터세트를 취득하는 것에 의해, 이미지들에서의 복수의 좌표 포인트들, 즉, 캘리브레이션 데이터세트가 후속 카메라 캘리브레이션 처리를 위해 추출될 수 있다.

이러한 바람직한 실시예에서는, 캘리브레이션 데이터세트의 추출을 위해 라이트 유저-지원형 ad-hoc 알고리즘이 설계된다. 오더 및 디그리(order and degree)가 (1, 0)인 GL-CHF들(Gauss-Laguerre Circular Harmonic Filters)에 의한 이미지 탐색에 기초하는 이미지 탐색 툴이 사용되며, 이는 고 레벨의 이미지 노이즈가 존재하는 경우에도 강건한 검출기로서 테스트되었다(참고문헌 [V]). 이는, 대응 GL 함수로부터 유도되는 복소수 값의 조종가능한 필터이고, 특히 스텝형(step-like) 이미지 특징들의 검출에 맞추어진다. 이러한 패밀리에 속하는 필터들은 상이한 이미지 특징들에 대해 스케일-회전 불변 특성들(scale-rotation invariance properties) 및 구별 능력(discrimination capability)을 나타낸다(참고문헌 [VI, VII, VIII, XI]). 이 알고리즘은 논-메트릭 카메라 캘리브레이션에 대한 입력 데이터세트의 수집을 용이하게 하며, 그 대표적 단계들이 도 4에 도시된다.

컬러 채널들이 상이한 2 세트의 패턴들이 먼저 분할되고(20), 이후 각각의 이미지의 적색 및 청색 채널에 대해 각각 패턴 검출(21, 22)이 수행된다.

도 5의 (a)를 참조하면, 평행 스트라이프들의 패턴들의 각 라인에 대해 시드 포인트(seed point)의 초기 추출(21)이 수행된다. 이미지 탐색 필터에 대해 최고 크기 응답을 제공하는 픽셀 위치가 초기 시드 포인트로서 결정되고, 이는 타겟 라인 상에 위치되는 픽셀 포인트인 것으로 가정된다. 픽셀 응답의 위상으로부터 대응 라인 방향이 추출된다. 그리고, 도 5의 (b)에 도시된 바와 같이, 평행 라인들의 번들 중 공선 시드들(collinear seeds)의 세트가 그래프 상에서 검색된다. 검출된 시드 포인트를 통해 진행하며 검출된 라인 방향에 직교하는 이미지 슬라이스가 검사된다. 필터 응답들 중 크기가 로컬 최대인 모든 것이 특정 패턴으로 구성되는 라인들의 잠재적 시드 포인트들로서 선택된다. 초기 시드 포인트와 유사하게, 각각의 선택된 시드 포인트의 라인 방향이 픽셀 응답의 위상으로부터 추출된다.

도 4를 참조하면, 그리고, 선택된 시드 포인트들의 확장에 의해 대응 라인 세트의 추출(22)이 수행된다. 각각의 시드 포인트는 엣지-워킹(edge-walking) 기술에 의해 확장되고, 이는 해당 분야에서 임의의 알려진 기술들일 수 있다. 마지막으로, 엣지 위치측정 정확도를 높이기 위해서, 검출된 라인들이 참고문헌 [IX]에 제안되는 영역-기반 엣지 추적 알고리즘을 사용하여 서브-픽셀 정확도로 정제된다. 검출된 라인들 각각의 선택된 엣지 포인트들이 캘리브레이션 데이터세트로서 추출된다.

위에 서술되고 도 4에 도시된 바와 같이, 캘리브레이션 데이터세트의 추출 절차는 병렬 스트라이프들의 2세트의 패턴들에 독립적으로 각각 적용된다. 결국 도 5의 (c) 및 (d)에 도시된 바와 같이 라인들의 직교 번들들의 2개 캘리브레이션 데이터세트가 추출된다. 도 6은 복수의 캘리브레이션 이미지들로부터 취득되는 캘리브레이션 데이터세트들의 예시적인 추출 결과들을 보다 많이 제공한다. 도 6의 (a)에서, 좌측 컬럼 상에 도시되는 캘리브레이션 이미지들 각각에 대해, 라인들의 직교 번들들의 2개 캘리브레이션 데이터세트가 추출되며, 여기서 라인들의 수평 번들은 중앙에 도시되고, 수직 번들은 우측 컬럼에 도시된다. 이에 대응하여 도 6의 (b)는 적색-녹색-청색 패턴 상에 검출된 그리드 라인들을 도시한다.

이러한 실시예에서, 오브젝트와 이미지 포인트들 사이에 수립되는 대응성의 레벨은 논-메트릭이다. 달리 말하면, 동일 라인에 속하는 이미지 포인트들이 함께 그룹화되어야 하고, 동일 패턴에 속하는 이미지 라인들도 마찬가지로 함께 그룹화되어야 한다. 동일 라인에 속하는 포인트들 및 동일 번들에 속하는 라인들의 메트릭 위치는 무관하다.

제안되는 카메라 캘리브레이션 방법에 따르면, 새로운 컬러-코드화된 구조가 구체적으로 설계되고, 이는, 예를 들어, 병렬 스트라이프들의 2개 번들들인, 상이한 컬러 채널들의 적어도 2개의 구별되는 세트의 패턴들을 포함한다. 이러한 패턴들의 세트들은, 단일 캘리브레이션 이미지에 내장되어, 고도의 검출가능성과 함께 카메라 캘리브레이션에 대해 요구되는 제약들을 동시에 만족시킬 수 있다.

병렬 스트라이프들의 2개 번들들의 예시적인 경우에, 구조는, 라인 세그먼트 교차들을 제거함으로써 비주얼 콘텐츠가 상당히 강화되기 때문에, 라인-기반 논-메트릭 캘리브레이션 기술에 의해 요구되는 지리학적 제약들을 제공할 수 있다. 새로운 패턴의 특정 구조의 이점을 취하여, 전용 검출기가 정의되고, 이는 로컬 그라디언트-구동 이미지 탐색(local gradient-driven image exploration)에 의해 고도로 왜곡된 뷰들로부터 라인 번들을 복원할 수 있다. 제안되는 카메라 캘리브레이션 방법은 따라서 엣지 검출기가 입력 이미지 데이터세트로부터 매우 정확하게 비교차 라인들(uncrossed lines)을 추출할 수 있게 하며, 이는 포인트 공선성, 라인 평행성 및 라인 번들들 직교성 단서들을 내재적으로 운반한다.

도 7을 참조하면, 카메라 캘리브레이션 방법의 바람직한 다른 실시예는, 컬러-코드화된 구조와 관련되는 복수의 좌표 표인트들의 결정을 정제하는 단계(14)를 선택적으로 포함한다. 컬러-코드화된 구조의 컬러 특징들은 결정된 좌표 포인트들의 임의의 가능한 위치측정 오프셋을 초래할 수 있으므로, 최종 결정된 캘리브레이션 데이터세트들을 정제하고 개선하여 후속 카메라 캘리브레이션에 대해 보다 정확성을 달성하는 것이 바람직하다.

상술된 실시예들에 대해 특히, 컬러-코드화된 구조가 평행 스트라이프들의 2개 번들들을 포함하는 컬러-코드화된 그래프인 경우, 컬러 채널들로부터 추출되는 라인 번들들은, 도 8에 도시되는 바와 같이, 대응 그레이스케일 이미지들에서 그들의 위치에 관한 작은 변위에 의해 영향을 받는다는 점이 주목된다. 도 8의 (a) 및 (b)는 청색 채널 상에 수행되는 수직 엣지의 검출 결과를 도시하는 한편, 도 8의 (c) 및 (d)는 그레이스케일 이미지 상에 중첩되는 검출된 엣지 위치이다. 2개 이미지들에서 검출 결과들 사이에 현저한 변위 및 차이가 있다는 것을 알 수 있다.

어느 엣지 검출이 보다 신뢰성이 있는지를 명백히 하기 위해서, 엣지 검출의 위치측정 정확성은 그리드 상에 제어 포인트들로서 균일하게 분산되는 검출가능한 흑색 포인트들이 구비되는 캘리브레이션 오브젝트를 사용하여 평가된다. 이러한 마킹된(marked) 패턴들을 사용하여, 패턴들의 세트들의 여러 컬러 조합이 분석되고, 검출된 엣지들과 기준 제어 포인트들 사이의 평균 표준 거리들(average normal distances)이 라인 검출 정확성 표시자로서 측정된다. 표 1은 여러 컬러 조합에 대한 테스트 결과들을 보여주는 것으로, 그레이스케일 채널은 보다 정확한 엣지 위치측정을 운반하고, 청색/녹색 패치는 가장 위치측정이 잘못된(mislocalized) 것이다.

	청색/ 녹색	백색/ 적색	청색/백색	녹색/적색
그레이스케일	1, 89 px	0, 54 px	0,70 px	0,69 px
컬러 채널들	4, 43 px	0, 68 px	1,15 px	1,22 px

따라서, 상술된 실시예들에 대해, 검출된 캘리브레이션 데이터세트들, 즉 평행 스트라이프들의 검출된 라인들 상의 선택된 엣지 포인트들의 정제가, 바람직하게는, 대응 그레이스케일 이미지들을 사용하여, 그리고 특히 ICA(Inverse Compositional Algorithm)의 개정된 공식에 기초하여 수행된다(참고문헌 [X]).

ICA는 본래, 예를 들어, 동일 장면의 2개의 구별되는 이미지들을 정렬하는 투영 변환(projective transformation)의 평가 등 이미지 스티칭(image stitching) 및 특성 추적을 위한 이미지 정렬을 목표로 한다. 수학적 공식화에서, ICA는 이하 최소화 문제점에 대한 솔루션을 제공한다:

여기서, m = (x, y)는 이미지 좌표 포인트들을 나타내고, T(m) 및 I(m)은 정렬될 2개의 이미지들이고,

은 광학적 에러의 계산에 기여하는 이미지 픽셀들의 부분집합이며, W(m:p)는 벡터

에 의해 파라미터화되는 2D 투영 변환들이다. 위 공식의 회귀적 최소화 컨텍스트에 대한 상세는 (참고문헌 [X])에 서술되며 본 명세서에서는 명료성을 위해 생략된다.

이러한 바람직한 실시예에서, 검출된 캘리브레이션 데이터세트들의 정제에 위 ICA 공식을 적용하기 위해, 템플릿 T(m)은 2D 평탄형 계단 함수(smooth step function)로서 정의되고, 이는 이미지 엣지의 시각적 외관(visual appearance)의 우수한 근사화로 가정된다:

[수학식 1]

여기서, δ는 스텝 슬롭(step slop)을 제어하는 파라미터이다. 이러한 실시예의 구현에서는, δ가 5 픽셀들과 등가인 3 x 15 템플릿이 사용된다. 도 9는 예시적인 템플릿들을 도시하는 것으로, 도 9의 (a)에서 δ = 0 (픽셀들)이고, 도 9의 (b)에서 δ = 5 (픽셀들)이다.

카메라 렌즈에 의해 도입되는 왜곡이 얼마나 심각한지에 무관하게, 이미지 라인은 스트레이트 세그먼트로서 위치적으로 근사화될 수 있는 것으로 가정된다. 이는 2D 강체 운동의 부분공간에 대해 이미지 휨 복잡성(image warp complexity)의 감소를 가능하게 한다:

[수학식 2]

여기서,

는 각도

의 2D 로테이션(rotation)이다. 휨 함수 수학식 2의 Jacobian은, 용이하게 계산될 수 있고, 가상 엣지 템플릿과 로컬 이미지 패치 사이의 최상의 정렬을 제공하는 파라미터 벡터 p를 추정하기 위해서, 수학식 (1)과 함께 ICA 최적화 프레임워크에 플러그될 수 있다.

도 10은 본 실시예에서 정제 처리의 상세한 단계들을 도시한다. 정체 처리가 바람직하게는 제안되는 방법의 이전 실시예들에서 위에 서술된 결정 단계들로부터 검출되는 각각의 엣지 포인트들에 대해 수행된다.

이후 캘리브레이션 데이터세트로서 추출되는, 선택되고 취득된(40) 엣지 포인트들 각각에 대해, 초기화된 엣지 위치 및 방향 벡터에 따라 본래 이미지에 대한 패치가 정의된다. 기하학적 변환의 초기화(41)는 이미지 패치를 가상 템플릿에 관련시키기 위해 수행된다. 엣지 포인트의 위치 및 로컬 엣지 방향이 (m_i, v_i)로 표기될 때, 이미지 패치의 초기 정렬 휨은, mi를 원점(origin)으로 하고 vi를 x-축에 평행하게 회전하는 2D 강체 운동으로 주어진다. 로컬 엣지 방향은 컬러 채널들 처리로부터 검출되는 것으로 가정된다.

초기화된 기하학적 변환은 이미지 패치를, 도 11의 (a)에 도시된 바와 같이, 템플릿의 x-포지티브 및 x-네거티브 영역들에 대응하는 2개 영역들로 분할하는데 사용된다. 그리고, 2개 이미지 영역들의 미디언 그레이스케일 값들을 각각 0과 1로 변환하는 선형 변환에 의해 이미지 패치의 광도 정규화(42)가 취득된다. 도 11의 (b)는 광도 정규화 이후의 도 11의 (a)와 동일한 이미지 패치를 도시하며, 가상 템플릿의 기준 프레임쪽으로 휜다. 달리 말하면, 도 11의 (b)에 도시된 기하학적 및 광도 휨은 최초 엣지 검출로부터 추론되는 엣지 위치측정의 지식을 나타낸다.

후속하여, 이미지 패치는 ICA에 의해 더욱 정의되고(43), 이는 수학식 2의 형태로 휨을 직접 추정하며, 표준 템플릿과 휜 패치 사이의 광도 거리를 최소화한다. 그리고 정제된 엣지 포인트들은, 추정된 휨을 표준 템플릿의 중앙 포인트에 적용하여, 이미지 평면 상에서 대응 포인트들을 계산함으로써, 업데이트된다(44).

도 12 및 13은 컬러-코드화된 구조와 관련된 좌표 포인트들의 결정의 정제의 예시적 결과들을 도시한다. 캘리브레이션 데이터세트는 상이한 방향 하에서 GoPro Hero 3 카메라에 의해 촬영되는 컬러-코드화된 구조의 26개 사진들로부터 취득된다. 각각의 이미지에 내재되는 컬러-코드화된 구조의 라인 번들들은, 위에 제안된 방법을 사용하여 검출되고, 상술된 정제 처리에 의해 정제된다. 도 12의 (a) 및 (b)는 정제 처리가 없는 엣지 라인 검출 결과들인 반면, 도 12의 (c)는 정제 처리 후의 보다 정확한 엣지 검출을 도시한다.

캘리브레이션 데이터세트의 검출 및 후속 캘리브레이션 처리의 향상이 더욱 측정되며 이는 도 13에 도시된 바와 같다. 카메라 모델 파라미터들은, 컬러 채널들로부터 추출되는 본래 캘리브레이션 데이터세트 및 그레이스케일 이미지로부터의 정제된 캘리브레이션 데이터세트를 사용하여 각각 추정된다. 캘리브레이션 그리드에 관련되는 후방-투영 에러가 각각의 캘리브레이션 이미지들에 대해 계산된다. 각 뷰에서의 평균 후방-투영 에러의 감소는, 정제된 캘리브레이션 데이터세트의 이용이 캘리브레이션 정확성의 상당한 향상에 이른다는 점을 보여준다.

본 발명에 따른 카메라 캘리브레이션 방법을 수행하도록 구성되는 장치(30)가 도 14에 개략적으로 도시된다. 장치(30)는 이미지 수신부(31) 및 카메라 캘리브레이션부(32)를 포함한다. 이미지 수신부(31)는 컬러-코드화된 구조가 캡쳐되는 이미지를 카메라로부터 수신하도록(10) 구성된다. 컬러-코드화된 구조는 컬러 채널들이 상이한 적어도 2 세트의 패턴들을 포함한다. 카메라 캘리브레이션부(32)는, 이미지에서 컬러-코드화된 구조와 관련되는 복수의 좌표 포인트들을 결정하고(11), 좌표 포인트들을 사용하여 카메라 캘리브레이션을 수행하도록(12) 구성된다. 선택적으로, 카메라 캘리브레이션부(32)는 또한, 컬러-코드화된 구조의 적어도 2 세트의 패턴들을 구별하고(13), 컬러-코드화된 구조의 각 세트의 패턴들에 대해 좌표 포인트들의 부분집합을 각각 결정하도록(11) 구성된다. 또한, 카메라 캘리브레이션부(32)가 바람직하게는 컬러-코드화된 구조와 관련된 복수의 좌표 포인트들의 결정을 정제하도록(14) 구성된다.

<참고문헌>

[I] Joaquim Salvi, Xavier Armanguё Joan Batlle, A comparative review of camera calibrating methods with accuracy evaluation, Pattern Recognition, Volume 35, Issue 7, July 2002, Pages 1617-1635.

[II] Devernay and Olivier Faugeras. 2001. Straight lines have to be straight: automatic calibration and removal of distortion from scenes of structured enviroments. Mach. Vision Appl. 13, 1 (August 2001), 14-24

[III] R. Swaminathan and S. K. Nayar. Non-Metric Calibration of Wide-Angle Lenses and Polycameras. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. 22: 1172-1178.

[IV] Kenichi Kanatani: Calibration of Ultrawide Fisheye Lens Cameras by Eigenvalue Minimization. IEEE Trans. Pattern Anal. Mach. Intell. 35(4): 813-822 (2013)

[V] G. Jacovitti, A. Neri, Multiresolution circular harmonic decomposition. IEEE Transactions on Signal Processing. 12/2000.

[VI] M. GOFFREDO, S. CONFORTO, M. SCHMID, A. NERI, T. D'ALESSIO, "Markerless evaluation of sit-to-stand strategy in Gauss-Laguerre domain", XVI Congress of the International Society of Electrophysiology and Kinesiology (ISEK2006), Torino, Italy, 2006

[VII] M. Carli, F. Coppola, A. Neri "Translation, Orientation and Scale Estimation Based on Laguerre-Gauss Circular Harmonic Pyramids", in Image Processing: Algorithms and Systems, Proc. SPIE Vol. 4667, Electronic Imaging 2002, 20-25 January 2002, San Jose, California USA

[VIII] L. SORGI N. CIMMINIELLO, NERI A. (2006). Keypoints Selection in the Gauss Laguerre Transformed Domain. In: BMVC06 Proceedings. Edinburgh, September 4-7 2006, BMVC 2006, vol. II, p. 539-548

[IX] L. Sorgi, Edgelet tracking using Gauss-Laguerre Circular Harmonic filters, 18th IEEE International Conference Image Processing (ICIP), 2011: 2897-2900

[X] V. S. Baker and I. Mattheus, Lucas-Kanade 20 Years On: A Unifying Framework, International Journal of Computer Vision 56(3), 221-255, 2004

[XI] M. Goffredo, M. Schmid, S. Conforto, M. Carli, A. Neri and T. D'Alessio, "Markerless Human Motion Analysis in Gauss-Laguerre Transform Domain: An Application to Sit-To-Stand in Young and Elderly People", IEEE Transactions on Information Technology in Biomedicine, 2009 Mar; 13(2):207-216

Claims

카메라 캘리브레이션 방법으로서,
- 구조가 캡쳐되는 이미지를 카메라로부터 수신하는 단계(10);
- 상기 이미지에서 상기 구조와 관련되는 복수의 좌표 포인트들을 결정하는 단계(11); 및
- 상기 좌표 포인트들을 사용하여 카메라 캘리브레이션을 수행하는 단계(12)
를 포함하고,
상기 캡쳐되는 구조는 상이한 컬러 채널들의 적어도 2 세트의 패턴들을 포함하는 컬러-코드화된 구조인 것을 특징으로 하는 방법.
제1항에 있어서,
- 상기 컬러-코드화된 구조의 적어도 2 세트의 패턴들을 구별하는 단계(13); 및
- 상기 컬러-코드화된 구조의 각 세트의 패턴들에 대해 각각 좌표 포인트들의 부분집합을 결정하는 단계(11)
를 더 포함하는 방법.
제1항에 있어서,
상기 컬러-코드화된 구조는 상이한 컬러 채널들의 2 세트의 패턴들을 포함하고, 상기 2 세트의 각 패턴들은 각각 평행 스트라이프들의 번들인 방법.
제3항에 있어서,
상기 평행 스트라이프들의 2개 번들은 직교하는 방법.
제3항에 있어서,
- 상기 컬러-코드화된 구조의 2 세트의 패턴들을 구별하는 단계(13); 및
- 상기 컬러-코드화된 구조의 각 세트의 패턴들에 대해 각각 좌표 포인트들의 부분집합을 결정하는 단계(11)
를 더 포함하는 방법.
제5항에 있어서,
각 세트의 패턴들에 대해, 상기 좌표 포인트들의 부분집합은 상기 평행 스트라이프들의 번들의 측면들을 따라 배치되는 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 카메라로부터 복수의 이미지들을 수신하는 단계(10), 및
상기 이미지들 각각에 대해 복수의 좌표 포인트들을 결정하는 단계(11)
를 더 포함하는 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 컬러-코드화된 구조와 관련된 복수의 좌표 포인트들의 결정을 정제하는 단계(14)를 더 포함하는 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 컬러-코드화된 구조는 컬러-코드화된 그래프인 방법.
카메라 캘리브레이션 장치로서,
- 구조가 캡쳐되는 이미지를 카메라로부터 수신하도록 구성되는 이미지 수신부(31); 및
- 상기 이미지에서 상기 구조와 관련되는 복수의 좌표 포인트들을 결정하고, 상기 좌표 포인트들을 사용하여 카메라 캘리브레이션을 수행하도록 구성되는 카메라 캘리브레이션부(32)
를 포함하고,
상기 캡쳐되는 구조는 상이한 컬러 채널들의 적어도 2 세트의 패턴들을 포함하는 컬러-코드화된 구조인 장치.
제10항에 있어서,
상기 카메라 캘리브레이션부(32)는, 상기 컬러-코드화된 구조의 상기 적어도 2 세트의 패턴들을 구별하고, 상기 컬러-코드화된 구조의 각 세트의 패턴들에 대해 각각 좌표 포인트들의 부분집합을 결정하도록 구성되는 장치.
제10항 또는 제11항에 있어서,
상기 카메라 캘리브레이션부(32)는 상기 컬러-코드화된 구조와 관련된 복수의 좌표 포인트들의 결정을 정제하도록 구성되는 장치.
카메라 캘리브레이션을 위한 명령어들을 저장하고 있는 컴퓨터 판독가능 스토리지 매체로서, 상기 명령어들은 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금:
- 구조가 캡쳐되는 이미지를 카메라로부터 수신하고;
- 상기 이미지에서 상기 구조와 관련되는 복수의 좌표 포인트들을 결정하고;
- 상기 좌표 포인트들을 사용하여 카메라 캘리브레이션을 수행하도록 하며,
상기 캡쳐되는 구조는 상이한 컬러 채널들의 적어도 2 세트의 패턴들을 포함하는 컬러-코드화된 구조인 것을 특징으로 하는 컴퓨터 판독가능 스토리지 매체.