KR20220044572A

KR20220044572A - 캘리브레이션 파라미터의 획득 방법, 장치, 프로세서 및 전자기기

Info

Publication number: KR20220044572A
Application number: KR1020227007689A
Authority: KR
Inventors: 리 위; 레이 위안; 왕 미야오; 진 왕
Original assignee: 아크소프트 코포레이션 리미티드
Priority date: 2019-08-07
Filing date: 2020-07-16
Publication date: 2022-04-08
Also published as: WO2021022989A1; JP7387872B2; CN112348899A; US20220277468A1; JP2022543158A

Abstract

본 발명은 캘리브레이션 파라미터의 획득 방법, 장치, 프로세서 및 전자기기를 공개하였으며, 상기 방법은, 복수의 이미지 샘플링 유닛을 적용하여 캘리브레이션 시나리오 중의 캘리브레이션 이미지에 대해 촬영을 진행하여 복수의 이미지를 획득하는 단계; 복수의 이미지로부터 대응되는 포인트 세트를 획득하는 단계; 포인트 세트에 근거하여 복수의 이미지 샘플링 유닛의 사용될 캘리브레이션 파라미터를 획득하는 단계;를 포함하며, 여기서, 포인트 세트는 캘리브레이션 이미지의 촬영된 표면상의 각 3차원 포인트의 복수의 이미지에서의 대응되는 이미징 포인트인 것이다. 본 발명은 관련 기술에서 복수의 카메라에 대해 일체형 캘리브레이션을 실현하지 못하는 기술문제를 해결한다.

Description

캘리브레이션 파라미터의 획득 방법, 장치, 프로세서 및 전자기기

본 발명은 이미지 처리 분야에 관한 것으로, 구체적으로는 캘리브레이션 파라미터의 획득 방법, 장치, 프로세서 및 전자기기에 관한 것이다.

현재, 트리플 카메라가 이동 단말기(예를 들면, 스마트폰)에 동시에 집적되는 것이 시중에서 활발하게 발전되고 있는 추세가 나타나고 있다. 듀얼 카메라에 비해, 트리플 카메라는 카메라의 종류를 증가시킬 수 있는데, 예를 들면, 트리플 카메라는 망원 카메라, 광각 카메라 및 초광각 카메라를 동시에 포함할 수 있으며, 이러한 조합은 다수배의 줌을 실현할 수 있을 뿐만 아니라, 시야각((Field of view, FOV)도 크게 넓힐 수 있으므로, 사용자의 체험을 최대한도로 풍부하게 할 수 있다. 하지만, 관련 기술에 있어서, 일체형 트리플 카메라 캘리브레이션에는 여전히 큰 기술적인 결함이 존재한다. 기존의 캘리브레이션 방식은 주요하게 아래와 같은 두가지 방식이 있다.

방식1, 일체형 RGB-D 캘리브레이션, 이 방식은 일정한 거리에서 일반적인 카메라(예를 들면: 광각 카메라)를 적용하여 광각 카메라 이미지를 촬영하고, 적외선 카메라를 적용하여 적외선 카메라 이미지를 촬영하여, 듀얼 카메라의 캘리브레이션 파라미터를 획득한다. 하지만, 상기 방식은 다중 카메라에 대해 일체형 캘리브레이션을 실현하지 못한다. 그 원인은 트리플 카메라의 FOV차이가 더 크고, 특히 망원 카메라와 초광각 카메라가 동시에 존재하는 전제하에 망원 카메라, 광각 카메라, 초광각 카메라로 동일한 거리에서 캘리브레이션 환경에 대해 한장의 이미지를 동시에 촬영하는 상황에서 정확한 캘리브레이션 파라미터를 획득할 것이라고 보장하기 어렵기 때문이다.

방식2, 일체형 듀얼 카메라 캘리브레이션, 이 방식은 일정한 거리에서 두개의 일반적인 카메라(예를 들면: 하나의 망원 카메라와 하나의 광각 카메라)를 적용하여 두장의 이미지를 촬영하여, 듀얼 카메라의 캘리브레이션 파라미터를 획득한다. 하지만 상기 방식은 마찬가지로 다중 카메라에 대해 일체형 캘리브레이션을 실현하지 못한다. 그 원인은 트리플 카메라의 FOV차이가 더 크고, 특히 망원 카메라와 초광각 카메라가 동시에 존재하는 전제하에 망원 카메라, 광각 카메라, 초광각 카메라로 동일한 거리에서 캘리브레이션 환경에 대해 한장의 이미지를 동시에 촬영하는 상황에서 정확한 캘리브레이션 파라미터를 획득할 것이라고 보장하기 어렵기 때문이다.

상술한 바와 같이, 관련 기술에 의한 캘리브레이션 방식은 두장의 이미지를 촬영하여 듀얼 카메라의 캘리브레이션 파라미터를 획득할 수 밖에 없고, 트리플 카메라의 캘리브레이션 파라미터를 획득하지 못한다. 즉, 동일한 거리에서 트리플 카메라에 대해 일체형 캘리브레이션을 실현하지 못한다.

상기 문제점에 대해, 현재로서는 효과적인 해결방안을 제시하지 못하고 있다.

본 발명의 적어도 일부 실시예는 적어도 관련 기술중의 복수의 카메라에 대해 일체형 캘리브레이션을 실현하지 못하는 기술문제를 해결하도록 캘리브레이션 파라미터의 획득 방법, 장치, 프로세서 및 전자기기를 제공한다.

본 발명의 일 실시예에 따르면, 복수의 이미지 샘플링 유닛을 적용하여 캘리브레이션 시나리오 중의 캘리브레이션 이미지에 대해 촬영을 진행하여 복수의 이미지를 획득한 단계; 상기 복수의 이미지로부터 대응되는 포인트 세트를 획득하는 단계에 있어서, 상기 포인트 세트는 상기 캘리브레이션 이미지의 촬영된 표면상의 각 3차원 포인트의 상기 복수의 이미지에서의 대응되는 이미징 포인트인 단계; 및 상기 포인트 세트에 근거하여 상기 복수의 이미지 샘플링 유닛의 사용될 캘리브레이션 파라미터를 획득하는 단계; 를 포함하는 캘리브레이션 파라미터의 획득 방법을 제공한다.

바람직하게는, 상기 포인트 세트에 근거하여 상기 복수의 이미지 샘플링 유닛의 상기 사용될 캘리브레이션 파라미터를 획득하는 단계는,상기 포인트 세트를 통해 초기 캘리브레이션 파라미터를 결정하는 단계; 상기 포인트 세트에 의해 획득한 재투영 오차에 기반하여 오차 함수를 생성하는 단계; 및 상기 초기 캘리브레이션 파라미터에 근거하여 상기 오차 함수에 대해 최소화 처리를 진행하여 상기 사용될 캘리브레이션 파라미터를 획득하는 단계; 를 포함한다.

바람직하게는, 상기 포인트 세트를 통해 상기 초기 캘리브레이션 파라미터를 결정하는 단계는, 상기 포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰지 여부를 판단하는 단계; 및 상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 큰 것으로 결정될 경우, 상기 초기 캘리브레이션 파라미터를 획득하고, 상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 작거나 같은 것으로 결정될 경우, 상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 클 때까지 상기 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하는 단계; 를 포함한다.

바람직하게는, 상기 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하는 단계는, 상기 복수의 이미지 샘플링 유닛으로 상기 캘리브레이션 이미지를 동시에 촬영할 경우, 상기 복수의 이미지 샘플링 유닛의 위치와 상기 캘리브레이션 이미지 사이의 거리를 조절하여, 상기 캘리브레이션 이미지의 각 이미지 샘플링 유닛의 시야 범위에서의 비율이 사전 설정된 조건을 만족하도록 하는 단계를 포함한다.

바람직하게는, 상기 초기 캘리브레이션 파라미터에 근거하여 상기 오차 함수에 대해 최소화 처리를 진행하여 상기 사용될 캘리브레이션 파라미터를 획득하는 단계는, 상기 초기 캘리브레이션 파라미터에 근거하여 상기 오차 함수에 대해 최소화 처리를 진행하여 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 획득하는 단계; 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은지 여부를 판단하는 단계; 및 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은 것으로 결정될 경우, 상기 카메라 내부 매트릭스 및 상기 카메라 상대적 매트릭스를 상기 사용될 캘리브레이션 파라미터로 결정하고, 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 크거나 같은 것으로 결정될 경우, 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작을 때까지 다시 상기 복수의 이미지로부터 대응되는 포인트 세트를 획득하는 단계; 를 포함한다.

바람직하게는, 상기 복수의 이미지 샘플링 유닛은 동일 유형의 이미지 샘플링 유닛이거나 또는 서로 다른 유형의 이미지 샘플링 유닛이며, 여기서, 상기 복수의 이미지 샘플링 유닛의 유형은, 망원 카메라, 광각 카메라, 초광각 카메라, 초망원 카메라, 비행시간 TOF 심도 카메라, RGBD 심도 카메라, 구조형 광 심도 카메라, Mono카메라, 멀티뷰 카메라, 적외선 카메라 중 적어도 하나를 포함한다.

본 발명의 일 실시예에 따르면, 복수의 이미지 샘플링 유닛을 적용하여 캘리브레이션 시나리오 중의 캘리브레이션 이미지에 대해 촬영을 진행하여 복수의 이미지를 획득하도록 설정된 촬영 모듈; 상기 복수의 이미지로부터 대응되는 포인트 세트를 획득하도록 설정된 획득 모듈에 있어서, 상기 포인트 세트는 상기 캘리브레이션 이미지의 촬영된 표면상의 각 3차원 포인트의 상기 복수의 이미지에서의 대응되는 이미징 포인트인 획득 모듈; 및 상기 포인트 세트에 근거하여 상기 복수의 이미지 샘플링 유닛의 사용될 캘리브레이션 파라미터를 획득하도록 설정된 캘리브레이션 모듈; 을 포함하는 캘리브레이션 파라미터의 획득 장치를 더 제공한다.

바람직하게는, 상기 캘리브레이션 모듈은, 상기 포인트 세트를 통해 초기 캘리브레이션 파라미터를 결정하도록 설정된 결정 유닛; 상기 포인트 세트에 의해 획득한 재투영 오차에 기반하여 오차 함수를 생성하도록 설정된 생성 유닛; 및 상기 초기 캘리브레이션 파라미터에 근거하여 상기 오차 함수에 대해 최소화 처리를 진행하여 상기 사용될 캘리브레이션 파라미터를 획득하도록 설정된 처리 유닛; 을 포함한다.

바람직하게는, 상기 결정 유닛은, 상기 포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰지 여부를 판단하도록 설정된 제1 판단 서브 유닛; 및 상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 큰 것으로 결정될 경우, 상기 초기 캘리브레이션 파라미터를 획득하고, 상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 작거나 같은 것으로 결정될 경우, 상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 클 때까지 상기 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하도록 설정된 제1 처리 서브 유닛; 을 포함한다.

바람직하게는, 상기 제1 처리 서브 유닛은, 상기 복수의 이미지 샘플링 유닛으로 상기 캘리브레이션 이미지를 동시에 촬영할 경우, 상기 복수의 이미지 샘플링 유닛의 위치와 상기 캘리브레이션 이미지 사이의 거리를 조절하여, 상기 캘리브레이션 이미지의 각 이미지 샘플링 유닛의 시야 범위에서의 비율이 사전 설정된 조건을 만족하도록 설정된다.

바람직하게는, 상기 처리 유닛은, 상기 초기 캘리브레이션 파라미터에 근거하여 상기 오차 함수에 대해 최소화 처리를 진행하여 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 획득하도록 설정된 제2 처리 서브 유닛; 및 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은지 여부를 판단하도록 설정된 제2 판단 서브 유닛; 및 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은 것으로 결정될 경우, 상기 카메라 내부 매트릭스 및 상기 카메라 상대적 매트릭스를 상기 사용될 캘리브레이션 파라미터로 결정하고, 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 크거나 같은 것으로 결정될 경우, 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작을 때까지 다시 상기 복수의 이미지로부터 대응되는 포인트 세트를 획득하도록 설정된 제3처리 서브 유닛; 을 포함한다.

본 발명의 일 실시예에 따르면, 컴퓨터 프로그램이 저장되어 있는 저장 매체에 있어서, 상기 컴퓨터 프로그램이 실행될 경우, 상술한 어느 한 항에 따른 캘리브레이션 파라미터의 획득 방법을 실행하는 저장 매체를 제공한다.

본 발명의 일 실시예에 따르면, 프로그램을 실행하도록 설정된 프로세서에 있어서, 상기 프로그램이 실행될 경우, 상술한 어느 한 항에 따른 캘리브레이션 파라미터의 획득 방법을 실행하는 프로세서를 제공한다.

본 발명의 일 실시예에 따르면, 컴퓨터 프로그램이 저장되어 있는 메모리 및 상술한 어느 한 항에 따른 캘리브레이션 파라미터의 획득 방법을 실행하도록 상기 컴퓨터 프로그램을 실행하는 프로세서를 포함하는 전자기기를 제공한다.

본 발명의 적어도 일부 실시예에서, 복수의 이미지 샘플링 유닛을 적용하여 캘리브레이션 시나리오 중의 캘리브레이션 이미지에 대해 촬영함으로써 복수의 이미지를 획득하는 방식은, 복수의 이미지로부터 대응되는 포인트 세트를 획득하고, 상기 포인트 세트는 캘리브레이션 이미지의 촬영된 표면상의 각 3차원 포인트의 복수의 이미지에서의 대응되는 이미징 포인트이며, 포인트 세트에 근거하여 복수의 이미지 샘플링 유닛의 사용될 캘리브레이션 파라미터를 획득하여, 동일한 거리에서의 복수의 이미지 샘플링 유닛에 대한 일체형 캘리브레이션의 목적을 달성함으로써, 복수의 카메라에 대해 일체형 캘리브레이션을 진행하여 획득한 캘리브레이션 파라미터가 오리지널 입력 이미지에 대해 유효적인 보정을 진행할 수 있도록 하는 기술적 효과를 실현하고, 나아가서 관련 기술의 복수의 카메라에 대해 일체형 캘리브레이션을 실현하지 못하는 기술문제를 해결하게 된다.

여기서 설명되는 도면은 본 발명에 대한 추가적인 이해를 제공하기 위한 것이고, 본 발명의 일부분으로 구성되며, 본 발명의 예시적인 실시예 및 그 설명은 본 발명을 해석하기 위한 것이지 본 발명에 대해 부정당하게 한정하지 않는다.
도1은 본 발명의 바람직한 일 실시예에 따른 캘리브레이션 파라미터 획득 과정의 적용 시나리오의 예시도이다.
도2는 본 발명의 일 실시예에 따른 캘리브레이션 파라미터 획득 방법의 흐름도이다.
도3은 본 발명의 바람직한 일 실시예에 따른 캘리브레이션 파라미터 획득 방법의 흐름도이다.
도4는 본 발명의 일 실시예에 따른 캘리브레이션 파라미터 획득 장치의 구조 블록도이다.

당업자가 본 발명의 기술방안을 더 잘 이해하도록 하기 위해, 아래 본 발명의 실시예의 도면을 참조하여 본 발명의 실시예의 기술방안에 대해 명확하고 완전하게 설명한다. 자명한 것은, 설명하게 되는 실시예는 본 발명의 일부 실시예일 뿐 전부의 실시예는 아니다. 본 발명의 실시예에 기반하여 당업자가 창조성적인 작업이 없이 획득한 모든 기타 실시예는 모두 본 발명의 보호범위에 속한다.

설명해야 할 것은, 본 발명의 명세서, 특허청구범위 및 상기 도면 중의 용어 “제1”, “제2” 등은 유사한 대상을 구별하기 위한 것이지, 특정 순서 혹은 선후 순서를 설명하기 위한 것은 아니다. 여기서 설명되는 본 발명의 실시예를 여기서 도시하거나 설명된 순서 이외의 순서로 실시될 수 있도록, 상기와 같이 사용된 수치는 적절한 상황에서 호환될 수 있다는 점을 이해해야 한다. 또한, 용어 “포함” 및 “구비” 및 이것들의 임의의 변형은 비배타적인 포함을 커버하는 것을 의미한다. 예를 들면, 일련의 단계 혹은 유닛을 포함하는 프로세스, 방법, 시스템, 제품 혹은 기기는 명확하게 열거되는 단계 혹은 유닛에만 한정될 필요가 없으며, 명확하게 열거되지 않은 또는 상기 프로세스, 방법, 제품 혹은 기기의 고유의 기타 단계 혹은 유닛도 포함할 수 있다.

우선, 본 발명의 적어도 일부 실시예에 대해 설명하는 과정에서 나타나는 일부 명사 혹은 용어는 다음과 같은 해석에 적용된다.

(1) 일체형 다중 카메라 캘리브레이션: 복수의 카메라(일반적으로 카메라의 개수는 2개 이상)를 적용하여 하나의 환경에서 캘리브레이션 환경에 대해 동시에 각각 한장의 이미지를 촬영하여 캘리브레이션 파라미터를 획득하는데, 여기서, 캘리브레이션 파라미터는 카메라 내부 파라미터와 카메라 상대적 파라미터를 포함한다. 아래 본 발명의 적어도 일부 실시예에서, 트리플 카메라(예: 망원 카메라, 광각 카메라 및 초광각 카메라를 동시에 포함함)를 예로 하여 일체형 트리플 카메라 캘리브레이션 과정에 대해 해석하고 설명한다.

설명해야 할 것은, 상기 복수의 카메라는 동일 유형의 카메라일 수 있고, 서로 다른 유형의 카메라일 수도 있다. 상기 복수의 카메라의 유형 및 파라미터의 동일 여부에 상관없이, 본 발명의 실시예에서 공개한 기술방안을 적용하여 복수의 카메라에 대해 캘리브레이션을 진행할 수 있다. 또한, 복수의 카메라의 유형은 망원 카메라, 광각 카메라, 초광각 카메라, 초망원 카메라, TOF 심도 카메라, RGBD 심도 카메라, 구조형 광 심도 카메라, Mono카메라, 멀티뷰 카메라, 적외선 카메라 중 적어도 하나를 포함하되 이에 한정되지 않는다.

(2) 카메라 내부 파라미터(intrinsic parameter)는 카메라의 초점 거리, 주점 좌표, 왜곡 계수 등 파라미터를 포함한다.

(3) 카메라 내부 매트릭스(intrinsic matrix)는 intrinsic parameter를 매트릭스에 대입하여 매트릭스 형식으로 출력되는 것인데, 이는 실질상 카메라 내부 파라미터의 또 다른 한가지의 표현 형식에 속한다.

(4) 카메라 상대적 파라미터(extrinsic parameter)는 카메라 사이의 회전，평행 이동 등 파라미터를 포함한다.

(5) 카메라 상대적 매트릭스(extrinsic matrix)는 extrinsic parameter를 매트릭스에 대입하여 매트릭스 형식으로 출력되는 것인데, 이는 실질상 카메라 상대적 파라미터의 또 다른 한가지의 표현 형식에 속한다.

(6) 보정(rectify)은 캘리브레이션 파라미터를 사용하여 오리지널 입력 이미지를 대응 포인트가 동일 수평선 위치하도록 변환하는 것인데, 여기서, 대응점은 캘리브레이션 환경의 동일 포인트가 트리플 카메라로 촬영된 이미지에서 형성된 상호 대응되는 이미징 포인트를 말한다.

본 발명의 일 실시예에 따르면, 캘리브레이션 파라미터의 획득 방법을 제공하는데, 설명해야 할 것은, 도면의 흐름도에 도시한 단계는, 명령어의 실행이 가능하는 1조의 컴퓨터와 같은 컴퓨터 시스템에서 실행될 수 있고, 또한, 흐름도에 논리 순서를 도시하였지만, 상황에 따라 도시된 또는 설명된 단계를 상기 순서와 다른 순서로 수행할 수 있다.

상기 방법 실시예는 이동 단말기, 컴퓨터 단말기 혹은 유사한 전자기기에서 실행될 수 있다. 이동 단말기에서 실행되는 것을 예로 들면, 이동 단말기는 하나 혹은 복수의 프로세서(프로세서는 중앙 처리 장치(CPU), 그래픽스 처리 장치(GPU), 디지털 신호 처리(DSP) 칩, 마이크로 컨트롤러 장치(MCU) 혹은 프로그램 가능 논리 소자(FPGA) 등 처리 장치를 포함하되 이에 한정되지 않음)와 데이터를 저장하도록 설정된 메모리를 포함할 수 있다. 바람직하게는, 상기 이동 단말기는 통신 기능으로 설정된 전송 장치 및 입출력 장치를 포함할 수 있다. 당업자에게 있어서, 상기 구조적인 설명은 예시적인 것일 뿐, 상기 이동 단말기의 구조를 한정하지 않음을 이해할 것이다. 예를 들면, 이동 단말기는 상기 구조적인 설명에서 열거한 구성요소보다 더 많거나 더 적은 구성요소를 포함할 수 있고, 혹은 상기 구조적인 설명에서와 다른 구성을 가질 수 있다.

메모리는 애플리케이션 소프트웨어의 소프트웨어 프로그램 및 모듈과 같은 컴퓨터 프로그램을 저장할 수 있다. 예를 들면, 본 발명의 실시예의 캘리브레이션 파라미터의 획득 방법에 대응되는 컴퓨터 프로그램일 수 있는데, 이는 프로세서가 메모리내에 저장되어 있는 컴퓨터 프로그램을 실행하여 각 기능 애플리케이션을 실행하고 데이터 처리를 수행함으로써 상기 캘리브레이션 파라미터의 획득 방법을 실현한다. 메모리는 고속 랜덤 메모리를 포함할 수 있고, 비휘발성 메모리도 포함할 수 있는데, 예를 들면 하나 혹은 복수개의 자성 메모리 장치, 플래시 메모리 혹은 기타 비휘발성 솔리드 스테이트 메모리를 포함할 수 있다. 일부 실시예에서, 메모리는 프로세서와 원격으로 설정된 메모리를 더 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 이동 단말기에 연결될 수 있다. 상기 네트워크의 예는 인터넷, 인트라넷，근거리 통신망，이동 통신망 및 그 조합을 포함하되 이에 한정되지는 않는다.

전송 장치는 하나의 네트워크를 거쳐 데이터를 수신하거나 발송하도록 설정되어 있다. 상기 네트워크의 구체적인 예는 이동 단말기의 통신 공급 업체에서 제공하는 무선 네트워크를 포함할 수 있다. 일 실시예에서, 전송 장치는 기지국을 통해 기타 네트워크 장치와 상호 연결되어 인터넷과 통신을 진행할 수 있는 하나의 네트워크 어댑터(Network Interface Controller, NIC로 약칭함)를 포함할 수 있다. 일 실시예에서, 전송 장치는 무선 방식을 통해 인터넷과 통신하도록 설정된 무선 주파수(Radio Frequency, RF로 약칭함) 모듈일 수 있다.

도1은 본 발명의 바람직한 일 실시예에 따른 캘리브레이션 파라미터 획득 과정의 적용 시나리오의 예시도이다. 트리플 카메라를 예로 하면, 도1에서 도시된 바와 같이, 모듈 업체가 휴대폰 모듈의 조립 과정에서 일체형 트리플 카메라 캘리브레이션을 완성하도록 트리플 카메라(예를 들면, 망원 카메라, 광각 카메라 및 초광각 카메라를 동시에 포함함)는 동일한 모듈에 위치하는데 캘리브레이션 이미지 앞의 고정 거리를 둔 위치에 설치된다. 물론, 본 발명은 트리플 카메라가 모듈 상태여야 하는 것에 한정되지 않고, 기타 배치 방식을 적용할 수도 있다. 예를 들면, 트리플 카메라를 이동 단말기(예: 스마트 폰)에 장착할 수 있고, 상기 전자기기를 직접 적용하여 캘리브레이션을 진행할 수도 있으며, 세개의 서로 다른 장치(예: 모듈, 휴대폰 및 카메라의 조합)에 분포될 수도 있다.

본 실시예에서는 상기 이동 단말기에서 수행되는 캘리브레이션 파라미터의 획득 방법을 제공하고, 도2는 본 발명의 일 실시예에 따른 캘리브레이션 파라미터 획득 방법의 흐름도이다. 도2에 도시된 바와 같이, 이 프로세스는 다음과 같은 단계를 포함한다.

단계S22에서, 복수의 이미지 샘플링 유닛을 적용하여 캘리브레이션 시나리오 중 캘리브레이션 이미지에 대해 촬영하여 복수의 이미지를 획득한다.

단계S24에서, 복수의 이미지에서 대응되는 포인트 세트를 획득하는데, 여기서, 포인트 세트는 캘리브레이션 이미지의 촬영된 표면상의 각 3차원 포인트의 복수의 이미지에서의 대응되는 이미징 포인트이다.

단계S26에서, 포인트 세트에 근거하여 복수의 이미지 샘플링 유닛의 사용될 캘리브레이션 파라미터를 획득한다.

상기 단계를 통해, 복수의 이미지 샘플링 유닛을 적용하여 캘리브레이션 시나리오 중의 캘리브레이션 이미지에 대해 촬영함으로써 복수의 이미지를 획득하는 방식은, 복수의 이미지로부터 대응되는 포인트 세트를 획득하고, 상기 포인트 세트는 캘리브레이션 이미지의 촬영된 표면상의 각 3차원 포인트의 복수의 이미지에서의 대응되는 이미징 포인트이며, 포인트 세트에 근거하여 복수의 이미지 샘플링 유닛의 사용될 캘리브레이션 파라미터를 획득하여, 동일한 거리에서 복수의 이미지 샘플링 유닛에 대한 일체형 캘리브레이션의 목적을 달성함으로써, 복수의 카메라에 대해 일체형 캘리브레이션을 진행하여 획득한 캘리브레이션 파라미터가 오리지널 입력 이미지에 대해 유효적인 보정을 진행할 수 있도록 하는 기술적 효과를 실현하고, 나아가서 관련 기술의 복수의 카메라에 대해 일체형 캘리브레이션을 실현하지 못하는 기술문제를 해결하게 된다.

바람직한 일 실시예에서, 상기 캘리브레이션 이미지는 복수의 독립적인 캘리브레이션 템플릿을 포함하고, 각 캘리브레이션 템플릿은 여러개의 점을 내포하는 체커로 구성되며, 그중 한개의 캘리브레이션 템플릿을 기준 템플릿으로 하고, 기타 캘리브레이션 템플릿은 각각 기준 템플릿과 서로 다른 방향에서 소정된 협각을 이루면서 배치된다. 예를 들면, 도1에서 도시된 바와 같이, 캘리브레이션 이미지는 4개의 독립적인 캘리브레이션 템플릿을 포함하고, 각 템블릿은 19*14개의 점을 내포하는 체커로 구성되며, 왼쪽 위의 캘리브레이션 템플릿을 기준 템플릿으로 하고, 기타 3개의 캘리브레이션 템플릿은 기준 템플릿과 서로 다른 방향에서 30도의 협각을 이루면서 배치된다.

바람직한 다른 일 실시예에서, 만약 복수의 카메라의 유형 중 심도 카메라와 적외선 카메라를 포함할 경우, 일반적으로 상기 체커를 적용하지 않고 원형 캘리브레이션 이미지를 적용한다. 그 원인은, 원형은 체커에 비해 더 쉽게 캡쳐되고 위치확인이 되어, 복수의 카메라에 대해 일체형 캘리브레이션을 실현하는데 유리하고, 또한 획득되는 캘리브레이션 결과도 더 신뢰도가 높다. 또한, 심도 카메라와 적외선 카메라로 촬영된 이미지는 상대적으로 어둡기 때문에, 촬영된 이미지에 대해 별도로 필라이트 처리하여 이미지의 해상도를 높인다. 바람직한 일 예시로, 동일 주파대의 적외선 LED를 통해 필라이트를 진행할 수 있다. 예를 들면, 기기 자체의 적외선 트랜스미터가 940nm의 적외선을 적용하면, 필라이트 처리도 940nm의 적외선 LED를 통해 필라이트를 진행해야 한다.

상기 복수의 이미지 샘플링 유닛은 복수의 카메라일 수 있고, 복수의 이미지 샘플링 유닛의 개수는 두개 이상일 수 있다.

바람직하게는, 단계S26에서, 포인트 세트에 근거하여 복수의 이미지 샘플링 유닛의 사용될 캘리브레이션 파라미터를 획득하는 단계는 아래와 같은 단계를 포함한다.

포인트 세트를 통해 초기 캘리브레이션 파라미터를 결정하는 단계S261;

포인트 세트에 의해 획득한 재투영 오차에 기반하여 오차 함수를 생성하는 단계S262;

초기 캘리브레이션 파라미터에 근거하여 오차 함수에 대해 최소화 처리를 진행하여 사용될 캘리브레이션 파라미터를 획득하는 단계S263.

바람직한 실시예에서, 트리플 카메라(예를 들면, 망원 카메라, 광각 카메라 및 초광각 카메라를 동시에 포함)를 예시로 하고, 트리플 카메라는 동일한 모듈에 위치한다. 이미지 샘플링 환경(즉 캘리브레이션 시나리오)을 구축하여 캘리브레이션 이미지 앞의 고정 거리를 둔 위치에 모듈을 설치한다. 그 다음, 트리플 카메라를 제어하여 이미지를 샘플링하도록 하고, 대응되는 포인트 세트를 인식하여 저장한다. 캘리브레이션 시나리오 중 캘리브레이션 이미지의 촬영된 표면상의 동일 포인트는 트리플 카메라가 촬영한 이미지에서 대응되는 이미징 포인트가 각각 존재하고, 이러한 대응되는 이미징 포인트가 바로 상호 대응되는 포인트 세트이다. 마지막에, 이러한 대응되는 포인트 세트(포인트 세트의 좌표, 포인트와 포인트 사이의 대응관계를 포함하되 이에 한정되지 않음)를 적용하여 초기 캘리브레이션 파라미터 즉 카메라 내부 카메라 및 카메라 상대적 파라미터의 초기값을 결정할 수 있다.

구축된 이미지 샘플링 환경에서의 3차원 포인트의 실제 촬영된 복수의 이미지에서의 이미징 포인트 위치는 실제값(즉 관찰한 투영 위치)으로 지칭될 수 있다. 계산된 캘리브레이션 파라미터 및 이미징 모델에 근거하여 추산하여 획득한 상기 3차원 포인트의 이미징 포인트 위치는 계산값으로 지칭될 수 있으며(즉 3차원 포인트의 현재 추정된 위치에 근거하여 투영되어 획득한 위치), 상기 추산 과정은 재투영이라고 지칭될 수 있다. 따라서, 이미징 포인트의 계산값과 이미징 포인트의 실제값 사이의 차이값이 바로 재투영 오차로 된다.

오차 함수는 카메라 내부 함수 및 카메라 상대적 함수에 근거하여 수학 함수를 생성하는데, 오차를 계산하여 현재 캘리브레이션 파라미터의 최적 여부를 판단한다. 오차 함수에 대해 최소화 처리를 진행한다는 것은 캘리브레이션 파라미터를 반복적으로 최적화하여 오차를 최소로 함으로써, 최적화된 사용될 캘리브레이션 파라미터를 획득하는 것이다.

바람직하게는, 단계S261에서, 포인트 세트를 통해 초기 캘리브레이션 파라미터를 결정하는 단계는 아래와 같은 단계를 포함한다.

포인트 세트의 개수가 제1 사전 설정 임계값보다 큰지 여부를 판단하는 단계S2611;

포인트 세트의 개수가 제1 사전 설정 임계값보다 큰 것으로 결정될 경우, 초기 캘리브레이션 파라미터를 획득하고, 포인트 세트의 개수가 제1 사전 설정 임계값보다 작거나 같은 것으로 결정될 경우, 포인트 세트의 개수가 제1 사전 설정 임계값보다 클 때까지 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하는 단계S2612.

포인트 세트를 통해 초기 캘리브레이션 파라미터를 결정하는 과정에서, 포인트 세트의 개수가 제1 사전 설정 임계값보다 큰지 여부를 판단해야 한다. 만약 포인트 세트의 개수가 제1 사전 설정 임계값보다 큰 것으로 결정할 수 있을 경우, 현재 포인트 세트에 기반하여 초기 캘리브레이션 파라미터를 획득할 수 있다. 하지만, 만약 포인트 세트의 개수가 제1 사전 설정 임계값보다 작거나 혹은 같은 것으로 결정할 수 있을 경우, 우선 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절해야 하고, 그 다음 포인트 세트의 개수가 제1 사전 설정 임계값보다 클 때까지 다시 복수의 이미지로부터 대응되는 포인트 세트를 획득하여, 최신으로 획득한 포인트 세트에 기반하여 초기 캘리브레이션 파라미터를 획득할 수 있다.

바람직한 일 실시예에서, 복수의 이미지 샘플링 유닛이 동시에 캘리브레이션 이미지를 촬영하는 경우, 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하여 캘리브레이션 이미지가 각 이미지 샘플링 유닛에서의 FOV의 비율이 사전 설정 조건을 만족하도록 한다. 예를 들면, 사전 설정된 비율값을 상기 사전 설정 조건으로 할 수 있고, 만약 캘리브레이션 이미지의 각 이미지 샘플링 유닛에서의 FOV 비율이 사전 설정된 비율값을 초과할 경우, 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 계속하여 조절할 필요가 없다. 만약 캘리브레이션 이미지의 각 이미지 샘플링 유닛에서의 FOV 비율이 사전 설정된 비율값에 도달하지 않은 경우, 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 계속 조절해야 한다.

바람직하게는, 단계S263에서, 초기 캘리브레이션 파라미터에 근거하여 오차 함수에 대해 최소화 처리를 진행하여 사용될 캘리브레이션 파라미터를 획득하는 단계는 다음과 같은 단계를 포함할 수 있다.

초기 캘리브레이션 파라미터에 근거하여 오차 함수에 대해 최소화 처리를 진행하여 카메라 내부 매트릭스와 카메라 상대적 매트릭스를 획득하는 단계S2631;

오차 함수의 오차값이 제2 사전 설정된 값보다 작은지 여부를 판단하는 단계S2632;

오차 함수의 오차값이 제2 사전 설정된 값보다 작은 것으로 판단될 경우, 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 사용될 캘리브레이션 파라미터로 결정하고, 오차 함수의 오차값이 제2 사전 설정된 값보다 크거나 같은 것으로 결정될 경우, 오차 함수의 오차값이 제2 사전 설정된 값보다 작을 때까지 다시 복수의 이미지로부터 대응되는 포인트 세트를 획득하는 단계S2633.

포인트 세트에 의해 획득한 재투영 오차에 기반하여 오차 함수를 생성한 후, 오차 함수에 대해 최소화 처리를 진행하여, 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 획득한다. 최소화 처리 과정에서, 오차 함수를 통해 계산하여 획득한 오차값이 제2 사전 설정된 임계값보다 작은지 여부를 판단하는데, 만약 오차 함수를 통해 획득한 오차값이 사전 설정된 임계값보다 작은 것으로 결정될 경우, 최소화 과정이 이미 완료됨을 의미한다. 만약 오차 함수의 오차값이 제2 사전 설정된 임계값보다 크거나 같은 것으로 결정될 경우, 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작을 때까지 다시 복수의 이미지로부터 대응되는 포인트 세트를 획득해야 한다. 오차 함수를 통해 획득한 오차값이 사전 설정된 임계값보다 작은 것으로 결정된 상황에서, 다시 카메라 내부 매트릭스 및 카메라 상대적 매트릭스에 대해 별도의 처리를 진행할 필요없이, 최소화 처리하여 획득한 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 최종 사용될 캘리브레이션 파라미터로 결정할 수 있다.

아래 도3에서 도시한 바람직한 실시형태를 통해 상기 바람직한 실시 과정에 대해 추가로 상세하게 설명할 것이다. 도3은 본 발명의 바람직한 일 실시예에 따른 캘리브레이션 파라미터의 획득 방법의 흐름도이고, 도3에서 도시한 바와 같이, 이 프로세스는 다음과 같은 단계를 포함한다.

이미지 샘플링 환경을 구축하여 캘리브레이션 이미지를 배치하는 단계S302;

복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하여 캘리브레이션 이미지의 각 이미지 샘플링 유닛에서의 FOV 비율이 사전 설정된 조건을 만족하도록 하는 단계S304;

이미지를 샘플링하고, 대응되는 포인트 세트를 인식하여 저장하는 단계306;

여기서, 캘리브레이션 시나리오 중 캘리브레이션 이미지의 촬영된 표면상의 동일 포인트는 트리플 카메라에 의해 촬영된 이미지에서 대응되는 이미징 포인트가 각각 존재하고, 이러한 대응되는 이미징 포인트는 상호 대응되는 포인트 세트이다.

포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰지 여부를 판단하되, 만약 클 경우, 단계S310을 계속하여 수행하여 초기 캘리브레이션 파라미터를 획득해야 하고, 그렇지 않을 경우, 단계S304로 건너뛰어 수행하는 단계S308;

포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰 것으로 결정할 수 있을 경우, 현재 포인트 세트에 기반하여 초기 캘리브레이션 파라미터를 획득하는 단계S310.

포인트 세트에 의해 획득한 재투영 오차에 기반하여 오차 함수를 생성하는 단계S312;

초기 캘리브레이션 파라미터에 근거하여 오차 함수에 대해 최소화 처리를 진행함으로써 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 획득하는 단계S314;

여기서, 오차 함수는 카메라 내부 파라미터 및 카메라 상대적 파라미터에 근거하여 수학 함수를 생성하는데, 오차를 계산하여 현재 캘리브레이션 파라미터의 최적 여부를 판단하고, 최적화 오차 함수는 캘리브레이션 파라미터를 반복적으로 최적화하여 오차를 최소로 함으로써 최적화된 캘리브레이션 파라미터를 획득한다.

오차 함수를 통해 계산하여 획득한 오차값이 제2 사전 설정된 값보다 작은지 여부를 판단하고, 만약 작을 경우, 단계S318을 계속하여 수행하는데, 이는 최소화 과정이 이미 완료됨을 의미하며, 그렇지 않을 경우, 단계S306으로 돌아가는 단계S316;

오차 함수를 통해 계산하여 획득한 오차값이 사전 설정된 임계값보다 작은 것으로 결정할 경우, 다시 카메라 내부 매트릭스 및 카메라 상대적 매트릭스에 대해 별도로 처리할 필요없이, 최소화 처리하여 획득한 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 최종 사용될 캘리브레이션 파라미터로 결정하는 단계S318.

상기 실시형태에 대한 설명을 통해, 당업자는 상기 실시예에 따른 방법이 소프트웨어와 필요한 통용 하드웨어 플랫폼을 통해 실현될 수 있고, 물론 하드웨어를 통해서도 실현될 수 있지만, 많은 경우 전자가 더욱 바람직한 실시형태임을 명확하게 알 수 있을 것이다. 이러한 이해에 기반하여, 본 발명의 기술방안의 실질부분 혹은 종래의 기술에 기여한 부분은 소프트웨어 제품의 형식으로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 저장 매체(예를 들면 ROM/RAM, 디스크, CD)에 저장되어 있으며, 이는 단말기기(휴대폰, 컴퓨터, 서버 혹은 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예에 따른 방법을 실행하도록 하는 여러 명령어들을 포함한다.

본 실시예는 캘리브레이션 파라미터의 획득 장치를 더 제공하였고, 상기 장치는 상기 실시예 및 바람직한 실시형태를 실현하도록 설정되어 있으며, 이미 설명한 부분은 반복하여 설명하지 않는다. 아래와 같이 사용된 용어 "모듈"은 설정된 기능의 소프트웨어 및/또는 하드웨어의 조합으로 실현될 수 있다. 비록 하기 실시예에서 설명되는 장치는 바람직하게 소프트웨어로 실현되지만, 하드웨어 혹은 소프트웨어와 하드웨어의 조합으로 실현되는 것도 구상될 수 있다.

도4는 본 발명의 일 실시예에 따른 캘리브레이션 파라미터의 획득 장치의 구조 블록도이다. 도4에 도시된 바와 같이, 상기 장치는, 복수의 이미지 샘플링 유닛을 적용하여 캘리브레이션 시나리오 중 캘리브레이션 이미지에 대해 촬영하여 복수의 이미지를 획득하도록 설정된 촬영 모듈(10); 복수의 이미지로부터 대응되는 포인트 세트를 획득하도록 설정된 획득 모듈(20); 포인트 세트에 근거하여 복수의 이미지 샘플링 유닛의 사용될 캘리브레이션 파라미터를 획득하도록 설정된 캘리브레이션 모듈(30); 을 포함하며, 여기서, 포인트 세트는 캘리브레이션 이미지의 촬영된 표면상의 각 3차원 포인트의 복수의 이미지에서의 대응되는 이미징 포인트이다.

바람직하게는, 캘리브레이션 모듈(30)은, 포인트 세트를 통해 초기 캘리브레이션 파라미터를 결정하도록 설정된 결정 유닛(미도시); 포인트 세트에 의해 획득한 재투영 오차에 기반하여 오차 함수를 생성하도록 설정된 생성 유닛(미도시); 초기 캘리브레이션 파라미터에 근거하여 오차 함수에 대해 최소화 처리를 진행하여 사용될 캘리브레이션 파라미터를 획득하도록 설정된 처리 유닛(미도시); 을 포함한다.

바람직하게는, 결정 유닛(미도시)은, 포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰지 여부를 판단하도록 설정된 제1 판단 서브 유닛(미도시); 포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰 것으로 결정될 경우, 초기 캘리브레이션 파라미터를 획득하고, 포인트 세트의 개수가 제1 사전 설정된 임계값보다 작거나 같은 것으로 결정될 경우, 포인트 세트의 개수가 제1 사전 설정된 임계값보다 클 때까지 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하도록 설정된 제1 처리 서브 유닛(미도시); 을 포함한다.

바람직하게는, 제1 처리 서브 유닛(미도시)은, 복수의 이미지 샘플링 유닛으로 동시에 캘리브레이션 이미지를 촬영할 경우, 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하여 캘리브레이션 이미지의 각 이미지 샘플링 유닛의 시야 범위에서의 비율이 사전 설정된 조건을 만족하도록 설정되어 있다.

바람직하게는, 처리 유닛(미도시)은, 초기 캘리브레이션 파라미터에 근거하여 오차 함수에 대해 최소화 처리를 진행하여 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 획득하도록 설정된 제2 처리 서브 유닛(미도시); 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은지 여부를 판단하도록 설정된 제2 판단 서브 유닛(미도시); 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은 것으로 결정될 경우, 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 사용될 캘리브레이션 파라미터로 결정하며, 오차 함수의 오차값이 제2 사전 설정된 임계값보다 크거나 같은 것으로 결정될 경우, 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작을 때까지 다시 복수의 이미지로부터 대응되는 포인트 세트를 획득하도록 설정된 제3 처리 서브 유닛(미도시);을 포함한다.

설명해야 할 것은, 상기 각 모듈은 소프트웨어 혹은 하드웨어를 통해 실현될 수 있으며, 후자에 있어서 하기 방식을 통해 실현될 수 있지만, 이에 한정되지 않는다. 상기 모듈은 모두 동일 프로세서에 위치하거나 또는 상기 각 모듈은 임의의 조합의 형식으로 서로 다른 프로세서에 위치한다.

본 발명의 실시예는 저장 매체를 더 제공하고, 상기 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 여기서, 상기 컴퓨터 프로그램이 실행될 때 상기 임의의 방법 실시예 중의 단계를 실행하도록 설정되어 있다.

바람직하게는, 본 실시예에서, 상기 저장 매체는 하기 단계를 실행하기 위한 컴퓨터 프로그램을 저장하도록 설정되어 있다.

복수의 이미지 샘플링 유닛을 적용하여 캘리브레이션 시나리오 중의 캘리브레이션 이미지에 대해 촬영하여 복수의 이미지를 획득하는 단계S1;

복수의 이미지로부터 대응되는 포인트 세트를 획득하는 단계S2;

여기서, 포인트 세트는 캘리브레이션 이미지의 촬영된 표면상의 각 3차원 포인트의 복수의 이미지에서의 대응되는 이미징 포인트이며,

포인트 세트에 근거하여 복수의 이미지 샘플링 유닛의 사용될 캘리브레이션 파라미터를 획득하는 단계S3.

바람직하게는, 저장 매체는 하기 단계를 실행하기 위한 컴퓨터 프로그램을 저장하도록 설정되어 있다. 포인트 세트를 통해 초기 캘리브레이션 파라미터를 결정하는 단계; 포인트 세트에 의해 획득한 재투영 오차에 기반하여 오차 함수를 생성하는 단계; 초기 캘리브레이션 파라미터에 근거하여 오차 함수에 대해 최소화 처리를 진행하여 사용될 캘리브레이션 파라미터를 획득하는 단계.

바람직하게는, 저장 매체는 하기 단계를 실행하기 위한 컴퓨터 프로그램을 더 저장하도록 설정되어 있다. 포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰지 그 여부를 판단하는 단계; 포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰 것으로 결정될 경우, 초기 캘리브레이션 파라미터를 획득하고, 포인트 세트의 개수가 제1 사전 설정된 임계값보다 작거나 같은 것으로 결정될 경우, 포인트 세트의 개수가 제1 사전 설정된 임계값보다 클 때까지 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하는 단계.

바람직하게는, 저장 매체는 하기 단계를 실행하기 위한 컴퓨터 프로그램을 더 저장하도록 설정되어 있다. 복수의 이미지 샘플링 유닛으로 동시에 캘리브레이션 이미지를 촬영할 경우, 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하여, 캘리브레이션 이미지의 각 이미지 샘플링 유닛의 시야 범위에서의 비율이 사전 설정된 조건을 만족하게 하는 단계.

바람직하게는, 저장 매체는 하기 단계를 실행하기 위한 컴퓨터 프로그램을 더 저장하도록 설정되어 있다. 초기 캘리브레이션 파라미터에 근거하여 오차 함수에 대해 최소화 처리를 진행하여 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 획득하는 단계; 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은지 그 여부를 판단하며, 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은 것으로 결정될 경우, 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 사용될 캘리브레이션 파라미터로 결정하며, 오차 함수의 오차값이 제2 사전 설정된 임계값보다 크거나 같은 것으로 결정될 경우, 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작을 때까지 다시 복수의 이미지로부터 대응되는 포인트 세트를 획득하는 단계.

바람직하게는, 본 실시예에서, 상기 저장 매체는 USB, 읽기 전용 기억 장치(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 외장 하드, 디스크 또는 CD 등 각종 컴퓨터 프로그램을 저장할 수 있는 매체를 포함하되 이에 한정되지 않을 수 있다.

본 발명의 실시예는 프로세서를 더 제공하고, 상기 프로세서는 컴퓨터 프로그램을 실행하여 상기 임의의 방법 실시예 중의 단계를 실행하도록 설정되어 있다.

바람직하게는, 본 실시예에서, 상기 프로세서는 컴퓨터 프로그램을 통해 하기 단계를 실행하도록 설정될 수 있다.

바람직하게는, 상기 프로세서는 컴퓨터 프로그램을 통해 하기 단계를 더 실행하도록 설정될 수 있다. 포인트 세트를 통해 초기 캘리브레이션 파라미터를 결정하는 단계; 포인트 세트에 의해 획득한 재투영 오차에 기반하여 오차 함수를 생성하는 단계; 초기 캘리브레이션 파라미터에 근거하여 오차 함수에 대해 최소화 처리를 진행하여 사용될 캘리브레이션 파라미터를 획득하는 단계.

바람직하게는, 상기 프로세서는 컴퓨터 프로그램을 통해 하기 단계를 더 실행하도록 설정될 수 있다. 포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰지 그 여부를 판단하는 단계; 포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰 것으로 결정될 경우, 초기 캘리브레이션 파라미터를 획득하며, 포인트 세트의 개수가 제1 사전 설정된 임계값보다 작거나 같은 것으로 결정될 경우, 포인트 세트의 개수가 제1 사전 설정된 임계값보다 클 때까지 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하는 단계.

바람직하게는, 상기 프로세서는 컴퓨터 프로그램을 통해 하기 단계를 더 실행하도록 설정될 수 있다. 복수의 이미지 샘플링 유닛으로 동시에 캘리브레이션 이미지를 촬영할 경우, 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하여, 캘리브레이션 이미지의 각 이미지 샘플링 유닛의 시야 범위에서의 비율이 사전 설정된 조건을 만족하게 하는 단계.

바람직하게는, 상기 프로세서는 컴퓨터 프로그램을 통해 하기 단계를 더 실행하도록 설정될 수 있다. 초기화 상대적 파라미터를 설정하는 단계; 초기 캘리브레이션 파라미터에 근거하여 오차 함수에 대해 최소화 처리를 진행하여 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 획득하는 단계; 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은지 그 여부를 판단하며, 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은 것으로 결정될 경우, 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 사용될 캘리브레이션 파라미터로 결정하며, 오차 함수의 오차값이 제2 사전 설정된 임계값보다 크거나 같은 것으로 결정될 경우, 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작을 때까지 다시 복수의 이미지로부터 대응되는 포인트 세트를 획득하는 단계.

바람직하게는, 본 실시예의 구체적인 예시는 상기 실시예 및 바람직한 실시형태에서 설명된 예시를 참조할 수 있고, 본 실시예에서는 반복하여 설명하지 않는다.

상기 본 발명 실시예의 순번은 오로지 설명하기 위한 것이지, 실시예의 우열을 나타내기 위한 것은 아니다.

본 발명의 상기 실시예에서, 각 실시예에 대한 설명에는 모두 치중점이 있으며, 어느 한 실시예에 상세한 설명 부분이 없을 경우, 기타 실시예의 관련 설명 부분을 참조할 수 있다.

본 출원에 의한 몇개의 실시예에서, 개시된 기술내용은 기타 방식을 통해 실현될 수 있음을 이해해야 한다. 여기서, 상기 설명된 장치 실시예는 예시적인 것일 뿐이며, 예를 들면 상기 유닛의 구분 방식은 논리 기능적인 구분 방식일 수 있고, 실제 실현시에는 다른 구분 방식이 있을 수 있다. 예를 들면, 복수의 유닛 혹은 컴포넌트는 다른 한 시스템에 결합 혹은 집적될 수 있으며, 또한 일부 특징은 무시되거나 실행되지 않을 수 있다. 또한, 상기 보여주거나 토론된 상호간의 커플링 혹은 직접 커플링 혹은 통신 연결은 일부 인터페이스에 의해 실현될 수 있으며, 유닛 혹은 모듈의 간접 커플링 혹은 통신 연결은 전기적 혹은 기타 형식일 수 있다.

상기 분리 부품으로 설명된 유닛은 물리적으로 분리된 것일 수 있고 그렇지 않을 수도 있다. 유닛으로 보여준 부품은 물리 유닛일 수 있고 아닐 수도 있다. 즉, 어느 한 곳에 위치할 수 있거나 혹은 복수의 유닛에 분포할 수도 있다. 실제 수요에 따라 그중 일부 혹은 전부 유닛을 선택하여 본 실시예 기술방안의 목적을 실현할 수 있다.

또한, 본 발명의 각 실시예 중의 각 기능 유닛은 하나의 처리 유닛에 집적될 수 있고, 각 유닛이 단독으로 물리적으로 존재할 수도 있으며, 두개 혹은 두개 이상의 유닛이 하나의 유닛에 집적될 수도 있다. 상기 집적된 유닛은 하트웨어의 형식으로 실현될 수 있으며, 소프트웨어 기능 유닛의 형식으로 실현될 수도 있다.

상기 집적된 유닛이 만약 소프트웨어 기능 유닛의 형식으로 실현되어 독립적인 제품으로 판매 혹은 사용될 경우, 하나의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본 발명의 기술방안 실질상 혹은 종래의 기술에 공헌을 한 부분 혹은 상기 기술방안의 전부 혹은 일부는 소프트웨어 제품의 형식으로 구현될 수 있으며, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장될 수 있으며, 이는 여러개의 명령어를 포함하여 컴퓨터 기기(개인용 컴퓨터, 서버 혹은 네트워크 등일 수 있음)로 하여금 본 발명의 각 실시예에 따른 방법의 전부 혹은 일부 단계를 실행하게 할 수 있다. 전술한 저장 매체는 USB, 읽기 전용 기억 장치(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 외장 하드, 디스크 또는 CD 등 각종 프로그램 코드를 저장할 수 있는 매체를 포함하되 이에 한정되지 않을 수 있다.

상기 설명된 부분은 본 발명의 바람직한 실시형태일 뿐이며, 당업자라면 본 발명의 원리를 벗어나지 않는 전제하에 여러가지 개선 및 윤색을 진행할 수 있으며, 이러한 개선 및 윤색도 본 발명의 보호범위로 간주해야 함을 유의해야 한다.

Claims

복수의 이미지 샘플링 유닛을 적용하여 캘리브레이션 시나리오 중의 캘리브레이션 이미지에 대해 촬영을 진행하여 복수의 이미지를 획득하는 단계;
상기 복수의 이미지로부터 대응되는 포인트 세트를 획득하는 단계에 있어서, 상기 포인트 세트는 상기 캘리브레이션 이미지의 촬영된 표면상의 각 3차원 포인트의 상기 복수의 이미지에서의 대응되는 이미징 포인트인 단계; 및
상기 포인트 세트에 근거하여 상기 복수의 이미지 샘플링 유닛의 사용될 캘리브레이션 파라미터를 획득하는 단계; 를 포함하는 캘리브레이션 파라미터의 획득 방법.
청구항 1에 있어서,
상기 포인트 세트에 근거하여 상기 복수의 이미지 샘플링 유닛의 상기 사용될 캘리브레이션 파라미터를 획득하는 단계는,
상기 포인트 세트를 통해 초기 캘리브레이션 파라미터를 결정하는 단계;
상기 포인트 세트에 의해 획득한 재투영 오차에 기반하여 오차 함수를 생성하는 단계; 및
상기 초기 캘리브레이션 파라미터에 근거하여 상기 오차 함수에 대해 최소화 처리를 진행하여 상기 사용될 캘리브레이션 파라미터를 획득하는 단계; 를 포함하는 캘리브레이션 파라미터의 획득 방법.
청구항 2에 있어서,
상기 포인트 세트를 통해 상기 초기 캘리브레이션 파라미터를 결정하는 단계는,
상기 포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰지 여부를 판단하는 단계; 및
상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 큰 것으로 결정될 경우, 상기 초기 캘리브레이션 파라미터를 획득하고, 상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 작거나 같은 것으로 결정될 경우, 상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 클 때까지 상기 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하는 단계; 를 포함하는 캘리브레이션 파라미터의 획득 방법.
청구항 3에 있어서,
상기 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하는 단계는,
상기 복수의 이미지 샘플링 유닛으로 상기 캘리브레이션 이미지를 동시에 촬영할 경우, 상기 복수의 이미지 샘플링 유닛의 위치와 상기 캘리브레이션 이미지 사이의 거리를 조절하여, 상기 캘리브레이션 이미지의 각 이미지 샘플링 유닛의 시야 범위에서의 비율이 사전 설정된 조건을 만족하도록 하는 단계를 포함하는 캘리브레이션 파라미터의 획득 방법.
청구항 2에 있어서,
상기 초기 캘리브레이션 파라미터에 근거하여 상기 오차 함수에 대해 최소화 처리를 진행하여 상기 사용될 캘리브레이션 파라미터를 획득하는 단계는,
상기 초기 캘리브레이션 파라미터에 근거하여 상기 오차 함수에 대해 최소화 처리를 진행하여 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 획득하는 단계;
상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은지 여부를 판단하는 단계; 및
상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은 것으로 결정될 경우, 상기 카메라 내부 매트릭스 및 상기 카메라 상대적 매트릭스를 상기 사용될 캘리브레이션 파라미터로 결정하고, 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 크거나 같은 것으로 결정될 경우, 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작을 때까지 다시 상기 복수의 이미지로부터 대응되는 포인트 세트를 획득하는 단계; 를 포함하는 캘리브레이션 파라미터의 획득 방법.
청구항 1에 있어서,
상기 복수의 이미지 샘플링 유닛은 동일 유형의 이미지 샘플링 유닛이거나 또는 서로 다른 유형의 이미지 샘플링 유닛이며, 여기서, 상기 복수의 이미지 샘플링 유닛의 유형은, 망원 카메라, 광각 카메라, 초광각 카메라, 초망원 카메라, 비행시간 TOF 심도 카메라, RGBD 심도 카메라, 구조형 광 심도 카메라, Mono카메라, 멀티뷰 카메라, 적외선 카메라 중 적어도 하나를 포함하는 캘리브레이션 파라미터의 획득 방법.
복수의 이미지 샘플링 유닛을 적용하여 캘리브레이션 시나리오 중의 캘리브레이션 이미지에 대해 촬영을 진행하여 복수의 이미지를 획득하도록 설정된 촬영 모듈;
상기 복수의 이미지로부터 대응되는 포인트 세트를 획득하도록 설정된 획득 모듈에 있어서, 상기 포인트 세트는 상기 캘리브레이션 이미지의 촬영된 표면상의 각 3차원 포인트의 상기 복수의 이미지에서의 대응되는 이미징 포인트인 획득 모듈; 및
상기 포인트 세트에 근거하여 상기 복수의 이미지 샘플링 유닛의 사용될 캘리브레이션 파라미터를 획득하도록 설정된 캘리브레이션 모듈; 을 포함하는 캘리브레이션 파라미터의 획득 장치.
청구항 7에 있어서,
상기 캘리브레이션 모듈은,
상기 포인트 세트를 통해 초기 캘리브레이션 파라미터를 결정하도록 설정된 결정 유닛;
상기 포인트 세트에 의해 획득한 재투영 오차에 기반하여 오차 함수를 생성하도록 설정된 생성 유닛; 및
상기 초기 캘리브레이션 파라미터에 근거하여 상기 오차 함수에 대해 최소화 처리를 진행하여 상기 사용될 캘리브레이션 파라미터를 획득하도록 설정된 처리 유닛; 을 포함하는 캘리브레이션 파라미터의 획득 장치.
청구항 8에 있어서,
상기 결정 유닛은,
상기 포인트 세트의 개수가 제1 사전 설정된 임계값보다 큰지 여부를 판단하도록 설정된 제1 판단 서브 유닛; 및
상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 큰 것으로 결정될 경우, 상기 초기 캘리브레이션 파라미터를 획득하고, 상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 작거나 같은 것으로 결정될 경우, 상기 포인트 세트의 개수가 상기 제1 사전 설정된 임계값보다 클 때까지 상기 복수의 이미지 샘플링 유닛의 위치와 캘리브레이션 이미지 사이의 거리를 조절하도록 설정된 제1 처리 서브 유닛; 을 포함하는 캘리브레이션 파라미터의 획득 장치.
청구항 9에 있어서,
상기 제1 처리 서브 유닛은, 상기 복수의 이미지 샘플링 유닛으로 상기 캘리브레이션 이미지를 동시에 촬영할 경우, 상기 복수의 이미지 샘플링 유닛의 위치와 상기 캘리브레이션 이미지 사이의 거리를 조절하여, 상기 캘리브레이션 이미지의 각 이미지 샘플링 유닛의 시야 범위에서의 비율이 사전 설정된 조건을 만족하도록 설정된 캘리브레이션 파라미터의 획득 장치.
청구항 8에 있어서,
상기 처리 유닛은,
상기 초기 캘리브레이션 파라미터에 근거하여 상기 오차 함수에 대해 최소화 처리를 진행하여 카메라 내부 매트릭스 및 카메라 상대적 매트릭스를 획득하도록 설정된 제2 처리 서브 유닛;
상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은지 여부를 판단하도록 설정된 제2 판단 서브 유닛; 및
상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작은 것으로 결정될 경우, 상기 카메라 내부 매트릭스 및 상기 카메라 상대적 매트릭스를 상기 사용될 캘리브레이션 파라미터로 결정하고, 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 크거나 같은 것으로 결정될 경우, 상기 오차 함수의 오차값이 제2 사전 설정된 임계값보다 작을 때까지 다시 상기 복수의 이미지로부터 대응되는 포인트 세트를 획득하도록 설정된 제3처리 서브 유닛; 을 포함하는 캘리브레이션 파라미터의 획득 장치.
컴퓨터 프로그램이 저장되어 있는 저장 매체에 있어서, 상기 컴퓨터 프로그램이 실행될 경우, 청구항1 내지 청구항6 중 어느 한 항에 따른 캘리브레이션 파라미터의 획득 방법을 실행하는 저장 매체.
프로그램을 실행하도록 설정된 프로세서에 있어서, 상기 프로그램이 실행될 경우, 청구항1 내지 청구항6 중 어느 한 항에 따른 캘리브레이션 파라미터의 획득 방법을 실행하는 프로세서.
컴퓨터 프로그램이 저장되어 있는 메모리 및 청구항1 내지 청구항6 중 어느 한 항에 따른 캘리브레이션 파라미터의 획득 방법을 실행하도록 상기 컴퓨터 프로그램을 실행하는 프로세서를 포함하는 전자기기.