KR20230002630A - 교정 방법, 교정 장치 및 이를 이용한 전자 장치 - Google Patents

Abstract

본 개시는 교정 방법, 교정 장치 및 이를 이용한 전자 장치를 개시한다. 여기서, 본 교정 방법은 복수의 카메라 유닛을 이용하여 교정 맵을 촬영하는 단계-여기서, 복수의 영상 각각은 교정 맵에 설정된 적어도 하나의 마킹 코드를 포함함; 적어도 하나의 마킹 코드를 기반으로 복수의 영상에서 대응하는 도트 세트를 식별하는 단계; 사전 설정된 교정 매개변수를 복수의 카메라 유닛의 초기 교정 매개변수로 입력하는 단계; 도트 세트 및 초기 교정 매개변수에 기초하여 복수의 카메라 유닛의 최종 교정 매개변수를 결정하여, 복수의 카메라 유닛간 교정을 실현하는 단계를 포함한다. 본 개시는 종래에 복수의 교정판이 있어야 복수의 카메라 유닛간의 교정이 가능했던 기술적 문제를 해결할 수 있다.

Description

교정 방법, 교정 장치 및 이를 이용한 전자 장치

본 개시는 2020년 04월 17일에 출원된 출원번호 제202010306693.2호 발명의 명칭 '교정방법, 교정장치 및 이를 적용한 전자장치'의 특허문서를 우선권 문서로 하고, 모든 내용은 일체로 본 개시에 인용된다.

본 개시는 영상 처리 기술에 관한 것으로, 특히 교정 방법, 교정 장치 및 이를 이 용한 전자 장치에 관한 것이다.

현재 듀얼 카메라, 트리플 카메라, 심지어는 멀티 카메라도 점차 휴대폰 카메라의 주류 구성이 되었고, 따라서 여러 카메라 간의 교정도 기본이자 핵심 기술 중 하나가 되었다. 기존의 교정 방식에서는, 복수의 교정판을 사용해야 하고 교정판의 배치 및 장면 설정에 대한 요구사항이 높기 때문에, 두 개 이상의 카메라의 교정 매개변수를 빠르고 정확하게 획득하고 카메라 간의 교정을 실현할 수 있는 간단하고 편리하며 효과적인 교정 기술을 제안할 필요가 있다.

본 개시의 일 실시예는 복수의 카메라 유닛 간의 교정을 수행하기 위해 복수의 교정판이 필요한 종래 기술의 기술적 문제를 적어도 해결하기 위한 교정 방법, 교정 장치 및 이를 이용한 전자 장치를 제공한다.

본 개시의 실시예의 일 측면에 따르면, 복수의 카메라 유닛을 사용하여 교정 맵을 촬영하고, 복수의 영상을 획득하는 단계-여기서, 복수의 영상 각각은 교정 맵에 설정된 적어도 하나의 마킹 코드를 포함함; 상기 적어도 하나의 마킹 코드를 기반으로 상기 복수의 영상에서 대응하는 도트 세트를 식별하는 단계; 사전 설정된 교정 매개변수를 상기 복수의 카메라 유닛의 초기 교정 매개변수로 입력하는 단계; 상기 도트 세트 및 상기 초기 교정 매개변수에 기초하여 상기 복수의 카메라 유닛의 최종 교정 매개변수를 결정하여, 상기 복수의 카메라 유닛간 교정을 실현하는 단계를 포함하는 복수의 카메라 유닛 교정 방법이 제공된다.

선택적으로, 상기 교정 맵은 M*N개의 도형 셀 어레이를 포함하고, 상기 적어도 하나의 마킹 코드는 상기 도형 셀 어레이에 설정되며, 여기서, M 및 N은 상기 적어도 하나의 마킹 코드의 수보다 크다.

선택적으로, 상기 교정 방법은 상기 도형 셀 어레이 상에서 각 도형 셀의 위치 및 방향을 결정하기 위해 상기 적어도 하나의 마킹 코드의 위치에 기초하여 좌표계를 구성한다.

선택적으로, 상기 마킹 코드의 수는 적어도 3개이며, 상기 좌표계는 직각 좌표계이다.

선택적으로, 상기 교정 방법은 상기 좌표계에 기초하여 상기 복수의 영상에서 대응하는 도트 세트를 식별하며, 상기 도트 세트는 상기 복수의 영상에서 동일한 위치에 있는 상기 도형 셀 어레이상의 각 도형 셀의 이미징 도트의 집합이다.

선택적으로, 상기 교정 맵의 수는 1이다.

선택적으로, 상기 사전 설정된 교정 매개변수는 상기 복수의 카메라 유닛의 초기 공장 교정 매개변수 또는 설계 매개변수에 기초하여 획득된다.

선택적으로, 상기 교정 방법은 상기 복수의 카메라 유닛의 초기 교정 매개변수로 상기 사전 설정된 교정 매개변수를 입력하기 전에, 상기 도트 세트의 수가 제1 임계값보다 큰지 여부를 판단하는 단계를 포함하며, 상기 도트 세트의 수가 제1 임계값보다 크면, 상기 사전 설정된 교정 매개변수는 상기 복수의 카메라 유닛의 초기 교정 매개변수로 입력되며, 상기 도트 세트 수가 상기 제1 임계값보다 크지 않으면, 상기 복수의 카메라 유닛을 계속해서 사용하여 상기 교정 맵을 촬영하여 상기 복수의 영상을 획득한다.

선택적으로, 상기 도트 세트 및 상기 초기 교정 매개변수에 기초하여 상기 복수의 카메라 유닛의 최종 교정 매개변수를 결정하여, 상기 복수의 카메라 유닛간 교정을 실현하는 단계는, 상기 도트 세트로부터 재투영 오차를 계산하여 오차 함수를 구성하는 단계; 상기 오차 함수를 최소화하고 상기 오차 함수의 오차 값이 제2 임계값보다 작은지 여부를 판단하는 단계; 상기 오차 함수의 오차 값이 상기 제2 임계값보다 작으면, 최소화 처리가 완료되고, 상기 초기 교정 매개변수 및 상기 오차 함수에 기초하여 상기 복수의 카메라 유닛의 내부 행렬 및 상대 행렬을 상기 복수의 카메라 유닛의 최종 교정 매개변수로 획득하는 단계; 상기 오차 함수의 오차 값이 상기 제2 임계값보다 작지 않으면, 상기 복수의 카메라 유닛을 계속 사용하여 상기 교정 맵을 촬영하여 상기 복수의 영상을 획득하는 단계를 포함한다.

본 개시의 실시예의 다른 측면에 따르면, 교정 맵을 촬영하여 복수의 영상을 획득하기 위한 복수의 카메라 유닛을 포함하는 영상 획득 유닛-여기서, 상기 복수의 영상 각각은 상기 교정 맵에 설정된 적어도 하나의 마킹 코드를 포함함; 상기 적어도 하나의 마킹 코드에 기초하여 상기 복수의 영상에서 대응하는 도트 세트를 식별하는 식별 유닛; 상기 복수의 카메라 유닛의 초기 교정 매개변수로서 사전 설정된 교정 매개변수를 입력하는 입력 유닛; 상기 도트 세트 및 상기 초기 교정 매개변수에 기초하여 상기 복수의 카메라 유닛의 최종 교정 매개변수를 결정하여 상기 복수의 카메라 유닛간 교정을 실현하는 최종 매개변수 결정 유닛을 포함하는 교정 장치가 제공된다.

선택적으로, 상기 교정 맵은 M*N개의 도형 셀 어레이를 포함하고, 상기 적어도 하나의 마킹 코드는 상기 도형 셀 어레이에 설정되며, 여기서, M 및 N은 상기 적어도 하나의 마킹 코드의 수보다 크다.

선택적으로, 상기 영상 획득 유닛은 상기 도형 셀 어레이 상에서 각 도형 셀의 위치 및 방향을 결정하기 위해 상기 적어도 하나의 마킹 코드의 위치에 기초하여 좌표계를 구성하는 좌표 구축 유닛을 포함한다.

선택적으로, 상기 마킹 코드의 수는 적어도 3개이며, 상기 좌표계는 직각 좌표계이다.

선택적으로, 상기 식별 유닛은 상기 좌표계에 기초하여 상기 복수의 영상에서 대응하는 도트 세트를 식별하며, 상기 도트 세트는 상기 복수의 영상에서 동일한 위치에 있는 상기 도형 셀 어레이상의 각 도형 셀의 이미징 도트의 집합이다.

선택적으로, 상기 교정 맵의 수는 1이다.

선택적으로, 상기 입력 유닛은 상기 복수의 카메라 유닛의 초기 공장 교정 매개변수 또는 설계 매개변수에 기초하여 상기 사전 설정된 교정 매개변수를 획득하는 사전 설정 매개변수 획득 유닛을 포함한다.

선택적으로, 상기 입력 유닛은 상기 복수의 카메라 유닛의 초기 교정 매개변수로 상기 사전 설정된 교정 매개변수를 입력하기 전에, 상기 도트 세트의 수가 제1 임계값보다 큰지 여부를 판단하는 판단 유닛을 포함하며, 상기 도트 세트의 수가 제1 임계값보다 크면, 상기 사전 설정된 교정 매개변수는 상기 복수의 카메라 유닛의 초기 교정 매개변수로 입력되며, 상기 도트 세트 수가 상기 제1 임계값보다 크지 않으면, 상기 복수의 카메라 유닛을 계속해서 사용하여 상기 교정 맵을 촬영하여 상기 복수의 영상을 획득한다.

선택적으로, 상기 최종 매개변수 결정 유닛은 상기 도트 세트로부터 재투영 오차를 계산하여 오차 함수를 구성하는 오차 계산 유닛; 상기 오차 함수를 최소화하고 상기 오차 함수의 오차 값이 제2 임계값보다 작은지 여부를 판단하는 오차 처리 유닛; 상기 오차 함수의 오차 값이 상기 제2 임계값보다 작으면, 최소화 처리의 완료를 결정하고, 상기 초기 교정 매개변수 및 상기 오차 함수에 기초하여 상기 복수의 카메라 유닛의 내부 행렬 및 상대 행렬을 상기 복수의 카메라 유닛의 최종 교정 매개변수로 획득하는 매개변수 계산 유닛을 포함하며, 상기 오차 함수의 오차 값이 상기 제2 임계값보다 작지 않으면, 상기 복수의 카메라 유닛을 계속 사용하여 상기 교정 맵을 촬영하여 상기 복수의 영상을 획득한다.

본 개시의 실시예의 다른 측면에 따르면, 저장된 프로그램을 포함하는 저장 매체가 제공되며, 상기 프로그램 실행시 상기 저장 매체가 위치한 장치는 상술한 교정 방법 중 하나를 실행하도록 제어된다.

본 개시의 실시예의 다른 측면에 따르면, 프로세서, 및 상기 프로세서의 실행 가능한 명령을 저장하기 위한 메모리를 포함하는 전자 장치가 또한 제공되며, 상기 프로세서는 실행 가능한 명령을 실행하여 상술한 교정 방법 중 하나를 실행한다.

본 개시의 실시예에서, 이하의 단계를 수행한다: 복수의 카메라 유닛을 사용하여 교정 맵을 촬영하고, 복수의 영상을 획득하는 단계-여기서, 복수의 영상 각각은 교정 맵에 설정된 적어도 하나의 마킹 코드를 포함함; 상기 적어도 하나의 마킹 코드를 기반으로 상기 복수의 영상에서 대응하는 도트 세트를 식별하는 단계; 사전 설정된 교정 매개변수를 상기 복수의 카메라 유닛의 초기 교정 매개변수로 입력하는 단계; 상기 도트 세트 및 상기 초기 교정 매개변수에 기초하여 상기 복수의 카메라 유닛의 최종 교정 매개변수를 결정하여, 상기 복수의 카메라 유닛간 교정을 실현하는 단계.

복수의 카메라 유닛 간의 교정을 수행하기 위해 복수의 교정판이 필요한 종래 기술의 기술적 문제가 해결되었다.

여기에 설명된 첨부 도면은 본 개시의 이해를 돕기 위해 사용되고, 본 개시의 일부를 구성하고, 본 개시의 예시적인 실시예 및 그에 대한 설명은 본 개시를 설명하기 위해 사용되며, 본 발명의 부적절한 제한을 구성하지 않는다. 첨부 도면에서,
도 1은 본 개시의 일 실시예에 따른 선택적 교정 방법의 흐름도;
도 2는 본 개시의 일 실시예에 따른 선택적 교정판의 개략도;
도 3은 본 개시의 일 실시예에 따른 선택적 교정 장치의 구성도이다.

이하, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자가 본 개시 내용을 보다 잘 이해할 수 있도록, 이하 본 개시의 실시예에서 첨부된 도면을 참조하여, 본 개시의 실시예에서 기술적 해결방안을 명확히 하기 위해, 완전하게 설명하며, 설명된 실시예는 본 발명의 일부일 뿐 실시예의 전부는 아니다. 본 개시의 실시예에 기초하여, 기술 분야에서 통상의 지식을 가진 자가 창의적인 노력 없이 획득한 다른 모든 실시예는 본 발명의 보호 범위에 속할 것이다.

유의해야 할 점은, 본 개시의 상세한 설명 및 특허청구범위 및 상술한 도면에서 "제1", "제2" 등의 용어는 유사한 대상을 구별하기 위해 사용된 것으로, 반드시 특정 순서 또는 순서를 설명하기 위해 사용되는 것은 아니다. 이와 같은 사용 순서는 적절한 상황에서 상호 교환될 수 있으므로, 여기에 설명된 개시 내용의 실시예가 여기에 설명되거나 설명된 것과 다른 순서로 실시될 수 있음을 이해해야 한다. 또한, 용어 "포함하다" 및 "가지다" 및 이들의 임의의 변형은 비배타적인 포함을 포함하도록 의도되며, 예를 들어, 일련의 단계 또는 유닛을 포함하는 프로세스, 방법, 시스템, 제품 또는 장치는 명시적으로 나열된 단계 또는 유닛으로 제한되지 않으며, 오히려 프로세스, 방법, 제품 또는 장치에 명시적으로 나열되지 않거나 고유하지 않은 다른 단계 또는 유닛을 포함될 수 있다.

본 개시의 실시예는 적어도 2개의 카메라 유닛을 갖는 모듈간의 교정, 적어도 2개의 카메라 유닛을 가진 전자 장치에서 카메라 유닛간의 교정, 및 카메라 유닛을 가진 적어도 2개의 전자 장치간의 교정 또는 카메라 유닛을 가진 모듈과 전자 장치간의 교정에 사용될 수 있으며, 전자 장치는 스마트폰, 태블릿, e-리더, 노트북, 개인 정보 단말(PDA), 휴대용 멀티미디어 플레이어(PMP), 카메라 또는 웨어러블 장치(시계, 팔찌, 안경, 헤드폰 등 액세서리 유형의 장치), 차량용 전자 장치 등을 포함할 수 있다.

다음은 본 개시의 일 실시예에 따른 선택적 교정 방법의 흐름도를 설명한다. 첨부된 도면의 순서도에 표시된 단계는, 컴퓨터 실행 가능 명령 세트와 같이, 컴퓨터 시스템에서 실행될 수 있으며, 순서도에는 논리적 순서가 표시되어 있지만, 일부 경우에, 도시되거나 설명된 단계는 여기와 다른 순서로 수행될 수도 있다.

도 1을 참조하면, 본 개시의 일 실시예에 따른 선택적 교정 방법의 흐름도이다. 도 1과 같은 교정 방법은 다음 단계를 포함한다.

S100: 복수의 카메라 유닛을 사용하여 교정 맵을 촬영하여 복수의 영상을 획득하며, 복수의 영상 각각은 교정 맵에 설정된 적어도 하나의 마킹 코드를 포함한다.

선택적인 실시예에서, 교정 맵의 개수는 1이고, 교정 맵은 M*N개의 도형 셀 어레이를 포함하고, 적어도 하나의 마킹 코드는 도형 셀 어레이에 설정되며, 여기서, M 및 N은 마킹 코드의 개수보다 크다. 도형 셀은 예를 들어, 도트, 바둑판, 삼각형 또는 합리적으로 적용 가능한 도형 셀과 같은 다양한 기하학적 모양의 셀일 수 있으며, 마킹 코드 또한 속이 빈 원, 도트, 격자, 삼각형 등 또는 2차원 코드 등과 같이 합리적으로 적용 가능한 기타 마킹 코드일 수 있다. 여기서, 대칭기하형상(예: 도트, 격자 등)을 마킹 코드로 사용하는 경우, 마킹 코드의 개수는 최소 3개이며, 2차원 코드와 같은 복잡한 마킹 코드를 사용하는 경우에는 마킹 코드의 개수가 최소 3개일 필요는 없다.

선택적인 실시예에서, 좌표계는 도형 셀 어레이 상에서 각 도형 셀의 위치 및 방향을 결정하기 위해 적어도 하나의 마킹 코드의 위치에 기초하여 구성될 수 있다.

선택적인 실시예에서, 복수의 카메라 유닛을 사용하여 교정 맵을 촬영하고 복수의 영상을 획득하기 전에, 복수의 카메라 유닛과 교정 맵 사이의 거리 또는 각도를 조정하며, 복수의 카메라 유닛에 의해 획득된 복수의 영상 각각은 상술한 교정 맵에 설정된 하나 이상의 마킹 코드를 포함한다.

복수의 카메라 유닛은 동일한 유형의 영상 획득 요소, 또는, 복수의 카메라 유닛은 서로 다른 유형의 영상 획득 요소일 수 있으며, 여기서 복수의 카메라 유닛의 유형은 망원 카메라, 광각 카메라, 초광각 카메라, 초망원 카메라, TOF(Time-of-Flight) 심도 카메라, 일반 RGB 카메라, RGBD 심도 카메라, 구조광 심도 카메라, 모노 카메라, 다안 카메라, 적외선 카메라 등을 포함한다.

S102: 적어도 하나의 마킹 코드를 기반으로 복수의 영상에서 대응하는 도트 세트를 식별한다.

복수의 교정 맵을 채택한 기존 교정 방법에서는, 복수의 교정 맵의 배치 각도와 스타일이 다르기 때문에, 각 도형 셀의 위치 및 방향 정보가 내포되어 있어서, 마킹 코드를 설정하지 않고도 도트 세트를 획득할 수 있지만, 본 개시에 따른 교정 방법에서는, 하나의 교정 맵만을 사용하기 때문에, 내포된 정보가 없으므로, 교정 맵에 설정된 적어도 하나의 마킹 코드를 통해 특정 좌표계를 설정할 수 있고, 설정된 좌표계를 기반으로 도형 셀 어레이에서 각 도형 셀의 위치와 방향을 결정할 수 있어서, 복수의 영상에서 대응하는 도트 세트를 식별할 수 있다. 도트 세트는 복수의 영상에서 동일한 위치에 있는 도형 셀 어레이상의 각 도형 셀의 이미징 도트의 집합이다.

도 2는 본 개시의 일 실시예에 따른 선택적 교정 맵의 개략도이다. 도 2와 같이 교정 맵은 M*N 도트 셀 어레이로 구성되며, 여기서 M과 N은 마킹 코드의 수보다 크며, 고정된 상대 위치를 가진 3개의 동심원이 도트 셀 어레이에 마킹 코드로 설정된다. 카메라 유닛은 일반적으로 교정 맵의 중심에 정렬되기 때문에, 3 개의 동심원을 전체적으로 1 개로 간주할 수 있으며, 기하학적 중심은 교정 맵의 중앙에 위치한다. 예를 들어 최상단 동심원을 원점으로 하고, 원점에서 왼쪽 아래 동심원 방향을 Y축으로 하고, 원점에서 오른쪽 아래 동심원 방향을 X축으로 함으로써, 3개의 동심원을 기반으로 하는 표준 직각 좌표계를 구성하여, 동심원을 기준으로 도트 셀 어레이의 각 도트의 위치와 방향을 결정하는 데 사용되므로, 복수의 영상에서 동일한 위치에 있는 도트를 대응시켜 후속 교정 단계를 실현할 수 있다.

S104: 사전 설정된 교정 매개변수를 복수의 카메라 유닛의 초기 교정 매개변수로 입력한다.

선택적인 실시예에서, 사전 설정된 교정 매개변수는 복수의 카메라 유닛의 초기 공장 교정 매개변수 또는 설계 매개변수에 기초하여 획득될 수 있다. 예를 들어, 공장 출고 전에, 카메라 유닛을 교정하기 위해서, 설계 매개변수를 사전 설정된 교정 매개변수로 사용할 수 있고, 예를 들어, 모듈 교체 또는 낙하로 인해, 출고 전 카메라 유닛의 교정 외에도, 판매 후에 교정할 수도 있으며, 이 때, 초기 공장 교정 매개변수 또는 설계 매개변수를 사전 설정된 교정 매개변수로 사용하도록 선택할 수 있다. 교정 매개변수는 카메라 유닛의 내부 매개변수 및 상대 매개변수를 포함하며, 내부 매개변수는 초점 거리, 주점 좌표 및 왜곡 계수 등과 같은 매개변수를 포함하고, 상대 매개변수는 카메라 유닛 간의 회전 및 병진(translation) 등과 같은 매개변수를 포함한다.

선택적인 실시예에서, 복수의 카메라 유닛의 초기 교정 매개변수로 사전 설정된 교정 매개변수를 입력하기 전에, 교정 방법은 도트 세트의 수가 제1 임계값보다 큰지 여부를 판단하는 단계를 더 포함할 수 있다. 도트 세트의 수가 제1 임계값보다 크면, 사전 설정된 교정 매개변수는 복수의 카메라 유닛의 초기 교정 매개변수로 입력되며, 도트 세트 수가 제1 임계값보다 크지 않으면 복수의 카메라 유닛을 계속해서 사용하여 교정 맵을 촬영하여 복수의 영상을 획득한다.

S106: 도트 세트 및 초기 교정 매개변수에 기초하여 복수의 카메라 유닛의 최종 교정 매개변수를 결정하여, 복수의 카메라 유닛간 교정을 실현한다.

선택적인 실시예에서, 단계 S106은 도트 세트로부터 재투영 오차를 계산하여 오차 함수를 구성하는 단계; 오차 함수를 최소화하고 오차 함수의 오차 값이 제2 임계값보다 작은지 여부를 판단하는 단계; 오차 함수의 오차 값이 제2 임계값보다 작으면, 최소화 처리가 완료되고, 초기 교정 매개변수 및 오차 함수에 기초하여 복수의 카메라 유닛의 내부 행렬 및 상대 행렬을 복수의 카메라 유닛의 최종 교정 매개변수로 획득하는 단계; 오차 함수의 오차 값이 제2 임계값보다 작지 않으면, 복수의 카메라 유닛을 계속 사용하여 교정 맵을 촬영하여 복수의 영상을 획득하는 단계를 포함한다. 여기서, 내부 행렬은 내부 매개변수의 행렬 표현이고, 상대 행렬은 상대 매개변수의 행렬 표현이다.

선택적인 실시예에서, 도트 세트에 기초하여 재투영 오차를 계산하는 단계는, 복수의 카메라 유닛들 중 하나의 카메라 유닛에 의해 획득된 영상 상의 임의의 한 픽셀 도트를 변환하고 그것을 다른 카메라 유닛에 의해 획득된 영상에 투영하여, 다른 카메라 유닛에 의해 획득된 영상 상의 픽셀 도트의 투영 도트 위치 및 이미징 도트 위치에 기초하여 재투영 오차를 계산하는 단계를 포함한다.

선택적인 실시예에서, 초기 교정 매개변수에 기초하여 오차 함수를 최소화하는 처리는 교정 매개변수를 반복적으로 최적화함으로써 오차를 최소화하는 처리일 수 있다.

본 개시의 일 실시예에서 제공되는 교정 방법에 따르면, 카메라 유닛의 유형에 대한 요구사항이 없고, 카메라 유닛들의 위치가 서로 인접할 필요도 없고, 복수의 카메라 유닛 중 임의의 적어도 2개의 카메라 유닛을 교정할 수 있으며, 또한, 복수의 카메라 유닛의 자체적인 자세 및 상대적인 자세의 조정도 필요하지 않다. 또한 본 교정 방법은 획득한 복수의 영상이 완전한 교정 맵을 포함하고 있을 필요가 없고, 카메라 유닛을 포함하는 모듈 및 전자 장치와 같은 동일하거나 상이한 장치간 교정을 실현하기 위해 교정 맵에 적어도 하나의 마킹 코드만 포함하면 되며, 교정 맵의 배치 위치와 자세 및 촬영 각도에 대한 특별한 요구 사항이 없다. 교정 방법은 복수의 카메라 유닛의 교정을 빠르고 간단하며 정확하게 실현할 수 있다.

본 개시의 실시예의 일 응용 사례에서, 복수의 모듈 또는 전자 장치를 통해 교정 맵을 동시에 촬영하고, 상술한 교정 방법에 기초하여 교정함으로써, 생산 라인에서 다중 스테이션 교정을 실현하고 교정 효율을 향상시킬 수 있으며, 그 중에서, 각 모듈 또는 전자 장치는 적어도 두 개의 카메라 유닛을 포함한다.

본 개시의 실시예의 다른 응용 사례에서, 상술한 교정 방법에 의해 획득된 교정 매개변수에 기초하여 복수의 카메라 유닛에 의해 촬영된 영상을 교정할 수 있으며, 즉, 교정 매개변수를 사용하여 복수의 카메라 유닛이 촬영한 입력 영상을 변환하여, 해당 도트 세트가 동일한 수평선에 위치하도록 한다.

본 개시의 실시예의 다른 측면에 따르면, 교정 장치도 제공된다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 선택적 교정 장치의 구성도이다. 도 3에 도시된 바와 같이, 교정 장치(30)는 영상 획득 유닛(300), 식별 유닛(302), 입력 유닛(304) 및 최종 매개변수 결정 유닛(306)을 포함한다.

교정 장치(30)에 포함된 각 유닛에 대해서는 후술한다.

영상 획득 유닛(300)은 교정 맵을 촬영하여 복수의 영상을 획득하기 위한 복수의 카메라 유닛을 포함하며, 여기서, 복수의 영상 각각은 교정 맵에 설정된 적어도 하나의 마킹 코드를 포함한다.

선택적인 실시예에서, 교정 맵의 개수는 1이고, 교정 맵은 M*N개의 도형 셀 어레이를 포함하고, 도형 셀 어레이에는 적어도 하나의 마킹 코드가 설정되며, 여기서, M 및 N은 마킹 코드의 개수보다 크다. 도형 셀은 예를 들어, 도트, 바둑판, 삼각형 또는 합리적으로 적용 가능한 도형 셀과 같은 다양한 기하학적 모양의 셀일 수 있으며, 마킹 코드 또한 속이 빈 원, 도트, 격자, 삼각형 등 또는 2차원 코드 등과 같이 합리적으로 적용 가능한 기타 마킹 코드일 수 있다. 여기서, 대칭기하형상(예: 도트, 격자 등)을 마킹 코드로 사용하는 경우, 마킹 코드의 수는 최소 3개이며, 2차원 코드와 같은 복잡한 마킹 코드를 사용하는 경우에는 마킹 코드의 개수가 최소 3개일 필요는 없다.

선택적인 실시예에서, 영상 획득 유닛(300)은 도형 셀 어레이 상에서 각 도형 셀의 위치 및 방향을 결정하기 위해, 적어도 하나의 마킹 코드의 위치에 따른 좌표계를 구성하는 좌표 구성 유닛을 포함한다.

선택적인 실시예에서, 영상 획득 유닛(300)은 복수의 카메라 유닛을 사용하여 교정 맵을 촬영하고 복수의 영상을 획득하기 전에, 복수의 카메라 유닛과 교정 맵 사이의 거리 또는 각도를 조정하도록 구성된 위치 조정 유닛을 포함할 수 있으며, 복수의 카메라 유닛에 의해 획득된 복수의 영상 각각은 상술한 교정 맵에 설정된 적어도 하나의 마킹 코드를 포함한다.

복수의 카메라 유닛은 동일한 유형의 영상 획득 요소, 또는, 복수의 카메라 유닛은 서로 다른 유형의 영상 획득 요소일 수 있으며, 여기서 복수의 카메라 유닛의 유형은 망원 카메라, 광각 카메라, 초광각 카메라, 초망원 카메라, TOF(Time-of-Flight) 심도 카메라, 일반 RGB 카메라, RGBD 심도 카메라, 구조광 심도 카메라, 모노 카메라, 다안 카메라, 적외선 카메라 등을 포함한다.

식별 유닛(302)은 적어도 하나의 마킹 코드에 기초하여 복수의 영상에서 대응하는 도트 세트를 식별한다.

선택적인 실시예에서, 식별 유닛(302)은 적어도 하나의 마킹 코드에 의해 구성된 좌표계에 기초하여 도형 셀 어레이 상의 각 도형 셀의 위치 및 방향을 결정하여 복수의 영상에서 대응하는 도트 세트를 식별한다. 도트 세트는 복수의 영상에서 동일한 위치에 있는 도형 셀 어레이상의 각 도형 셀의 이미징 도트의 집합이다.

입력 유닛(304)은 복수의 카메라 유닛의 초기 교정 매개변수로서 사전 설정된 교정 매개변수를 입력한다.

선택적인 실시예에서, 입력 유닛(304)은 복수의 카메라 유닛의 초기 공장 교정 매개변수 또는 설계 매개변수에 기초하여 사전 설정된 교정 매개변수를 획득하기 위한 사전 설정 매개변수 획득 유닛을 포함한다. 예를 들어, 공장 출고 전에, 카메라 유닛을 교정하기 위해서, 설계 매개변수를 사전 설정된 교정 매개변수로 사용할 수 있고, 예를 들어, 모듈 교체 또는 낙하로 인해, 출고 전 카메라 유닛의 교정 외에도, 판매 후에 교정할 수도 있으며, 이 때, 초기 공장 교정 매개변수 또는 설계 매개변수를 사전 설정된 교정 매개변수로 사용하도록 선택할 수 있다. 교정 매개변수는 카메라 유닛의 내부 매개변수 및 상대 매개변수를 포함하며, 내부 매개변수는 초점 거리, 주점 좌표 및 왜곡 계수 등과 같은 매개변수를 포함하고, 상대 매개변수는 카메라 유닛 간의 회전 및 병진 등과 같은 매개변수를 포함한다.

선택적인 실시예에서, 입력 유닛(304)은 복수의 카메라 유닛의 초기 교정 매개변수로 사전 설정된 교정 매개변수를 입력하기 전에, 도트 세트의 개수가 제1 임계값보다 큰지 여부를 판단하는 판단 유닛을 더 포함할 수 있다. 도트 세트의 수가 제1 임계값보다 크면, 사전 설정된 교정 매개변수는 복수의 카메라 유닛의 초기 교정 매개변수로 입력되며, 도트 세트 수가 제1 임계값보다 크지 않으면 복수의 카메라 유닛을 계속해서 사용하여 교정 맵을 촬영하여 복수의 영상을 획득한다.

최종 매개변수 결정 유닛(306)은 도트 세트 및 초기 교정 매개변수에 기초하여 복수의 카메라 유닛의 최종 교정 매개변수를 결정한다.

선택적인 실시예에서, 최종 매개변수 결정 유닛(306)은 도트 세트로부터 재투영 오차를 계산하여 오차 함수를 구성하는 오차 계산 유닛; 오차 함수를 최소화하고 오차 함수의 오차 값이 제2 임계값보다 작은지 여부를 판단하는 오차 처리 유닛; 오차 함수의 오차 값이 제2 임계값보다 작으면 최소화 처리의 완료를 결정하고, 상기 초기 교정 매개변수 및 상기 오차 함수 계산에 기초하여 복수의 카메라 유닛의 내부 행렬 및 상대 행렬을 복수의 카메라 유닛의 최종 교정 매개변수로서 획득하는 매개변수 계산 유닛을 포함하며, 오차 함수의 오차 값이 제2 임계값보다 작지 않으면, 복수의 카메라 유닛을 계속 사용하여 교정 맵을 촬영하여 복수의 영상을 획득한다. 여기서, 내부 행렬은 내부 매개변수의 행렬 표현이고, 상대 행렬은 상대 매개변수의 행렬 표현이다.

선택적인 실시예에서, 오차 계산 유닛은 복수의 카메라 유닛들 중 하나의 카메라 유닛에 의해 획득된 영상 상의 임의의 픽셀 도트를 변환하고 그것을 다른 카메라 유닛에 의해 획득된 영상에 투영하는 투영 유닛; 다른 카메라 유닛에 의해 획득된 영상 상의 픽셀 도트의 투영 도트 위치 및 이미징 도트 위치에 기초하여 재투영 오차를 계산하는 투영 오차 계산 유닛을 포함한다.

선택적인 실시예에서, 초기 교정 매개변수에 기초하여 오차 함수를 최소화하는 처리는 교정 매개변수를 반복적으로 최적화함으로써 오차를 최소화하는 처리일 수 있다.

본 개시의 실시예에서 제공하는 교정 장치에 따르면, 카메라 유닛의 종류에 대한 요구 사항이 없고, 카메라 유닛들의 위치가 서로 인접할 필요도 없고, 복수의 카메라 유닛 중 임의의 적어도 2개의 카메라 유닛을 교정할 수 있으며, 또한, 복수의 카메라 유닛의 자체적인 자세 및 상대적인 자세의 조정도 필요하지 않다. 또한, 본 교정 장치는 획득한 복수의 영상이 완전한 교정 맵을 포함하고 있을 필요가 없고, 카메라 유닛을 포함하는 전자 장치 및 모듈과 같은 동일하거나 상이한 장치간 교정을 실현하기 위해 교정 맵에 적어도 하나의 마킹 코드만 포함하면 되며, 교정 맵의 배치 위치와 자세 및 촬영 각도에 대한 특별한 요구 사항이 없다. 본 교정 장치는 복수의 카메라 유닛의 교정을 빠르고 간단하며 정확하게 실현할 수 있다.

본 개시의 실시예의 일 응용 사례에서, 상술한 교정 장치를 채용하여 복수의 모듈 또는 전자 장치를 통해 교정 맵을 동시에 촬영하여 교정할 수 있어서, 생산 라인에서 다중 스테이션 교정을 실현하고 교정 효율을 향상시킬 수 있으며, 각 모듈 또는 전자 장치는 적어도 두 개의 카메라 유닛을 포함한다.

본 개시의 실시예의 다른 응용 사례에서, 상술한 교정 장치에 의해 획득된 교정 매개변수에 기초하여 복수의 카메라 유닛에 의해 촬영된 영상을 교정할 수 있으며, 즉, 교정 매개변수를 사용하여 복수의 카메라 유닛이 촬영한 입력 영상을 변환하여, 해당 도트 세트가 동일한 수평선에 위치하도록 한다.

본 개시의 실시예의 다른 측면에 따르면, 프로세서, 및 상기 프로세서의 실행 가능한 명령을 저장하기 위한 메모리를 포함하는 전자 장치가 또한 제공되며, 여기서 상기 프로세서는 실행 가능한 명령을 실행하여 상술한 교정 방법 중 하나를 실행한다.

본 개시의 실시예의 다른 측면에 따르면, 저장된 프로그램을 포함하는 저장 매체가 더 제공되고, 프로그램 실행시 저장 매체가 위치한 장치는 상술한 교정 방법 중 하나를 실행하도록 제어된다.

상술한 본 개시의 실시예의 일련번호는 단지 설명을 위한 것일 뿐, 실시예의 장점 또는 단점을 나타내지 않는다.

본 개시의 상술한 실시예에서, 각 실시예에 대한 설명은 고유한 강조점이 있으며, 특정 실시예에서 구체적으로 설명되지 않은 부분에 대해서는 다른 실시예의 관련된 설명을 참조할 수 있다.

본 개시에서 제공된 일부 실시예에서, 개시된 기술 내용은 다른 방식으로 구현될 수 있음을 이해해야 한다. 여기서, 상술한 장치의 실시예는 예시일 뿐이며, 예를 들어, 유닛의 분할은 논리적 기능 분할일 수 있고, 실제 실현시 다른 분할 방법이 있을 수 있으며, 예를 들어, 복수의 유닛 또는 구성요소를 결합하거나 다른 시스템에 통합하거나 일부 기능을 무시하거나 구현되지 않을 수 있다. 한편, 도시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스, 유닛 또는 모듈을 통한 간접 결합 또는 통신 연결일 수 있으며, 전기적 또는 다른 형태일 수 있다.

분리된 구성 요소로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수 있고, 유닛으로 표시된 구성 요소는 물리적 유닛일 수도 있고 아닐 수도 있으며, 한 곳에 위치하거나 여러 유닛에 분산될 수 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예의 목적을 달성할 수 있다.

또한, 본 개시의 각 실시예에서 각 기능 유닛은 하나의 처리 유닛으로 통합될 수 있거나, 각 유닛이 물리적으로 단독으로 존재할 수 있거나, 둘 이상의 유닛이 하나의 유닛으로 통합될 수 있다. 상술한 통합 유닛들은 하드웨어의 형태로 구현될 수도 있고, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.

상기 통합 유닛은 소프트웨어 기능 유닛의 형태로 구현되어 독립적인 제품으로 판매 또는 사용되는 경우, 컴퓨터로 읽을 수 있는 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본 발명의 기술적 해결 방안은 본질적으로 또는 종래 기술에 기여하는 부분 또는 기술적 해결 방안의 전부 또는 일부가 하나의 저장 매체에 저장되며, 하나의 컴퓨터 장치(개인용 컴퓨터, 서버 또는 네트워크 장치 등이 될 수 있음)가 본 개시의 각 실시예에 설명된 방법의 전체 또는 일부 단계를 실행하게 하기 위한 여러 명령을 포함하는 소프트웨어 제품의 형태로 구현될 수 있다. 앞서 언급한 저장 매체에는 U 디스크, 읽기 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 외장 하드 디스크, 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 매체를 포함한다.

이상은 본 개시의 바람직한 실시 방식일뿐이며, 본 기술분야의 통상의 지식을 가진 자라면 본 개시의 원리를 벗어나지 않는다는 전제 하에, 다양한 개선 및 수정을 할 수 있으며, 이러한 개선 및 수정도 본 개의 보호 범위로 간주된다는 점을 유의하여야 한다.

Claims (20)

1. 복수의 카메라 유닛을 사용하여 교정 맵을 촬영하고, 복수의 영상을 획득하는 단계-여기서, 복수의 영상 각각은 교정 맵에 설정된 적어도 하나의 마킹 코드를 포함함;
   상기 적어도 하나의 마킹 코드를 기반으로 상기 복수의 영상에서 대응하는 도트 세트를 식별하는 단계;
   사전 설정된 교정 매개변수를 상기 복수의 카메라 유닛의 초기 교정 매개변수로 입력하는 단계;
   상기 도트 세트 및 상기 초기 교정 매개변수에 기초하여 상기 복수의 카메라 유닛의 최종 교정 매개변수를 결정하여, 상기 복수의 카메라 유닛간 교정을 실현하는 단계를 포함하는 복수의 카메라 유닛 교정 방법.
2. 청구항 1에 있어서, 상기 교정 맵은 M*N개의 도형 셀 어레이를 포함하고, 상기 적어도 하나의 마킹 코드는 상기 도형 셀 어레이에 설정되며, 여기서 M 및 N은 상기 적어도 하나의 마킹 코드의 수보다 큰 것을 특징으로 하는 복수의 카메라 유닛 교정 방법.
3. 청구항 2에 있어서, 좌표계는 상기 도형 셀 어레이 상에서 각 도형 셀의 위치 및 방향을 결정하기 위해 상기 적어도 하나의 마킹 코드의 위치에 기초하여 구성되는 것을 특징으로 하는 복수의 카메라 유닛 교정 방법.
4. 청구항 3에 있어서, 상기 마킹 코드의 수는 적어도 3개이며, 상기 좌표계는 직각 좌표계인 것을 특징으로 하는 복수의 카메라 유닛 교정 방법.
5. 청구항 2 또는 청구항 3에 있어서, 상기 좌표계에 기초하여 상기 복수의 영상에서 대응하는 도트 세트를 식별하며, 상기 도트 세트는 상기 복수의 영상에서 동일한 위치에 있는 상기 도형 셀 어레이상의 각 도형 셀의 이미징 도트의 집합인 것을 특징으로 하는 복수의 카메라 유닛 교정 방법.
6. 청구항 1에 있어서, 상기 교정 맵의 수는 1인 것을 특징으로 하는 복수의 카메라 유닛 교정 방법.
7. 청구항 1에 있어서, 상기 사전 설정된 교정 매개변수는 상기 복수의 카메라 유닛의 초기 공장 교정 매개변수 또는 설계 매개변수에 기초하여 획득되는 것을 특징으로 하는 복수의 카메라 유닛 교정 방법.
8. 청구항 1에 있어서, 상기 복수의 카메라 유닛의 초기 교정 매개변수로 상기 사전 설정된 교정 매개변수를 입력하기 전에, 상기 도트 세트의 수가 제1 임계값보다 큰지 여부를 판단하는 단계를 포함하며, 상기 도트 세트의 수가 제1 임계값보다 크면, 상기 사전 설정된 교정 매개변수는 상기 복수의 카메라 유닛의 초기 교정 매개변수로 입력되며, 상기 도트 세트 수가 상기 제1 임계값보다 크지 않으면, 상기 복수의 카메라 유닛을 계속해서 사용하여 상기 교정 맵을 촬영하여 상기 복수의 영상을 획득하는 것을 특징으로 하는 복수의 카메라 유닛 교정 방법.
9. 청구항 1에 있어서, 상기 도트 세트 및 상기 초기 교정 매개변수에 기초하여 상기 복수의 카메라 유닛의 최종 교정 매개변수를 결정하여, 상기 복수의 카메라 유닛간 교정을 실현하는 단계는,
   상기 도트 세트로부터 재투영 오차를 계산하여 오차 함수를 구성하는 단계;
   상기 오차 함수를 최소화하고 상기 오차 함수의 오차 값이 제2 임계값보다 작은지 여부를 판단하는 단계;
   상기 오차 함수의 오차 값이 상기 제2 임계값보다 작으면, 최소화 처리가 완료되고, 상기 초기 교정 매개변수 및 상기 오차 함수에 기초하여 상기 복수의 카메라 유닛의 내부 행렬 및 상대 행렬을 상기 복수의 카메라 유닛의 최종 교정 매개변수로 획득하는 단계;
   상기 오차 함수의 오차 값이 상기 제2 임계값보다 작지 않으면, 상기 복수의 카메라 유닛을 계속 사용하여 상기 교정 맵을 촬영하여 상기 복수의 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 복수의 카메라 유닛 교정 방법.
10. 교정 맵을 촬영하여 복수의 영상을 획득하기 위한 복수의 카메라 유닛을 포함하는 영상 획득 유닛-여기서, 상기 복수의 영상 각각은 상기 교정 맵에 설정된 적어도 하나의 마킹 코드를 포함함;
    상기 적어도 하나의 마킹 코드에 기초하여 상기 복수의 영상에서 대응하는 도트 세트를 식별하는 식별 유닛;
    상기 복수의 카메라 유닛의 초기 교정 매개변수로서 사전 설정된 교정 매개변수를 입력하는 입력 유닛;
    상기 도트 세트 및 상기 초기 교정 매개변수에 기초하여 상기 복수의 카메라 유닛의 최종 교정 매개변수를 결정하여 상기 복수의 카메라 유닛간 교정을 실현하는 최종 매개변수 결정 유닛을 포함하는 교정 장치.
11. 청구항 10에 있어서, 상기 교정 맵은 M*N개의 도형 셀 어레이를 포함하고, 상기 적어도 하나의 마킹 코드는 상기 도형 셀 어레이에 설정되며, 여기서 M 및 N은 상기 적어도 하나의 마킹 코드의 수보다 큰 것을 특징으로 하는 교정 장치.
12. 청구항 11에 있어서, 상기 영상 획득 유닛은 상기 도형 셀 어레이 상에서 각 도형 셀의 위치 및 방향을 결정하기 위해 상기 적어도 하나의 마킹 코드의 위치에 기초하여 좌표계를 구성하는 좌표 구축 유닛을 포함하는 것을 특징으로 하는 교정 장치.
13. 청구항 12에 있어서, 상기 마킹 코드의 수는 적어도 3개이며, 상기 좌표계는 직각 좌표계인 것을 특징으로 하는 교정 장치.
14. 청구항 12 또는 청구항 13에 있어서, 상기 식별 유닛은 상기 좌표계에 기초하여 상기 복수의 영상에서 대응하는 도트 세트를 식별하며, 상기 도트 세트는 상기 복수의 영상에서 동일한 위치에 있는 상기 도형 셀 어레이상의 각 도형 셀의 이미징 도트의 집합인 것을 특징으로 하는 교정 장치.
15. 청구항 10에 있어서, 상기 교정 맵의 수는 1인 것을 특징으로 하는 교정 장치.
16. 청구항 10에 있어서, 상기 입력 유닛은 상기 복수의 카메라 유닛의 초기 공장 교정 매개변수 또는 설계 매개변수에 기초하여 상기 사전 설정된 교정 매개변수를 획득하는 사전 설정 매개변수 획득 유닛을 포함하는 것을 특징으로 하는 교정 장치.
17. 청구항 10에 있어서, 상기 입력 유닛은 상기 복수의 카메라 유닛의 초기 교정 매개변수로 상기 사전 설정된 교정 매개변수를 입력하기 전에, 상기 도트 세트의 수가 제1 임계값보다 큰지 여부를 판단하는 판단 유닛을 포함하며, 상기 도트 세트의 수가 제1 임계값보다 크면, 상기 사전 설정된 교정 매개변수는 상기 복수의 카메라 유닛의 초기 교정 매개변수로 입력되며, 상기 도트 세트 수가 상기 제1 임계값보다 크지 않으면, 상기 복수의 카메라 유닛을 계속해서 사용하여 상기 교정 맵을 촬영하여 상기 복수의 영상을 획득하는 것을 특징으로 하는 교정 장치.
18. 청구항 10에 있어서, 상기 최종 매개변수 결정 유닛은
    상기 도트 세트로부터 재투영 오차를 계산하여 오차 함수를 구성하는 오차 계산 유닛;
    상기 오차 함수를 최소화하고 상기 오차 함수의 오차 값이 제2 임계값보다 작은지 여부를 판단하는 오차 처리 유닛;
    상기 오차 함수의 오차 값이 상기 제2 임계값보다 작으면, 최소화 처리의 완료를 결정하고, 상기 초기 교정 매개변수 및 상기 오차 함수에 기초하여 상기 복수의 카메라 유닛의 내부 행렬 및 상대 행렬을 상기 복수의 카메라 유닛의 최종 교정 매개변수로 획득하는 매개변수 계산 유닛을 포함하며,
    상기 오차 함수의 오차 값이 상기 제2 임계값보다 작지 않으면, 상기 복수의 카메라 유닛을 계속 사용하여 상기 교정 맵을 촬영하여 상기 복수의 영상을 획득하는 것을 특징으로 하는 교정 장치.
19. 저장된 프로그램을 포함하는 저장 매체로서, 상기 프로그램 실행시 상기 저장 매체가 위치한 장치는 청구항 1 내지 청구항 9 중 어느 한 항에 기재된 교정 방법을 실행하는 것을 특징으로 하는 저장 매체.
20. 프로세서;
    상기 프로세서의 실행 가능한 명령을 저장하기 위한 메모리를 포함하되,
    상기 프로세서는 상기 실행 가능한 명령을 실행하여 청구항 1 내지 청구항 9 중 어느 한 항에 기재된 교정 방법을 실행하는 것을 특징으로 하는 하는 전자 장치.

Images