KR20220045113A

KR20220045113A - 카메라 교정 방법, 장치, 전자기기, 저장매체, 컴퓨터 프로그램 및 노변기기

Info

Publication number: KR20220045113A
Application number: KR1020220037257A
Authority: KR
Inventors: 리빈 위안
Original assignee: 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디.
Priority date: 2021-04-26
Filing date: 2022-03-25
Publication date: 2022-04-12
Also published as: EP3998580A2; CN114283201A; JP2022085910A; EP3998580A3; US20220222857A1; EP3998580B1

Abstract

본 출원은 카메라 교정 방법, 장치, 전자기기, 저장매체, 컴퓨터 프로그램 및 노변기기를 개시하고, 스마트 교통 및 CVIS 기술분야에 관한 것이다. 해당밥법은 카메라의 내부 파라미터의 초기값, 외부 파라미터의 초기값 및 왜곡율의 초기값을 결정하는 단계; 상기 내부 파라미터의 초기값, 상기 외부 파라미터의 초기값, 상기 왜곡율의 초기값 및 카메라의 수학모델에 기반하여, 카메라가 촬영한 영상중의 점이 세계 좌표계에서 픽셀 좌표계로의 변환관계를 결정하는 단계; 제1구역의 고정밀도 지도중의 복수의 특징점을 상기 카메라가 촬영한 상기 제1구역의 제1영상의 픽셀 좌표계에 투영하여 복수의 투영점을 얻는 단계; 및 상기 복수의 특징점이 픽셀 좌표계에서의 좌표, 상기 변환관계 및 상기 복수의 투영점의 세계좌표에 기반하여, 최소 이승법을 사용하여 상기 카메라의 내부 파라미터와 왜곡율을 얻는 단계를 포함한다.

Description

카메라 교정 방법, 장치, 전자기기, 저장매체, 컴퓨터 프로그램 및 노변기기 {CAMERA CALIBRATION METHOD, APPARATUS, ELECTRONIC DEVICE, STORAGE MEDIUM, COMPUTER PROGRAM AND ROAD SIDE UNIT}

본 출원은 스마트 교통과 지능형 차량인프라시스템(Cooperative Vehicle Infrastructure System, CVIS) 기술분야에 관한 것이고, 구체적으로 카메라 교정 방법, 장치 및 노변기기에 관한 것이다.

새로운 기초 시설 건설의 대 배경하에서, 차량사물통신(V2X) 노변감지 시스템은 CVIS의 차량에게 가시거리 밖의 감지정보를 제공하였다. 카메라는 노변감지 시스템중의 가장 중요한 센서중의 하나로서, 일반적으로 길목의 한 방향의 기둥에 동시에 3개의 카메라가 장착되고, 각각 전시 건 카메라(gun type camera), 후시 건 카메라 및 어안 카메라이며, 여기서, 어안 카메라는 전시 카메라와 후시 카메라 사이의 사각지대를 보충하기 위한 것이다. 노변 감지 카메라의 내부 파라미터는 CVIS 노변감지의 기본 파라미터로서, 영상을 사전 처리하여 기형적 변화를 제거하는데 지극히 중요하고, 노변 감지 시스템의 정밀도와 강인성(Robustness)에 지극히 중요한 작용을 한다. 건 카메라(건캠으로 약칭할 수 있음)와 어안 카메라는 중요한 센서로서, 교정을 거친 후 사용하여야 하는데, 종래에는 "Zhang Zhengyou 교정법"을 사용하여 교정하는바, 복수 세트의 바둑판 격자 또는 흑백 격자 등 교정판의 영상을 수집하여 일련의 분석계산을 수행하여 카메라의 내부 파라미터를 교정한다. 하지만, 해당 방법은 조작자가 길목의 모니터링 대의 카메라의 시각범위 아래에 바둑판 격자를 설치하여 바둑판 격자 영상을 수집해야 하는데, 이는 보다 많은 인공 비용과 시간 비용이 투입되어야 한다.

본 출원은 카메라 교정 방법, 장치, 전자기기, 저장매체, 컴퓨터 프로그램 및 노변기기를 제공하여 상기 적어도 하나의 과제를 해결하도록 한다.

본 출원의 제1 측면에 따르면, 카메라 교정 방법을 제공하며, 해당 방법은,

카메라의 내부 파라미터의 초기값, 외부 파라미터의 초기값 및 왜곡율(distortion factor) 의 초기값을 결정하는 단계;

상기 내부 파라미터의 초기값, 상기 외부 파라미터의 초기값, 상기 왜곡율의 초기값 및 카메라의 수학모델에 기반하여, 카메라가 촬영한 영상중의 점이 세계 좌표계(world coordinate system)에서 픽셀 좌표계로의 변환관계를 결정하는 단계;

제1구역의 고정밀도 지도중의 복수의 특징점을 상기 카메라가 촬영한 상기 제1구역의 제1영상의 픽셀 좌표계에 투영하여 복수의 투영점을 얻는 단계; 및

상기 복수의 특징점 픽셀 좌표계에서의 좌표, 상기 변환관계 및 상기 복수의 투영점의 세계좌표에 기반하여, 최소 이승법을 사용하여 상기 카메라의 내부 파라미터와 왜곡율을 얻는 단계를 포함한다.

본 출원의 제2측면에 따르면, 카메라 교정 장치를 제공하며, 해당 장치는

카메라의 내부 파라미터의 초기값, 외부 파라미터의 초기값 및 왜곡율의 초기값을 결정하기 위한 제1결정모듈;

상기 내부 파라미터의 초기값, 상기 외부 파라미터의 초기값, 상기 왜곡율의 초기값 및 카메라의 수학모델에 기반하여, 카메라가 촬영한 영상중의 점이 세계 좌표계에서 픽셀 좌표계로의 변환관계를 결정하기 위한 제2결정모듈;

제1구역의 고정밀도 지도중의 복수의 특징점을 상기 카메라가 촬영한 상기 제1구역의 제1영상의 픽셀 좌표계에 투영하여 복수의 투영점을 얻기 위한 투영모듈; 및

상기 복수의 특징점이 픽셀 좌표계에서의 좌표, 상기 변환관계 및 상기 복수의 투영점의 세계좌표에 기반하여, 최소 이승법을 사용하여 상기 카메라의 내부 파라미터와 왜곡율을 얻기 위한 계산모듈을 포함한다.

본 출원의 제3 측면에 따르면, 전자 기기를 제공하며, 해당 전자기기는,

적어도 하나의 프로세서; 및

적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하며, 여기서,

해당 메모리에는 해당 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 해당 명령은 적어도 하나의 프로세서에 의해 실행되어 해당 적어도 하나의 프로세서가 본 출원의 임의의 실시예에 따른 방법을 수행하도록 한다.

본 출원의 제4 측면에 따르면, 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 명령은 컴퓨터가 본 출원의 임의의 실시예에 따른 방법을 실행하도록 한다.

본 출원의 제5 측면에 따르면, 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 제공하며, 해당 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 본 출원의 임의의 실시예에 따른 방법을 실현한다.

본 출원의 제6 측면에 따르면,

상기 전자기기를 포함하는 노변기기를 제공한다.

본 출원의 실시예의 카메라 교정방안은 교정판을 사용하여 보조할 필요가 없고, 고정밀도 지도와 카메라가 촬영한 영상사이의 대응관계를 교묘하게 사용하여, 최소 이승 최적화 알리고즘을 구축하여 카메라를 교정함으로써, 본 출원의 실시예는 원가를 절약하고 처리 과정이 간편하다.

발명의 내용 부분에서 설명한 내용은 본 출원의 실시예의 관건적이거나 중요한 특징을 표시하고자 하는 것이 아니고, 본 출원의 범위를 한정하고자 하는 것도 아님을 이해해야 한다. 본 출원의 기타 특징은 아래의 명세서에 의해 용이하게 이해될 것이다.

도면은 본 안을 더욱 잘 이해하기 위한 것으로, 본 출원에 대한 한정은 아니다. 여기서:
도1은 본 출원의 실시예에 따른 카메라 교정 방법의 흐름 블록도이다.
도2는 본 출원의 실시예에 따른 건캠의 내부 파라미터를 교정하는 과정의 예시도이다.
도3은 도2의 실시예에서 고정밀도 지도중의 특징점을 영상중에 투영하는 예시도이다.
도4는 도2중의 실시예의 부분적인 확대도이다.
도5는 도2중의 실시예에서 영상이 기형적 변화가 제거된 후의 예시도이다.
도6은 본 출원의 실시예의 어안 카메라의 내부 파라미터를 교정하는 과정의 예시도이다.
도7은 도6의 실시예에서 고정밀도 지도중의 특징점을 영상중에 투영하는 예시도이다.
도8은 도6중의 실시예의 부분적인 확대도이다.
도9는 도6중의 실시예에서 영상이 기형적 변화가 제거된 후의 예시도이다.
도10은 본 출원의 실시예에 따른 카메라 교정 장치의 구조 블록도이다.
도11은 본 출원의 실시예에 따른 카메라 교정 방법을 구현하기 위한 전자기기의 블록도이다.

이하에서 도면을 결합하여 본 출원의 예시적인 실시예에 대해 설명하기로 하며, 여기서 이해를 돕기 위해 본 출원의 실시예의 각 종의 세부 사항을 포함하며, 이들은 예시적인 것에 불과한 것으로 이해해야 한다. 따라서, 본 분야의 일반적인 기술자들은 여기에 설명되는 실시예에 대해 각종 변경과 수정을 할 수 있고, 이는 본 출원의 범위와 사상을 벗어나지 않는 것으로 이해해야 할 것이다. 동일하게, 명확하고 간략하기 위해, 이하의 설명에서 공지 기능과 구조에 대한 설명은 생략하였다.

본 출원의 실시예는 카메라 교정 방법을 제공하고, 도1은 본 출원의 실시예에 따른 카메라 교정 방법을 나타낸 흐름 블록도이며, 해당 방법은,

카메라의 내부 파라미터의 초기값(K), 외부 파라미터의 초기값(R, t) 및 왜곡율(distortion factor) 의 초기값(k1, k2은 0임)을 결정하는 단계(S101);

상기 내부 파라미터의 초기값, 상기 외부 파라미터의 초기값, 상기 왜곡율의 초기값 및 카메라의 수학모델에 기반하여, 카메라가 촬영한 영상중의 점이 세계 좌표계에서 픽셀 좌표계로의 변환관계를 결정하는 단계(S102);

제1구역의 고정밀도 지도중의 복수의 특징점을 상기 카메라가 촬영한 상기 제1구역의 제1영상의 픽셀 좌표계에 투영하여 복수의 투영점을 얻는 단계(S103); 및

상기 복수의 특징점이 픽셀 좌표계에서의 좌표, 상기 변환관계 및 상기 복수의 투영점의 세계좌표에 기반하여, 최소 이승법을 사용하여 상기 카메라의 내부 파라미터와 왜곡율을 얻는 단계(S104);를 포함한다.

본 출원의 실시예에 따르면, 카메라에 대한 교정과정은 카메라가 촬영한 바둑판 격자 영상에 의거하지 않고, 따라서, 본 출원의 실시예는 교정판을 사용할 필요가 없기에 인력과 시간 원가를 대폭으로 절약할 수 있고, 본 출원의 실시예는 먼저 복수의 파라미터의 초기값을 결정하는바, 복수의 파라미터 초기값은 카메라의 내부 파라미터의 초기값, 외부 파라미터의 초기값 및 왜곡율의 초기값을 포함하고; 다음, 초기값을 카메라의 수학모델에 대입하여(예를 들어, 건캠은 "바늘구멍 카메라 투영 모델"을 사용할 수 있고, 어안 카메라는 "등거리투영법 모델"을 사용하여) 일정한 약식처리를 거친 후 변환관계를 얻으므로써, 카메라가 촬영한 영상중의 점이 세계좌표계에서 픽셀 좌표계로의 변환관계를 나타내며, 후속처리를 위해 준비잘 할수 있도록 한다.

본 출원의 실시예는 고정밀도 지도가 구비한 세계좌표 데이터를 사용해야 하는데, 그 사용방법은 다음과 같다. 카메라가 촬영한 시야가 제1구역을 포함한다고 가정하고, 해당 제1구역의 고정밀도 지도에서 복수의 특징점(예를 들어 차선 각점, 도로 가장자리 점 등)을 선택하며, 해당 복수의 특징점을 카메라가 촬영한 제1구역의 영상에 투영하여 복수의 투영점을 형성할 수 있는데, 동일한 구역이기에 선택된 복수의 특징점도 제1구역의 영상에 존재하게 되고, 카메라는 교정을 완성하지 않았기에, 제1구역의 영상중의 특징점과 고정밀도 지도에서 해당 영상으로 투영된 투영점 사이에는 일정한 거리가 이격되어 있으므로 특징점과 대응되는 투영점은 완전히 중합될 수 없으며; 특징점과 대응되는 투영점이 중합되도록 하기 위하여 본 출원의 실시예는 최소 이승법을 사용하여 처리하는바, 여기서, 카메라가 촬영한 영상중의 점이 세계좌표계에서 픽셀 좌표계로의 변환관계에 기반하여 투영점이 픽셀 좌표계에서의 좌표 데이터를 얻을 수 있고, 이에, 영상중의 특징점과 대응되는 투영점사이의 거리가 축소되도록 최소 이승법에 의해 반복(iterative)처리하여 카메라의 내부 파라미터와 왜곡율의 값을 얻을 수 있고, 카메라의 교정을 구현한다.

보다시피, 본 출원의 실시예의 카메라 교정 방법의 전체 과정은 교정판을 사용하여 보조할 필요가 없고, 고정밀도 지도와 카메라가 촬영한 영상사이의 대응관계를 교묘하게 사용하였고, 최소 이승 최적화 알리고즘을 구축하여 수요되는 카메라의 내부 파라미터와 왜곡율을 얻을 수 있으므로, 본 출원의 실시예의 카메라 교정 방법은 원가를 절약하고 처리 과정이 간편하며 작업효율이 높다.

본 출원의 실시예에서, 선택적으로, 카메라의 배치 파라미터(configuration parameter)에 기반하여 내부 파라미터의 초기값을 결정할 수 있다. 선택적으로, 카메라의 초점 거리와 영상 해상도에 기반하여 내부 파라미터의 초기값을 결정할 수 있다. 본 출원의 실시예는 카메라 자체의 파라미터에 기반하여 카메라 교정 파라미터의 초기값을 설정하므로, 데이터 획득이 간편하고 처리결과의 신뢰도가 높다.

본 출원의 일 실시방식에서, 선택적으로, 상기 카메라는 건 카메라이고, 상기 카메라의 수학모델은 바늘구멍 카메라 투영 모델이며, 상기 카메라의 내부 파라미터에서 fx=fy=f이고, f의 초기값은 아래의 식에 의해 계산된다.

f/(w²+h²)^0.5=lens/(lenth/sensor_size_scale),

여기서 lens는 카메라의 초점거리를 나타내고, lenth는 카메라의 사이즈 파라미터를 나타내고, sensor_size_scale는 카메라의 사이즈 척도 파라미터를 나타내며, w와 h는 각각 카메라의 영상 해상도의 너비와 높이를 나타낸다.

본 출원의 다른 일 실시방식에서, 선택적으로, 상기 카메라는 어안 카메라이고, 상기 카메라의 수학모델은 등거리 투영법 모델이며, 상기 카메라의 내부 파라미터에서 fx=fy=f이고, f의 초기값은 아래의 식에 의해 계산된다.

f=w/scale_focal,

여기서, w는 카메라의 영상 해상도중의 수평 픽셀 수를 나타내고, scale_focal는 어안 카메라의 등가 건 카메라 초점거리를 계산하는 척도를 나타낸다.

상기 임의의 실시방식에 있어서, 선택적으로, 그중 카메라의 내부 파라미터중에서 cx의 초기값은 카메라의 영상 해상도의 너비의 1/2일 수 있고, cy의 초기값은 카메라의 영상 해상도의 높이의 1/2일 수 있다. 부동한 유형의 카메라는 부동한 카메라 모델을 사용하고, 본 출원의 실시예는 부동한 모델에 대해 적합한 초기값을 제공함으로, 교정결과의 정확도가 높다.

본 출원의 실시예에서, 선택적으로, 상기 복수의 특징점이 상기 제1영상에서의 위치 및 상기 복수의 투영점이 상기 제1영상에서의 위치에 기반하여 상기 카메라의 각도를 조정하여 상기 복수의 특징점의 위치와 상기 복수의 투영점의 위치가 대응되도록 할 수 있고, 조정된 각도 및 상기 카메라의 장착위치 파라미터에 기반하여 상기 카메라의 외부 파라미터의 초기값을 결정할 수 있다.

본 출원의 실시예에 따르면, 카메라가 촬영한 길목 영상중의 복수의 특징점을 하나의 차선상의 복수의 각점으로 가설하고, 이러한 각점은 차선상에 분포되어 한 세트의 진열을 형성하고, 고정밀도 지도에서 동일한 길목의 동일한 차선의 동일한 위치의 복수의 각점을 길목 영상에 투영한 후, 투영점도 한 세트의 진열이며, 조작원은 카메라의 각도(예를 들어 부앙각, 방위각, 굴림각)를 조정하여 촬영된 영상중의 특징점 진열과 투영점 진열의 방위가 일치하도록 할 수 있는바(이때 특징점과 투영점은 중합되지 않음), 조정된 각도에 기반하여 외부 파라미터 회전행렬의 초기값을 얻을 수 있고, 일반적으로 R로 표시하며, 이 외에, 카메라의 장착위치의 세계좌표를 외부 파라미터 병진 벡터의 초기값으로 간주할 수 있고, 일반적으로 t로 표시하며, 또한 왜곡율의 초기값을 0으로 설정하여 k1=k2=0으로 표시할 수 있다. 본 출원의 실시예는 카메라의 교정 파라미터의 초기값을 설정하는 방식이 직관적이고, 획득하기 용이하며, 교정결과의 정확도가 높다.

본 출원의 실시예는 스마트 교통분야 또는 CVIS분야에 적용될 수 있고, 노변 감지 기술분야에서, 노변 감지 건 카메라와 어안 카메라의 내부 파라미터는 CVIS감지의 기본 파라미터이고, 영상을 사전 처리하여 기형적 변화를 제거하는데 지극히 중요하고, CVIS감지 정밀도에 영향이 크며, 종래기술 방법에서 카메라 내부 파라미터의 교정의 원가는 높고 이는 아주 큰 비율을 차지하고 있다. 본 출원의 상기 적어도 하나의 실시예를 사용하면, 고정밀도 지도를 사용하고 카메라 모델에 기반하여 최소 이승 최적화 알리고즘을 구축하여, CVIS노변 카메라의 내부 파라미터의 자아교정을 구현하고, 바둑판 격자 교정판의 영상을 추가적으로 수집할 필요가 없으므로, 카메라 내부 파라미터의 교정에 수요되는 인력, 물력 및 시간원가를 크게 절감할 수 있다.

이상, 본 출원의 실시예의 카메라 교정방법의 실시방식 및 획득한 우세를 설명하였다. 이하, 구체적인 예에 의해 본 출원의 실시예의 구체적인 처리과정을 상세히 설명한다.

실시예1: 건캠 교정

본 출원의 실시예는 3D 고정밀도 지도와 바늘구멍 투영 모델을 사용하여 건캠의 내부 파라미터의 교정을 완성하였고, 도2는 본 출원의 실시예에 따른 건캠의 내부 파라미터를 교정하는 과정의 예시도이다.

구체적으로, 건캠의 내부 파라미터 행열K는 다음과 같다:

건캠의 바늘구멍 카메라 모델은 다음과 같은 파라미터를 포함한다:

건캠의 내부 파라미터: fx, fy, cx, cy, 여기서, fx=fy=f, cx및 cy의 초기값은 각각 건캠의 영상 해상도의 너비와 높이의 절반(영상의 중심좌표)으로 가설할 수 있고;

왜곡율D=[k1,k2,0.0,0.0,0.0];

외부 파라미터 회전행열R과 외부 파라미터 병진 벡터t; 등 파라미터를 포함한다.

건캠의 바늘구멍 카메라 모델에 기반하면 다음과 같다:

여기서, (

는 지면표지각점(특징점)의 3D좌표를 나타내고, 외부 파라미터의 회전 행열R과 외부 파라미터의 병진 벡터t에 의해 카메라 좌표계에서의 좌표(xc, yc, zc)를 계산해낼 수 있고, 정규화한 후, 기형적 변화처리를 수행하는데, 그 과정은 이하와 같다:

xc_d = xc1×(1+k1×r²+k2×r⁴)

yc_d = yc1×(1+k1×r²+k2×r⁴)

여기서, xc1과 yc1은 카메라 좌표계에서의 각점의 정규화 좌표를 나타내는바, r²=xc1²+yc1²이 있고; 및

u = fx×xc_d + cx

v = fy×yc_d + cy

,

여기서, (u, v)는 초기 영상에서의 각점의 2D좌표를 나타낸다.

건캠의 이미 알고 있는 파라미터는, 건캠의 실제 초점거리lens, 영상 센서 사이즈 파라미터 lenth와 영상 센서의 사이즈 척도 파라미터sensor_size_scale, 및 건캠 영상 해상도의 높이와 너비(각각width(w)와 height(h)로 나타냄) 등이 있다.

본 실시예에서, 내부 파라미터 행열중의 파라미터f의 초기값은 아래의 식에 의해 얻을수 있다:

f /(w²+h²)^0.5= lens/(lenth/sensor_size_scale);

건캠의 장착위치 파라미터(예를 들어, 카메라를 공사 장착할 때 RTK기기로 수집하여 얻을 수 있음)에 기반하여, 고정밀도 지도의 점을 영상에 투영하는 매칭관계를 사용하여 건캠의 외부 파라미터R 및 t의 초기값을 얻을 수 있다.

상기 파라미터 및 초기값을 건캠의 바늘구멍 카메라 모델이 구축한 최소 이승 최적화 알리고즘에 입력하여, 다음과 같이 최종적으로 분석계산하여 건캠의 내부 파라미터(내부 파라미터 행열과 왜곡율)를 얻을 수 있다.

①

②

여기서, loss는 손실함수를 나타내고, m는 자연수이고,

는 특징점이 픽셀 좌표계에서의 좌표를 나타나며, DIST( )는 카메라 좌표계의 점에 대해 기형적 변화처리(건캠일 경우, DIST( )는xc_d=xc1×(1+k1×r²+k2×r⁴), yc_d=yc1×(1+k1×r²+k2×r⁴、r²=xc1²+yc1²을 포함함)를 수행함을 나타낸다.

본 출원의 실시예에서, 이미 알고 있는 건 카메라의 기본 파라미터는 다음과 같다:

lens=12.0mm, lenth = 16.0mm, sensor_size_scale = 1.8,

영상의 해상도는 1920x1080, 즉, w=1920, h=1080,

따라서, f/(w²+h²)^0.5=lens/(lenth/sensor_size_scale)에 기반하여 f=2974.05를 얻을 수 있다.

여기서, 건 카메라의 초기 파라미터는 다음과 같다:

K: [2974.05, 0.000000, 960.0, 0.000000, 2974.05, 540.0, 0.000000, 0.000000, 1.000000],

D：[0.0, 0.0, 0.0, 0.0, 0.0];

초기 파라미터 K, D 및 카메라의 초기위치와 방향을 사용하여 고정밀도 지도를 영상에 투영한 투영점(도3의 원점에 도시된 것)을 얻고, 건캠의 각도를 미조정하여 고정밀도 지도와 영상중의 대응되는 위치가 비교적 정렬되도록 하며, 다음, 영상의 2D좌표와 대응되는 고정밀도 지도의 3D좌표의 투영점을 연결하여 도3에 도시된 바와 같은 2D-3D점 쌍을 얻을수 있고, 부분적인 확대도는 도4에 도신된 바와 같다.

최소 이승 최적화 알리고즘을 구축하는 것에 의해, 카메라의 내부 파라미터f, 왜곡율k1, k2 및 카메라의 외부 파라미터R과 t를 최적화하고, 최종적으로 반복 최적화하여 카메라의 내부 파라미터f, 왜곡율k1, k2의 최적해를 얻을수 있는데, 구체적으로 다음과 같다:

f = 2809.739776, k1 = -0.314813, k2 = 0.191444, 즉：

K: [2809.739776, 0.0, 960, 0.0, 2809.739776, 540, 0.0, 0.0, 1.0],

D: [-0.314813, 0.191444, 0.0, 0.0, 0.0],

영상이 기형적 변화를 제거한 후 의 영상은 도5에 도시된 바와 같다.

실시예2: 어안 카메라의 교정

본 출원의 실시예는 3D 고정밀도 지도와 등거리투영법 모델을 사용하여 어안 카메라 내부 파라미터의 교정을 완성하였고, 도6은 본 출원의 실시예의 어안 카메라의 내부 파라미터를 교정하는 과정을 나타낸 예시도이다. 구체적으로, 어안 카메라의 내부 파라미터 행열K는 다음과 같다:

어안 카메라 등거리투영법 모델의 파라미터는 어안 카메라의 초검거리fx, fy, cx, cy와 왜곡율D=[k1,k2,k3,k4]을 포함한다. 동일한 유형의 어안 카메라에 대해, 초점거리 fx와 fy의 초기값은 모두 f이고, 즉, fx=fy=f이고, cx와 cy의 초기값은 각각 카메라 영상 해상도의 너비와 높이의 절반(영상의 중심좌표)이고, 왜곡율D에서, k3과 k4를 0으로 하여 D =[k1,k2,0.0,0.0] 이고, 여기서, k1과 k2의 초기값은 0.0이다.

어안 카메라의 등거리투영법 모델에 기반하면 다음과 같다:

pc = R×p3d+t;

x = pc[0];

y = pc[1];

z = pc[2];

여기서, p3d는 고정밀도 지도중의 지면표지각점의 3차원 좌표를 나타내고, pc는 지면표지각점이 카메라 좌표계에서의 좌표를 나타내며, pc[0]은 제1 차원 좌표를 나타내고, pc[1]는 제2차원 좌표를 나타내고, pc[2]는 제3차원 좌표를 나타내며; 카메라 좌표계중의 점에 대해 기형적 변화 처리를 수행하면, 다음과 같다:

r_2 = (x / z)×(x / z) + (y / z) ×(y / z);

r = sqrt(r_2);

θ=arctan(r);

θ_d =θ×(1 + k1×θ² + k2×θ⁴);

u_d = fx×(θ_d / r) × x / z + cx;

v_d = fy× (θ_d / r) × y / z + cy;

여기서, (u_d, v_d)는 지면표지각점이 어안 영상의 초기 영상에서의 픽셀 좌표를 나타내고, 다음, 어안 영상의 초기 영상에서의 지면표지각점의 픽셀좌표와의 오차를 계산하고, 상기 파라미터 및 초기값을 사용하여 구축한 최소 이승 최적화 알리고즘은 식① 및 식②와 같은바, 여기서, 어안 카메라에 대하여, 기변처리를 수행하여 어안 카메라의 새로운 내부 파라미터 행열K와 왜곡율D을 분석계산하여 얻을 수 있는바, 여기서, 기변처리DIST( )는r_2 = (x / z)×(x / z) + (y / z) ×(y / z)、r = sqrt(r_2)、 θ=arctan(r)、θ_d =θ×(1 + k1×θ² + k²×θ⁴)를 포함한다.

본 출원의 실시예에서, 이미 알고 있는 어안 카메라의 초기 파라미터는 다음과 같다:

K: [337.0, 0.000000, 640.0, 0.000000, 337.0, 640.0, 0.000000, 0.000000, 1.000000],

D: [0.0,0.0,0.0,0.0],

어안 카메라의 영상 해상도는 1280x1280이다.

초기 파라미터 K, D 및 카메라의 초기위치와 방향을 사용하여 고정밀도 지도를 영상에 투영한 투영점(도7의 원점에 도시된 것)을 얻고, 어안 카메라의 각도를 미조정하여 고정밀도 지도와 영상중의 대응되는 위치가 비교적 정렬되도록 하며, 영상의 2D좌표와 대응되는 고정밀도 지도의 3D좌표의 투영점을 연결하여 도7에 도시된 바와 같은 2D-3D점 쌍을 얻을수 있고, 부분적인 확대도는 도8에 도시된 바와 같다.

다음 구축된 최소 이승 최적화 알리고즘에 의해, 카메라의 내부 파라미터 왜곡율k1, k2 및 카메라의 외부 파라미터R과 t를 최적화하고, 최종적으로 반복 최적화하여 카메라의 왜곡율k1, k2의 최적해를 얻을수 있는데, 구체적으로 다음과 같다:

k1 = 0.065810, k2 = -0.006342 즉 D: [0.065810, -0.006342, 0.0, 0.0].

영상이 기형적 변화를 제거한 후 의 영상은 도9에 도시된 바와 같다.

본 출원의 상기 적어도 하나의 예시에 기반하여, 3D 고정밀도 지도를 사용하여 카메라 내부 파라미터의 자아 교정을 구현할 수 있고, 재래의 교정방법의 내부 파라미터 교정 과정을 생략함으로써, 카메라 내부 파라미터 교정의 교부원가를 감소한다.

이상에서는 복수의 실시예에 의해 부동한 각도로부터 본 출원의 실시예의 구체적인 설치와 구현방식을 설명하였다. 상기 적어도 하나의 실시예의 처리방법과 대응되게, 본 출원의 실시예는 카메라 교정 장치(100)를 더 제공하고, 도10을 참조하면, 해당 장치는,

카메라의 내부 파라미터의 초기값, 외부 파라미터의 초기값 및 왜곡율의 초기값을 결정하기 위한 제1결정모듈(110);

상기 내부 파라미터의 초기값, 상기 외부 파라미터의 초기값, 상기 왜곡율의 초기값 및 카메라의 수학모델에 기반하여, 카메라가 촬영한 영상중의 점이 세계 좌표계에서 픽셀 좌표계로의 변환관계를 결정하기 위한 제2결정모듈(120);

제1구역의 고정밀도 지도중의 복수의 특징점을 상기 카메라가 촬영한 상기 제1구역의 제1영상의 픽셀 좌표계에 투영하여 복수의 투영점을 얻기 위한 투영모듈(130); 및

상기 복수의 특징점이 픽셀 좌표계에서의 좌표, 상기 변환관계 및 상기 복수의 투영점의 세계좌표에 기반하여, 최소 이승법을 사용하여 상기 카메라의 내부 파라미터와 왜곡율을 얻기 위한 계산모듈(140)을 포함한다.

선택적으로, 상기 제1결정모듈은 상기 카메라의 배치 파라미터에 기반하여 내부 파라미터의 초기값을 결정한다.

선택적으로, 상기 배치 파라미터는 상기 카메라의 초점 거리와 영상 해상도를 포함한다.

선택적으로, 상기 카메라는 건 카메라이고, 상기 카메라의 수학모델은 바늘구멍 카메라 투영 모델이며, 상기 카메라의 내부 파라미터에서 fx=fy=f이고, 상기 제1결정모듈은 다음과 같은 식: f /(w²+h²)^0.5= lens/(lenth/sensor_size_scale)에 의해 f의 초기값을 계산하되, 여기서 lens는 카메라의 초점거리를 나타내고, lenth는 카메라의 사이즈 파라미터를 나타내고, sensor_size_scale는 카메라의 사이즈 척도 파라미터를 나타내며, w와 h는 각각 카메라의 영상 해상도의 너비와 높이를 나타낸다.

선택적으로, 상기 카메라는 어안 카메라이고, 상기 카메라의 수학모델은 등거리투영법 모델이며, 상기 카메라의 내부 파라미터에서 fx=fy=f이고, 상기 제1결정모듈은 다음과 같은 식: f=w/scale_focal 에 의해 f의 초기값을 계산하되, 여기서, w는 카메라의 영상 해상도중의 수평 픽셀수를 나타내고, scale_focal는 어안 카메라의 등가 건 카메라 초점거리를 계산하는 척도를 나타낸다.

선택적으로, 상기 카메라의 내부 파라미터중에서 cx의 초기값은 카메라의 영상 해상도의 너비의 1/2이고, cy의 초기값은 카메라의 영상 해상도의 높이의 1/2이다.

선택적으로, 상기 제1결정모듈은 상기 복수의 특징점이 상기 제1영상에서의 위치 및 상기 복수의 투영점이 상기 제1영상에서의 위치에 기반하여 상기 카메라의 각도를 조정하여 상기 복수의 특징점의 위치와 상기 복수의 투영점의 위치가 대응되도록 하고, 상기 제1결정모듈은 조정된 각도 및 상기 카메라의 장착위치 파라미터에 기반하여 상기 카메라의 외부 파라미터의 초기값을 결정한다.

본 출원의 실시예의 카메라 교정 장치(100)를 사용하면, 현재 도로에 존재하는 대량의 재래 교통 모니터링 전경 카메라(electronic police camara)에 대해, 인력, 물력을 들여 전경 카레라를 탈부착하여 카메라의 내부 파라미터를 교정할 필요가 없이, 카메라 교정 장치(100)에 기반하여 전경 카메라에 대해 내부 파라미터의 자아교정을 직접 수행하여 CVIS노변감지에 사용되도록 할 수 있다. 따라서, 종래의 전경 카메라 자원을 최적화하고 업그레이드하는 것에 대해 낡은 기기와의 호환성을 최대한으로 구현하는데 적극적인 작용을 발휘하며, 스마트 교통도로 시설 건설의 투입자금과 투입시간을 크게 감소하여 스마트 교통업의 발전과 보급을 가속할수 있다.

본 출원은 전자기기를 더 제공하고, 도11에 도시된 바와 같이, 해당 전자기기는 하나 또는 복수의 프로세서(1001), 메모리(1002) 및 각 부재를 연결하기 위한 인터페이스를 포함하는바, 해당 인터페이는 고속 인터페이스와 저속 인터페이스를 포함한다. 각 부재는 부동한 버스에 의해 서로 연결되고, 퍼블릭 메인보드에 장착되거나 또는 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자기기내에서 수행되는 명령을 처리할 수 있는바, 해당 명령은 메모리에 저장된 명령 또는 메모리에 저장되어 외부 입력/출력 장치(예를 들어 인터페이스에 결합된 디스플레이 기기)에 그래픽 사용자화면(Graphical User Interface, GUI)을 디스플레이 하도록하는 그래픽 정보의 명령을 포함한다. 기타 실시방식에서, 수요할 경우, 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자기기를 연결할 수 있고, 각 기기는 부분적인 필요한 조작(예를 들어, 서버 어레이, 한 세트의 블레이드 서버, 또는 복수의 프로세서 시스템으로 간주됨)을 제공할 수 있다. 도11에서는 하나의 프로세서(1001)를 예로 한다.

메모리(1002)는 본 출원이 제공하는 비일시적 컴퓨터 판독 가능한 저장매체이다. 여기서, 메모리에는 적어도 하나의 프로세서로 하여금 본 출원이 제공하는 카메라 교정방법을 수행하도록 하는 적어도 하나의 프로세서가 수행할 수 있는 명령이 저장되어 있다. 본 출원의 비일시적 컴퓨터 판독 가능한 저장매체에는 컴퓨터로 하여금 본 출원이 제공하는 카메라 교정 방법을 수행하도록 하는 컴퓨터 명령이 저장되어 있다.

메모리(1002)는 비일시적 컴퓨터 판독 가능한 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 수행 가능한 프로그램 및 모듈을 저장하는데 사용될 수 있는바, 예를 들어, 본 출원의 실시예중의 카메라 교정방법이 대응하는 프로그램 명령/모듈을 저장하는데 사용될 수 있다. 프로세서(1001)는 메모리(1002)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모델을 운행함으로써, 서버의 각종 기능 응용 및 데이터 처리를 수행하는바, 즉 상기 방법의 실시예중의 카메라 교정 방법을 구현한다.

메모리(1002)는 프로그램 저장구역과 데이터 저장구역을 포함할 수 있되, 여기서, 프로그램 저장구역은 조작 시스템, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있고; 데이터 저장구역은 카메라 교정방법의 전자기기의 사용에 의해 작성된 데이터 등을 저장할 수 있다. 이 외에, 메모리(1002)는 고속 랜덤 엑세스 메모리를 포함할 수 있고, 비일시적 메모리를 더 포함할 수 있는바, 예를 들어, 적어도 하나의 자기 디스크 저장소자, 플래시 메모리, 또는 기타 비일시적 솔리드 스테이트 저장소자를 포함할 수 있다. 일부 실시예에서, 메모리(1002)는 프로세서(1001)에 대해 원격으로 설치된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크에 의해 카메라 교정방법의 전자기기에 연결될 수 있다. 상기 네트워크의 실시예로는 인터넷, 인트라넷, 근거리 통신망, 이동통신망 및 이들의 조합을 포함하나 이에 한정되지 않는다.

본 출원의 실시예의 카메라 교정방법이 대응되는 전자기기는 입력장치(1003)와 출력장치(1004)를 더 포함할 수 있다. 프로세서(1001), 메모리(1002), 입력장치(1003) 및 출력장치(1004)는 버스 또는 기타 방식에 의해 연결될 수 있고, 본 출원의 도11에서의 실시예에서는 버스에 의해 연결된 것을 예로 한다.

입력장치(1003)는 입력된 숫자 또는 문자 정보를 접수할 수 있고, 카메라 교정방법의 전자기기의 사용자 설정 및 기능 제어와 관련된 버튼신호 입력을 생성할 수 있는바, 입력장치는 예를 들어, 터치 스크린, 키패트(keypad), 마우스, 트랙패드(Trackpad), 터치패드, 지시 바, 하나 또는 복수의 마우스 버튼, 트랙 볼, 조이스틱(joystick) 등이 있다. 출력장치(1004)는 디스플레이 기기, 보조 조명장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동모터) 등을 포함할 수 있다. 해당 디스플레이 기기는 액정 디스플레이(Liquid Crystal Display, LCD), 발광식 다이오드 디스플레이(（Light Emitting Diode, LED） 및 가스 플라즈마 디스플레이(gas plasma display)를 포함하나 이에 한정되지 않는다. 일부 실시방식에서, 디스플레이 기기는 터치 스크린일 수 있다.

본 출원의 실시예는 노변기기를 더 제공하는바, 해당 노변기기는 상기와 같은 전자기기를 포함할 수 있다.

선택적으로, 해당 노변기기는 전자기기를 포함하는 외에, 통신부재 등을 더 포함할 수 있고, 해당 전자기기는 통신부재와 일체로 집성되거나 분리되어 설치될 수도 있다. 해당 전자기기는 이미지와 영상 등 감지기기(예를 들어 노변 카메라)의 데이터를 획득하여 이미지 영상처리와 데이터 계산을 수행할 수 있다. 선택적으로, 해당 전자기기는 자체가 감지 데이터 획득기능과 통신기능을 구비할 수 있는바, 예를 들어 AI 카메라일 수 있고, 전자기기는 획득한 데이터에 기반하여 이미지 영상처리와 데이터 계산을 직접 수행할 수 있다.

본 출원의 실시예에서 설명된 시스템 및 기술의 각종 실시방식은 디지털 전자 회로 시스템, 집적회로 시스템, 주문형 반도체(Application-Specific Integrated Circuit: ASIC), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시방식은 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템 상에서 실행 및/또는 해석되고, 해당 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력장치 및 적어도 하나의 출력장치로부터 데이터 및 명령을 접수하고, 데이터 및 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치 및 해당 적어도 하나의 출력장치로 전송할 수 있다.

이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 응용, 또는 코드라고도 함)은 프로그램 가능 프로세서의 기계명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 사용하여 이러한 컴퓨팅 프로그램을 구현할 수 있다. 본 명세서에서 사용된 "기계 판독 가능한 매체"와 "컴퓨터 판독 가능한 매체"라는 용어는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광학 디스크, 메모리, 프로그램 가능 논리 소자(programmable logic device, PLD))를 나타내고, 기계 판독 가능한 신호로서의 기계명령을 접수하는 기계 판독 가능한 매체를 포함한다. 용어 "기계 판독 가능한 신호"라는 용어는 기계명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 나타낸다.

사용자와의 상호 작용을 제공하기 위해, 컴퓨데에서 본 명세서에서 설멸된 시스템 및 기술을 구현할 수 있는바, 해당 컴퓨터는: 사용자에게 정보를 디스플레이하기 위한 디스플레이 기기(예를 들어, 시알티 (cathode ray tube, CRT) 또는 LCD(액정 디스플레이) 모니터) 및 사용자가 컴퓨터에 입력하는 키보드 및 포인팅 기기(예컨대, 마우스 또는 트랙볼)를 구비한다. 다른 종류의 장치도 사용자와의 상호 작용을 제공하기 위해 사용될 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각적 피드백)일 수 있으며, 사용자로부터의 입력은 임의의 형태(음향, 음성 또는 촉각 입력을 포함)로 수신될 수 있다.

본 명세서에서 설명된 시스템 및 기술은 백그라운드 부재를 포함하는 컴퓨팅 시스템(예컨대, 데이터 서버), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예컨대, 애플리케이션 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예컨대, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 본 명세서에서 기술된 시스템 및 기술의 실시방식과 상호작용할 수 있다), 또는 이러한 백그라운드, 미들웨어 또는 프런트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 부재는 임의의 형태 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)에 의해 상호 접속될 수 있다. 통신 네트워크의 예로는 근거리 통신망(Local Area Network, LAN), 광역 통신망(Wide Area Network , WAN), 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트단 및 서버를 포함할 수 있다. 클라이언트단과 서버는 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 대응되는 컴퓨터 상에서 실행되고 각각 클라이언트단-서버 관계를 갖는 컴퓨터 프로그램을 통해 클라이언트단과 서버의 관계를 생성한다.

위에 기술된 다양한 형식의 프로세스를 사용하여, 단계를 재 배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 병렬로 수행할 수도, 순차적으로 수행할 수도, 다른 순서로 진행될 수도 있는 바, 본 출원에서 개시된 기술안이 목표한 결과를 구현할 수만 있다면 특별히 한정하지 않는다. 상기 구체적 실시방식은 본 출원의 보호범위를 한정하지 않는다. 본 기술분야의 일반 기술자는 설계 요구 및 기타 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체가 가능하다는 것을 명백해야 한다. 본 출원의 사상 및 원칙 내에서 진행한 그 어떠한 수정, 균등한 치환 및 개선 등은 모두 본 출원의 보호 범위에 속한다.

Claims

카메라의 내부 파라미터의 초기값, 외부 파라미터의 초기값 및 왜곡율의 초기값을 결정하는 단계;
상기 내부 파라미터의 초기값, 상기 외부 파라미터의 초기값, 상기 왜곡율의 초기값 및 카메라의 수학모델에 기반하여, 카메라가 촬영한 영상중의 점이 세계 좌표계에서 픽셀 좌표계로의 변환관계를 결정하는 단계;
제1구역의 고정밀도 지도중의 복수의 특징점을 상기 카메라가 촬영한 상기 제1구역의 제1영상의 픽셀 좌표계에 투영하여 복수의 투영점을 얻는 단계; 및
상기 복수의 특징점이 픽셀 좌표계에서의 좌표, 상기 변환관계 및 상기 복수의 투영점의 세계좌표에 기반하여, 최소 이승법을 사용하여 상기 카메라의 내부 파라미터와 왜곡율을 얻는 단계를 포함하는, 카메라 교정 방법.
제1항에 있어서,
상기 카메라의 내부 파라미터의 초기값을 결정하는 것은,
상기 카메라의 배치 파라미터에 기반하여 내부 파라미터의 초기값을 결정하는 것을 포함하는, 카메라 교정 방법.
제2항에 있어서,
상기 배치 파라미터는,
상기 카메라의 초점거리와 영상 해상도를 포함하는, 카메라 교정 방법.
제1항에 있어서,
상기 카메라는 건 카메라이고, 상기 카메라의 수학모델은 바늘구멍 카메라 투영 모델이며, 상기 카메라의 내부 파라미터에서 fx=fy=f이고, f의 초기값은 아래의 식에 의해 계산되는 바:
f/(w²+h²)^0.5=lens/(lenth/sensor_size_scale),
여기서, lens는 카메라의 초점거리를 나타내고, lenth는 카메라의 사이즈 파라미터를 나타내고, sensor_size_scale는 카메라의 사이즈 척도 파라미터를 나타내며, w와 h는 각각 카메라의 영상 해상도의 너비와 높이를 나타내는, 카메라 교정 방법.
제1항에 있어서,
상기 카메라는 어안 카메라이고, 상기 카메라의 수학모델은 등거리투영법 모델이며, 상기 카메라의 내부 파라미터에서 fx=fy=f이고, f의 초기값은 아래의 식에 의해 계산되는 바:
f=w/scale_focal,
여기서, w는 카메라의 영상 해상도중의 수평 픽셀 수를 나타내고, scale_focal는 어안 카메라의 등가 건 카메라 초점거리를 계산하는 척도를 나타내는, 카메라 교정 방법.
제4항에 있어서,
상기 카메라의 내부 파라미터중에서 cx의 초기값은 카메라의 영상 해상도의 너비의 1/2이고, cy의 초기값은 카메라의 영상 해상도의 높이의 1/2인 것인, 카메라 교정 방법.
제1항에 있어서,
상기 카메라의 외부 파라미터의 초기값을 결정하는 것은,
상기 복수의 특징점이 상기 제1영상에서의 위치 및 상기 복수의 투영점이 상기 제1영상에서의 위치에 기반하여 상기 카메라의 각도를 조정하여 상기 복수의 특징점의 위치와 상기 복수의 투영점의 위치가 대응되도록 하고, 조정된 각도 및 상기 카메라의 장착위치 파라미터에 기반하여 상기 카메라의 외부 파라미터의 초기값을 결정하는 것을 포함하는, 카메라 교정 방법.
카메라의 내부 파라미터의 초기값, 외부 파라미터의 초기값 및 왜곡율의 초기값을 결정하기 위한 제1결정모듈;
상기 내부 파라미터의 초기값, 상기 외부 파라미터의 초기값, 상기 왜곡율의 초기값 및 카메라의 수학모델에 기반하여, 카메라가 촬영한 영상중의 점이 세계 좌표계에서 픽셀 좌표계로의 변환관계를 결정하기 위한 제2결정모듈;
제1구역의 고정밀도 지도중의 복수의 특징점을 상기 카메라가 촬영한 상기 제1구역의 제1영상의 픽셀 좌표계에 투영하여 복수의 투영점을 얻기 위한 투영모듈; 및
상기 복수의 특징점이 픽셀 좌표계에서의 좌표, 상기 변환관계 및 상기 복수의 투영점의 세계좌표에 기반하여, 최소 이승법을 사용하여 상기 카메라의 내부 파라미터와 왜곡율을 얻기 위한 계산모듈을 포함하는, 카메라 교정 장치.
제8항에 있어서,
상기 제1결정모듈은,
상기 카메라의 배치 파라미터에 기반하여 내부 파라미터의 초기값을 결정하는 것인, 카메라 교정 장치.
제9항에 있어서,
상기 배치 파라미터는,
상기 카메라의 초점거리와 영상 해상도를 포함하는, 카메라 교정 장치.
제8항에 있어서,
상기 카메라는 건 카메라이고, 상기 카메라의 수학모델은 바늘구멍 카메라 투영 모델이며, 상기 카메라의 내부 파라미터에서 fx=fy=f이고, f의 초기값은 아래의 식에 의해 계산되는 바:
f/(w²+h²)^0.5=lens/(lenth/sensor_size_scale),
여기서, lens는 카메라의 초점거리를 나타내고, lenth는 카메라의 사이즈 파라미터를 나타내고, sensor_size_scale는 카메라의 사이즈 척도 파라미터를 나타내며, w와 h는 각각 카메라의 영상 해상도의 너비와 높이를 나타내는, 카메라 교정 장치.
제8항에 있어서,
상기 카메라는 어안 카메라이고, 상기 카메라의 수학모델은 등거리투영법 모델이며, 상기 카메라의 내부 파라미터에서 fx=fy=f이고, f의 초기값은 아래의 식에 의해 계산되는 바:
f=w/scale_focal,
여기서, w는 카메라의 영상 해상도중의 수평 픽셀 수를 나타내고, scale_focal는 어안 카메라의 등가 건 카메라 초점거리를 계산하는 척도를 나타내는, 카메라 교정 장치.
제11항 또는 제12항에 있어서,
상기 카메라의 내부 파라미터중에서 cx의 초기값은 카메라의 영상 해상도의 너비의 1/2이고, cy의 초기값은 카메라의 영상 해상도의 높이의 1/2인 것인, 카메라 교정 장치.
제8항에 있어서,
상기 제1결정모듈은,
상기 복수의 특징점이 상기 제1영상에서의 위치 및 상기 복수의 투영점이 상기 제1영상에서의 위치에 기반하여 상기 카메라의 각도를 조정하여 상기 복수의 특징점의 위치와 상기 복수의 투영점의 위치가 대응되도록 하고, 조정된 각도 및 상기 카메라의 장착위치 파라미터에 기반하여 상기 카메라의 외부 파라미터의 초기값을 결정하는 것인, 카메라 교정 장치.
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신적으로 연결되는 메모리를 포함하며, 여기서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서가 제1항 내지 제7항 중 어느 한 항의 방법을 수행하도록 하는 전자 기기.
컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 명령은 컴퓨터가 제1항 내지 제7항 중 어느 한 항의 방법을 수행하도록 하는 저장 매체.
컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
해당 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제7항 중 어느 한 항의 방법을 실현하는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
노변기기에 있어서,
제15항의 전자기기를 포함하는 노변기기.