KR20230023763A - 카메라를 교정하는 방법 및 그에 연관된 장치 - Google Patents

Abstract

본 발명은 자동차에 탑재된 기준 센서를 사용하여 자동차에 탑재된 카메라를 교정하는 방법에 관한 것이며, 상기 방법은, a) 상기 기준 센서를 사용하여 자동차 환경에서 적어도 하나의 객체의 실제 위치들을 획득하는 단계(E1); b) 상기 카메라를 사용하여, 상기 기준 센서에 의해 상기 실제 위치들 중 하나가 획득되는 각각의 순간의 샷을 획득하는 단계(E2); c) 상기 카메라에 의해 획득된 샷들에서 각각의 객체의 이미지의 위치를 결정하는 단계(E4); d) 각각의 객체의 각각의 실제 위치를 상기 객체의 상기 실제 위치를 획득하는 순간에 상기 카메라에 의해 획득된 샷에서 상기 객체의 이미지의 위치와 매치시킴으로써 위치 쌍들을 형성하는 단계(E5); e) 컴퓨팅 유닛을 사용하여, 형성된 위치 쌍들로부터 상기 카메라의 교정 매개변수들을 결정하는 단계(E6);를 포함한다.

Description

카메라를 교정하는 방법 및 그에 연관된 장치

본 발명은 일반적으로 차량에 탑재된 카메라의 교정에 관한 것이다.

더 구체적으로는, 본 발명은 자동차에 탑재된 카메라를 교정하는 방법에 관한 것이다.

본 발명은 환경을 디스플레이하고 이에 따라 예를 들어 긴급 제동 보조 시스템(emergency braking assistance system)들과 같은 운전자 보조 시스템들이 구비된 차량의 동작을 검증하는 데 사용되는 "콘텍스트 카메라(context　camera)"로 알려진 카메라의 교정에 특히 유리하게 적용될 수 있다.

본 발명은 또한 자동차에 탑재된 카메라를 교정하는 장치에 관한 것이다.

차량에 탑재된 카메라는 한편으로는 카메라가 획득한 샷(또는 사진)에 카메라에 의해 차량의 환경에서 검출된 객체의 표현이 위치될 수 있게 하기 위해, 다른 한편으로는 이러한 차량의 환경 내 객체의 실제 위치가 상기 카메라에 의해 획득된 샷을 기반으로 알려질 수 있게 하기 위해 교정되어야 한다.

실제로, 카메라를 교정하는 것은 결과적으로 차량에 연관된 기준 좌표계로부터 카메라가 획득한 샷에 연관된 기준 좌표계로 전환할 수 있는지에 관한 문제이다. 더 구체적으로는, 카메라의 교정은 교정 매개변수들의 2가지 타입, 한편으로는 차량에 연관된 기준 좌표계의 한 지점으로부터 카메라에 연관된 기준 좌표계의 한 지점으로의 전환을 모델링하기 위한 외부 교정 매개변수들과, 다른 한편으로는 카메라에 연관된 기준 좌표계의 한 지점으로부터 카메라에 의해 획득된 샷에 연관된 기준 좌표계의 이러한 한 지점의 이미지 - 또한 픽셀(pixel)이라고도 함 - 로의 전환을 모델링하기 위한, 카메라의 특성에 의존하는 고유 교정 매개변수들의 결정에 기초하여 이루어진다.

이러한 교정 매개변수들, 특히 외부 교정 매개변수들을 결정하기 위한 기존의 절차들은 작은 각도들의 측정들과 서로 다른 기준 좌표계들의 원점들 간 이동들의 측정들에 기초하여 이루어진다. 그러나 카메라에 연관된 기준 좌표계의 원점을 확립하는 것이 어려운데, 그 이유는 이러한 좌표계가 카메라의 광학 센서의 배향에 의존하기 때문이다. 또한, 이러한 측정들에는 정밀한 계측이 필요하다. 그러므로 이러한 기존의 절차들은 복잡하고 시간이 많이 소요되며 테스트 벤치(test bench)에 차량을 고정하여야 한다.

전술한 선행기술의 결점들을 극복하기 위해, 본 발명은 차량을 테스트 벤치에 고정할 필요 없이 사용 가능한 단순화된 교정 방법을 제안한다.

더 구체적으로는, 본 발명은 자동차에 탑재된 기준 센서를 사용하여 자동차에 탑재된 카메라를 교정하는 방법을 제안하며, 상기 방법에 의하면 이하의 단계들을 통해 카메라 교정 매개변수들을 결정하기 위한 준비가 이루어진다.

a) 상기 기준 센서에 의해 자동차의 환경에서 적어도 하나의 객체의 복수 개의 실제 위치들을 획득하는 단계;

b) 카메라를 사용하여 상기 실제 위치들 중 하나가 상기 기준 센서에 의해 획득되는 각각의 순간에 샷(shot)을 획득하는 단계;

c) 카메라에 의해 획득된 샷에서 각각의 객체의 이미지 위치를 결정하는 단계;

d) 이러한 객체의 상기 실제 위치를 획득하는 순간에 상기 카메라에 의해 획득된 샷에서 상기 객체의 이미지 위치와 각각의 객체의 각각의 실제 위치를 매치시킴으로써 위치 쌍들을 형성하는 단계;

e) 컴퓨팅 유닛을 사용하여 형성된 위치 쌍 세트로부터 상기 카메라의 교정 매개변수들을 결정하는 단계.

따라서, 본 발명으로 인해, 객체들의 실제 위치들은 이미 교정된 기준 센서에 의해 정확하게 결정된다. 상기 실제 위치들은 자동차가 운행 중일 때 캡처될 수 있다. 그러므로 상기 카메라는 자동차를 테스트 벤치에 놓을 필요 없이 교정될 수 있다. 이는 특히 상기 카메라가 시간 경과에 따라 여러 경우에, 예를 들어 카메라 위치 변경을 유발하는 충격 이후에 교정되어야 할 수 있다는 점에서 상당한 유연성을 제공한다.

상기 방법은 신속하고 사용이 간편하다.

또한, 이러한 교정 방법은 광각 카메라("피쉬 아이(fish eye)" 카메라라고도 알려짐)를 포함한 임의 타입의 카메라에 적용될 수 있다.

상기 방법은 카메라 또는 무선 또는 광 타입(레이더(radar) 또는 라이다(lidar))의 전자파(電磁波)들을 사용하는 검출 시스템과 같은 다른 센서일 수 있는 자동차에 탑재된 기준 센서와 상관없이 적용될 수 있다.

이러한 방법을 사용하면 더는 작은 각도들을 측정하고 서로 다른 기준 좌표계들의 원점들 간 이동들을 측정할 필요가 없다.

개별적으로 또는 임의의 기술적으로 가능한 조합으로 고려되는 본 발명에 따른 방법의 다른 유리하고 비-제한적인 특징들은 다음과 같다:

- 단계 e)에서, 상기 카메라의 교정 매개변수들은 자동차에 연관된 기준 좌표계로부터 상기 카메라에 연관된 기준 좌표계로의 전환을 묘사하는 회전 및/또는 이동 매트릭스(translation matrix)의 계수들에 의해 형성된 외부 매개변수들이다;

- 단계 e)에서, 상기 외부 교정 매개변수들의 결정은 이하의 하위 단계들을 포함한다.

e1) 형성된 각각의 위치 쌍에 대해, 단계 a)에서 결정된 상기 객체의 실제 위치와 상기 매트릭스의 계수들에 기초하여 상기 객체의 이미지의 이론적 위치가 계산되고, 그 후에 한편으로는 이러한 방식으로 계산된 이론적 위치와 다른 한편으로는 단계 c)에서 결정된, 상기 샷 내 상기 객체의 이미지의 위치 간의 차이가 평가되고,

e2) 단계 e1)에서 평가된 모든 차이들의 평균이 계산되며,

e3) 상기 매트릭스의 계수들이 수정되고, 그리고

e4) 하위 단계들 e1) 내지 e3)은 하위 단계 e2)에서 계산된 차이들의 평균이 최소화될 때까지 반복되며,

- 하위 단계 e1) 이전에, 회전 및/또는 이동 매트릭스의 계수들은 사전에 결정된 레벨, 바람직하게는 1로 모두 초기화되고,

- 획득 단계 a) 및 b)는 자동차가 실질적으로 수평이며 편평한 도로에서 직선을 따라 주행하는 동안 수행되고,

- 단계 a)에서, 상기 기준 센서는 상기 카메라의 시야를 커버하는 상기 기준 센서의 시야 전체에 분산된 객체들의 적어도 5개의 상이한 실제 위치를 획득하며,

- 상기 카메라에 의해 획득된 각각의 샷에서 각각의 객체의 이미지 위치를 결정하는 단계 c)는 오퍼레이터에 의해 수동으로 수행되고,

- 상기 카메라에 의해 획득된 각각의 샷에서 각각의 객체의 이미지의 위치를 결정하는 단계 c)는 뉴럴 네트워크(neural network)를 포함하는 이미지 처리 유닛에 의해 수행된다.

본 발명은 또한 자동차에 탑재된 기준 센서 및 자동차에 탑재된 카메라와 통신하도록 구성된, 자동차에 탑재된 카메라를 교정하는 장치를 제안하며, 상기 기준 센서는 상기 자동차의 환경에서 적어도 하나의 객체의 복수 개의 실제 위치들을 획득하도록 제공되고, 상기 장치는,

- 주어진 순간에 자동차에 연관된 기준 좌표계 내 각각의 객체의 실제 위치와 이러한 주어진 순간에 상기 카메라에 의해 획득된 샷이 기록되는 메모리 유닛,

- 상기 카메라에 의해 획득된 샷들 내 각각의 객체의 이미지의 위치를 결정하고 상기 샷 내 상기 객체의 이미지의 상기 위치를 상기 샷의 획득 순간 상기 객체의 실제 위치와 매치(match)시킴으로써 위치 쌍들을 형성하도록 구성된 이미지 처리 유닛, 및

- 상기 이미지 처리 유닛에 의해 형성된 위치 쌍 세트에 기초하여 상기 카메라의 교정 매개변수들을 계산하도록 구성된 컴퓨팅 유닛;

을 포함한다.

본 발명에 따른 상기 장치로 인해, 테스트 벤치에 자동차를 고정시킬 필요 없이 자동차가 주행하고 있는 동안 교정이 수행될 수 있다. 또한 상기 장치는 자동차에 이미 존재하는 기준 센서를 독창적으로 사용한다.

본 발명에 따른 상기 장치의 유리한 특성에 의하면, 상기 기준 센서는 카메라, 입체 카메라, 및 전자파를 사용하는 검출 시스템과 같은 센서들의 목록에서 선택된다.

본 발명에 따른 상기 장치의 또 다른 유리한 특성에 의하면, 상기 카메라는 운전자 지원 시스템들을 검증하는 카메라이다.

본 발명에 따른 방법에 대해 목록화된 유리한 특성들은 본 발명에 따른 상기 장치에도 적용 가능하다.

분명한 점으로는, 본 발명의 상이한 특징들, 변형들 및 실시 예들은 서로 양립 가능하거나 상호 배타적이지 않은 한 다양한 조합으로 서로 연관될 수 있다.

비-제한적인 예로 제공되는 첨부도면들을 참조하는 이하의 설명은 본 발명의 본질 및 적용을 명확하게 할 것이다.

도 1은 본 발명에 따른 교정 방법의 주요 단계들을 개략적으로 보여주는 도면이다.
도 2는 본 발명에 따른 교정 장치를 개략적으로 보여주는 도면이다.
도 3은 자동차에 연관된 기준 좌표계로부터 샷에 연관된 기준 좌표계로 전환하는 원리를 개략적으로 보여주는 도면이다.
도 4는 카메라에 의해 촬영된 샷으로, 상기 샷에 나타나 있는 객체의 이미지 위치를 결정하기 위해 처리되는 샷을 보여주는 도면이다.
도 5는 기준 센서에 대한 획득 조건들이 최적인 카메라에 의해 촬영된 샷의 제1 예를 보여주는 도면이다.
도 6은 기준 센서에 대한 획득 조건들이 최적인 카메라에 의해 획득된 샷의 제2 예를 보여주는 도면이다.
도 7은 기준 센서에 대한 획득 조건들이 최적인 카메라에 의해 획득된 샷의 제3 예를 보여주는 도면이다.
도 8은 기준 센서에 대한 획득 조건들이 최적인 카메라에 의해 획득된 샷의 제4 예를 보여주는 도면이다.
도 9는 기준 센서에 대한 획득 조건들이 최적인 카메라에 의해 획득된 샷의 제5 예를 보여주는 도면이다.
도 10은 기준 센서에 대한 획득 조건들이 최적인 카메라에 의해 획득된 샷의 제6 예를 보여주는 도면이다.

도 2는 본 발명에 따른 교정 방법을 구현하도록 구성된 본 발명에 따른 교정 장치(1)를 도시하며, 상기 교정 방법의 주요 단계들이 도 1에 도시되어 있다.

이러한 장치(1) 및 이러한 교정 방법은 각각 자동차(도시되지 않음)에 탑재된 카메라(10)를 교정하는 목적을 지닌다.

상기 카메라(10)는 자동차 외부 영역의 샷들을 촬영할 수 있다. 여기서, 상기 카메라(10)는 육안으로 인지할 수 있을 정도의 끊김 없이 사람의 눈이 연속적으로 서로 따라가는 것으로 상기 샷들을 인지할 만큼 충분히 근접한 시간 간격들에서 샷들을 촬영한다. "자동차에 탑재된"이라는 표현은 상기 카메라(10)가 자동차의 구조적 부분을 형성하고 있기 때문이든 상기 카메라(10)가 자동차의 외부 차체에 임시로 배치되어 있기 때문이든, 상기 카메라(10)가 자동차의 내부에 존재하고 있기 때문이든 상기 카메라(10)가 자동차 상에나 내에 있음을 의미하는 것으로 간주된다. 따라서 상기 카메라(10)는 예를 들어 마찬가지로 또한 대시보드상에 배치되고 자동차 외부를 향해 있는 휴대폰 카메라이거나 자동차의 차체에 배치된 콘텍스트 카메라일 수 있다. 이러한 콘텍스트 카메라는 특히 운전자 지원 시스템들, 예를 들어 긴급 제동 지원 시스템들이 구비된 차량의 동작을 검증할 목적으로 차량의 환경을 디스플레이하는 데 사용된다. 콘텍스트 카메라는 운전자 지원 시스템들을 검증하는 카메라라고도 지칭된다. 상기 카메라(10)는 "피쉬 아이(fish eye)" 타입의 초광각 카메라를 포함하는 임의 타입의 단안 카메라(monocular camera)일 수 있다. 상기 카메라(10)에 의해 획득된 샷들(15)의 예들이 도 4 내지 도 10에 도시되어 있다.

서두 부분에서 설명되고 도 3에 도시된 바와 같이, 상기 카메라(10)의 교정은 한편으로는 상기 카메라(10)에 의해 획득된 샷(15)에 기초하여 차량 환경에서 객체(O)의 실제 위치를 알 수 있게 하고 다른 한편으로는 상기 카메라(10)에 의해 획득된 샷(15) 또는 임의의 다른 가상 이미지에서, 상기 카메라(10) 또는 임의의 다른 센서에 의해 검출된 객체(Im(O))의 표현을 차량 환경에서 위치시킬 수 있게 한다.

도 3의 개략도에 도시된 바와 같이, 상기 카메라(10)를 교정하는 것은 차량에 연관된 기준 좌표계(Rv)로부터 카메라에 의해 획득된 샷(15)에 연관된 기준 좌표계(Ri)로 전환할 수 있지에 관한 문제이다.

상기 카메라(10)를 교정하기 위해, 카메라의 2가지 타입의 교정 매개변수들, 한편으로는 차량에 연관된 기준 좌표계(Rv) 내 좌표들(X, Y, Z)을 지니는 한 지점으로부터 카메라에 연관된 기준 좌표계(Rc) 내 좌표들(x', y', z')을 지니는 한 지점으로의 전환을 모델링하는 외부 매개변수들(Pe)과 다른 한편으로는 카메라에 연관된 기준 좌표계(Rc) 내 좌표들(x', y', z')을 지니는 한 지점으로부터 카메라(10)에 의해 획득된 샷(15)에 연관된 기준 좌표계(Ri) 내 좌표들(u, v)을 지니는 지점으로의 전환을 모델링하는, 상기 카메라(10)의 특성에 의존하는 고유 매개변수들(Pi)을 결정할 필요가 있다.

본 발명은 주로 상기 카메라(10)의 외부 매개변수들(Pe)를 결정하도록 의도된 것이다. 여기서 가정된 점은 상기 고유 매개변수들(Pi)이 공지된 방법에 의해 미리 확립되어 있다는 것이다. 한 변형 예에서 또한 가정된 점은 고유 교정 매개변수(Pi)가 알려지지 않고 상기 외부 매개변수들(Pe) 외에 본 발명에 따른 교정 장치(1) 및 방법을 사용하여 결정된다는 것이다.

주목할 만한 점으로는, 상기 카메라(10)가 이하 "기준 센서(20)"로서 언급되는 이전에 교정된 차량의 센서(20)에 의해 교정된다는 것이다. 그러한 기준 센서(20)는 주어진 시야에서 차량 환경 내 적어도 하나의 객체(O)를 검출하고 차량에 대한 객체의 위치, 다시 말하면 차량에 연관된 기준 좌표계(Rv), 다시 말하면 차량의 이동에 대해 고정된 기준 좌표계 내 객체의 위치를 결정하기 위해 사용될 수 있다. 이러한 기준 센서(20)는 차량에 연관된 기준 좌표계(Rv)에서 결정하는 객체(O)의 위치가 정확하도록 이미 교정되어 있다.

간략화를 위해, 차량에 연관된 기준 좌표계(Rv) 내 객체(O)의 위치는 이하에서 객체(O)의 "실제 위치"로서 언급된다. 상기 기준 센서(20)에 의해 획득된 객체(O)의 실제 위치는 차량에 연관된 기준 좌표계(Rv) 내 이러한 객체(O)의 정확한 지점의 좌표들(X, Y, Z)에 의해 주어진다(도 3 참조). 관례로, 상기 객체의 위치를 나타내는 정확한 지점은 여기에서 지면 높이, 결과적으로는 높이 Z=0에 있으며 이러한 높이 Z=0에서 객체(O)의 2개의 극한 지점을 연결하는 직선의 중심에 있는 지점으로 간주된다. 그 후에, X 좌표는 상기 객체의 정확한 지점과 차량에 연관된 기준 좌표계(Rv)의 원점 간의 측면방향 거리를 제공한다. Y 좌표는 상기 객체의 정확한 지점과 차량에 연관된 기준 좌표계(Rv)의 원점 간의 길이방향 거리를 제공한다. 여기서, 차량에 연관된 기준 좌표계(Rv)의 원점은 차량의 앞 범퍼 중앙에서 지면과 동일한 높이, 다시 말하면 높이 Z=0에 위치한 지점으로 간주된다.

상기 기준 센서(20)가 검출할 수 있는 객체들은 예를 들어 이하의 종류, 다시 말하면 자동차, 트럭 및 버스와 같은 차량; 보행자; 또는 자전거, 스쿠터 또는 오토바이와 같은 이륜 차량이다.

여기서, 상기 기준 센서(20)는 차량에 장착되고, 예를 들어 전방 리어 뷰 미러와 같이 내부에 위치되고 전방 유리창을 향하게 배향된다. 한 변형 예에서, 상기 기준 센서는 예를 들어 차체에 통합되어 차량 외부에 구조적으로 존재할 수 있다. 따라서 고려되는 변형 예에 관계없이, 상기 기준 센서는 항상 차량에 탑재된다.

상기 기준 센서(20)는 카메라, 입체 카메라, 전자파를 사용하는 검출 시스템 및 초음파를 사용하는 검출 시스템과 같은 센서들의 목록에서 선택된다. 전자파를 사용하는 검출 시스템들은 전자파들을 전송하고 객체들에 의해 반사되는 전자파들을 분석함으로써 객체들을 검출할 수 있다. 이러한 검출 시스템들은 예를 들어 전파들을 사용하는 레이더 시스템들 또는 광파, 특히 레이저를 사용하는 라이더 시스템들, 예를 들어 가시광선, 자외선 또는 적외선 범위들의 파장들을 지니는 그러한 시스템들이다. 초음파 검출 시스템들은 전자파 검출 시스템들과 동일한 원리로 작동하지만 음파를 전송함으로써 작동한다. 그러한 초음파 검출 시스템의 일 예는 소나(Sonar)이다.

상기 기준 센서(20)는 차량 환경 내 적어도 하나의 객체의 복수 개의 실제 위치들을 획득하도록 설계되는 것으로 가정되고, 여기서 각각의 실제 위치는 주어진 순간에 차량에 연관된 기준 좌표계(Rv)에서 획득된다.

따라서, 시간 경과에 따라, 상기 기준 센서(20)는 자신의 시야에서 객체로서 검출하는 모든 것의 위치들을 획득한다.

다시 말하면, 상기 기준 센서(20)는 한편으로는 자신의 시야에 존재하는 동일한 객체의 시간에 따른 연속적인 위치들, 다시 말하면 상이한 순간에 동일한 객체의 위치들을 검출하고, 다른 한편으로는 자신의 시야에 존재하는 복수 개의 개별 객체들의 동일한 순간의 위치들을 검출한다.

실제로, 상기 기준 센서(20)는 상기 객체들이 자신의 시야에서 서로 잘 분리되어 있는 한, 동시에 복수 개의 개별 객체들을 검출할 수 있다. 이는 상기 기준 센서(20)의 관점에서 상기 객체들이 함께 너무 가까이 있으면 마치 가상 객체를 형성해 서로 인접하여 있는 것처럼 보이고, 이 경우 상기 기준 센서(20)가 2개의 개별 실제 위치(각각의 개체에 대해 하나의 실제 위치) 대신에 이러한 가상 객체에 대해 단일의 실제 위치를 결정하기 때문이다. 상기 기준 센서(20)의 검출 감도, 다시 말하면 함께 가까이 있는 2개의 객체를 구별할 수 있는 상기 기준 센서(20)의 능력은 본 발명에 대해 알려진 것으로 간주된다.

또한 상기 카메라(10)와 상기 기준센서(20)의 시야가 일치하여 상기 카메라(10)와 상기 기준 센서(20)가 각각 객체의 서로 다른 관점을 지니더라도 상기 카메라(10)와 상기 기준 센서(20) 양자 모두가 동일한 순간에 동일한 객체를 볼 수 있게 하는 것이 바람직하다. 여기서, 상기 카메라(10)의 시야는 상기 기준 센서(20)의 시야의 20% 내지 100%를 커버한다. 분명한 점으로는, 상기 기준 센서(20)에 의해 획득된 객체들 위치들이 상기 카메라(10)의 시야와 일치하는 상기 기준 센서(20)의 시야 부분에 위치하는 것이 중요하며, 그러하지 않은 경우, 상기 카메라(10)의 교정을 위해 상기 위치가 사용될 수 없다.

따라서 주어진 순간에 상기 카메라(10)에 의해 획득된 각각의 샷(15)은 상기 주어진 순간에 상기 기준 센서(20)에 의해 실제 위치가 획득된 각각의 객체의 적어도 부분 이미지를 포함한다.

이상적으로는, 기준 센서(20)에 의해 검출된 실제 위치들이 차량에 연관된 기준 좌표계(Rv)의 원점에 대해 측면방향으로 -5미터와 +5미터 사이에 위치한 기준 센서(20)의 시야의 일부에서 연장되고, 상기 센서가 차량 전방을 향하게 배향된 시야를 지닐 때 이러한 원점에 대해 길이방향으로 3미터와 30미터 사이, 또는 기준 센서(20)가 차량 후방을 향하게 배향된 시야을 지닐 때 상기 원점에 대해 길이방향으로 -3미터와 -30미터 사이에 위치한 기준 센서(20)의 시야의 일부에서 연장된다.

추가로, 상기 기준 센서(20)와 상기 카메라(10)는 동기화되고, 다시 말하면 상기 기준 센서(20)와 상기 카메라(10)는 동일한 시간의 원점을 지니고, 그럼으로써 주어진 순간에 상기 카메라(10)에 의해 획득된 샷(15)이 동일한 주어진 순간에 상기 기준 센서(20)에 의해 획득된 객체들의 실제 위치(들)에 연관될 수 있게 한다. 수십 밀리초 이하, 예를 들어 30밀리초 이하의 동기화 오류를 허용하는 것이 허용된다.

상기 기준 센서(20)는 차량이 정지해 있는지 또는 주행하고 있는지에 관계없이 객체들의 실제 위치들을 검출하도록 구성된다.

여기서 가정된 점은 상기 카메라(10)에 의한 샷들의 획득과 상기 기준 센서(20)에 의한 객체들의 실제 위치들의 획득이 차량의 주행 동안 수행된다는 것이다.

상기 검출된 객체의 실제 위치가 가능한 한 정확하게 하기 위해, 상기 기준 센서(20)에 의한 획득 조건들이 최적인 것이 중요하다. 특히, 최적 획득 조건들은 차량이 직선으로, 다시 말하면 굴곡이 없는 도로에서, 그리고 실질적으로 수평이고 편평한 도로에서, 다시 말하면 상향 또는 하향 경사가 없는 도로에서 주행할 것을 요구한다. 직선으로 주행하면 차량에 연관된 기준 좌표계(Rv) 내 좌표들(X, Y)을 정확하게 결정할 수 있다. 수평 도로에서 주행하면 검출된 객체를 나타내는 지점의 좌표 Z=0이 유지되게 된다. 이 경우 2가지 조건이 누적된다. 예를 들어, 이러한 기준들을 충족하는 고속도로 구간이나 테스트 트랙에서 주행하는 것은 전적으로 교정 목적에 적합하다.

필요한 경우 이러한 최적의 획득 조건들은 기상 조건, 다시 말하면 차량이 상기 기준 센서(20)에 대한 시인성이 좋은 상태로 주행해야 하는 기상 조건으로 보완될 수 있다. 예를 들어, 상기 기준 센서(20)가 카메라인 경우, 안개 속에서보다 맑은 날씨에서 실제 위치들의 획득을 수행하는 것이 명백히 바람직하다. 이는 상기 기준 센서(20)의 획득에 대한 정밀도를 향상시킨다.

도 5 내지 도 10은 실질적으로 수평인 도로와 함께 직선으로 최적 획득 조건들에서 상기 카메라(10)에 의해 획득된 샷들(15)을 보여준다. 여기서 유념해야 할 점은 도 5 내지 도 10에 도시된 샷들(15) 각각에서, 복수 개의 객체들(트럭들 및 자동차들)이 존재하는 경우, 이들이 상기 카메라(10)에 의해 획득된 상기 샷(15)에서 구별될 정도로 충분히 서로 충분히 떨어져 있다는 것이다. 여기서, 도시된 모든 예들은 상기 카메라(10)가 탑재되어 있는 차량의 전방을 향하게 배향된 시야를 상기 카메라(10)가 지니는 상황들이다.

도 2에 도시된 바와 같이, 상기 카메라(10) 및 상기 기준 센서(20)는 각각 상기 교정 장치(1)와 통신하도록 구성된다.

특히, 상기 교정 장치(1)는 상기 카메라(10) 및 상기 기준 센서(20)와 통신하도록 구성된 메모리 유닛(11)을 포함한다. 더 정확하게는, 상기 카메라(10)는 획득된 각각의 샷(15) 및 이러한 샷이 획득된 순간을 이러한 유닛에 기록하기 위해 상기 교정 장치(1)의 메모리 유닛(11)과 통신하도록 구성된다. 상기 기준 센서(20)는 부분적으로는 상기 장치(1)의 메모리 유닛(11)과 통신하도록 구성되어 있으며, 결과적으로는 상기 기준 센서(20)가 검출한 실제 위치들과, 이러한 실제 위치들 각각을 검출한 순간을 이러한 유닛에 기록하도록 이루어진다. 이러한 정보에 추가하여, 상기 기준 센서(20)는 상기 메모리 유닛(11)과 통신할 수 있으며, 결과적으로는 상기 기준 센서(20)가 검출한 실제 위치를 지니는 객체의 특성을 이러한 유닛에 기록할 수 있게 이루어진다. 상기 메모리 유닛(11)과 상기 카메라(10) 또는 상기 기준 센서(20) 간 통신은 통신 버스 또는 무선 인터페이스를 통해 이루어진다.

도 2에 도시된 바와 같이, 상기 교정 장치(1)는, 주어진 순간에 차량에 연관된 기준 좌표계(Rv) 내 각각의 객체의 실제 위치와 이러한 주어진 순간에 상기 카메라(10)에 의해 획득된 샷(15)이 기록되는 메모리 유닛(11)에 추가하여,

- 각각의 샷(15)에 연관된 기준 좌표계(Ri)에서 상기 카메라(10)에 의해 획득된 샷들(15)에 존재하는 객체들의 이미지들의 위치를 결정하기 위해 상기 카메라(10)에 의해 획득된 샷들(15)을 처리하도록 구성된 이미지 처리 유닛(12), 및

- 상기 카메라(10)의 교정 매개변수들, 특히 상기 외부 교정 매개변수들(Pe)을 결정하도록 구성된 컴퓨팅 유닛(13)

을 포함한다.

상기 이미지 처리 유닛(12) 및 상기 컴퓨팅 유닛(13)은 일반적으로 차량으로부터 멀리 떨어져 있는 반면에, 상기 메모리 유닛(11)은 차량에 탑재될 수도 있고 차량으로부터 부분적으로나 또는 완전히 떨어져 있을 수도 있다. 상기 교정 장치(1)의 메모리 유닛(11)이 차량으로부터 부분적으로나 또는 완전히 떨어져 있는 경우, 무선 통신 시스템(또한 무선 인터페이스라고 지칭됨)을 통해 상기 장치(1)의 다른 유닛들(12, 13)과 통신하도록 구성된다.

상기 메모리 유닛(11)은 예를 들어 차량에 통합된 플래시 메모리일 수도 있고 예를 들어 USB 스틱을 사용하여 차량에 접속된 플래시 메모리일 수도 있다.

상기 처리 유닛(12) 및 상기 컴퓨팅 유닛(13)은 컴퓨터에 통합될 수 있으며, 이 경우에 상기 메모리 유닛(11)은 상기 컴퓨터의 USB 포트 내에 직접 삽입됨으로써 상기 처리 및 컴퓨팅 유닛들(12, 13)과 통신할 수 있다.

상기 이미지 처리 유닛(12)은 예를 들어 컴퓨터 상에 구현된 이미지 뷰잉 소프트웨어 및 상기 샷들(15)을 뷰잉하며, 선택하고, 처리할 책임이 있는 오퍼레이터를 포함할 수 있다.

더 정확하게는, 상기 이미지 처리 유닛(12)은 상기 메모리 유닛(11)과 통신하여 상기 카메라(10)에 의해 획득된 샷들(15)을 검색한다. 상기 이미지 처리 유닛(12)의 오퍼레이터는 상기 메모리 유닛(11)으로부터 검색된 샷들(15) 중에서 처리해야 할 샷들을 선택한다. 상기 오퍼레이터는 그 후에 선택된 샷들(15) 각각을 수동으로 처리하고 결과적으로는 이미지들 중 어느 이미지들이 이러한 샷들(15)에서 객체들의 이미지들(Im(O1), Im(O2), Im(O3))인지, 그리고 이러한 객체 이미지들 각각의 위치가 상기 샷(15)에 연관된 기준 좌표계(Ri)에서 무엇인지를 결정한다.

각각의 객체의 이미지의 위치를 결정하기 위한 샷들의 선택 및 처리는 본 발명에 따른 방법을 참조하여 이하에서 더 구체적으로 설명된다.

마지막으로, 상기 이미지 처리 유닛(12)은 상기 샷(15)에 연관된 기준 좌표계(Ri) 내 객체의 이미지의 각각의 위치를 상기 샷(15)의 획득 순간에 차량에 연관된 기준 좌표계(Rv) 내 객체의 실제 위치와 매치(match)시킴으로써 위치 쌍들을 형성하도록 구성된다.

상기 이미지 처리 유닛(12)은 이러한 방식으로 형성된 위치 쌍들을 기록하기 위해 상기 메모리 유닛(11)과 다시 통신한다.

상기 컴퓨팅 유닛(13)은 그 후에 상기 이미지 처리 유닛(12)에 의해 형성된 위치 쌍 세트에 기초하여 상기 카메라(10)의 외부 교정 매개변수들(Pe)을 계산한다.

그러므로 상기 교정 장치(1)의 컴퓨팅 유닛(13)은 또한, 한편으로는 상기 이미지 처리 유닛(12)에 의해 형성된 위치 쌍들을 검색하기 위해 상기 메모리 유닛(11)과 통신하고 다른 한편으로는 외부 매개변수들(Pe)을 상기 카메라(10)에 보내기 위해 상기 카메라(10)와 통신하도록 구성된다.

한 변형 예에서, 상기 컴퓨팅 유닛(13)은 상기 메모리 유닛(11)과만 통신하도록 설계될 수 있으며, 여기서 상기 외부 매개변수들(Pe)은 그들의 계산 후에 기록된다. 이 경우에, 상기 메모리 유닛(11)은 상기 카메라(10)와 통신하도록 구성된 유일한 유닛이다.

상기 컴퓨팅 유닛(13)은 설명한 본 발명에 따른 방법을 참조하여 이하에서 더 구체적으로 설명되는 계산들을 구현한다. 이를 위해, 상기 컴퓨팅 유닛(13)은 최적화 계산들을 구현하도록 구성된 컴퓨터를 포함한다.

도 1은 본 발명에 따른 카메라(10)를 교정하는 방법의 주요 단계들을 보여준다.

이러한 방법에 의하면 이하의 단계들을 통해 상기 카메라의 교정 매개변수들, 특히 외부 매개변수들을 결정하기 위한 준비가 이루어진다.

a) 상기 기준 센서(20)에 의해 차량 환경에서 적어도 하나의 객체의 복수 개의 실제 위치들을 획득하는 단계(도 1에서 박스 E1으로 나타냄),

b) 상기 카메라(10)를 사용하여 상기 실제 위치들 중 하나의 실제 위치가 상기 기준 센서(20)에 의해 획득되는 각각의 순간에 샷(15)을 획득하는 단계(도 1에서 박스 E2로 나타냄),

c) 상기 카메라에 의해 획득된 샷들(15)에서 각각의 객체의 이미지의 위치를 결정하는 단계(도 1에서 박스 E4로 나타냄),

d) 각각의 객체의 각각의 실제 위치를 이러한 객체의 상기 실제 위치를 획득하는 순간에 상기 카메라(10)에 의해 획득된 샷(15) 내 상기 객체의 이미지의 위치와 매치시킴으로써 위치 쌍들을 형성하는 단계(도 1에서 박스 E5로 나타냄),

e) 컴퓨팅 유닛(13)을 사용하여 형성된 위치 쌍 세트로부터 상기 카메라의 교정 매개변수들을 결정하는 단계(도 1에서 박스 E6로 나타냄).

명백한 점으로는, 본 발명에 따른 교정 장치(1)는 본 발명에 따른 방법의 단계들을 구현하도록 구성된다.

도 1에서 박스들 E1 및 E2로 나타낸 상기 방법의 단계들 a) 및 b)는 상기 장치(1)의 설명을 참조하여 이미 충분히 구체적으로 설명되었다.

상기 카메라(10)의 교정이 최적임을 보장하기 위해, 상기 기준 센서(20)가 단계 a)에서 상기 카메라(10)의 시야에서 복수 개의 상이한 실제 위치들, 다시 말하면 복수 개의 개별 객체들의 위치들을 획득하는 것이 중요하다. 다시 말하면, 상기 기준 센서(20)에 의해 검출된 객체들 중 하나의 객체를 나타내는 정확한 지점의 좌표들은 차량에 연관된 기준 좌표계(Rv)에서 상기 기준 센서(20)가 검출하는 객체들 중 다른 한 객체를 나타내는 정확한 지점의 좌표들과는 달라야 한다.

여기서, 상기 기준 센서(20)는 상기 카메라(10)의 시야와 일치하는 상기 기준 센서(20)의 시야 일부 전체에 걸쳐 분포된, 객체들의 적어도 5개의 상이한 실제 위치를 획득한다. 상기 기준 센서(20)는 예를 들어 5 내지 20개의 상이한 실제 위치, 바람직하게는 10개의 상이한 실제 위치를 획득한다. 획득된 서로 다른 실제 위치들의 개수가 많을수록 상기 카메라(10)의 교정이 더 정확해진다. 이상적으로, 상기 감지된 객체들의 실제 위치들은 상기 카메라(10)의 시야와 일치하는 상기 기준 센서(20)의 시야에 분산된다. 다시 말하면, 상기 실제 위치들은 상기 카메라(10)와 기준 센서(20)의 공통 시야에 위치하지만 이상적으로는 이러한 공통 시야에서 모두 동일한 위치에 집중되지 않는다. 심지어 더 바람직하게는, 상기 카메라(10)의 시야와 일치하는 상기 기준 센서(20)의 시야에서 위치들이 균일하게 분포된다.

상기 기준 센서(20)가 충분히 다른 객체들의 실제 위치들을 획득할 수 있게 하려면, a) 단계에서 차량의 주행 시간이 충분하여야 한다.

도 1에 도시된 바와 같이, 박스 E3으로 나타나 있는 단계들 a) 및 b)에 대한 추가 단계, 다시 말하면 상기 기준 센서(20) 및 상기 카메라(10)의 획득들을 동기화하는 단계가 제공된다. 이러한 추가 단계에서, 상기 메모리 유닛(11)은 순간 t에서 상기 카메라(10)에 의해 획득된 샷(15)을 이러한 순간 t에서 상기 기준 센서(20)에 의해 획득된 객체들의 모든 실제 위치과 매치시킨다. 따라서, 상기 처리 유닛(12)이 단계 c)(박스 E4로 나타냄)에서 샷들(15)을 처리할 때, 상기 처리 유닛(12)은 처리된 각각의 샷(15)에서 얼마나 많은 객체들의 이미지들이 검출되어야 하는지를 안다: 검출될 이미지의 개수는 순간 t에서 상기 기준 센서(20)에 의해 획득된 실제 위치들의 개수와 같다.

도 1에서 박스 E4로 나타낸 방법의 단계 c)는 필요한 경우 처리될 샷들(15)의 선택, 선택된 각각의 샷(15) 내 객체 이미지들의 검출, 및 상기 샷(15)에 연관된 기준 좌표계(Ri) 내 이러한 객체 이미지들 각각의 위치의 검출을 포함하는 이미지 처리 단계이다.

이러한 이미지 처리 단계는 상기 이미지 처리 유닛(12)의 컴퓨터에서 구현된 소프트웨어의 도움을 받아 오퍼레이터에 의해 구현된다.

더 정확하게는, 상기 이미지 처리 유닛(12)은 획득된 샷들(15)을 검색하기 위해 상기 메모리 유닛(11)과 통신한다. 상기 이미지 처리 유닛(12)의 오퍼레이터는 그 후에 상기 메모리 유닛(11)으로부터 검색된 샷들(15) 중에서 처리해야 할 샷들을 선택한다. 오퍼레이터가 처리하기 위해 선택한 샷들(15)은 도로의 이미지가 일직선이고 편평하며, 기상 조건들이 상기 기준 센서(20)에 이상적으로 나타나고 객체 이미지들이 서로 잘 분리된 샷들이다. 바람직하게는, 오퍼레이터에 의한 이러한 선택 기준들은 누적된다.

도 4에 도시된 바와 같이, 오퍼레이터는 그 후에 선택된 샷들(15) 각각을 수동으로 처리하고, 결과적으로는 어느 것들이 이러한 샷들(15)에서 객체들의 이미지들(Im(O1), Im(O2), Im(O3))의 이미지들인지를 결정한다.

관례에 따라, 상기 객체의 이미지는 여기에서 정사각형, 직사각형 또는 사다리꼴과 같은 기하학적 형상으로 간주된다. 여기서, 도 4에 도시된 바와 같이, 상기 객체의 이미지를 나타내는 기하학적 형상은 자동차의 리어 뷰의 윤곽을 따른다. 따라서, 상기 샷들(15) 내 객체들의 이미지들을 표시하기 위해, 오퍼레이터는 각각의 객체의 이미지의 사전에 결정된 영역(이 경우에 리어 뷰)을 둘러싸는 적절한 기하학적 윤곽을 사용한다. 도 4에서, 오퍼레이터는 3개의 정사각형 Im(O1), Im(O2), Im(O3)을 사용하여 3대의 차량 후방 면을 둘러싼다. 예를 들어 오퍼레이터가 VGG Image Annotator® 소프트웨어를 사용하여 기하학적 형상으로 객체들의 이미지들의 윤곽을 나타내는 이러한 작업을 수행한다.

단계 c)에서, 상기 이미지 처리 유닛(12)은 그 후에 선택된 샷들(15)에서 이러한 방식으로 마킹된 각각의 객체 이미지(Im(O1), Im(O2), Im(O3))의 위치를 결정한다. 이를 위해, 상기 이미지 처리 유닛(12)은 상기 샷(15)에 연관된 기준 좌표계(Ri) 내 각각의 객체 이미지(Im(O1), Im(O2), Im(O3))의 정확한 지점(M1, M2, M3)의 좌표들((u1, v1), (u2, v2), (u3, v3))을 결정한다. 일반적으로, 오퍼레이터는 상기 샷(15)에 연관된 기준 좌표계(Ri)에서 객체 이미지를 마킹하는 기하학적 형태의 정확한 지점의 좌표들을 식별함으로써 상기 샷(15) 내 상기 객체 이미지의 정확한 위치를 수동으로 결정한다. 한 변형 예에서, 상기 샷 내 각각의 객체의 이미지의 위치가 상기 객체의 이미지를 나타내는 기하학적 형상으로 정확한 지점을 식별할 수 있는 소프트웨어에 의해 자동으로 결정되는 것이 가능할 것이다.

관례로, 상기 객체의 이미지(Im(O1), Im(O2), Im(O3))의 위치를 제공하는 정확한 지점은 상기 객체의 이미지(Im(O1), Im(O2), Im(O3))의 2개의 극한 지점을 연결하는 지면에서의 직선의 중심에서 지면 높이에 위치한 지점(M1, M2, M3)으로 간주된다.

예를 들어, 도 4에서 정사각형들(Im(O1), Im(O2), Im(O3)) 중 하나의 정사각형의 위치를 제공하는 정확한 지점(M1, M2, M3)은 지면에 놓인 이러한 정사각형 측면의 중심이다. 그 후에 처리된 샷(15)에 연관된 기준 좌표계(Ri) 내 이러한 정확한 지점의 좌표들((u1, v1), (u2, v2), (u3, v3))을 결정하는 것이 단지 필요하다. 이를 위해, 여기서 상기 샷(15)에 연관된 기준 좌표계(Ri)의 원점은 상기 샷(15)의 좌측 상단 코너에 위치한 지점으로 간주된다(도 3 및 도 4 참조).

상기 방법의 단계 d)는 도 1에서 박스 E5로 나타나 있으며, 순간 t에서 상기 기준 센서(20)에 의해 검출된 객체의 실제 위치를 동일한 순간 t에서 획득된 샷(15)에 연관된 기준 좌표계(Ri) 내 이러한 객체의 이미지의 위치와 연관시킴으로써 위치 쌍들을 형성하는지의 문제이다.

이를 위해, 상기 이미지 처리 유닛(12)은 상기 샷(15)에 연관된 기준 좌표계(Ri) 내 상기 객체의 이미지(Im(O1), Im(O2), Im(O3))의 위치((u1, v1), (u2, v2), (u3, v3))를, 상기 샷(15)의 획득 순간에 차량에 연관된 기준 좌표계(Rv) 내 상기 객체(O1, O2, O3)의 실제 위치((X1, Y1, Z1=0), (X2, Y2, Z2=0), (X3, Y3, Z3=0))와 매치시킨다.

더 정확하게는, 상기 처리 유닛(12)은 상기 처리된 샷(15)의 획득 순간에 상기 기준 센서(20)에 의해 검출된 객체의 각각의 실제 위치를 상기 메모리 유닛(11)으로부터 검색한다.

상기 기준 센서(20)에 의해 단일의 객체가 이러한 순간에 검출되었을 때, 차량에 연관된 기준 좌표계(Rv) 내 상기 객체의 실제 위치는 상기 샷(15)에서 식별된 단일의 객체 이미지의 위치와 직접 매치된다.

이러한 순간에서 상기 기준 센서(20)에 의해 복수 개의 객체들이 검출되었을 때, 상기 처리 유닛(12)은 획득된 실제 위치가 상기 샷(15)에서 식별된 객체 이미지의 위치에 상응하는지를 찾는다. 실제로, 상기 이미지 처리 유닛(12)의 오퍼레이터는 상기 샷(15)에서 촬영된 객체들의 특성을 인식하고 이를 상기 기준 센서(20)에 의해 검출된 객체들의 특성과 비교하며, 이는 상기 메모리 유닛(11)에 이러한 객체들 각각의 실제 위치와 함께 기록된다. 한 변형 예에서, 또는 이것이 상기 샷들(15)에서 상기 객체들을 구별하기에 충분하지 않을 때, 오퍼레이터는 차량 환경을 다른 영역들, 예를 들어 측면방향 영역들(차량의 좌측 영역, 우측 영역 또는 전방 영역)로, 그리고/또는 길이방향 영역들(차량에서 가까운 영역, 중간 거리에 있는 영역 또는 멀리 있는 영역)로 분할할 수 있다. 이러한 분할된 환경 내에서, 오퍼레이터는 그 후에 자신의 실제 위치를 기초로 하여 상기 기준 센서(20)에 의해 검출된 객체가 위치한 영역을 찾고, 이로부터 이러한 객체의 이미지가 위치한 샷의 영역을 추론하며, 그럼으로써 오퍼레이터는 상기 샷(15)의 획득 순간에 획득된 실제 위치를 상기 샷(15) 내 이러한 객체의 이미지의 위치와 매치시킬 수 있다.

예를 들어, 도 4의 샷(15)에서, 상기 이미지 처리 유닛(12)은 객체 이미지들의 3개의 위치((u1, v1), (u2, v2), (u3, v3))을 식별한다. 그 후에, 상기 이미지 처리 유닛(12)은 상기 샷(15)의 획득 순간에 이러한 3개의 객체에 대해 상기 기준 센서(20)에 의해 획득된 3개의 실제 위치를 검색한다. 이러한 3개의 객체의 실제 위치들로부터, 오퍼레이터는 상기 객체들 중 하나가 차량 좌측에 있으며 차량으로부터 멀리 있는 영역에 위치하고, 다른 하나가 차량 좌측에 있으며 차량으로부터 가까이에 있는 영역에 위치하며, 그리고 제3의 객체가 차량의 전방 영역에 위치한다고 추론한다. 그 후에, 오퍼레이터는 차량 좌측에 있으며 차량으로부터 가까이에 있는 영역에 위치한 객체의 이미지가 위치(u1, v1)에 있는 이미지(Im(O1))임을 추론하고, 차량 좌측에 있으며 차량으로부터 멀리 있는 영역에 위치한 객체의 이미지가 위치(u3, v3)에 있는 이미지(Im(O3))이며, 마지막으로 차량 전방에 위치한 객체의 이미지가 위치(u2, v2)에 있는 이미지(Im(O2))임을 추론한다.

도 1의 박스 E6으로 나타나 있는 상기 방법의 단계 e)는 상기 카메라(10)의 교정 매개변수들을 결정하는 계산 단계이다. 여기서, 이는 상기 컴퓨팅 유닛(13)의 컴퓨터에 의해 구현된다.

상기 카메라(10)의 교정 매개변수들은 본 발명에 따른 방법에 의해 항상 결정되는 외부 매개변수들(Pe)과 본 발명에 따른 방법에 의해 적어도 부분적으로 알려지거나 결정되는 고유 매개변수들(Pi)을 포함한다.

상기 카메라(10)의 외부 매개변수들(Pe)은 차량에 연관된 기준 좌표계(Rv)로부터 상기 카메라(10)에 연관된 기준 좌표계(Rc)로의 전환을 묘사하는 회전 및/또는 이동 매트릭스의 계수들에 의해 형성된다.

상기 외부 매개변수들(Pe)의 매트릭스라고 지칭되는 이러한 회전 및/또는 이동 매트릭스는 하기 수학식 1과 같은 일반 형식으로 표기된다.

외부 매개변수들(Pe)의 이러한 매트릭스에서, 계수들(r_ij)은 2개의 기준 좌표계(Rv, Rc) 간 회전 계수들을 나타내고 계수들(t_k)는 2개의 기준 좌표계(Rv, Rc) 간 이동 계수들을 나타낸다.

상기 카메라(10)의 고유 매개변수들(Pi)은 한편으로 상기 카메라(10)의 렌즈에 관련된 왜곡 계수들, 특히 방사 왜곡 계수들(다수 계수들(majority coefficients)) 및 접선 왜곡 계수들(소수 계수들(minority coefficients))을 포함하고, 다른 한편으로, 렌즈의 광학 중심 및 이러한 렌즈의 초점 거리에 관련된 물리적 계수들을 포함한다. 일반적으로, 여기서 가정된 점은 상기 물리적 계수들이 이하의 수학식 2와 같은 일반 형식으로 표기되는 고유 계수들(Pi)의 매트릭스라고 지칭되는 매트릭스의 형태로 그룹화될 수 있다는 것이다.

고유 매개변수들(Pi)의 이러한 매트릭스에서, 계수들(fx, fy)은 상기 카메라(10)의 렌즈의 초점 거리에 연관되고 계수들(cx, cy)은 상기 카메라(10)의 렌즈의 광학 중심에 연관된다.

고유 교정 매개변수들(Pi)이 알려진 경우, 본 발명에 따른 방법은 외부 매개변수들만을 결정하는 목적을 지닌다. 이를 위해, 초기에 외부 매개변수들의 매트릭스의 계수들은 모두 사전에 결정된 값으로 초기화된다. 바람직하게는, 이러한 매트릭스의 계수들이 알려지지 않은 경우, 상기 계수들을 예를 들어 1과 같은 상수 값으로 초기화하는 선택이 이루어진다. 따라서 상기 매트릭스의 모든 계수들이 알려지지 않은 경우 r_ij = t_k = 1로 하는 선택이 이루어진다.

외부 매개변수들(Pe)의 이러한 매트릭스의 계수들은 그 후에 최적화 방법을 사용하여 상기 컴퓨팅 유닛(13)에 의해 점진적으로 수정된다.

- 단계 e)에서, 상기 외부 매개변수들(Pe)의 결정은 이하의 하위 단계들을 포함한다:

e1) 단계 d)에서 형성된 각각의 위치 쌍에 대해, 상기 객체의 이미지의 이론적 위치는 상기 객체의 실제 위치와 외부 매개변수들의 매트릭스의 계수들에 기초하여 계산된 다음에, 한편으로 이러한 방식으로 계산된 이론적 위치와, 다른 한편으로 상기 샷(15) 내 상기 객체의 이미지의 위치 간 차이가 평가되며,

e2) 단계 e1)에서 평가된 차이들 모두의 평균이 계산되고,

e3) 상기 매트릭스의 계수들이 수정되며, 그리고

e4) 하위 단계들 e1) 내지 e3)은 하위 단계 e2)에서 계산된 차이들의 평균이 최소화될 때까지 반복된다.

하위 단계 e1)에서, 좌표들(u_th, v_th)에 의해 주어진 객체의 이미지의 이론적 위치는 좌표들(X, Y, Z=0)에 의해 주어진 상기 객체의 실제 위치를 기반으로 계산된다. 더 정확하게는, 상기 이미지의 이론적 위치(u_th, v_th)는 다음과 같은 작업들의 시퀀스를 수행함으로써 계산된다.

- 외부 매개변수들의 매트릭스를 사용하여, 차량에 연관된 기준 좌표계(Rv) 내 상기 객체의 실제 위치(X, Y, Z)를 상기 카메라(10)에 연관된 기준 좌표계(Rc) 내 이러한 객체의 위치(x', y', z')로 변환하는 작업,

- 위에서 설명한 왜곡 계수들을 사용한 알려진 왜곡 수학식으로 상기 카메라(10)에 연관된 기준 좌표계(Rc) 내 상기 객체의 상기 위치(x', y', z')를 상기 카메라(10)의 렌즈의 왜곡 현상을 허용하는 보정된 위치(x" , y", z")로 보정하는 작업, 및

- 고유 매개변수들의 매트릭스를 사용하여, 상기 카메라(10)에 연관된 기준 좌표계(Rc) 내 상기 객체의 보정된 위치(x", y", z")를 상기 샷(15)에 연관된 기준 좌표계 내 이미지의 이론적 위치(u_th, v_th)로 변환하는 작업.

차량에 연관된 기준 좌표계(Rv) 내 상기 객체의 실제 위치(X, Y, Z)를 상기 카메라에 연관된 기준 좌표계(Rc) 내 이러한 객체의 위치(x', y', z')로 변환하는 작업은 이하의 수학식 3으로 계산된다.

상기 카메라(10)에 연관된 기준 좌표계(Rc) 내 상기 객체의 위치(x', y', z')를 상기 카메라(10)의 렌즈의 왜곡 현상을 허용하는 보정된 위치(x", y", z")로 보졍하는 작업은 이하에서 재현되는 알려진 왜곡 수학식에 따라 위에서 설명한 왜곡 계수들에 의해 계산된다.

이러한 수학식에서, k₁, k₂, k₃, k₄, k₅ 및 k₆은 방사 왜곡 계수들이고, p₁ 및 p₂는 접선 왜곡 계수들이며 r은 이하의 수학식 5의 조건들을 만족한다고 가정된 것이다.

여기서 유념해야 할 점은 상기 객체의 실제 위치(X, Y, Z)가 조건 Z=0을 만족하도록 선택되므로, 상기 카메라(10)에 연관된 기준 좌표계(Rc) 내 상기 객체의 위치(x', y', z')와 이러한 객체의 보정된 위치(x'', y'', z'')도 z'=z"=0이게 되고, 결과적으로 z"에 대한 왜곡 수학식이 여기에 설명되어 있지 않다.

상기 카메라(10)에 연관된 기준 좌표계(Rc) 내 상기 객체의 보정된 위치(x", y", z")를 상기 샷(15)에 연관된 기준 좌표계 내 이미지의 이론적 위치(u_th, v_th)로 변환하는 작업은 이하의 수학식 6에 따라 계산된다.

렌즈 왜곡 현상을 허용하지 않는 간략화된 변형 예, 다시 말하면 왜곡 계수들이 모두 0인 간략화된 변형 예에서, 이미지의 이론적 위치(u_th, v_th)는 이하의 간략화된 수학식 7을 사용하여 계산된다.

이러한 수학식에서, 계수들(fx, fy, cx, cy)은 이때 상기 카메라(10)의 유일한 고유 교정 매개변수들(Pi)을 나타낸다(그 이유는 왜곡이 없다고 가정되기 때문이다). 여기서 가정된 점은 계수들(fx, fy, cx, cy)이 알려져 있다는 것이다. 상기 이론적 위치(u_th, v_th)가 계산될 때 계수들(fx, fy, cx, cy)는 그들의 알려진 값으로 대체되고 외부 매개변수들(Pe)의 매트릭스의 계수들(r_ij, t_k)은 초기값과 동일하게, 예를 들어 1과 같게 간주된다.

상기 객체의 이미지의 이론적 위치를 계산하기 위해 예상되는 변형 예에 상관없이, 상기 이론적 위치(u_th, v_th)가 계산된 후에, 상기 컴퓨팅 유닛(13)은 하위 단계 e1)에서 이러한 이론적 위치(u_th, v_th)와 단계 c)에서 상기 이미지 처리 유닛(12)에 의해 결정된, 상기 샷(15) 내 상기 객체의 이미지의 위치(u, v) 간 차이를 평가한다. 상기 샷(15) 내 상기 객체 이미지의 위치(u, v)는 단지 상기 이론적 위치(u_th, v_th)를 계산하기 위해 사용된 객체의 실제 위치(X, Y, Z=0)와 단계 d)에서 매치된 것이다.

실제로 이러한 위치들 간 차이는 대응하는 좌표들이 (u_th, v_th) 및 (u, v)인 지점들 간 거리 "L"로서 평가된다. 따라서 상기 차이는 이하의 수학식 8에 의해 구해진다.

상기 컴퓨팅 유닛(13)은 단계 d)에서 확립된 모든 위치 쌍들, 다시 말하면 적어도 5개의 위치 쌍에 대해 이러한 방식으로 진행한다.

하위 단계 e2)에서, 상기 컴퓨팅 유닛(13)은 이러한 방식으로 구한 차이들(L)의 산술 평균을 계산한다.

하위 단계 e3)에서, 외부 매개변수들(Pe)의 매트릭스의 계수들(r_ij, t_k)은 최적화 방법에 의해 점진적으로 수정된다.

외부 매개변수들(Pe)의 매트릭스를 각각 수정한 후에 하위 단계들 e1) 내지 e3)가 반복된다.

하위 단계 E4)에서, 하위 단계들 e1) 내지 e3)의 반복은 하위 단계 e2)에서 계산된 차이들(L)의 평균이 최소화되었을 때 중단된다. 따라서, 상기 반복이 중지되면, 각각의 객체 이미지에 대해, 상기 계산된 이론적 위치(u_th, v_th)는 상기 이미지 처리 유닛(12)에 의해 상기 방법의 단계 c)에서 결정된 위치(u, v)에 가능한 한 근접하게 접근한다. 허용되는 외부 매개변수들(Pe)의 매트릭스의 계수들은 결과적으로 상기 이론적 위치들과 단계 c)에서 상기 이미지 처리 유닛(12)에 의해 결정된 객체의 이미지들의 위치들 간 차이들에 대해 계산된 최소 평균의 구하기에 상응하는 계수들이다.

여기서, 하위 단계들 e1) 내지 e4)에서 구현된 최적화 방법은 경사 하강법(gradient descent method)이라고 지칭되는 기존의 방법이다.

본 발명은 지금까지 설명되고 표현된 실시 예들에 어떤 식으로든 국한되지 않으며, 당업자는 본 발명에 따라 어떤 식으로든 변경할 수 있을 것이다. 위에서 설명한 왜곡 모델과 고유 매개변수 모델이 모델들의 예들이다. 그것들은 가장 일반적인 것들이지만 왜곡에 대해 광각 카메라("피쉬 아이" 카메라라고도 지칭됨)에 의해 사용된 것들과 같은 다른 것들이 있다. 이는 상기 방법의 유효성에 영향을 미치지 않는다.

실제로, 외부 매개변수들(Pe)의 매트릭스의 이동 계수들(t_k)이 알려질 수 있으며, 이 경우에 이러한 계수들(t_k)의 알려진 값들은 초기화 후 매트릭스 Pe에서 그리고 하위 단계들 e1) 내지 e4)에서 구현된 최적화 방법을 전반에 걸쳐 사용되게 된다. 미지의 회전 계수들(r_ij)만이 1 값으로 초기화된 다음에 하위 단계들 e1) 내지 e4)의 최적화 방법의 과정에서 점진적으로 수정된다.

위에서 언급한 바와 같이, 고유 매개변수들(Pi)의 매트릭스가 알려지지 않은 것도 가능하며, 이 경우에 고유 매개변수들(Pi)의 매트릭스의 계수들(fx, fy, cx, cy)는 하위 단계들 e1) 내지 e4의 최적화 방법에 의해 결정된다. 상기 방법은 고유 매개변수들(Pi)의 매트릭스의 계수들(fx, fy, cx, cy)의 값을 사전에 결정된 레벨로 초기화한 다음에 각각의 샷(15) 내 각각의 객체 이미지의 결정된 위치와 이론적 위치와 결정된 위치 간 차이들의 평균이 가능한 한 작아질 때까지 이러한 계수들을 외부 매개변수들(Pe)의 매트릭스의 계수들(r_ij, t_k)과 같은 방식으로 수정함으로써 위에서 설명한 바와 같이 진행된다. 실제로, 고유 매개변수들(Pi)의 매트릭스의 계수들(fx, fy, cx, cy)의 사전에 결정된 초기 값들은 외부 매개변수들(Pe)의 매트릭스의 계수들의 경우와 같이 1이 되지 않지만 더 현실적인 값들과 동일하게 이루어지게 된다. 따라서, 예를 들어 상기 카메라(10)의 광학 중심의 이미지가 일반적으로 상기 샷(15)의 중간 근처에 있다고 가정하면, 계수들(cx, cy)은 상기 샷(15)의 중심 지점의 좌표들과 동일하게 함으로써 초기화될 수 있다. 계수들(fx, fy)은 부분적으로는 상기 카메라(10)의 제조사에 의해 명시된 초점 거리의 평균값을 취함으로써 초기화될 수 있다.

본 발명에 따른 방법 및/또는 장치(1)를 사용하여 결정될 알려지지 않은 계수들의 개수가 많을수록 상기 방법의 단계들 a) 내지 d)에서 형성되는 위치 쌍들의 개수가 많아져야 한다.

한편, 상기 이미지 처리 유닛(12)에 의해 샷들을 선택하는 단계를 회피하기 위해, 실제 위치들과 샷들(15)의 획득을 위해 차량이 주행하는 환경을 선택하는 것이 가능하다. 이는 상기 기준 센서(20)가 각각의 순간에 단일의 객체의 실제 위치를 획득하고 그럼으로써 동일한 순간에 상기 카메라에 의해 획득된 샷이 단일의 객체 이미지를 포함하게 한다.

실제로, 상기 기준 센서(20)와 상기 카메라(10)가 탑재되어 있는 차량은 검출될 수 있는 단일의 객체, 예를 들어 자동차를 제외한 어떠한 객체들도 없는 편평한 도로에서 사전에 결정된 속도로 직선 주행하도록 이루어질 수 있다. 이러한 객체는 선택된 순간들에서 상기 기준 센서(20)의 시야 내 특정 위치에 자신을 위치시키기 위해 상기 차량 주위를 이동한다. 예를 들어 상기 객체 자동차는 시간 경과에 따라 정확한 순간들에 위치해야 하는 위치를 아는 운전자에 의해 운전될 수 있다.

상기 이미지 처리 유닛(12)은 상기 객체의 운전자가 원하는 실제 위치에 상기 객체를 위치시킨 정확한 순간들에 상기 메모리 유닛(11)에 기록된 샷들(15)을 검색한다.

그 후에, 상기 이미지 처리 유닛(12)은 순간 t에서의 상기 객체의 실제 위치를 이러한 순간 t에서 촬영된 샷(15) 내 이러한 객체의 이미지의 위치와 연관시킴으로써 위치 쌍들을 직접 형성한다.

상기 방법의 나머지는 변경되지 않는다.

한편, 본 발명에 따른 방법 및 장치(1)는 완전히 자동화되는 것이 가능하다; 다시 말하면, 상기 이미지 처리 유닛(12)의 오퍼레이터가 필요하지 않을 수 있다.

이 경우에, 상기 이미지 처리 유닛(12)은 자동화된다. 상기 컴퓨터 외에도, 이는 뉴럴 네트워크, 특히 컨볼루션 뉴럴 네트워크와 같이 이미지들을 자동으로 분석할 수 있는 프로세서를 포함한다. YOLO® 뉴럴 네트워크는 이러한 목적으로 사용될 수 있는 네트워크의 일 예이다. 이 경우에, 상기 처리 유닛(12)은 상기 카메라에 의해 획득된 샷들(15) 내 상기 객체들의 이미지들(Im(O1), Im(O2), Im(O3))을 자동으로 검출하고, 그들을 기하학적 형상(일반적으로 정사각형, 직사각형 또는 사다리꼴)에 연관시킨다. 상기 뉴럴 네트워크는 자동차, 트럭 또는 보행자의 이미지와 같은 기준 객체의 이미지를 기반으로 상기 기하학적 형상을 인식하도록 트레이닝된다. 상기 이미지 처리 유닛(12)은 그 후에 상기 샷(15)에 연관된 기준 좌표계(Ri) 내 객체들의 이미지들(Im(O1), Im(O2), Im(O3))을 나타내는 상기 기하학적 형상의 위치를 제공하는 정확한 지점의 좌표들((u1, v1), (u2, v2), (u3, v3))을 결정한다. 예를 들어 여기서 정확한 지점은 지면에 있는 기하학적 형상의 측면 중앙으로서 선택된다.

자동화된 이미지 처리 유닛에 의한 객체 이미지들의 검출을 용이하게 하기 위해, 실제 위치들 및 샷들(15)의 획득이 위에서 설명한 것과 동일한 유형의 환경에서 구현되는 것이 바람직하며, 샷들(15)을 선택하는 단계가 생략되게 할 수 있다. 상기 장치의 나머지 부분과 상기 방법의 나머지 부분은 변경되지 않는다.

Claims (10)

1. 자동차에 탑재된 기준 센서(20)를 사용하여 자동차에 탑재된 카메라(10)를 교정하는 방법에 있어서, 이하의 단계들을 통해 상기 카메라의 교정 매개변수들(Pe, Pi)을 결정하기 위한 준비가 이루어지며, 상기 이하의 단계들은,
   a) 기준 센서(20)에 의해, 자동차 환경에서 적어도 하나의 객체의 복수 개의 실제 위치들((X, Y, Z))을 획득하는 단계;
   b) 상기 카메라(10)를 사용하여, 상기 기준 센서(20)에 의해 상기 실제 위치들 중 하나가 획득되는 각각의 순간의 샷(15)을 획득하는 단계;
   c) 상기 카메라(10)에 의해 획득된 샷들(15)에서 각각의 객체의 이미지의 위치((u, v))를 결정하는 단계;
   d) 각각의 객체의 각각의 실제 위치((X, Y, Z))를 상기 객체의 상기 실제 위치를 획득하는 순간에 상기 카메라(10)에 의해 획득된 샷(15)에서 상기 객체의 이미지의 위치((u, v))와 매치시킴으로써 위치 쌍들을 형성하는 단계;
   e) 컴퓨팅 유닛(13)을 사용하여, 형성된 위치 쌍들의 세트로부터 상기 카메라(10)의 교정 매개변수들(Pe, Pi)을 결정하는 단계;
   를 포함하는, 자동차에 탑재된 카메라의 교정 방법.
2. 제1항에 있어서,
   상기 e) 단계에서, 상기 카메라의 상기 교정 매개변수들은 상기 자동차에 연관된 기준 좌표계(Rv)로부터 상기 카메라에 연관된 기준 좌표계(Ri)로의 전환을 묘사하는 회전 및/또는 이동 매트릭스의 계수들(r_ij, t_k)에 의해 형성된 외부 매개변수들(Pe)인, 자동차에 탑재된 카메라의 교정 방법.
3. 제2항에 있어서,
   상기 e) 단계에서, 상기 외부 교정 매개변수들(Pe)을 결정하는 단계는 이하의 하위 단계들을 포함하며, 상기 이하의 하위 단계들은,
   e1) 형성된 각각의 위치 쌍에 대해, 단계 a)에서 결정된 상기 객체의 실제 위치((X, Y, Z))와 상기 매트릭스의 계수들(r_ij, t_k)에 기초하여 상기 객체의 이미지의 이론적 위치((u_th, v_th))가 계산되고, 그 후에 한편으로는 상기 계산된 이론적 위치((u_th, v_th))와 다른 한편으로는 단계 c)에서 결정된 상기 샷(15) 내 상기 객체의 이미지의 위치((u, v)) 간 차이(L)가 평가되는 하위 단계;
   e2) 단계 e1)에서 평가된 차이들(L) 모두의 평균이 계산되는 하위 단계;
   e3) 상기 매트릭스의 계수들(r_ij, t_k)이 수정되는 하위 단계; 및
   e4) 하위 단계 e1) 내지 e3)는 하위 단계 e2)에서 계산된 차이들(L)의 평균이 최소화될 때까지 반복되는 하위 단계;
   를 포함하는, 자동차에 탑재된 카메라의 교정 방법.
4. 제3항에 있어서,
   상기 하위 단계 e1) 이전에, 상기 회전 및/또는 이동 매트릭스의 계수들(r_ij, t_k)은 모두 사전에 결정된 레벨, 바람직하게는 1로 초기화되는, 자동차에 탑재된 카메라의 교정 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 획득 단계들 a) 및 b)는 자동차가 직선을 따라 실질적으로 수평이고 편평한 도로를 주행하는 동안에 수행되는, 자동차에 탑재된 카메라의 교정 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   단계 a)에서, 상기 기준 센서(20)는 상기 카메라(10)의 시야를 커버하는 상기 기준 센서(20)의 전체 시야에 분산된 객체들의 적어도 5개의 상이한 실제 위치를 획득하는, 자동차에 탑재된 카메라의 교정 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 카메라(10)에 의해 획득된 각각의 샷(15)에서 각각의 객체의 이미지의 위치((u,v))를 결정하는 단계 c)는 오퍼레이터에 의해 수동으로 수행되는, 자동차에 탑재된 카메라의 교정 방법.
8. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 카메라(10)에 의해 획득된 각각의 샷(15)에서 각각의 객체의 이미지의 위치((u,v))를 결정하는 단계 c)는 뉴럴 네트워크(neural network)를 포함하는 이미지 처리 유닛에 의해 수행되는, 자동차에 탑재된 카메라의 교정 방법.
9. 자동차에 탑재된 카메라(10) 및 자동차에 탑재된 기준 센서(20)와 통신하도록 구성된, 자동차에 탑재된 카메라(10)를 교정하기 위한 장치(1)에 있어서, 상기 기준 센서(20)는 자동차 환경에서 적어도 하나의 객체의 복수 개의 실제 위치들((X, Y, Z))을 획득하기 위해 제공되며, 상기 장치(1)는,
   - 주어진 순간에 자동차에 연관된 기준 좌표계(Rv) 내 각각의 객체의 실제 위치((X, Y, Z))와 상기 주어진 순간에 상기 카메라(10)에 의해 획득된 샷(15)이 기록되는 메모리 유닛(11);
   - 상기 카메라(10)에 의해 획득된 샷들(15)에서 각각의 객체의 이미지의 위치((u, v))를 결정하고, 상기 샷(15) 내 상기 객체의 이미지의 위치((u, v))를 상기 샷(15)의 획득 순간에서의 상기 객체의 실제 위치((X, Y, Z))와 매치시킴으로써 위치 쌍들을 형성하도록 구성된 이미지 처리 유닛(12); 및
   - 상기 이미지 처리 유닛(12)에 의해 형성된 위치 쌍들의 세트에 기초하여 상기 카메라(10)의 교정 매개변수들(Pe, Pi)을 계산하도록 구성된 컴퓨팅 유닛(13);
   을 포함하는, 카메라의 교정 장치.
10. 제9항에 있어서,
    상기 기준 센서(20)는 카메라, 입체 카메라, 전자파를 사용하는 검출 시스템, 특히 레이더 또는 라이다 시스템, 및 초음파를 사용하는 검출 시스템과 같은 센서들의 목록에서 선택되는, 카메라의 교정 장치.

Images