KR20210005605A

KR20210005605A - 카메라 고유 파라미터에 대한 온라인 평가

Info

Publication number: KR20210005605A
Application number: KR1020207030711A
Authority: KR
Inventors: 카를로스 실바
Original assignee: 콘티넨탈 오토모티브 게엠베하
Priority date: 2018-04-26
Filing date: 2019-04-15
Publication date: 2021-01-14
Also published as: JP2021522719A; WO2019206723A1; US20210233274A1; EP3561773B1; JP7448484B2; US11562503B2; EP3561773A1

Abstract

- 카메라 고유 파라미터에 대한 온라인 평가 -
본 발명은 차량(2)용 카메라 시스템(1)에 관한 것이다. 카메라 시스템(1)은 차량(2) 주변의 이미지 데이터를 획득하도록 구성되고, 카메라(10) 및 제어 모듈(20)을 포함한다. 제어 모듈(20)은, 이미지 데이터의 후방 투영, 전방 투영 및/또는 재투영에서의 오차를 결정하고, 오차가 미리 정의된 임계값을 초과하는지 여부를 판단함으로써, 카메라 시스템(1)의 고유 파라미터의 보정이 필요한지 여부를 결정하도록 구성된다.

Description

카메라 고유 파라미터에 대한 온라인 평가

본 발명은 차량용 카메라 시스템, 상기 카메라 시스템을 포함하는 차량, 카메라의 고유 파라미터들을 평가하기 위한 방법, 프로그램 구성요소, 및 컴퓨터 판독가능 매체에 관한 것이다.

현대의 차량에는, 운전 중에 차량의 운전자를 지원하기 위해 복수의 센서들이 차량에 설치되거나 장착된다. 센서들의 적절한 기능을 달성하기 위해, 이들은 보정(calibrate)될 수 있다. 보정은 센서의, 예를 들어 카메라의, 고유(intrinsic) 파라미터들 및 외인성 파라미터들을 포함한다. 대개, 고유 파라미터들은 다시 보정되지 않거나, 또는 일정한 시간이나 동작 간격으로 다시 보정된다. 또한, 재보정에는 상당한 컴퓨팅 전력 및/또는 시간이 필요할 수 있다.

일 목적은 효율적인 카메라 보정을 제공하는 것일 수 있다.

본 발명의 상기 목적은 독립 청구항들의 청구대상에 의해 해결되며, 추가적인 실시예들은 종속 청구항들에 포함된다.

제1 양태는 차량용 카메라 시스템을 제공한다. 카메라 시스템은 차량 주변의 이미지 데이터를 획득하도록 구성되고, 카메라 및 제어 모듈을 포함한다. 제어 모듈은, 이미지 데이터의 후방 투영, 전방 투영 및/또는 재투영에서의 오차를 결정하고, 오차가 미리 정의된 임계값을 초과하는지 여부를 판단함으로써, 카메라 시스템의 고유 파라미터들의 보정이 필요한지 여부를 결정하도록 구성된다.

카메라 광선과 원시 이미지 사이의 투영은 카메라의 고유 파라미터들을 사용하여 실행될 수 있고, 그 반대도 마찬가지이다. 따라서, 유효하지 않거나 부정확한 고유 파라미터들은 카메라 광선과 원시 이미지 사이, 또는 그 반대에서, 부정확한 투영으로 이어질 수 있다.

본 발명은, 장면 내의 실제의 직선이 단위 구의 표면 상에서는 단위 원으로 투영되고 원시 이미지에서는 곡선으로 투영되는 원리에 의존한다.

카메라 시스템은 카메라 및 제어 모듈을 포함할 수 있다. 제어 모듈은 카메라의 실제 고유 파라미터들이 여전히 유효하고 정확한지 여부를 평가하도록 구성될 수 있다. 따라서, 제어 모듈은 후방 투영, 전방 투영 및/또는 재투영 중 적어도 하나를 분석한다. 또한, 제어 모듈은 이러한 투영들 중 각각의 하나에서의 오차를 계산할 수 있는데, 오차가 미리 정의된 임계값을 초과하는 경우, 고유 파라미터들의 재보정이 필요하며, 이는 선택적으로 트리거될 수 있다. 제어 모듈은 재보정을 온라인으로 수행할 수 있다. 따라서, 카메라 시스템의 동작 동안 직접적으로, 또는 제어 모듈은 재보정을 수행하기 위한 서비스 중지를 개시할 수 있다. 따라서, 카메라의 재보정은 필요할 때에 수행될 수 있으며, 이는 컴퓨팅 전력 또는 시간과, 카메라 시스템의 서비스 시간을 감소시킬 수 있다.

원시 이미지에서 선들을 감지하는 데 사용될 수 있는 다양한 방법이 있다. 이 선들의 포인트들은 엣지 포인트들로 표기될 수 있다. 제어 모듈은 카메라 시스템 또는 차량의 다른 기능에 의해 검출되고 사용되는 선들을 사용할 수 있다. 따라서, 계산 부하가 더 감소될 수 있다.

또한, (실제로는) 직선이 단위 구 내에서 원으로서 나타나고 원시 이미지 내에서 원추 곡선으로서 나타나기 때문에, 결정된 엣지 포인트들을 지나도록 원 및/또는 원추 곡선이 (카메라 광선 또는 원시 이미지에 따라) 피팅될 수 있다. 더 정확한 결과를 위해, 엣지 포인트들에 대해 인라이어(inlier) 포인트들(엣지 포인트들의 서브세트)이 결정되어, 원 및/또는 원추 곡선을 피팅하는 데에 사용될 수 있다.

각각의 투영에서의 오차, 따라서, 고유 파라미터들의 평가 및 검증은 원시 이미지 및 단위 구 내에서 모두, 피팅 함수로부터의 오차에 의해 측정될 수 있다.

카메라의 고유 파라미터들은 초점 길이, 이미지 중심의 x값, 이미지 중심의 y값, x방향에서의 픽셀 스케일링, 및 y방향에서의 픽셀 스케일링일 수 있으며, 이들 모두는 카테시안 좌표계에서 정의된다.

후방 투영은 원시 이미지로부터 단위 구로의 사영 변환으로서 정의될 수 있다. 원시 이미지에 피팅될 수 있는, 원추 곡선에 대해 인라이어 포인트들인 엣지 포인트가 선택될 수 있다. 엣지 포인트들로부터 단위 구에 정의된 원까지의 거리가 측정될 수 있다. 이 거리의 제곱평균 제곱근은 후방 투영 오차를 나타낼 수 있다.

전방 투영은 단위 구로부터 원시 이미지로의 사영 변환으로서 정의될 수 있다. 단위 구에 피팅될 수 있는, 원에 대해 인라이어 포인트들인 엣지 포인트들이 선택될 수 있다. 결정된 인라이어 포인트들의 인덱스는 원시 이미지에서 대응하는 포인트들을 식별하는 데에 사용될 수 있다. 엣지 포인트로부터 원시 이미지의 곡선까지의 거리가 측정될 수 있다. 이 거리의 제곱평균 제곱근은 전방 투영 오차를 나타낼 수 있다.

재투영은 후방 투영 및 전방 투영의 조합으로서 정의될 수 있다. 원시 이미지 내의 엣지 포인트들 및 인라이어 포인트들은 단위 구에 투영될 수 있고, 원시 이미지로 다시 투영될 수 있다. 재투영 오차는 원시 이미지에서 재투영된 포인트들과 피팅된 원추 곡선(인라이어 포인트들을 지나는) 사이의 거리의 제곱평균 제곱근일 수 있다.

일 실시예에 따르면, 카메라는 어안(fisheye) 카메라이다.

카메라 시스템의 카메라는 어안 렌즈를 포함할 수 있다. 어안 렌즈들을 사용하는 카메라들의 왜곡은 상당할 수 있는데, 따라서, 예를 들어, 획득된 이미지 데이터 내의 거리 측정 또는 객체 인식과 같은, 이미지 데이터의 정확한 분석이 가능하도록 고유 파라미터들은 정확해야 한다. 특히, 획득된 이미지 데이터가 자동화된/되거나 자동으로 구동하는 함수들에 사용되는 경우 그렇다.

다른 실시예에 따르면, 카메라는 원시 이미지를 획득하도록 구성된다. 또한, 제어 모듈은 원시 이미지 내의 엣지 포인트들을 결정하도록 구성된다.

제어 모듈은 카메라에 의해 획득된, 원시 이미지에서 곡선으로 표현되는, 실제로는 직선을 결정하도록 구성될 수 있다. 실제 또는 장면에서의 직선은 기둥, 벽, 천장 및/또는 마킹일 수 있다. 이러한 유형의 객체들은, 인식 알고리즘이 이들 객체들을 검출하여 획득된 이미지 내의 직선들을 결정할 수 있도록, 일반적으로 직선인 선들을 포함한다. 결정된 엣지 포인트들은 카메라의 고유 파라미터들의 평가를 위한 시작 기반으로서 기능할 수 있다. 엣지들의 검출은, 예를 들어, 캐니 엣지 검출기(canny edge detector)에 의해 수행될 수 있다.

일 실시예에 따르면, 제어 모듈은 카메라의 고유 파라미터들을 사용함으로써 엣지 포인트들을 포함하는 원시 이미지를 카메라 광선에 투영하도록 구성된다. 카메라 광선은 반경 1을 갖는 단위 구를 포함하며, 여기서 실제의 선들은 단위 구의 표면 상에서 원의 일부로서 표현된다. 제어 모듈은 또한 카메라 광선의 엣지 포인트들을 지나는 원을 피팅하도록 구성된다.

다음 단계는 검출된 또는 결정된 엣지 포인트들을 고유의 투영을 사용하여 단위 구에 투영하는 것일 수 있다. 장면 내의 직선은 단위 구의 표면 상에서 원의 일부가 될 것이다. 단위 구 내의 선 피팅은 다음 수식에 따를 수 있다:

, 여기서

이다.

일 실시예에 따르면, 제어 모듈은 카메라 광선 내에 피팅된 원의 인라이어 포인트들을 결정하도록 구성되는데, 인라이어 포인트들은 결정된 엣지 포인트들의 일부이다.

인라이어 포인트들은, 원시 이미지에서 결정되고 카메라 광선으로 투영될 수 있는, 엣지 포인트들을 지나는 원을 피팅함으로써 카메라 광선에서 결정될 수 있다. 인라이어 포인트들은 엣지 포인트들일 수 있으며, 잔여(residual) 엣지 포인트들로서 더 낮은 산란을 갖는다. 따라서, 인라이어 포인트들은 엣지 포인트들의 도출에 의해 결정될 수 있다.

다른 실시예에 따르면, 제어 모듈은 원시 이미지 내의 인라이어 포인트들을 지나는 원추 곡선을 피팅하도록 구성된다.

결정된 인라이어 포인트들은 그를 지나는 원추 곡선을 피팅하는 데에 사용될 수 있다. 또한, 원시 이미지 내의 대응하는 엣지 포인트들을 식별하기 위해 인라이어 포인트들의 인덱스가 사용될 수 있다. 따라서, 카메라 광선의 인라이어 포인트들의 원시 이미지로의 투영이 필요하지 않을 수 있다.

일 실시예에 따르면, 제어 모듈은 원시 이미지 내의 인라이어 포인트들을 지나는 원추 곡선을 피팅하기 위해 원추 피팅(conic fitting) 알고리즘을 사용하도록 구성된다.

실제의 직선은 원시 이미지의 원추 곡선에 대응한다. 후자는 카메라 시스템에서의 왜곡, 예를 들어 카메라의 렌즈에서의 왜곡에 기초한다. 특히, 렌즈가 어안 렌즈인 경우 그렇다. 또한, 결정된 인라이어 포인트를 지나는 원추 곡선을 피팅하기 위해, 원추 피팅 알고리즘이 사용될 수 있다.

장면 내의 직선은 원시 이미지 내의 원추 곡선에 대응한다. 원추 곡선은 다음의 수식으로 표현될 수 있다:

타원의 Fitzgibbon 직접 최소 제곱 피팅은 다음과 같이 표현된다:

, 여기서 타원에 대한 제한조건은

이다.

따라서, 원추 곡선은 다음과 같이 표시될 수 있다:

다른 실시예에 따르면, 피팅 알고리즘은 Fitzgibbon 원추 피팅 알고리즘일 수 있다.

다른 실시예에 따르면, 제어 모듈은 원시 이미지 내의 엣지 포인트들과 피팅된 원추 곡선 사이의 오차를 결정하도록 구성된다.

엣지 포인트들과 피팅된 원추 곡선 사이의 거리 또는 오차는 카메라의 실제의 고유 파라미터들의 정확도 및/또는 카메라 시스템의 최근 보정의 정확도와 동등할 수 있다. 따라서, 피팅된 원추 곡선과 유일한 엣지 포인트들 사이의 오차 또는 평균 거리가 클수록, 고유 파라미터들이 더 부정확하다. 획득된 이미지들의 신뢰성 있는 평가 또는 분석을 위해, 사용된 카메라의 고유 파라미터들은 실제적이고 정확할 필요가 있다. 따라서, 시간이 경과함에 따라 카메라의 고유 파라미터들의 재보정이 필요할 수 있다. 그러나 컴퓨팅 전력 및 시간을 줄이기 위해서는 필요한 경우에만 재보정을 수행해야 한다. 따라서, 후방 투영, 전방 투영 및/또는 재투영 중 하나에서의 오차가 분석될 수 있다.

일 실시예에 따르면, 제어 모듈은 제곱평균 제곱근을 사용하여 원시 이미지 내의 엣지 포인트들과 피팅된 원추 곡선들 사이의 오차를 결정하도록 구성된다.

일 예로서, 엣지 포인트들과 피팅된 원추 곡선들 사이의 오차 또는 거리는 제곱평균 제곱근 방법에 의해 결정될 수 있다.

일 실시예에 따르면, 제어 유닛은 미리 정의된 임계값이 초과되는 경우, 고유 파라미터의 보정을 트리거하도록 구성된다.

따라서, 카메라 시스템이 정확하게 작동하는 것을 보장하기 위해, 원추 곡선과 엣지 포인트들 간의 결정된 오차가 특정 임계값을 초과하는 경우, 고유 파라미터들이 재보정될 수 있다. 보정은 온라인으로 수행될 수 있다. 따라서, 제어 모듈을 통해 운행 중에 또는 워크샵에서의 서비스 정차 중에 수행될 수 있다. 이전 및 이후에 설명되는 방법은 특히, 최근 보정의 정확도의 평가를 다룬다.

본 발명의 다른 양태에 따르면, 여분의 오프-듀티(off-duty) 시간 간격들을 결정하기 위한 운전자 보조 시스템을 포함하는 차량이 제공된다.

차량은 예를 들어 자동차, 버스 또는 트럭과 같은 지상 차량일 수 있지만, 선박, 보트, 항공기 또는 헬리콥터일 수도 있다.

또 다른 양태에 따르면, 카메라의 고유 파라미터들을 평가하기 위한 방법이 제공된다. 상기 방법은 다음 단계들을 포함한다.

- 카메라에 의해, 원시 이미지를 획득하는 단계;

- 원시 이미지 내의 엣지 포인트들을 결정하는 단계;

- 엣지 포인트들을 카메라 광선에 대해 투영하는 단계 - 카메라 광선은 반경 1을 가진 단위 구를 포함하고, 실제의 선들은 단위 구의 표면 상에서 원의 일부로서 투영됨 -;

- 카메라 광선의 엣지 포인트들을 지나는 원을 피팅하는 단계;

- 카메라 광선 내에 피팅된 원의 인라이어 포인트들을 결정하는 단계 - 인라이어 포인트들은 결정된 엣지 포인트들의 일부임 -;

- 인라이어 포인트들을 원시 이미지에 투영하는 단계;

- 원시 이미지에서 인라이어 포인트들을 지나는 원추 곡선을 피팅하는 단계;

- 원시 이미지에서 엣지 포인트들과 원추 곡선 사이의 오차를 결정하는 단계;

- 결정된 오차를 미리 정의된 임계값과 비교하고, 임계값이 초과되면, 카메라의 고유 파라미터의 보정을 트리거하는 단계.

상기 방법은 다른 순서로 수행될 수 있음을 유의해야 한다. 또한, 오차는 카메라 광선 내에서 결정될 수 있다. 또한, 원시 이미지 또는 카메라 광선에서 대응하는 포인트들을 식별하기 위해 인라이어 포인트들의 인덱스가 결정되고 사용될 수 있다. 따라서, 인라이어 포인트들의 후방 투영이 방지될 수 있다.

다른 양태에 따르면, 컴퓨터 프로그램 구성요소에서 프로세싱 유닛에 의해 실행되는, 전술된 바와 같은 방법 단계들을 수행하도록 구성되는, 전술된 바와 같은 컴퓨터 프로그램 요소 제어 장치가 제공된다.

또한, 전술된 바와 같은 저장된 컴퓨터 구성요소를 가진 컴퓨터 판독가능 매체가 제공된다.

유리하게는, 위의 양태들 중 어느 하나에 의해 제공되는 이점들은 다른 양태들 모두에 동일하게 적용되고, 그 반대도 마찬가지이다.

위의 양태들 및 실시예들은 이하에서 설명되는 실시예들을 참조하여 명백해질 것이다.

예시적인 실시예들이 다음의 도면들을 참조하여 이하에서 설명될 것이다.
도 1은 일 실시예에 따른 차량용 카메라 시스템의 개략도를 도시한다.
도 2는 일 실시예에 따른, 검출된 엣지들을 갖는 카메라 시스템의 획득된 원시 이미지를 도시한다.
도 3은 일 실시예에 따른, 단위 구의 표면 상의 원 위에 투영되는 직선을 갖는 단위 구를 도시한다.
도 4는 일 실시예에 따른, 직선들이 단위 구의 표면 상의 원들 위에 투영되는, 카메라 광선 내의 획득된 이미지를 도시한다.
도 5는 일 실시예에 따른, 카메라의 고유 파라미터들을 평가하기 위한 흐름도를 도시한다.
도 6a 내지 도 6d는 일 실시예에 따른, 검출된 엣지 포인트들, 엣지 포인트들에 대한 결정된 인라이어(inlier) 포인트들, 피팅된 원추 곡선, 및 피팅 커브와 엣지 포인트들 사이의 오차를 도시한다.
도 7은 일 실시예에 따른, 엣지 포인트들을 지나도록 피팅된 원추 곡선들을 갖는 획득된 원시 이미지를 도시한다.
도 8은 일 실시예에 따른 카메라 시스템을 갖는 차량을 도시한다.
도 9는 일 실시예에 따른, 카메라의 고유 파라미터들을 평가하기 위한 방법의 흐름도를 도시한다.

도 1은 카메라 시스템(1)을 도시한다. 카메라 시스템(1)은 카메라(10) 및 제어 모듈(20)을 포함한다. 제어 모듈(20)은 카메라 시스템(1)의 고유 파라미터들의 재보정이 필요한지 여부를 판단하도록 구성될 수 있다. 따라서, 제어 모듈(20)은 획득된 이미지 데이터의 후방 투영, 전방 투영 및/또는 재투영에서의 오차를 결정하도록 구성될 수 있다. 후자의 투영들은 카메라의 고유 파라미터들이 보조되어 실행된다. 특히, 제어 모듈(20)은 후방 투영, 전방 투영 및/또는 재투영에서의 오차를 미리 정의된 임계값과 비교하도록 구성될 수 있고, 만일 오차가 임계값을 초과하면, 카메라(10)의 고유 파라미터들의 재보정이 트리거될 수 있다. 이 방법은 어안(fisheye) 렌즈를 갖는 카메라에 특히 유용할 수 있다.

카메라(10)는 실제 환경 또는 장면의 원시 이미지를 획득한다. 카메라(10)의 렌즈에 의해 생성된 왜곡으로 인해, 실제의 직선은 원시 이미지에서 곡선으로 나타난다. 제어 모듈(20)은 원시 이미지에서 벽, 나무, 첨탑, 마킹, 표지판 또는 문과 같은, 엣지들의 일부인 원시 이미지 내의 엣지 포인트들을 결정하도록 구성될 수 있다. 대안적으로 또는 부가적으로, 이러한 엣지 포인트들은 다른 모듈 또는 알고리즘에 의해 결정될 수 있다. 제어 모듈(20)은 고유 파라미터들을 이용하여, 원시 이미지를, 결정된 엣지 포인트들을 포함하여, 카메라 광선으로 투영하도록 더 구성될 수 있다. 카메라 광선은 반경 1을 갖는 단위 구를 포함하며, 여기서 실제의 직선들은 단위 구의 표면 상에서 원의 일부로서 표현된다. 제어 모듈(20)은 또한, 단위 구의 표면 상에서 카메라 광선의 엣지 포인트들을 지나는 원을 피팅(fit)하도록 구성될 수 있다. 이어서, 제어 모듈(20)은 엣지 포인트들의 서브세트 또는 부분인, 인라이어(inlier) 포인트들을 결정할 수 있다. 또한, 제어 모듈(20)은, Fitzgibbon 원추 피팅 알고리즘과 같은 원추 피팅(conic fitting) 알고리즘을 사용하여, 원시 이미지 내의 인라이어 포인트들을 지나는 원추 곡선에 피팅되도록 구성될 수 있다. 엣지 포인트들과 원추 곡선 사이의 오차 및/또는 거리에 기초하여, 제어 모듈(20)은 카메라의 고유 파라미터들의 보정이 여전히 유효한지 여부를 판단할 수 있다. 특히, 결정된 오차를 미리 정의된 임계값과 비교하여, 보정의 유효 여부를 판단할 수 있다. 대안적으로 또는 부가적으로, 인라이어 포인트들의 인덱스가 결정될 수 있고, 이는 원추 곡선을 계산하고 오차를 결정하는 데에 사용될 수 있다. 이 오차는 제곱평균 제곱근(roots means square) 방법을 사용하여 결정될 수 있다. 제어 모듈(20)은 오차가 미리 정의된 임계값을 초과하는 경우, 카메라(10)의 고유 파라미터들의 재보정을 트리거하도록 더 구성될 수 있다.

도 2는 획득된 원시 이미지(30)를 도시한다. 획득된 원시 이미지(30)에서, 획득된 장면의 엣지들이 검출된다. 이들 검출된 엣지들은, 실제의 직선(35)이 원시 이미지(30)에서는 원추 곡선(conic curve)으로 표현되기 때문에, 상이한 음영 및 형상의 원추 곡선들로 도시되어 있다. 도 2의 경우에서는, 주차장이 도시되어 있고, 기둥들, 천장 및 도로 마킹들은 장면 내의 직선들(35)로서, 카메라의 고유 파라미터들을 평가하는 데에 사용될 수 있다.

도 3은 카메라 광선(40)의 단위 구(45)를 도시한다. 단위 구(45)의 반경(n)은 1이다. 실제의 직선(35)은 단위 구(45)의 표면 상에 투영되고, 단위 구(45)의 표면 상에서 원의 일부로 표현된다. 따라서, 직선(35)은 카메라 광선(40) 내의 원의 일부로 보인다.

도 4는 도 2의 원시 이미지가 카메라 광선(40)으로 변환되고 카메라 광선(40) 내의 단위 구(45)의 표면 상으로 투영된, 카메라 광선(40)을 도시한다. 도 2의 마킹된 직선(35) 및 원시 이미지의 다른 직선들은 카메라 광선(40) 내의 원의 일부로서 표현된다.

도 5는 카메라의 고유 파라미터를 평가하기 위한 방법의 흐름도를 도시한다. 획득된 이미지 또는 비디오에서, 직선들에 대응하는 엣지들이 검출된다. 원시 이미지의 엣지 포인트들은 카메라 광선으로 투영된다. 카메라 광선에서, 엣지 포인트들은 단위 구의 표면 상의 원 위에 있다. 인라이어 포인트들은 원이 엣지 포인트들을 지나도록 피팅된 후에 결정될 수 있다. 이러한 인라이어 포인트들에서, 원추 곡선은 원시 이미지 내에서 피팅되거나, 계산되거나 결정될 수 있다. 그러므로, 인라이어 포인트들은 원시 이미지로 다시 투영될 수 있고, 또는 인라이어 포인트들의 인덱스가 결정되며, 인라이어 포인트들의 인덱스가 원시 이미지 내의 대응하는 엣지 포인트들을 식별하기 위해 사용된다. 또한, 피팅된 원추 곡선과 엣지 포인트들 사이의 오차가 결정될 수 있다. 오차가 미리 정의된 임계값을 초과하는 경우, 카메라의 고유 파라미터들이 더 이상 유효하지 않거나 정확하지 않으며, 카메라의 고유 파라미터들이 재보정될 필요가 있다.

도 6a 내지 도 6d는 검출된 엣지 포인트들, 결정된 인라이어 포인트들, 원추 곡선의 피팅, 및 오차의 결정을 도시한다.

도 6a의 포인트들은 원시 이미지 내의 장면의(현실에서의) 직선의 엣지 포인트(36)들을 나타낸다. 도 6a에 도시된 바와 같이, 엣지 포인트들은 정확하게 하나의 곡선 상에 있지는 않는데, 이는 획득된 이미지 내의 픽셀 크기 및 엣지 검출 알고리즘의 사용에 의해 초래될 수 있다. 또한, 엣지 포인트(36)들은 중간 값 주위에 산란되며, 일부 엣지 포인트들은 다른 엣지 포인트들보다 더 많이 산란되는 것으로 도시되어 있다.

도 6b는 인라이어 포인트(36a)들의 정의를 도시하며, 이들 포인트들은 "외부" 엣지 포인트(36)들 사이에 있다. 도 6b에서, 엣지 포인트(36)들은 어두운 점으로 표현되고, 인라이어 포인트(36a)들은 회색 점으로 표현된다. 또한, 도 6b에는 상부 경계 및 하부 경계가 검은색 선으로 표현되어 있다. 점선은, 인라이어 포인트들(36a)이 위치하는 곡선을 나타낸다.

도 6c는 인라이어 포인트(36a)들을 기초로 하여 계산되고/되거나 이들을 지나는, 피팅된 원추 곡선(38)을 나타낸다. 또한, 인라이어 포인트(36a)들은 원추 곡선(38) 상에 위치하는 것으로 도시되어 있다.

도 6d는 피팅된 원추 곡선(38) 및 엣지 포인트(36)들을 도시한다. 원추 곡선(38)과 엣지 포인트(36)들 사이의 거리는 카메라 광선과 원시 이미지 사이의 후방 투영에서의 오차를 나타낸다. 엣지 포인트(36)들과 원추 곡선(38) 사이의 화살표들은 오차를 나타낸다. 오차가 미리 정의된 임계값을 초과하는 경우, 카메라의 고유 파라미터들은 더 이상 유효하지 않으므로 재보정되어야 한다.

도 7은 복수의 피팅된 원추 곡선(38)들을 갖는 원시 이미지(30)를 도시한다. 피팅된 원추 곡선(38)들은 장면 내의 직선들의 엣지 포인트들의 인라이어 포인트들을 지나도록 피팅된다. 도 7에서는, 교회의 원시 이미지가 도시되어 있다. 교회의 문과 첨탑은 다수의 직선들 및/또는 엣지들을 포함한다. 이러한 선들 및/또는 엣지들의 포인트들은 원시 이미지(30)에서 결정될 수 있고, 원추 곡선(38)은 결정된 엣지 포인트들을 지나도록 피팅될 수 있다. 엣지 포인트들 및 피팅된 원추 곡선(38) 사이의 오차는 고유 파라미터들과 그 정확도에 대한 정보를 제공한다. 원추 곡선(38)과 엣지 포인트들 사이의 오차를 결정하기 위해, 제곱평균 제곱근이 고려될 수 있다. 오차가 미리 정의된 임계값을 초과하는 경우, 카메라의 고유 파라미터들이 재보정될 수 있다.

도 8은 카메라 시스템(1)을 갖는 차량(2)을 도시한다. 카메라 시스템(1)의 카메라는 차량(2)의 운행 방향을 향하는 차량(2)의 앞유리 뒤에 장착될 수 있다. 대안적으로 또는 추가적으로, 카메라 시스템(1)의 카메라는 차량(2)의 측면에, 사이드 미러에, 또는 차량(2)의 후방 영역을 향해 차량(2)의 후미에 배열될 수 있다. 카메라 시스템(1)의 카메라 및 제어 모듈은 차량(2) 내의 동일한 위치에 배열될 수 있으나, 버스 시스템 또는 와이어를 통해 연결되도록, 이격될 수 있다.

도 9는 카메라의 고유 파라미터들을 평가하기 위한 방법의 흐름도를 도시한다. 단계(S1)에서, 카메라는 원시 이미지를 획득하고, 여기서 카메라는 어안 렌즈를 포함할 수 있다. 단계(S2)에서, 획득된 원시 이미지에서 엣지들의 엣지 포인트들이 결정된다. 단계(S3)에서, 결정된 엣지 포인트들은 카메라 광선으로 투영되고, 여기서 카메라 광선은 반경 1을 갖는 단위 구를 포함하며, 실제의 직선들은 단위 구의 표면 상에서 원의 일부로서 투영된다. 이어서, 단계(S4)에서, 카메라 광선의 엣지 포인트들을 지나는 원이 피팅된다. 단계(S5)에서, 엣지 포인트들의 인라이어 포인트들은 카메라 광선에 피팅된 원의 보조에 의해 결정된다. 단계(S6)에서, 인라이어 포인트들이 원시 이미지로 투영된다. 단계(S7)에서, 원시 이미지 내의 인라이어 포인트들을 지나서 원추 곡선이 피팅된다. 후속된 단계(S8)에서, 엣지 포인트들과 원추 곡선 사이의 오차가 원시 이미지에서 결정된다. 단계(S9)에서, 결정된 오차는 미리 정의된 임계값과 비교되고, 오차가 미리 정의된 임계값을 초과하면, 카메라의 고유 파라미터들의 보정이 트리거된다.

Claims

차량(2)용 카메라 시스템(1)으로서, 상기 차량(2)의 주변의 이미지 데이터를 획득하도록 구성되며,
- 카메라(10); 및
- 제어 모듈(20)을 포함하고,
상기 제어 모듈(20)은 상기 이미지 데이터의 후방 투영, 전방 투영 및/또는 재투영에서의 오차를 결정하고, 상기 오차가 미리 정의된 임계값을 초과하는지 여부를 판단함으로써, 상기 카메라 시스템(1)의 고유 파라미터의 보정이 필요한지 여부를 결정하도록 구성되는, 카메라 시스템.
제1항에 있어서,
상기 카메라(10)는 어안 카메라인, 카메라 시스템(1).
제1항 또는 제2항에 있어서,
상기 카메라(10)는 원시 이미지(30)를 획득하도록 구성되고, 상기 제어 모듈(20)은 상기 원시 이미지(30) 내의 엣지 포인트(36)들을 결정하도록 구성되는, 카메라 시스템(1).
제3항에 있어서,
상기 제어 모듈(20)은 엣지 포인트(36)들을 가진 원시 이미지(30)를 카메라 광선(40)으로 투영하도록 구성되고, 상기 카메라 광선(40)은 반경 1을 갖는 단위 구(45)를 포함하며, 선(35)들은 상기 단위 구(45)의 표면 상에서 원의 일부로서 표현되고,
상기 제어 모듈(20)은 상기 카메라 광선(40) 내의 엣지 포인트(36)들을 지나는 원을 피팅하도록 더 구성되는, 카메라 시스템(1).
제4항에 있어서,
상기 제어 모듈(20)은 상기 카메라 광선(40) 내에 상기 피팅된 원의 인라이어 포인트(36a)들을 결정하도록 구성되고,
상기 인라이어 포인트(36a)들은 상기 결정된 엣지 포인트(36)들의 일부인, 카메라 시스템(1).
제5항에 있어서,
상기 제어 모듈(20)은 상기 원시 이미지 내의 상기 인라이어 포인트(36a)들을 지나는 원추 곡선(38)에 피팅되도록 구성되는, 카메라 시스템(1).
제6항에 있어서,
상기 제어 모듈(20)은 상기 원시 이미지(30) 내의 상기 인라이어 포인트(36a)들을 지나는 원추 곡선(38)을 피팅하기 위해 원추 피팅 알고리즘을 사용하도록 구성되는, 카메라 시스템(1).
제6항 또는 제7항에 있어서,
상기 제어 모듈(20)은 상기 원시 이미지(30) 내의 상기 엣지 포인트(36)들과 상기 피팅된 원추 곡선(38) 사이의 오차를 결정하도록 구성되는, 카메라 시스템(1).
제8항에 있어서,
상기 제어 모듈(20)은 상기 원시 이미지(30) 내의 상기 엣지 포인트(36)들과 상기 피팅된 원추 곡선(38) 사이의 오차를 제곱평균 제곱근 방법에 의해 결정하도록 구성되는, 카메라 시스템(1).
제1항 내지 제13항 중 어느 한 항에 있어서,
상기 제어 모듈(20)은 상기 미리 정의된 임계값이 초과되는 경우 상기 고유 파라미터의 보정을 트리거하도록 구성되는, 카메라 시스템(1).
제1항 내지 제10항 중 어느 한 항에 따른 카메라 시스템(1)을 포함하는 차량(2).
카메라의 고유 파라미터들을 평가하기 위한 방법으로서,
- 카메라에 의해, 원시 이미지를 획득하는 단계(S1);
- 상기 원시 이미지 내의 엣지 포인트들을 결정하는 단계(S2);
- 상기 엣지 포인트들을 카메라 광선에 대해 투영하는 단계(S3) - 상기 카메라 광선은 반경 1을 가진 단위 구를 포함하고, 실제의 선들은 상기 단위 구의 표면 상에서 원의 일부로서 투영됨 -;
- 상기 카메라 광선의 엣지 포인트들을 지나는 원을 피팅하는 단계(S4);
- 상기 카메라 광선 내에 상기 피팅된 원의 인라이어 포인트들을 결정하는 단계(S5) - 상기 인라이어 포인트들은 상기 결정된 엣지 포인트들의 일부임 -;
- 상기 인라이어 포인트들을 상기 원시 이미지에 투영하는 단계(S6);
- 상기 원시 이미지에서 상기 인라이어 포인트들을 지나는 원추 곡선을 피팅하는 단계(S7);
- 상기 원시 이미지에서 상기 엣지 포인트들과 상기 원추 곡선 사이의 오차를 결정하는 단계(S8);
-상기 결정된 오차를 미리 정의된 임계값과 비교하고, 상기 임계값이 초과되면, 상기 카메라의 고유 파라미터의 보정을 트리거하는 단계(S9)를 포함하는, 방법.
프로세서에 의해 실행되는 경우, 제12항에 따른 방법을 수행하도록 구성되는 제1항 내지 제10항 중 어느 한 항에 따른 카메라 시스템용, 및/또는 제11항에 따른 차량용의, 컴퓨터 프로그램 구성요소.
제13항에 따라 저장된 컴퓨터 프로그램 구성요소를 갖는 컴퓨터 판독가능 매체.