KR20190041150A - 캘리브레이션 방법 및 장치 - Google Patents

Abstract

본 발명은 캘리브레이션 방법 및 장치에 관한 것으로서, 차선 검출부가, 차량의 거동 상태가 미리 설정된 거동 조건을 만족하는 경우, 차량의 카메라로부터 획득된 주변 영상으로부터 차선을 검출하는 단계, 유효 차선 추출부가, 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거함으로써 유효 차선을 추출하는 단계, 및 파라미터 추정부가, 유효 차선을 토대로 결정된 소실점, 및 유효 차선의 방향에 기초하여 카메라의 설치 각도를 추정하는 단계를 포함하는 것을 특징으로 한다.

Description

캘리브레이션 방법 및 장치{CALIBRATION METHOD AND APPARATUS THEREOF}

본 발명은 캘리브레이션 방법 및 장치에 관한 것으로서, 더욱 상세하게는 차선을 기반으로 차량에 장착된 카메라의 설치 각도를 추정하는 캘리브레이션 방법 및 장치에 관한 것이다.

어라운드 뷰 모니터링(AVM: Around View Monitoring) 시스템은 차량의 전방, 후방, 좌측 및 우측 카메라로부터 획득된 주변 영상을 하나의 영상으로 융합하여 제공함으로써 운전자로 하여금 주변 상황을 인지할 수 있도록 하는 시스템을 말한다. AVM 시스템은 차량의 사각지대 영상, 및 주차 시의 후방 영상을 운전자에게 제공하는 등의 편의성을 제공하여 운전자를 보조하는 운전 지원 시스템으로 보급되는 추세에 있다.

차량에 장착된 복수의 카메라로부터 획득된 영상을 하나의 영상으로 융합하기 위해서는 카메라의 내부 파라미터(광중심 및 초점거리 등) 및 외부 파라미터(설치위치 및 설치각도 등)가 제공되어야 하며, 내부 파라미터는 불변하므로 캘리브레이션을 통해 한 번 획득한 값을 지속적으로 활용할 수 있으나, 외부 파라미터는 외부 충격에 의해 쉽게 변경될 수 있어 지속적인 보정 작업이 필요하다. 외부 파라미터 중 설치 위치는 카메라를 교체해도 설치 지그(JIG)로 인해 크게 변경이 없으나, 설치 각도는 외란의 영향에 민감하며 설치 각도 상의 오차는 각 카메라로부터 획득된 영상이 상호 융합되지 않는 문제점을 야기한다.

종래에는 지면에 특정 캘리브레이션 패턴이 그려진 보정장에서 숙련공이 별도의 장비를 이용하여 카메라의 캘리브레이션을 수행하였다. 이러한 방식은 캘리브레이션 패턴 상의 특정 마커의 상대적인 위치를 미리 정확하게 알 수 있어 정밀한 결과를 얻을 수 있는 장점이 있으나, 주로 차량이 출하되는 공장 등 일정 넓이 이상의 면적을 갖는 공간이 요구되는 공간적 제약을 수반하며, 숙련공에 의해 별도 장비를 이용하여 수행되는 점에서 운전자의 시간 및 비용이 소모되기 때문에, 캘리브레이션 작업의 편의성을 향상시키기 위한 시스템이 요청된다.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2011-0055421호(2011.05.25 공개)에 개시되어 있다.

본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 특정 캘리브레이션 패턴이 그려진 보정장에서 외부 장비를 통해 숙련공에 의해 수행되었던 종래 캘리브레이션 작업의 번거로움을 해소하여 캘리브레이션 작업의 실용성 및 편의성을 향상시키기 위한 캘리브레이션 방법 및 장치를 제공하는 것이다.

본 발명의 일 측면에 따른 캘리브레이션 방법은 차선 검출부가, 차량의 거동 상태가 미리 설정된 거동 조건을 만족하는 경우, 상기 차량의 카메라로부터 획득된 주변 영상으로부터 차선을 검출하는 단계, 유효 차선 추출부가, 상기 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거함으로써 유효 차선을 추출하는 단계, 및 파라미터 추정부가, 상기 유효 차선을 토대로 결정된 소실점, 및 상기 유효 차선의 방향에 기초하여 상기 카메라의 설치 각도를 추정하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 거동 조건은 차속이 설정 차속 이상인 차속 조건, 및 조향각이 설정 조향각 이하인 조향각 조건 중 하나 이상을 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 차선을 검출하는 단계는, 상기 차선 검출부가, 상기 주변 영상으로부터 추출되는 에지(Edge) 성분에 기초하여 직선을 검출하는 단계, 및 상기 차선 검출부가, 상기 검출된 직선 중 미리 설정된 차선 검출 영역에 존재하는 직선의 차선 적합도를 판단하여 차선을 검출하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 직선을 검출하는 단계는, 상기 차선 검출부가, 상기 주변 영상으로부터 생성된 조감도에서 그래디언트(Gradient)를 계산하고, 상기 계산된 그래디언트의 방향 및 크기에 근거하여 상기 에지 성분을 추출하는 단계, 및 상기 차선 검출부가, 상기 추출된 에지 성분 중 화소값이 증가하는 방향의 그래디언트를 갖는 에지 성분에 대한 직선, 및 화소값이 감소하는 방향의 그래디언트를 갖는 에지 성분에 대한 직선을 하나의 페어(Pair)로 하는 하나 이상의 직선 페어를 검출하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 상기 차선 적합도를 판단하여 차선을 검출하는 단계에서, 상기 차선 검출부는, 상기 직선 페어에 포함된 두 직선이 상호 교차하지 않는 교차 조건, 상기 직선 페어에 포함된 두 직선 상호 간의 최소 거리 및 최대 거리가 미리 설정된 차선 두께 변화 범위 내에 존재하는 차선 두께 조건, 및 상기 직선 페어에 포함된 두 직선을 상기 조감도 상의 기준축에 투영시 중첩되는 비율이 설정 비율 이상인 중첩율 조건 중 하나 이상을 충족하는 경우 상기 차선 적합도를 충족하는 것으로 판단하는 것을 특징으로 한다.

본 발명에 있어 상기 유효 차선을 추출하는 단계는, 상기 유효 차선 추출부가, 상기 검출된 차선의 위치를 상기 주변 영상으로부터 생성된 조감도 상의 기준축에 투영하고 소정 프레임 이상 누적하여 히스토그램을 생성하고, 상기 생성된 히스토그램에 따라 결정되는 기준 차선 위치로부터 설정 거리 이상 떨어진 차선을 오 검출된 차선으로 결정하여 제거하는 단계, 및 상기 유효 차선 추출부가, 상기 검출된 차선에 의해 추정된 소실점을 이용하여 상기 카메라의 설치 각도를 계산하고, 상기 계산된 설치 각도를 기반으로 상기 검출된 차선의 각도 에러를 보정하여 보정 차선을 결정하며, 상기 결정된 보정 차선 및 상기 조감도 상의 기준축 간의 평행 정도를 토대로 오 검출된 차선을 결정하여 제거하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 카메라는 전방, 후방, 좌측 및 우측 카메라를 포함하고, 상기 설치 각도는 피치(Pitch), 요(yaw) 및 롤(Roll)을 포함하며, 상기 카메라의 설치 각도를 추정하는 단계에서, 상기 파라미터 추정부는, 상기 전방, 후방, 좌측 및 우측 카메라 각각의 피치, 요 및 롤을 포함하는 12개의 설치 각도를 추정하는 것을 특징으로 한다.

본 발명에 있어 상기 카메라의 설치 각도를 추정하는 단계는, 상기 파라미터 추정부가, 전후 유효 차선에 의해 결정된 소실점, 및 상기 전후 유효 차선의 방향에 기초하여 상기 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 단계로서, 상기 전후 유효 차선은 상기 전방 및 후방 카메라의 주변 영상으로부터 생성된 조감도 상의 유효 차선인, 단계, 상기 파라미터 추정부가, 좌우 유효 차선에 의해 결정된 소실점, 및 상기 좌우 유효 차선의 방향에 기초하여 상기 좌측 및 우측 카메라의 요 및 롤을 추정하는 단계로서, 상기 좌우 유효 차선은 상기 좌측 및 우측 카메라의 주변 영상으로부터 생성된 조감도 상의 유효 차선인, 단계, 및 상기 파라미터 추정부가, 상기 전후 유효 차선 및 상기 좌우 유효 차선을 공통 좌표계에 투영하여 동일 차선 간 정합되도록 상기 좌측 및 우측 카메라의 피치를 추정하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 단계는, 상기 파라미터 추정부가, 상기 전후 유효 차선을 렌즈 왜곡(Lens Distortion)이 보정된 좌표계에서의 보정 직선으로 변환하는 단계, 상기 파라미터 추정부가, 상기 변환된 보정 직선의 소실점 및 미리 설정된 제1 기준 소실점 간의 관계에 근거하여 상기 전방 및 후방 카메라의 피치 및 요를 초기 추정하는 단계, 상기 파라미터 추정부가, 상기 초기 추정된 전방 및 후방 카메라의 피치 및 요를 초기치로 하여 설정 각도 범위 내에서 상기 전방 및 후방 카메라의 피치 및 요를 LM(Levenberg-Marquardt)으로 재추정하는 단계, 및 상기 파라미터 추정부가, 상기 재추정된 전방 및 후방 카메라의 피치 및 요에 따라 보정된 조감도에서의 전후 유효 차선에 포함된 좌측 차선 및 우측 차선의 각 폭 간 차이가 최소가 되도록 상기 전방 및 후방 카메라의 롤을 초기 추정하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 상기 전방 및 후방 카메라의 피치 및 요를 LM으로 재추정하는 단계에서, 상기 파라미터 추정부는, LM(Levenberg-Marquardt)의 재추정 과정에서 산출되는 상기 전방 및 후방 카메라의 회전행렬을 이용하여 상기 보정 직선을 상기 조감도 상의 전후 유효 차선을 변환하고, 상기 변환된 전후 유효 차선이 상기 조감도 상의 제1 방향 기준축에 평행하고 상기 변환된 전후 유효 차선 간 상호 평행하도록 상기 전방 및 후방 카메라의 피치 및 요를 재추정하는 것을 특징으로 한다.

본 발명에 있어 상기 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 단계는, 상기 차량의 진행 방향과 평행하지 않은 차선이 설정치 이상의 수만큼 검출된 경우, 상기 파라미터 추정부가 상기 평행하지 않은 차선으로부터 정지선을 추출하고, 상기 추출된 정지선에 포함된 두 직선 간의 평행 정도에 근거하여 상기 초기 추정된 전방 및 후방 카메라의 롤을 설정 각도 범위 내에서 LM(Levenberg-Marquardt)으로 재추정하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 좌측 및 우측 카메라의 요 및 롤을 추정하는 단계는, 상기 파라미터 추정부가, 상기 좌우 유효 차선을 렌즈 왜곡(Lens Distortion)이 보정된 좌표계에서의 보정 직선으로 변환하는 단계, 상기 파라미터 추정부가, 상기 변환된 보정 직선의 소실점 및 미리 설정된 제2 기준 소실점 간의 관계에 근거하여 상기 좌측 및 우측 카메라의 요 및 롤을 초기 추정하는 단계, 및 상기 파라미터 추정부가, 상기 초기 추정된 좌측 및 우측 카메라의 요 및 롤을 초기치로 하여 설정 각도 범위 내에서 상기 좌측 및 우측 카메라의 피치 및 요를 LM(Levenberg-Marquardt)으로 재추정하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 상기 파라미터 추정부가, 상기 전방, 후방, 좌측 및 우측 카메라에 대하여 각각 추정된 피치, 요 및 롤을 포함하는 12개의 설치 각도를 LM(Levenberg-Marquardt)으로 정밀 추정하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명은 파라미터 선택부가, 상기 전방, 후방, 좌측 및 우측 카메라에 대하여 각각 추정된 피치, 요 및 롤을 포함하는 12개의 설치 각도를 12차원 벡터로 누적하고, 상기 누적된 12차원 벡터의 수가 설정치 이상이면 상기 누적된 12차원 벡터 상호 간의 평균 유클리디안 거리가 최소인 벡터를 상기 전방, 후방, 좌측 및 우측 카메라의 최종 설치 각도로 선택하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 캘리브레이션 장치는 차량의 거동 상태가 미리 설정된 거동 조건을 만족하는 경우, 상기 차량의 카메라로부터 획득된 주변 영상으로부터 차선을 검출하는 차선 검출부, 상기 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거함으로써 유효 차선을 추출하는 유효 차선 추출부, 및 상기 유효 차선에 의해 결정된 소실점, 및 상기 유효 차선의 방향에 기초하여 상기 카메라의 설치 각도를 추정하는 파라미터 추정부를 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 따르면, 본 발명은 특정 패턴이 그려진 보정장 및 별도의 설비 없이 캘리브레이션을 수행하여 종래 캘리브레이션 작업 시 수반되었던 시공간적 제약을 제거함으로써 운전자의 편의성을 향상시킬 수 있고, 운전자가 특별한 지침 없이 도로를 주행하기만 하면 카메라의 외부 파라미터가 자동으로 캘리브레이션 되기 때문에 캘리브레이션 작업의 실용성을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 캘리브레이션 장치를 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 전방, 후방, 좌측 및 우측 카메라의 각 설치 각도 오차가 5°인 경우의 조감도의 일 예시를 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 전방, 후방, 좌측 및 우측 카메라의 조감도 상에서 ROI의 차선 검출 영역을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 조감도 영상에 대하여 미디언 필터를 이용하여 영상 전처리를 수행한 결과를 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 중첩율 조건에 따라 차선 적합도를 판단하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 전방 및 후방 카메라의 피치 및 요가 보정되기 전의 조감도 및 보정된 후의 조감도를 비교하여 나타낸 예시도이다.
도 7은 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 정지선을 추출하는 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 좌측 및 우측 카메라의 피치를 추정하는 과정을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 캘리브레이션 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 캘리브레이션 방법에서 차선 검출부가 차선을 검출하는 과정을 구체적으로 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 캘리브레이션 방법에서 유효 차선 추출부가 유효 차선을 추출하는 과정을 구체적으로 설명하기 위한 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 캘리브레이션 방법에서 파라미터 추정부가 카메라의 설치 각도를 추정하는 과정을 구체적으로 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 캘리브레이션 방법에서 파라미터 추정부가 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 과정을 구체적으로 설명하기 위한 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 캘리브레이션 방법에서 파라미터 추정부가 좌측 및 우측 카메라의 요 및 롤을 추정하는 과정을 구체적으로 설명하기 위한 흐름도이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 캘리브레이션 방법 및 장치의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

우선 본 실시예에 따른 캘리브레이션 장치의 동작을 개괄적으로 설명한다.

본 실시예의 차선 검출부는 차량이 도로를 주행할 때, 전방, 후방, 좌측 및 우측 카메라를 통해 실시간으로 취득한 다수의 영상으로부터 차선(차로 표시선 및 정지선을 포함한다.)을 검출한다. 검출된 차선들은 큐(Queue) 형태의 자료 구조에 저장되고 저장된 차선이 일정 수 이상이면 유효 차선 추출부에 의해 오 검출된 차선이 제거된다. 즉, 차량이 차로 표시선을 따라 주행하는 경우, 소정 시간 동안 차선의 위치 및 방향은 크게 변하지 않으므로, 유효 차선 추출부는 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거함으로써 유효 차선을 추출한다. 파라미터 추정부는 유효 차선을 토대로 결정된 소실점 및 유효 차선의 방향에 기초하여 전방, 후방, 좌측 및 우측 카메라 각각의 피치(Pitch), 요(Yaw) 및 롤(Roll)을 포함하는 12개의 카메라 설치 각도를 추정한다. 이후, 파라미터 선택부는 12개의 카메라 설치 각도를 12차원 벡터로 누적하고, 누적된 12차원 벡터 중 최적의 12차원 벡터를 선택하여 최종적인 카메라 설치 각도로 확정한다.

전술한 내용에 기초하여 이하에서는 본 발명의 일 실시예에 따른 캘리브레이션 장치를 구체적으로 설명한다.

도 1은 본 발명의 일 실시예에 따른 캘리브레이션 장치를 설명하기 위한 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 전방, 후방, 좌측 및 우측 카메라의 각 설치 각도 오차가 5°인 경우의 조감도의 일 예시를 나타낸 예시도이며, 도 3의 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 전방, 후방, 좌측 및 우측 카메라의 조감도 상에서 ROI의 차선 검출 영역을 나타낸 예시도이고, 도 4는 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 조감도 영상에 대하여 미디언 필터를 이용하여 영상 전처리를 수행한 결과를 나타낸 예시도이며, 도 5는 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 중첩율 조건에 따라 차선 적합도를 판단하는 과정을 설명하기 위한 예시도이고, 도 6은 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 전방 및 후방 카메라의 피치 및 요가 보정되기 전의 조감도 및 보정된 후의 조감도를 비교하여 나타낸 예시도이며, 도 7은 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 정지선을 추출하는 과정을 설명하기 위한 예시도이고, 도 8은 본 발명의 일 실시예에 따른 캘리브레이션 장치에서 좌측 및 우측 카메라의 피치를 추정하는 과정을 설명하기 위한 예시도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 캘리브레이션 장치는 차선 검출부(100), 유효 차선 추출부(200), 파라미터 추정부(300) 및 파라미터 선택부(400)를 포함할 수 있다.

차선 검출부(100)는 차량의 거동 상태가 미리 설정된 거동 조건을 만족하는 경우, 차량의 카메라로부터 획득된 주변 영상으로부터 차선을 검출한다. 여기서, 거동 조건은 차속이 설정 차속 이상인 차속 조건, 및 조향각이 설정 조향각 이하인 조향각 조건 중 하나 이상을 포함할 수 있다.

구체적으로, 본 실시예에서는 차선 검출부(100)에 의해 검출된 차선을 기반으로 카메라의 캘리브레이션이 수행되고, 이에 따라 차선 검출 상의 정확도는 카메라의 캘리브레이션 정밀도와 직결되기 때문에 차선을 정확히 검출하는 것이 중요하다. 차량이 정차 상태인 경우, 차선 검출부(100)는 동일 차선만을 검출하게 되어 캘리브레이션 결과가 편향될 수 있으며, 이때 차선이 오 검출된 경우에는 후술할 것과 같이 차선의 위치 및 방향의 통계적 특성을 분석해도 오 검출된 차선이 제거될 수 없기 때문에 캘리브레이션 오차는 더욱 커지게 된다. 따라서 본 실시예에서 차선 검출부(100)는 차속이 설정 차속 이상인 차속 조건이 충족된 경우에 차량이 주행 중인 것으로 판단하여 차선을 검출한다.

또한, 유턴과 같이 차량이 선회 주행하는 경우에는 차선을 정확히 검출할 수 없으므로, 차선 검출부(100)는 조향각이 설정 조향각 이하인 조향각 조건이 충족된 경우에 차선을 검출할 수 있다.

한편, 본 실시예에서 차선 검출부(100)는 차로 표시선 및 정지선을 검출할 수 있으며, 차속 조건 및 조향각 조건이 모두 충족된 상태가 소정 시간(예: 3초) 동안 지속되면 차량이 차로를 따라 주행하고 있는 상태이므로 차로 표시선을 검출한다. 조향각 조건은 충족되지만 차속 조건이 충족되지 않은 경우에는 캘리브레이션 시의 편향을 방지하기 위해 차로 표시선은 검출하지 않고 정지선만 검출한다.

차량의 거동 상태가 상기 거동 조건을 만족하는 경우, 차선 검출부(100)는 차량의 카메라로부터 획득된 주변 영상으로부터 차선을 검출한다. 차선 검출은 방사 왜곡(Radial Distortion)과 같은 렌즈 왜곡, 및 원근 왜곡(Perspective Distortion)의 영향이 적은 조감도(Bird's Eye View)에서 수행될 수 있으며, 고속 처리를 위해 저 해상도 영상(예: 300*125)이 사용될 수 있다. 도 2는 전방, 후방, 좌측 및 우측 카메라의 각 설치 각도 오차가 5°인 경우의 조감도의 일 예시를 도시하고 있다. 이하에서는 차선 검출부(100)가 차선을 검출하는 과정을 구체적으로 설명한다.

우선, 차선 검출부(100)에는 차선 검출 영역, 차선 각도 변화 범위 및 차선 두께 변화 범위를 포함하는 ROI(Region Of Interest)가 미리 설정된다.

구체적으로, 차량이 차로를 따라 주행하는 경우, 차로 표시선은 전방 및 후방 카메라의 주변 영상으로부터 생성된 조감도에서는 y축에 평행하고, 좌측 및 우측 카메라의 주변 영상으로부터 생성된 조감도에서는 x축에 평행하게 된다. 따라서, 각 카메라의 설치 각도 오차 범위(예: -5°~ +5°)가 사전에 제공되는 경우, 설치 각도 오차 존재 시 조감도에서 차선이 존재할 수 있는 영역, 조감도에서 차선의 각도 변화 범위, 및 조감도에서 차선의 두께 변화 범위를 소정의 시뮬레이션을 통해 구할 수 있으며, 시뮬레이션을 통해 구한 ROI를 차선 검출부(100)에 미리 설정할 수 있다. 후술할 것과 같이 차선 검출부(100)는 ROI의 차선 검출 영역을 대상으로 하여 차선을 검출하게 되고, 차선 각도 변화 범위는 에지 성분이 추출될 때 활용되며, 차선 두께 변화 범위는 차선 적합도를 판단할 때 활용된다. 한편, 차선 검출 영역은 좌측 차선 검출 영역, 우측 차선 검출 영역 및 정지선 검출 영역으로 구분될 수 있으며, 도 3의 (a) 내지 (d)는 각각 전방, 후방, 좌측 및 우측 카메라의 조감도 상의 차선 검출 영역을 도시하고 있다.

전술한 ROI를 기반으로, 차선 검출부(100)는 카메라의 주변 영상으로부터 추출되는 에지(Edge) 성분에 기초하여 직선을 검출하고, 검출된 직선 중 ROI의 차선 검출 영역에 존재하는 직선의 차선 적합도를 판단하여 차선을 검출할 수 있다.

먼저, 차선 검출부(100)가 에지 성분에 기초하여 직선을 검출하는 과정을 구체적으로 설명한다.

차선 검출부(100)는 각 카메라의 설치 각도 초기치를 이용하여 카메라로부터 획득된 주변 영상을 조감도로 변환하기 위한 룩업 테이블(Look-Up Table)을 생성하고, 룩업 테이블을 이용하여 조감도를 생성한다. 그리고, 차선 검출부(100)는 생성된 조감도에서 그래디언트(Gradient)를 계산하고, 계산된 그래디언트의 방향 및 크기에 근거하여 에지 성분을 추출한다.

구체적으로, 차선 검출부(100)는 조감도에서 계산된 그래디언트의 방향 및 조감도 상의 기준축(x축 또는 y축을 의미한다.) 간의 각도가 ROI의 차선 각도 변화 범위 이내이면서, 그래디언트의 크기가 미리 설정된 임계치(예: 75) 이상인 포인트를 에지 성분으로 추출한다. 그래디언트의 방향과 비교 대상이 되는 기준축은 차로 표시선의 경우 전방 및 후방 카메라의 조감도에서는 y축, 좌측 및 우측 카메라의 조감도에서는 x축이 되고, 정지선의 경우 전방 및 후방 카메라의 조감도에서 x축이 된다.

이때, 잘못된 에지 성분과 같은 잡음을 제거하고 유효한 에지 성분을 보존하기 위해, 차선 검출부(100)는 그래디언트 계산 전 미디언 필터(Median Filter)(예: 3*3 사이즈)로 영상 전처리를 수행할 수도 있다. 이에 따라 도 4에 도시된 것과 같이 잘못된 에지 성분을 최소화하여 차선 검출 정확도를 향상시키고 연산량을 감소시킬 수 있다.

에지 성분이 추출된 후, 차선 검출부(100)는 화소값이 증가하는 방향의 그래디언트를 갖는 에지 성분에 대한 직선, 및 화소값이 감소하는 방향의 그래디언트를 갖는 에지 성분에 대한 직선을 하나의 페어(Pair)로 하는 하나 이상의 직선 페어를 검출한다. 직선 페어는 도 2에 도시된 것과 같이 하나의 차선에 포함되는 두 직선의 쌍을 의미하며, 즉 차로 표시선의 경우 좌측 직선 및 우측 직선 간의 쌍을, 정지선의 경우 상측 직선 및 하측 직선 간의 쌍을 의미한다. 한편, 에지 성분에 대한 직선은 RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 검출할 수 있으며, RANSAC 수행 시 인라이어(inlier)의 개수가 설정치 이상인 직선만을 검출할 수도 있다.

한편, 차량의 좌측에는 이중 차선(예: 중앙선)이 존재할 수 있으므로, 차선 검출부(100)는 ROI의 좌측 차선 검출 영역에서는 전술한 과정을 통해 직선 페어를 검출한 후, 추가적인 직선 페어를 RANSAC을 통해 검출하여 차량과 가장 근접한 직선 페어를 선택한다(좌측 주행을 따르는 도로 교통 시스템에서는 우측 차선 검출 영역에 대하여 상기 과정을 수행할 수 있다.).

다음으로, 검출된 직선으로부터 차선을 검출하는 과정을 구체적으로 설명한다.

차선 검출부(100)는 전술한 과정을 통해 검출된 직선 중 ROI의 차선 검출 영역에 존재하는 직선을 결정하고, 결정된 직선의 차선 적합도를 판단하여 차선을 검출한다. 차선 적합도는 교차 조건, 차선 두께 조건 및 중첩율 조건 중 하나 이상을 포함할 수 있다.

구체적으로, 전술한 직선 페어에 포함된 두 직선은 하나의 차선에 포함되는 두 직선의 쌍으로서, 상호 교차할 수 없으므로, 차선 검출부(100)는 두 직선이 상호 교차하지 않는 교차 조건 충족 여부를 판단할 수 있다. 또한, 차선 검출부(100)는 직선 페어에 포함된 두 직선 상호 간의 최소 거리 및 최대 거리가 ROI의 차선 두께 변화 범위 내에 존재하는 차속 두께 조건 충족 여부를 판단할 수 있다. 그리고, 차선 검출부(100)는 직선 페어에 포함된 두 직선을 조감도 상의 기준축(x축 또는 y축)에 투영시 중첩되는 비율이 설정 비율 이상인 중첩율 조건 충족 여부를 판단할 수 있다. 두 직선이 조감도 상의 기준축에 투영될 때 상호 중첩되는 비율을 본 실시예에서는 중첩율(Overlap Ratio)로 정의한다.

중첩율에 대하여 보다 구체적으로 설명하면, 도 5에 도시된 것과 같이 동일 차선에서 두 직선이 검출되지 않은 경우, 직선을 검출하는데 사용된, 화소값이 증가하는 방향의 그래디언트를 갖는 에지 성분, 및 화소값이 감소하는 방향의 그래디언트를 갖는 에지 성분을 기준축(차로 표시선의 경우 전방 및 후방 카메라의 조감도에서는 y축, 좌측 및 우측 카메라의 조감도에서는 x축이 되며, 정지선의 경우 전방 및 후방 카메라의 조감도 상의 x축이 된다.)에 투영시 중첩되는 비율이 낮아지게 된다. 즉, 두 직선이 동일 차선에 포함되는 경우 중첩율이 높아야 하므로 중첩율이 설정 비율 이상인 경우, 두 직선이 동일 차선에 포함되는 것으로 판단하여 차선을 검출할 수 있다. 중첩율은 하기 수학식 1에 따라 계산될 수 있다.

여기서 O_r은 중첩율(Overlap Ratio), A는 기준축에 투영된, 화소값이 증가하는 방향의 그래디언트를 갖는 에지 성분의 집합, B는 기준축에 투영된, 화소값이 감소하는 방향의 그래디언트를 갖는 에지 성분의 집합을 의미한다. M_c는 투영된 기준축에 대한 1차원 모폴로지 닫힘 연산자(Closing Morphological Operator)를 의미한다. 중첩율을 활용하여 차선 적합도를 판단하는 경우, 도 5에 도시된 것과 같이 그림자 또는 타차량으로부터 검출된 직선을 효과적으로 배제할 수 있다.

차선 검출부(100)는 전술한 교차 조건, 차속 두께 조건 및 중첩율 조건 중 하나 이상을 만족하는지 여부를 판단하여 차선을 검출할 수도 있으나, 보다 정밀한 차선 검출을 위해 세 가지 조건 모두 만족하는 직선을 차선으로 검출함이 바람직하다.

차선 검출부(100)에 의해 차선이 검출되면, 유효 차선 추출부(200)는 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거함으로써 유효 차선을 추출한다.

구체적으로, 차선 검출부(100)에 의해 검출된 차선에는 오 검출된 차선이 존재할 수 밖에 없기 때문에 오 검출된 차선을 제거할 필요성이 있다. 전술한 것과 같이 차량이 차로를 따라 주행하는 환경이라면 차선 검출부(100)에 의해 검출된 차선의 위치 및 방향의 변화는 제한적이게 되며, 검출된 차선의 대부분이 주행 차로의 차선이라면 차선의 위치 및 방향 특성은 군집을 이루게 되므로, 차선의 위치 및 방향의 통계적 특성을 분석하여 군집에서 벗어난 오류, 즉 오 검출된 차선을 제거할 수 있다.

이를 위해, 유효 차선 추출부(200)는 차선 검출부(100)에 의해 검출된 차선의 위치를 조감도 상의 기준축에 투영하고 소정 프레임 이상 누적하여 히스토그램을 생성하고, 생성된 히스토그램에 따라 결정되는 기준 차선 위치로부터 설정 거리 이상 떨어진 차선을 오 검출된 차선으로 결정하여 제거한다. 즉, 차선 검출부(100)는 차선 위치의 통계적 특성을 분석하여 오 검출된 차선을 제거한다.

구체적으로, 전방 및 후방 카메라의 영상으로부터 획득된 차로 표시선의 경우, 조감도 상의 특정 위치(예: 조감도 하단)에서의 x축 위치(즉, x 좌표) 변화는 제한적이므로, 차로 표시선의 x축 위치를 y축에 투영하고 소정 프레임 이상 누적하여 히스토그램을 생성하고, 생성된 히스토그램으로부터 기준 차선 위치를 결정하여 기준 차선 위치로부터 설정 거리 이상 떨어진 차로 표시선을 오 검출된 차선으로 결정하여 제거할 수 있다.

마찬가지로, 좌측 및 우측 카메라의 영상으로부터 획득된 차로 표시선의 경우, 조감도 상의 특정 위치(예: x축 기준 조감도 중앙)에서의 y축 위치(즉, y 좌표) 변화는 제한적이므로, 차로 표시선의 y축 위치를 x축에 투영하고 소정 프레임 이상 누적하여 히스토그램을 생성하고, 생성된 히스토그램으로부터 기준 차선 위치를 결정하여 기준 차선 위치로부터 설정 거리 이상 떨어진 차로 표시선을 오 검출된 차선으로 결정하여 제거할 수 있다.

기준 차선 위치는 생성된 히스토그램의 형태가 단봉형(Uni-modal)인 경우 피크치(Peak Value)로 결정될 수 있고, 복합형(Multi-modal)인 경우 차량과 가장 근접한 모드로 결정될 수 있다.

다음으로, 유효 차선 추출부(200)는 검출된 차선에 의해 추정된 소실점을 이용하여 카메라의 설치 각도를 계산하고, 계산된 설치 각도를 기반으로 검출된 차선의 각도 에러를 보정하여 보정 차선을 결정하며, 결정된 보정 차선 및 조감도 상의 기준축 간의 평행 정도를 토대로 오 검출된 차선을 결정하여 제거한다. 즉, 차선 검출부(100)는 차선 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거한다.

구체적으로, 전방 및 후방 카메라의 경우, 유효 차선 추출부(200)는 차선 검출부(100)에 의해 검출된 좌측 차선 및 우측 차선을 쌍으로 하여 소실점을 계산하고, 소실점의 위치를 히스토그램으로 누적하여 그 도수가 가장 큰 계급(bin)에 속하는 소실점들의 평균으로 최종 소실점을 추정한다. 유효 차선 추출부(200)는 추정된 최종 소실점을 이용하여 전방 및 후방 카메라의 피치 및 요를 계산하고(소실점을 이용하여 피치 및 요를 계산하는 방법은 동일 기술분야에서 공지된 것이므로 구체적인 설명은 생략한다.), 계산된 설치 각도(즉, 피치 및 요)를 기반으로 차선 검출부(100)에 의해 검출된 차선의 각도 에러를 보정하여 보정 차선을 결정한다. 결정된 보정 차선은 조감도 상에서 y축에 평행이 되어야 하기 때문에, 유효 차선 추출부(200)는 보정 차선 및 조감도 상의 기준축(즉, y축) 간의 평행 정도를 토대로 오 검출된 차선을 결정하여 제거할 수 있다. 보정 차선 및 기준축(y축) 간의 평행 정도는 조감도 상에서 보정 차선의 양 끝 점의 x 좌표 간의 차이의 절대값으로 계산할 수 있으며, 계산된 값이 임계치 이상이면 유효 차선 추출부(200)는 해당 차선을 오 검출된 차선으로 결정하여 제거한다.

좌측 및 우측 카메라의 경우, 전방 및 후방 카메라 대비 그 취득 데이터가 적기 때문에, 유효 차선 추출부(200)는 복수의 프레임 중 특정 프레임을 샘플링하고, 해당 프레임에서 검출된 두 직선으로 소실점을 추정한다. 유효 차선 추출부(200)는 추정된 소실점을 이용하여 좌측 및 우측 카메라의 요 및 롤을 계산하고, 계산된 설치 각도(즉, 요 및 롤)를 기반으로 검출된 차선의 각도 에러를 보정하여 보정 차선을 결정한다. 결정된 보정 차선은 조감도 상에서 x축에 평행이 되어야 하기 때문에, 유효 차선 추출부(200)는 보정 차선 및 조감도 상의 기준축(즉, x축) 간의 평행 정도를 토대로 오 검출된 차선을 결정하여 제거할 수 있다. 보정 차선 및 기준축(x축) 간의 평행 정도는 조감도 상에서 보정 차선의 양 끝 점의 y 좌표 간의 차이의 절대값으로 계산할 수 있으며, 계산된 값이 임계치 이상이면 유효 차선 추출부(200)는 해당 차선을 오 검출된 차선으로 결정하여 제거한다.

유효 차선 추출부(200)에 의해 오 검출된 차선이 제거되어 유효 차선이 추출된 경우, 파라미터 추정부(300)는 유효 차선을 토대로 결정된 소실점, 및 유효 차선의 방향에 기초하여 카메라의 설치 각도를 추정한다. 이때 파라미터 추정부(300)는 전방, 후방, 좌측 및 우측 카메라 각각의 피치, 요 및 롤을 포함하는 12개의 설치 각도를 추정한다.

여기서, 설명의 편의를 위해 용어를 명확히 정의한다.

전후 유효 차선은 전방 및 후방 카메라의 주변 영상으로부터 생성된 조감도 상의 유효 차선으로 정의하고, 좌우 유효 차선은 좌측 및 우측 카메라의 주변 영상으로부터 생성된 조감도 상의 유효 차선으로 정의한다.

파라미터 추정부(300)는 각 카메라의 설치 각도를 추정하기 전, 유효 차선 추출부(200)에 의해 추출된 유효 차선의 수가 설정치 이상인 경우에만 설치 각도를 추정함으로써 설치 각도 추정 상의 신뢰도를 확보할 수 있으며, 동일 시점에 검출된 전후 유효 차선 및 좌우 유효 차선의 수가 설정치 이상인 경우에만 설치 각도를 추정함으로써 후술할 것과 같이 좌측 및 우측 카메라의 피치 추정 상의 신뢰도를 확보할 수 있다.

파라미터 추정부(300)에 의해 수행되는 카메라의 설치 각도 추정 과정은 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 과정과, 좌측 및 우측 카메라의 요 및 롤을 추정하는 과정과, 좌측 및 우측 카메라의 피치를 추정하는 과정으로 구분될 수 있다.

먼저, 파라미터 추정부(300)가 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 과정을 구체적으로 설명한다.

파라미터 추정부(300)는 전후 유효 차선을 토대로 결정된 소실점, 및 전후 유효 차선의 방향에 기초하여 전방 및 후방 카메라의 피치, 요 및 롤을 추정한다.

구체적으로, 파라미터 추정부(300)는 전후 유효 차선을 렌즈 왜곡(이를테면, 어안렌즈의 방사 왜곡(Radial Distortion))이 보정된 좌표계에서의 보정 직선으로 변환한다. 전후 유효 차선은 하기 수학식 2에 따라 보정 직선으로 변환될 수 있다.

여기서 L_uv는 렌즈 왜곡이 보정된 좌표계에서의 보정 직선, K_b는 조감도의 내부 파라미터 행렬, R₀는 전방 및 후방 카메라의 설치 각도 초기값에 의한 카메라 회전 행렬, K는 렌즈 왜곡이 보정된 영상의 내부 파라미터 행렬, L_bv는 전후 유효 차선(즉, 전후 유효 차선에 포함된 직선)을 의미한다.

렌즈 왜곡이 보정된 좌표계에서의 보정 직선들 L_uv=[L_uv1, L_uv2...L_uvN]이 결정되면, 파라미터 추정부(300)는 보정 직선의 소실점 및 미리 설정된 제1 기준 소실점 간의 관계에 근거하여 전방 및 후방 카메라의 피치 및 요를 초기 추정한다.

즉, 보정 직선의 소실점은 차량의 진행 방향과 평행한 차선이 만나는 점이므로 조감도에서 [0, 1, 0] 좌표에 위치해야 한다. 따라서, 파라미터 추정부(300)는 보정 직선의 소실점을 제1 기준 소실점으로 변환하는 회전 행렬을 하기 수학식 3 및 4에 따라 계산하여 전방 및 후방 카메라의 피치 및 요를 초기 추정할 수 있다.

수학식 3 및 4에서 v₁'은 보정 직선의 소실점, θ는 원점 [0, 0, 0]으로부터 보정 직선의 소실점 및 제1 기준 소실점([0, 1, 0])을 각각 연결하는 두 직선 간의 각도, u는 두 직선에 수직인 벡터(즉, 회전축), R은 회전 행렬을 의미한다. 롤은 보정 직선의 소실점과 무관하므로 수학식 3 및 4를 통해 전방 및 후방 카메라의 피치 및 요가 초기 추정될 수 있다(수학식 3 및 4를 이용하여 피치 및 요를 계산하는 방법은 공지된 것이므로 구체적인 설명은 생략한다.).

전방 및 후방 카메라의 피치 및 요가 초기 추정된 경우, 파라미터 추정부(300)는 초기 추정된 전방 및 후방 카메라의 피치 및 요를 초기치로 하여 설정 각도 범위 내에서 전방 및 후방 카메라의 피치 및 요를 LM(Levenberg-Marquardt)으로 재추정한다. 이때, 파라미터 추정부(300)는 LM의 재추정 과정에서 산출되는 전방 및 후방 카메라의 회전행렬을 이용하여 보정 직선을 조감도 상의 전후 유효 차선으로 변환하고, 변환된 전후 유효 차선이 조감도 상의 제1 방향 기준축(y축)에 평행하고 변환된 전후 유효 차선 간 상호 평행하도록 전방 및 후방 카메라의 피치 및 요를 재추정한다.

구체적으로, 파라미터 추정부(300)는 초기 추정된 전방 및 후방 카메라의 피치 및 요를 초기치로 하여 설정 각도 범위(예: ±1°) 내에서 LM으로 재추정하며, LM의 반복 과정마다 산출되는 카메라 회전 행렬을 이용하여 하기 수학식 5에 따라 보정 직선을 조감도 상의 직선으로 변환환 후 LM의 Cost를 하기 수학식 6을 통해 계산한다.

수학식 5에서 R_i는, 피치 및 요를 초기 추정치로 하고 롤은 R₀로 하여 구해진 카메라 회전 행렬, L_uv는 보정 직선, L_bv'는 변환된 조감도 상의 직선을 의미한다. 또한, 수학식 6에서 x_li(y)는 조감도에서의 직선 l_i의 y 좌표 값에 대한 x 좌표를 얻는 함수를 의미하고, H는 조감도의 세로축 해상도를 의미한다. 수학식 6에서 첫 번째 Term(

)은 변환된 전후 유효 차선이 조감도 상에서 제1 방향 기준축(y축)과 평행이어야 함을 의미하고, 두 번째 Term(

)은 변환된 전후 유효 차선 간 상호 평행이어야 함을 의미한다. i 및 j는 프레임 넘버를 의미한다.

전방 및 후방 카메라의 피치 및 요가 재추정된 경우, 파라미터 추정부(300)는 재추정된 전방 및 후방 카메라의 피치 및 요에 따라 보정된 조감도에서의 전후 유효 차선에 포함된 좌측 차선 및 우측 차선의 각 폭 간 차이가 최소가 되도록 전방 및 후방 카메라의 롤을 초기 추정한다.

구체적으로, 전방 및 후방 카메라의 피치 및 요가 보정되면 파라미터 추정부(300)는 도 6에 도시된 것과 같이 조감도에서 차로 표시선을 나타내는 전후 유효 차선은 y축과 평행하게 되어 전후 유효 차선의 폭을 측정할 수 있으며(도 6(b)에 도시된 것과 같이 조감도 높이의 1/2 위치에서 x축에 평행한 측정선을 기준으로 전후 유효 차선의 폭을 측정할 수 있다.), 전후 유효 차선에 포함된 좌측 차선 및 우측 차선의 각 폭이 동일하다는 가정을 이용하여 전방 및 후방 카메라의 롤을 추정할 수 있다. 따라서 하기 수학식 7에 따라 좌측 차선 및 우측 차선의 각 폭 간 차이가 최소가 되도록 LM을 통해 전방 및 후방 카메라의 롤을 추정할 수 있다.

여기서 W_Li는 i번째 프레임에서 좌측 차선의 폭, W_Ri는 i번째 프레임에서 우측 차선의 폭을 의미한다.

한편, 전술한 과정을 통해 전방 및 후방 카메라의 롤을 추정하기에 앞서, 좌측 차선의 폭 및 우측 차선의 폭 간 비율이 크게 다른 전후 유효 차선을 배제할 수도 있다. 이를 위해, 파라미터 추정부(300)는 임의의 시점의 조감도에서 좌측 차선 및 우측 차선의 각 폭 간 비율을 모델로 선택하고, 선택된 모델과의 비율 차이가 임계치(예: 10%) 이내인 다른 시점의 좌측 차선 및 우측 차선만에 대하여 수학식 7을 적용하여 전방 및 후방 카메라의 롤을 추정할 수도 있다.

전술한 전방 및 후방 카메라의 롤을 추정하는 과정에서는 정지선이 고려되지 않았으나, 차량의 주행 과정에서 정지선이 충분히 검출된 경우, 파라미터 추정부(300)는 검출된 정지선을 활용하여 전방 및 후방 카메라의 롤을 보다 정밀하게 추정할 수 있다. 즉, 파라미터 추정부(300)는 차량의 진행 방향과 평행하지 않은 차선이 설정치 이상의 수만큼 검출된 경우, 평행하지 않은 차선으로부터 정지선을 추출하고, 추출된 정지선에 포함된 두 직선 간의 평행 정도에 근거하여 초기 추정된 전방 및 후방 카메라의 롤을 설정 각도 범위 내에서 LM으로 재추정할 수 있다.

이를 위해, 먼저 파라미터 추정부(300)는 차량의 진행 방향(즉, 조감도 상의 y축 방향)과 평행하지 않은 차선이 설정치 이상의 수만큼 검출된 경우, 도 7에 도시된 것과 같이 차량의 진행 방향과 평행하지 않은 차선에 포함된 차로 표시선을 RANSAC을 통해 제거하여 정지선을 추출한다(도 7(a)는 추출된 정지선을 도시하고 있으며, 도 7(b)는 차량의 진행 방향과 평행하지 않은 차로 표시선이 제거되는 것을 도시하고 있다.). 파라미터 추정부(300)는 추출된 정지선에 포함된 일 정지선으로부터 결정되는 소실점 및 보정 직선의 소실점(전방 및 후방 카메라의 피치 및 요를 추정하는 과정에서 결정된 보정 직선의 소실점(v₁'))을 연결하여 소실선(vanishing line)을 생성하고, 생성된 소실선으로부터 전방 및 후방 카메라의 회전행렬을 하기 수학식 8에 따라 계산할 수 있다.

수학식 8에서 R_e는 전방 및 후방 카메라의 회전행렬, r₁은 전방 및 후방 카메라의 피치 및 요를 추정하는 과정에서 결정된 보정 직선의 소실점, r₃는 소실선을 의미한다.

카메라의 회전 행렬이 계산되면, 파라미터 추정부(300)는 정지선에 포함된 두 직선을 하기 수학식 9에 따라 조감도 상의 직선으로 변환하고, 하기 수학식 10에 따라 변환된 두 직선 간의 평행 정도를 계산한다.

수학식 9에서 L_uv는 정지선(즉, 정지선에 포함된 두 직선으로서, 수학식 2에 따라 렌즈 왜곡이 보정된 직선을 의미한다.), L_bv'는 변환된 조감도 상의 직선을 의미한다.

수학식 10에서 d_i(1)은 조감도에서 i번째 정지선의 x 좌표가 1인 경우의 폭을 의미하고, W는 조감도의 가로축 해상도이다.

수학식 10에 따라 계산된 값이 설정치 이하인 경우, 파라미터 추정부(300)는 두 직선 간의 평행 정도가 큰 것으로 판단하여 해당 직선을 포함하는 정지선을 전방 및 후방 카메라의 롤을 재추정하기 위한 정지선으로 결정하고, 결정된 정지선의 수가 설정치 이상이면 하기 수학식 11에 따라 초기 추정된 전방 및 후방 카메라의 롤을 설정 각도 범위 내(예: ±1°) 내에서 LM으로 재추정한다.

전술한 과정을 거쳐 전방 및 후방 카메라의 피치, 요 및 롤이 추정되면, 파라미터 추정부(300)는 좌우 유효 차선을 토대로 결정된 소실점, 및 좌우 유효 차선의 방향에 기초하여 좌측 및 우측 카메라의 요 및 롤을 추정한다. 좌측 및 우측 카메라의 요 및 롤을 추정하는 과정은 전방 및 후방 카메라의 피치 및 요를 추정하는 과정과 유사하다. 즉, 파라미터 추정부(300)는 좌우 유효 차선의 렌즈 왜곡(Lens Distortion)이 보정된 보정 직선을 결정하고, 보정 직선의 소실점 및 미리 설정된 제2 기준 소실점([1,0,0]) 간의 관계에 근거하여 좌측 및 우측 카메라의 요 및 롤을 초기 추정하며, 초기 추정된 좌측 및 우측 카메라의 요 및 롤을 초기치로 하여 설정 각도 범위 내에서 좌측 및 우측 카메라의 요 및 롤을 재추정한다. 파라미터 추정부(300)는 좌측 및 우측 카메라의 요 및 롤을 재추정할 때, LM의 재추정 과정에서 산출되는 좌측 및 우측 카메라의 회전행렬을 이용하여 보정 직선을 조감도 상의 좌우 유효 차선을 변환하고, 변환된 좌우 유효 차선이 조감도 상의 제2 방향 기준축(x축)에 평행하고 변환된 좌우 유효 차선 간 상호 평행하도록 좌측 및 우측 카메라의 요 및 롤을 재추정한다.

전방 및 후방 카메라의 피치, 요 및 롤과, 좌측 및 우측 카메라의 요 및 롤이 추정되면 파라미터 추정부(300)는 좌측 및 우측 카메라의 피치를 추정하며, 구체적으로, 파라미터 추정부(300)는 전방, 후방, 좌측 및 우측 카메라를 통해 검출된 차선 중 동일 차선 간 상호 정합되도록 좌측 및 우측 카메라의 피치를 추정한다. 즉, 파라미터 추정부(300)는 전후 유효 차선 및 좌우 유효 차선을 공통 좌표계에 투영하여 동일 차선 간 정합되도록 좌측 및 우측 카메라의 피치를 추정한다.

구체적으로, 파라미터 추정부(300)는 RANSAN을 이용하여 도 8에 도시된 것과 같이 요 및 롤에 대한 추정이 완료된 좌우 유효 차선을 샘플링하고(a) 좌측 및 우측 카메라에서 검출된 차선은 전방 및 후방 카메라에서 검출된 차선과 일치한다는 가정하에 좌측 및 우측 카메라의 피치를 모델로 하여 그 피치를 추정한 후(b), 하기 수학식 12에 따라 (b)에서 추정된 좌측 및 우측 카메라의 피치의 적합도를 평가한다(c).

수학식 12에서 x_si는 AVM의 측방과 전방과의 경계에서 측방 차선(즉, 좌우 유효 차선) i의 x 좌표이고, x_fi는 측방과 전방과의 경계에서 전방 차선(즉, 전후 유효 차선 중 전방 유효 차선) i의 x 좌표를 의미한다. x_sj 및 x_rj는 측방과 후방과의 경계에서 각각 측방 차선 j의 x 좌표 및 후방 차선(즉, 전후 유효 차선 중 후방 유효 차선) j의 x 좌표를 의미한다. U는 단위 계단 함수(Unit Step Function)를 의미하고, th는 임계 화소값(예: 5화소)을 의미한다.

전술한 과정을 통해 전방, 후방, 좌측 및 우측 카메라의 피치, 요 및 롤을 포함하는 12개의 설치 각도가 추정된 경우, 파라미터 추정부(300)는 12개의 설치 각도를 LM으로 정밀 추정한다. 이 경우, 파라미터 추정부(300)는 좌측 및 우측 카메라의 피치에 대하여는 그 초기치를 수학식 12에 따라 추정된 피치로 하여 좌측 및 우측 카메라의 설치 각도 오차 범위(예: ±5°) 내에서 추정하며, 나머지 10개의 설치 각도에 대하여는 수학식 6, 및 수학식 7(정지선 이 검출되지 않은 경우) 또는 수학식 11(정지선이 검출된 경우)에 따라 추정된 각도를 기준으로 설정 각도 범위(예: ±1°) 내에서 재추정한다. 정밀 추정 과정에서 적용되는 LM Cost는 전방, 후방, 좌측 및 우측 카메라의 피치, 요 및 롤을 추정하는 과정에서 적용되었던, 전후 유효 차선의 y축 평행 조건 및 좌우 유효 차선의 x축 평행 조건(C1), 전후 유효 차선 및 좌우 유효 차선의 정합 조건(C2), 좌측 차선 및 우측 차선의 각 폭 간 차이의 최소 조건(C3)(정지선이 검출되지 않은 경우), 정지선에 포함된 두 직선 간의 평행 조건(C4)(정지선이 검출된 경우)이 되며, 이를 수식으로 정리하면 하기 수학식 13과 같다.

수학식 13의 C₁에서, x, y는 조감도의 유효 차선 상의 점의 x, y 좌표를 의미하고, f, b, l, r은 각각 전방, 후방, 좌측 및 우측 카메라를 의미하며, H와 W는 각각 조감도의 높이와 너비를 의미한다. C₂에서 첫 번째 Term은 전방 유효 차선 및 좌측 유효 차선의 정합 조건을, 두 번째 Term은 후방 유효 차선 및 좌측 유효 차선의 정합 조건을, 세 번째 Term은 전방 유효 차선 및 우측 유효 차선의 정합 조건을, 네 번째 Term은 후방 유효 차선 및 우측 유효 차선의 정합 조건을 의미한다(이를테면, 첫 번째 Term에서 x_fi'는 4개의 카메라 영상이 정렬된 공통 좌표계에서 전방과 측방의 경계점에서의 전방 유효 차선의 x 좌표를 의미한다.). C₃에서 w는 차로 표시선의 폭을 의미하고 L과 R은 각각 좌측과 우측을 의미한다. C₄에서 d_fi(1)은 전방 카메라의 조감도에서 x 좌표가 1일 때 i 번째 정지선의 폭을 의미한다. 수학식 11의 Cost로 LM을 수행하면 이전에 비교적 정밀하게 추정되었던 전방 및 후방 카메라의 설치 각도가 조정되면서 좌측 및 우측 카메라의 설치 각도가 Cost를 최소화하기 위해 정밀하게 추정될 수 있다. 또한 검출된 차선들이 정밀하게 연결되고 차량의 진행 방향과 평행해져서 4개의 카메라 영상들이 AVM 좌표계에서 육안으로 보기에 잘 정렬될 수 있다.

한편 본 실시예에 따른 캘리브레이션 장치는 전방, 후방, 좌측 및 우측 카메라에 대하여 각각 추정된 피치, 요 및 롤을 포함하는 12개의 설치 각도를 12차원 벡터로 누적하고, 누적된 12차원 벡터의 수가 설정치 이상이면 누적된 12차원 벡터 상호 간의 평균 유클리디안 거리가 최소인 벡터를 전방, 후방, 좌측 및 우측 카메라의 최종 설치 각도로 선택하는 파라미터 선택부(400)를 더 포함할 수 있다.

즉, 전술한 과정을 통해 정밀하게 추정된 12개의 설치 각도를 최종 시스템 출력으로 사용할 수도 있으나, 본 실시예의 파라미터 선택부(400)는 12개의 설치 각도 추정상의 신뢰도를 높이기 위해 12개의 설치 각도를 12차원 벡터의 형태로 큐(Queue)에 저장하여 누적하고, 누적된 12차원 벡터의 수가 설정치 이상이면 12차원 벡터 상호 간의 평균 유클리디안 거리가 최소인 벡터를 최종적인 설치 각도로 선택할 수도 있다.

본 실시예에서는 차선 검출부(100), 유효 차선 추출부(200), 파라미터 추정부(300) 및 파라미터 선택부(400)를 분리된 구성으로 설명하였으나, 실시예에 따라서는 상기 각 구성(100, 200, 300, 400)이 하나의 프로세서로 통합된 구성으로 구현될 수도 있다.

도 9는 본 발명의 일 실시예에 따른 캘리브레이션 방법을 설명하기 위한 흐름도이고, 도 10은 본 발명의 일 실시예에 따른 캘리브레이션 방법에서 차선 검출부가 차선을 검출하는 과정을 구체적으로 설명하기 위한 흐름도이며, 도 11은 본 발명의 일 실시예에 따른 캘리브레이션 방법에서 유효 차선 추출부가 유효 차선을 추출하는 과정을 구체적으로 설명하기 위한 흐름도이고, 도 12는 본 발명의 일 실시예에 따른 캘리브레이션 방법에서 파라미터 추정부가 카메라의 설치 각도를 추정하는 과정을 구체적으로 설명하기 위한 흐름도이며, 도 13은 본 발명의 일 실시예에 따른 캘리브레이션 방법에서 파라미터 추정부가 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 과정을 구체적으로 설명하기 위한 흐름도이고, 도 14는 본 발명의 일 실시예에 따른 캘리브레이션 방법에서 파라미터 추정부가 좌측 및 우측 카메라의 요 및 롤을 추정하는 과정을 구체적으로 설명하기 위한 흐름도이다.

이하에서는 도 9 내지 도 14를 참조하여 본 발명의 일 실시예에 따른 캘리브레이션 방법을 설명하며, 전술한 과정과 중복되는 내용에 대한 구체적인 설명은 생략하기로 한다.

먼저, 차선 검출부(100)는 차량의 거동 상태가 미리 설정된 거동 조건을 만족하는 경우(S100), 차량의 카메라로부터 획득된 주변 영상으로부터 차선을 검출한다(S200). 거동 조건은 차속이 설정 차속 이상인 차속 조건, 및 조향각이 설정 조향각 이하인 조향각 조건 중 하나 이상을 포함할 수 있다.

도 10을 참조하여 S200 단계를 구체적으로 설명하면, 차선 검출부(100)는 카메라로부터 획득된 주변 영상으로부터 추출되는 에지 성분에 기초하여 직선을 검출하고(S210), 검출된 직선 중 ROI의 차선 검출 영역에 존재하는 직선의 차선 적합도를 판단하여 차선을 검출한다(S230).

S210 단계를 보다 구체적으로 설명하면, 차선 검출부(100)는 주변 영상으로부터 생성된 조감도에서 그래디언트(Gradient)를 계산하고, 계산된 그래디언트의 방향 및 크기에 근거하여 에지 성분을 추출한다(S211). 이때, 차선 검출부(100)는 조감도에서 계산된 그래디언트의 방향 및 조감도 상의 기준축 간의 각도가 ROI의 차선 각도 변화 범위 이내이면서, 그래디언트의 크기가 미리 설정된 임계치(예: 75) 이상인 포인트를 에지 성분으로 추출한다. 그래디언트의 방향과 비교 대상이 되는 기준축은 차로 표시선의 경우 전방 및 후방 카메라의 조감도에서는 y축, 좌측 및 우측 카메라의 조감도에서는 x축이 되고, 정지선의 경우 전방 및 후방 카메라의 조감도에서 x축이 된다.

다음으로, 차선 검출부(100)는 화소값이 증가하는 방향의 그래디언트를 갖는 에지 성분에 대한 직선, 및 화소값이 감소하는 방향의 그래디언트를 갖는 에지 성분에 대한 직선을 하나의 페어(Pair)로 하는 하나 이상의 직선 페어를 검출한다(S213).

S210 단계를 통해 직선이 검출되면, 차선 검출부(100)는 검출된 직선 중 ROI의 차선 검출 영역에 존재하는 직선을 결정하고, 결정된 직선의 차선 적합도를 판단하여 차선을 검출한다(S230). 차선 적합도를 판단하기 위한 조건은 교차 조건, 차선 두께 조건 및 중첩율 조건 중 하나 이상을 포함할 수 있다. 구체적으로, 차선 검출부(100)는 S213 단계를 통해 검출된 직선 페어에 포함된 두 직선이 상호 교차하지 않는 교차 조건, 직선 페어에 포함된 두 직선 상호 간의 최소 거리 및 최대 거리가 ROI의 차선 두께 변화 범위 내에 존재하는 차선 두께 조건, 및 직선 페어에 포함된 두 직선을 조감도 상의 기준축에 투영시 중첩되는 비율이 설정 비율 이상인 중첩율 조건 중 하나 이상을 충족하는 경우 차선 적합도를 충족하는 것으로 판단한다.

S200 단계를 통해 차선이 검출되면, 유효 차선 추출부(200)는 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거함으로써 유효 차선을 추출한다(S300).

도 11을 참조하여 S300 단계를 구체적으로 설명하면, 유효 차선 추출부(200)는 차선 검출부(100)에 의해 검출된 차선의 위치를 주변 영상으로부터 생성된 조감도 상의 기준축에 투영하고 소정 프레임 이상 누적하여 히스토그램을 생성하고, 생성된 히스토그램에 따라 결정되는 기준 차선 위치로부터 설정 거리 이상 떨어진 차선을 오 검출된 차선으로 결정하여 제거한다(S310). 즉, 차선 검출부(100)는 차선 위치의 통계적 특성을 분석하여 오 검출된 차선을 제거한다.

다음으로, 유효 차선 추출부(200)는 차선 검출부(100)에 의해 검출된 차선에 의해 추정된 소실점을 이용하여 카메라의 설치 각도를 계산하고, 계산된 설치 각도를 기반으로 검출된 차선의 각도 에러를 보정하여 보정 차선을 결정하며, 결정된 보정 차선 및 조감도 상의 기준축 간의 평행 정도를 토대로 오 검출된 차선을 결정하여 제거한다(S330). 즉, 차선 검출부(100)는 차선 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거한다.

S300 단계를 통해 유효 차선이 추출되면, 파라미터 추정부(300)는 유효 차선을 토대로 결정된 소실점, 및 유효 차선의 방향에 기초하여 카메라의 설치 각도를 추정하며(S400), 이때 파라미터 추정부(300)는 전방, 후방, 좌측 및 우측 카메라 각각의 피치, 요 및 롤을 포함하는 12개의 설치 각도를 추정한다.

도 12에 도시된 것과 같이 S400 단계는 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 단계(S410)와, 좌측 및 우측 카메라의 요 및 롤을 추정하는 단계(S430)와, 좌측 및 우측 카메라의 피치를 추정하는 단계(S450)로 구분될 수 있다.

도 13을 참조하여 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 S410 단계를 설명하면, 먼저 파라미터 추정부(300)는 전후 유효 차선의 렌즈 왜곡(Lens Distortion)이 보정된 보정 직선을 결정한다(S411). 보정 직선은 전술한 수학식 2에 따라 결정될 수 있다.

다음으로, 파라미터 추정부(300)는 보정 직선의 소실점 및 미리 설정된 제1 기준 소실점 간의 관계에 근거하여 전방 및 후방 카메라의 피치 및 요를 초기 추정한다(S412). 즉, 보정 직선의 소실점은 차량의 진행 방향과 평행한 차선이 만나는 점이므로 조감도에서 [0, 1, 0] 좌표에 위치해야 하기 때문에, 파라미터 추정부(300)는 보정 직선의 소실점을 제1 기준 소실점으로 변환하는 회전 행렬을 전술한 수학식 3 및 4에 따라 계산하여 전방 및 후방 카메라의 피치 및 요를 초기 추정할 수 있다.

다음으로, 파라미터 추정부(300)는 초기 추정된 전방 및 후방 카메라의 피치 및 요를 초기치로 하여 설정 각도 범위 내에서 전방 및 후방 카메라의 피치 및 요를 LM으로 재추정한다(S413). 이때, 파라미터 추정부(300)는 LM의 재추정 과정에서 산출되는 전방 및 후방 카메라의 회전행렬을 이용하여 보정 직선을 조감도 상의 전후 유효 차선을 변환하고, 변환된 전후 유효 차선이 조감도 상의 제1 방향 기준축(y축)에 평행하고 변환된 전후 유효 차선 간 상호 평행하도록 전방 및 후방 카메라의 피치 및 요를 재추정한다.

즉, 파라미터 추정부(300)는 초기 추정된 전방 및 후방 카메라의 피치 및 요를 초기치로 하여 설정 각도 범위(예: ±1°) 내에서 LM으로 재추정하며, LM의 반복 과정마다 산출되는 카메라 회전 행렬을 이용하여 전술한 수학식 5에 따라 보정 직선을 조감도 상의 직선으로 변환환 후 LM의 Cost를 전술한 수학식 6을 통해 계산한다.

다음으로, 전방 및 후방 카메라의 피치 및 요가 재추정된 경우, 파라미터 추정부(300)는 재추정된 전방 및 후방 카메라의 피치 및 요에 따라 보정된 조감도에서의 전후 유효 차선에 포함된 좌측 차선 및 우측 차선의 각 폭 간 차이가 최소가 되도록 전방 및 후방 카메라의 롤을 초기 추정한다(S414). 즉, 전방 및 후방 카메라의 피치 및 요가 보정되면 파라미터 추정부(300)는 도 6에 도시된 것과 같이 조감도에서 전후 유효 차선은 y축과 평행하게 되어 전후 유효 차선의 폭을 측정할 수 있으며, 전후 유효 차선에 포함된 좌측 차선 및 우측 차선의 각 폭이 동일하다는 가정을 이용하여 전방 및 후방 카메라의 롤을 추정할 수 있다. 따라서 전술한 수학식 7에 따라 좌측 차선 및 우측 차선의 각 폭 간 차이가 최소가 되도록 LM을 통해 전방 및 후방 카메라의 롤을 추정할 수 있다.

S414 단계를 통해 전방 및 후방 카메라의 롤을 추정하는 과정에서는 정지선이 고려되지 않았으나, 차량의 주행 과정에서 정지선이 충분히 검출된 경우, 파라미터 추정부(300)는 검출된 정지선을 활용하여 전방 및 후방 카메라의 롤을 보다 정밀하게 추정할 수 있다. 즉, 파라미터 추정부(300)는 차량의 진행 방향과 평행하지 않은 차선이 설정치 이상의 수만큼 검출된 경우(S415), 평행하지 않은 차선으로부터 정지선을 추출하고(S416), 추출된 정지선에 포함된 두 직선 간의 평행 정도에 근거하여 초기 추정된 전방 및 후방 카메라의 롤을 설정 각도 범위 내에서 LM으로 재추정한다(S417).

S410 단계를 통해 전방 및 후방 카메라의 피치, 요 및 롤이 추정되면, 파라미터 추정부(300)는 좌측 및 우측 카메라의 요 및 롤을 추정한다(S430).

도 14를 참조하여 구체적으로 설명하면, 먼저 파라미터 추정부(300)는, 좌우 유효 차선의 렌즈 왜곡(Lens Distortion)이 보정된 보정 직선을 결정한다(S431).

다음으로, 파라미터 추정부(300)는 보정 직선의 소실점 및 미리 설정된 제2 기준 소실점([1, 0, 0]) 간의 관계에 근거하여 좌측 및 우측 카메라의 요 및 롤을 초기 추정한다(S432).

다음으로, 파라미터 추정부(300)는 초기 추정된 좌측 및 우측 카메라의 요 및 롤을 초기치로 하여 설정 각도 범위 내에서 좌측 및 우측 카메라의 요 및 롤을 LM으로 재추정한다(S433). S433 단계의 재추정 과정은 S413 단계의 재추정 과정과 유사하며, 즉 파라미터 추정부(300)는 LM의 재추정 과정에서 산출되는 좌측 및 우측 카메라의 회전행렬을 이용하여 보정 직선을 조감도 상의 좌우 유효 차선을 변환하고, 변환된 좌우 유효 차선이 조감도 상의 제2 방향 기준축(x축)에 평행하고 변환된 좌우 유효 차선 간 상호 평행하도록 좌측 및 우측 카메라의 요 및 롤을 재추정한다.

전방 및 후방 카메라의 피치, 요 및 롤과, 좌측 및 우측 카메라의 요 및 롤이 추정되면, 파라미터 추정부(300)는 좌측 및 우측 카메라의 피치를 추정하며, 파라미터 추정부(300)는 전방, 후방, 좌측 및 우측 카메라를 통해 검출된 차선 중 동일 차선 간 상호 정합되도록 좌측 및 우측 카메라의 피치를 추정한다. 즉, 파라미터 추정부(300)는 전후 유효 차선 및 좌우 유효 차선을 공통 좌표계에 투영하여 동일 차선 간 정합되도록 좌측 및 우측 카메라의 피치를 추정한다(S450).

전술한 과정을 통해 전방, 후방, 좌측 및 우측 카메라의 피치, 요 및 롤을 포함하는 12개의 설치 각도가 추정된 경우, 파라미터 추정부(300)는 12개의 설치 각도를 LM으로 정밀 추정한다(S500). 정밀 추정 과정에서 적용되는 LM Cost는 전방, 후방, 좌측 및 우측 카메라의 피치, 요 및 롤을 추정하는 과정에서 적용되었던, 전후 유효 차선의 y축 평행 조건 및 좌우 유효 차선의 x축 평행 조건(C1), 전후 유효 차선 및 좌우 유효 차선의 정합 조건(C2), 좌측 차선 및 우측 차선의 각 폭 간 차이의 최소 조건(C3)(정지선이 검출되지 않은 경우), 정지선의 포함된 두 직선 간의 평행 조건(C4)(정지선이 검출된 경우)이 된다.

한편, 전술한 과정을 통해 정밀하게 추정된 12개의 설치 각도를 최종 시스템 출력으로 사용할 수 있으나, 본 실시예는 파라미터 선택부(400)가 전방, 후방, 좌측 및 우측 카메라에 대하여 각각 추정된 피치, 요 및 롤을 포함하는 12개의 설치 각도를 12차원 벡터로 누적하고, 누적된 12차원 벡터의 수가 설정치 이상이면 누적된 12차원 벡터 상호 간의 평균 유클리디안 거리가 최소인 벡터를 전방, 후방, 좌측 및 우측 카메라의 최종 설치 각도로 선택하는 S600 단계를 더 포함할 수 있다. 즉, 파라미터 선택부(400)는 12개의 설치 각도 추정상의 신뢰도를 높이기 위해 12개의 설치 각도를 12차원 벡터의 형태로 큐(Queue)에 저장하여 누적하고, 누적된 12차원 벡터의 수가 설정치 이상이면 12차원 벡터 상호 간의 평균 유클리디안 거리가 최소인 벡터를 최종적인 설치 각도로 선택할 수 있다.

이와 같이 본 실시예는 특정 패턴이 그려진 보정장 및 별도의 설비 없이 캘리브레이션을 수행하여 종래 캘리브레이션 작업 시 수반되던 시공간적 제약을 제거함으로써 운전자의 편의성을 향상시킬 수 있고, 운전자가 특별한 지침 없이 도로를 주행하기만 하면 카메라의 외부 파라미터가 자동으로 캘리브레이션 되기 때문에 캘리브레이션 작업의 실용성을 향상시킬 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

100: 차선 검출부
200: 유효 차선 추출부
300: 파라미터 추정부
400: 파라미터 선택부

Claims (27)

1. 차선 검출부가, 차량의 거동 상태가 미리 설정된 거동 조건을 만족하는 경우, 상기 차량의 카메라로부터 획득된 주변 영상으로부터 차선을 검출하는 단계;
   유효 차선 추출부가, 상기 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거함으로써 유효 차선을 추출하는 단계; 및
   파라미터 추정부가, 상기 유효 차선을 토대로 결정된 소실점, 및 상기 유효 차선의 방향에 기초하여 상기 카메라의 설치 각도를 추정하는 단계;
   를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
   
2. 제1항에 있어서,
   상기 거동 조건은 차속이 설정 차속 이상인 차속 조건, 및 조향각이 설정 조향각 이하인 조향각 조건 중 하나 이상을 포함하는 것을 특징으로 하는 캘리브레이션 방법.
   
3. 제1항에 있어서,
   상기 차선을 검출하는 단계는,
   상기 차선 검출부가, 상기 주변 영상으로부터 추출되는 에지(Edge) 성분에 기초하여 직선을 검출하는 단계; 및
   상기 차선 검출부가, 상기 검출된 직선 중 미리 설정된 차선 검출 영역에 존재하는 직선의 차선 적합도를 판단하여 차선을 검출하는 단계;
   를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
   
4. 제3항에 있어서,
   상기 직선을 검출하는 단계는,
   상기 차선 검출부가, 상기 주변 영상으로부터 생성된 조감도에서 그래디언트(Gradient)를 계산하고, 상기 계산된 그래디언트의 방향 및 크기에 근거하여 상기 에지 성분을 추출하는 단계; 및
   상기 차선 검출부가, 상기 추출된 에지 성분 중 화소값이 증가하는 방향의 그래디언트를 갖는 에지 성분에 대한 직선, 및 화소값이 감소하는 방향의 그래디언트를 갖는 에지 성분에 대한 직선을 하나의 페어(Pair)로 하는 하나 이상의 직선 페어를 검출하는 단계;
   를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
   
5. 제4항에 있어서,
   상기 차선 적합도를 판단하여 차선을 검출하는 단계에서,
   상기 차선 검출부는, 상기 직선 페어에 포함된 두 직선이 상호 교차하지 않는 교차 조건, 상기 직선 페어에 포함된 두 직선 상호 간의 최소 거리 및 최대 거리가 미리 설정된 차선 두께 변화 범위 내에 존재하는 차선 두께 조건, 및 상기 직선 페어에 포함된 두 직선을 상기 조감도 상의 기준축에 투영시 중첩되는 비율이 설정 비율 이상인 중첩율 조건 중 하나 이상을 충족하는 경우 상기 차선 적합도를 충족하는 것으로 판단하는 것을 특징으로 하는 캘리브레이션 방법.
   
6. 제1항에 있어서,
   상기 유효 차선을 추출하는 단계는,
   상기 유효 차선 추출부가, 상기 검출된 차선의 위치를 상기 주변 영상으로부터 생성된 조감도 상의 기준축에 투영하고 소정 프레임 이상 누적하여 히스토그램을 생성하고, 상기 생성된 히스토그램에 따라 결정되는 기준 차선 위치로부터 설정 거리 이상 떨어진 차선을 오 검출된 차선으로 결정하여 제거하는 단계; 및
   상기 유효 차선 추출부가, 상기 검출된 차선에 의해 추정된 소실점을 이용하여 상기 카메라의 설치 각도를 계산하고, 상기 계산된 설치 각도를 기반으로 상기 검출된 차선의 각도 에러를 보정하여 보정 차선을 결정하며, 상기 결정된 보정 차선 및 상기 조감도 상의 기준축 간의 평행 정도를 토대로 오 검출된 차선을 결정하여 제거하는 단계;
   를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
   
7. 제1항에 있어서,
   상기 카메라는 전방, 후방, 좌측 및 우측 카메라를 포함하고, 상기 설치 각도는 피치(Pitch), 요(Yaw) 및 롤(Roll)을 포함하며,
   상기 카메라의 설치 각도를 추정하는 단계에서, 상기 파라미터 추정부는,
   상기 전방, 후방, 좌측 및 우측 카메라 각각의 피치, 요 및 롤을 포함하는 12개의 설치 각도를 추정하는 것을 특징으로 하는 캘리브레이션 방법.
   
8. 제7항에 있어서,
   상기 카메라의 설치 각도를 추정하는 단계는,
   상기 파라미터 추정부가, 전후 유효 차선을 토대로 결정된 소실점, 및 상기 전후 유효 차선의 방향에 기초하여 상기 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 단계로서, 상기 전후 유효 차선은 상기 전방 및 후방 카메라의 주변 영상으로부터 생성된 조감도 상의 유효 차선인, 단계;
   상기 파라미터 추정부가, 좌우 유효 차선을 토대로 결정된 소실점, 및 상기 좌우 유효 차선의 방향에 기초하여 상기 좌측 및 우측 카메라의 요 및 롤을 추정하는 단계로서, 상기 좌우 유효 차선은 상기 좌측 및 우측 카메라의 주변 영상으로부터 생성된 조감도 상의 유효 차선인, 단계; 및
   상기 파라미터 추정부가, 상기 전후 유효 차선 및 상기 좌우 유효 차선을 공통 좌표계에 투영하여 동일 차선 간 정합되도록 상기 좌측 및 우측 카메라의 피치를 추정하는 단계;
   를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
   
9. 제8항에 있어서,
   상기 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 단계는,
   상기 파라미터 추정부가, 상기 전후 유효 차선을 렌즈 왜곡(Lens Distortion)이 보정된 좌표계에서의 보정 직선으로 변환하는 단계;
   상기 파라미터 추정부가, 상기 변환된 보정 직선의 소실점 및 미리 설정된 제1 기준 소실점 간의 관계에 근거하여 상기 전방 및 후방 카메라의 피치 및 요를 초기 추정하는 단계;
   상기 파라미터 추정부가, 상기 초기 추정된 전방 및 후방 카메라의 피치 및 요를 초기치로 하여 설정 각도 범위 내에서 상기 전방 및 후방 카메라의 피치 및 요를 LM(Levenberg-Marquardt)으로 재추정하는 단계; 및
   상기 파라미터 추정부가, 상기 재추정된 전방 및 후방 카메라의 피치 및 요에 따라 보정된 조감도에서의 전후 유효 차선에 포함된 좌측 차선 및 우측 차선의 각 폭 간 차이가 최소가 되도록 상기 전방 및 후방 카메라의 롤을 초기 추정하는 단계;
   를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
   
10. 제9항에 있어서,
    상기 전방 및 후방 카메라의 피치 및 요를 LM으로 재추정하는 단계에서,
    상기 파라미터 추정부는, LM(Levenberg-Marquardt)의 재추정 과정에서 산출되는 상기 전방 및 후방 카메라의 회전행렬을 이용하여 상기 보정 직선을 상기 조감도 상의 전후 유효 차선을 변환하고, 상기 변환된 전후 유효 차선이 상기 조감도 상의 제1 방향 기준축에 평행하고 상기 변환된 전후 유효 차선 간 상호 평행하도록 상기 전방 및 후방 카메라의 피치 및 요를 재추정하는 것을 특징으로 하는 캘리브레이션 방법.
    
11. 제9항에 있어서,
    상기 전방 및 후방 카메라의 피치, 요 및 롤을 추정하는 단계는,
    상기 차량의 진행 방향과 평행하지 않은 차선이 설정치 이상의 수만큼 검출된 경우, 상기 파라미터 추정부가 상기 평행하지 않은 차선으로부터 정지선을 추출하고, 상기 추출된 정지선에 포함된 두 직선 간의 평행 정도에 근거하여 상기 초기 추정된 전방 및 후방 카메라의 롤을 설정 각도 범위 내에서 LM(Levenberg-Marquardt)으로 재추정하는 단계;
    를 더 포함하는 것을 특징으로 하는 캘리브레이션 방법.
    
12. 제8항에 있어서,
    상기 좌측 및 우측 카메라의 요 및 롤을 추정하는 단계는,
    상기 파라미터 추정부가, 상기 좌우 유효 차선을 렌즈 왜곡(Lens Distortion)이 보정된 좌표계에서의 보정 직선으로 변환하는 단계;
    상기 파라미터 추정부가, 상기 변환된 보정 직선의 소실점 및 미리 설정된 제2 기준 소실점 간의 관계에 근거하여 상기 좌측 및 우측 카메라의 요 및 롤을 초기 추정하는 단계; 및
    상기 파라미터 추정부가, 상기 초기 추정된 좌측 및 우측 카메라의 요 및 롤을 초기치로 하여 설정 각도 범위 내에서 상기 좌측 및 우측 카메라의 요 및 롤을 LM(Levenberg-Marquardt)으로 재추정하는 단계;
    를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
    
13. 제8항에 있어서,
    상기 파라미터 추정부가, 상기 전방, 후방, 좌측 및 우측 카메라에 대하여 각각 추정된 피치, 요 및 롤을 포함하는 12개의 설치 각도를 LM(Levenberg-Marquardt)으로 정밀 추정하는 단계;를 더 포함하는 것을 특징으로 하는 캘리브레이션 방법.
    
14. 제8항에 있어서,
    파라미터 선택부가, 상기 전방, 후방, 좌측 및 우측 카메라에 대하여 각각 추정된 피치, 요 및 롤을 포함하는 12개의 설치 각도를 12차원 벡터로 누적하고, 상기 누적된 12차원 벡터의 수가 설정치 이상이면 상기 누적된 12차원 벡터 상호 간의 평균 유클리디안 거리가 최소인 벡터를 상기 전방, 후방, 좌측 및 우측 카메라의 최종 설치 각도로 선택하는 단계;를 더 포함하는 것을 특징으로 하는 캘리브레이션 방법.
    
15. 차량의 거동 상태가 미리 설정된 거동 조건을 만족하는 경우, 상기 차량의 카메라로부터 획득된 주변 영상으로부터 차선을 검출하는 차선 검출부;
    상기 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거함으로써 유효 차선을 추출하는 유효 차선 추출부; 및
    상기 유효 차선을 토대로 결정된 소실점, 및 상기 유효 차선의 방향에 기초하여 상기 카메라의 설치 각도를 추정하는 파라미터 추정부;
    를 포함하는 것을 특징으로 하는 캘리브레이션 장치.
    
16. 제15항에 있어서,
    상기 차선 검출부는, 상기 주변 영상으로부터 추출되는 에지(Edge) 성분에 기초하여 직선을 검출하고, 상기 검출된 직선 중 미리 설정된 차선 검출 영역에 존재하는 직선의 차선 적합도를 판단하여 차선을 검출하는 것을 특징으로 하는 캘리브레이션 장치.
    
17. 제16항에 있어서,
    상기 차선 검출부는, 상기 에지 성분에 기초하여 직선을 검출할 때, 상기 주변 영상으로부터 생성된 조감도에서 그래디언트(Gradient)를 계산하고, 상기 계산된 그래디언트의 방향 및 크기에 근거하여 상기 에지 성분을 추출하며, 상기 추출된 에지 성분 중 화소값이 증가하는 방향의 그래디언트를 갖는 에지 성분에 대한 직선, 및 화소값이 감소하는 방향의 그래디언트를 갖는 에지 성분에 대한 직선을 하나의 페어(Pair)로 하는 하나 이상의 직선 페어를 검출하는 것을 특징으로 하는 캘리브레이션 장치.
    
18. 제17항에 있어서,
    상기 차선 검출부는, 상기 직선 페어에 포함된 두 직선이 상호 교차하지 않는 교차 조건, 상기 직선 페어에 포함된 두 직선 상호 간의 최소 거리 및 최대 거리가 미리 설정된 차선 두께 변화 범위 내에 존재하는 차선 두께 조건, 및 상기 직선 페어에 포함된 두 직선을 상기 조감도 상의 기준축에 투영시 중첩되는 비율이 설정 비율 이상인 중첩율 조건 중 하나 이상을 충족하는 경우 상기 차선 적합도를 충족하는 것으로 판단하는 것을 특징으로 하는 캘리브레이션 장치.
    
19. 제15항에 있어서,
    상기 유효 차선 추출부는, 상기 검출된 차선의 위치를 상기 주변 영상으로부터 생성된 조감도 상의 기준축에 투영하고 소정 프레임 이상 누적하여 히스토그램을 생성하고, 상기 생성된 히스토그램에 따라 결정되는 기준 차선 위치로부터 설정 거리 이상 떨어진 차선을 오 검출된 차선으로 결정하여 제거하고,
    상기 검출된 차선에 의해 추정된 소실점을 이용하여 상기 카메라의 설치 각도를 계산하고, 상기 계산된 설치 각도를 기반으로 상기 검출된 차선의 각도 에러를 보정하여 보정 차선을 결정하며, 상기 결정된 보정 차선 및 상기 조감도 상의 기준축 간의 평행 정도를 토대로 오 검출된 차선을 결정하여 제거하는 것을 특징으로 하는 캘리브레이션 장치.
    
20. 제15항에 있어서,
    상기 카메라는 전방, 후방, 좌측 및 우측 카메라를 포함하고, 상기 설치 각도는 피치(Pitch), 요(Yaw) 및 롤(Roll)을 포함하며,
    상기 파라미터 추정부는, 상기 전방, 후방, 좌측 및 우측 카메라 각각의 피치, 요 및 롤을 포함하는 12개의 설치 각도를 추정하는 것을 특징으로 하는 캘리브레이션 장치.
    
21. 제20항에 있어서,
    상기 파라미터 추정부는, 전후 유효 차선을 토대로 결정된 소실점, 및 상기 전후 유효 차선의 방향에 기초하여 상기 전방 및 후방 카메라의 피치, 요 및 롤을 추정하고, 좌우 유효 차선을 토대로 결정된 소실점, 및 상기 좌우 유효 차선의 방향에 기초하여 상기 좌측 및 우측 카메라의 요 및 롤을 추정하며, 상기 전후 유효 차선 및 상기 좌우 유효 차선을 공통 좌표계에 투영하여 동일 차선 간 정합되도록 상기 좌측 및 우측 카메라의 피치를 추정하되,
    상기 전후 유효 차선은 상기 전방 및 후방 카메라의 주변 영상으로부터 생성된 조감도 상의 유효 차선이고, 상기 좌우 유효 차선은 상기 좌측 및 우측 카메라의 주변 영상으로부터 생성된 조감도 상의 유효 차선인 것을 특징으로 하는 캘리브레이션 장치.
    
22. 제21항에 있어서,
    상기 파라미터 추정부는, 상기 전후 유효 차선을 렌즈 왜곡(Lens Distortion)이 보정된 좌표계에서의 보정 직선으로 변환하고, 상기 변환된 보정 직선의 소실점 및 미리 설정된 제1 기준 소실점 간의 관계에 근거하여 상기 전방 및 후방 카메라의 피치 및 요를 초기 추정하며, 상기 초기 추정된 전방 및 후방 카메라의 피치 및 요를 초기치로 하여 설정 각도 범위 내에서 상기 전방 및 후방 카메라의 피치 및 요를 LM(Levenberg-Marquardt)으로 재추정하고, 상기 재추정된 전방 및 후방 카메라의 피치 및 요에 따라 보정된 조감도에서의 전후 유효 차선에 포함된 좌측 차선 및 우측 차선의 각 폭 간 차이가 최소가 되도록 상기 전방 및 후방 카메라의 롤을 초기 추정하는 것을 특징으로 하는 캘리브레이션 장치.
    
23. 제22항에 있어서,
    상기 파라미터 추정부는, 상기 전방 및 후방 카메라의 피치 및 요를 재추정할 때, LM(Levenberg-Marquardt)의 재추정 과정에서 산출되는 상기 전방 및 후방 카메라의 회전행렬을 이용하여 상기 보정 직선을 상기 조감도 상의 전후 유효 차선을 변환하고, 상기 변환된 전후 유효 차선이 상기 조감도 상의 제1 방향 기준축에 평행하고 상기 변환된 전후 유효 차선 간 상호 평행하도록 상기 전방 및 후방 카메라의 피치 및 요를 재추정하는 것을 특징으로 하는 캘리브레이션 장치.
    
24. 제22항에 있어서,
    상기 파라미터 추정부는, 상기 차량의 진행 방향과 평행하지 않은 차선이 설정치 이상의 수만큼 검출된 경우, 상기 평행하지 않은 차선으로부터 정지선을 추출하고, 상기 추출된 정지선에 포함된 두 직선 간의 평행 정도에 근거하여 상기 초기 추정된 전방 및 후방 카메라의 롤을 설정 각도 범위 내에서 LM(Levenberg-Marquardt)으로 재추정하는 것을 특징으로 하는 캘리브레이션 장치.
    
25. 제21항에 있어서,
    상기 파라미터 추정부는, 상기 좌우 유효 차선을 렌즈 왜곡(Lens Distortion)이 보정된 좌표계에서의 보정 직선으로 변환하고, 상기 변환된 보정 직선의 소실점 및 미리 설정된 제2 기준 소실점 간의 관계에 근거하여 상기 좌측 및 우측 카메라의 요 및 롤을 초기 추정하며, 상기 초기 추정된 좌측 및 우측 카메라의 요 및 롤을 초기치로 하여 설정 각도 범위 내에서 상기 좌측 및 우측 카메라의 요 및 롤을 LM(Levenberg-Marquardt)으로 재추정하는 것을 특징으로 하는 캘리브레이션 장치.
    
26. 제21항에 있어서,
    상기 파라미터 추정부는, 상기 전방, 후방, 좌측 및 우측 카메라에 대하여 각각 추정된 피치, 요 및 롤을 포함하는 12개의 설치 각도를 LM(Levenberg-Marquardt)으로 정밀 추정하는 것을 특징으로 하는 캘리브레이션 장치.
    
27. 제21항에 있어서,
    상기 전방, 후방, 좌측 및 우측 카메라에 대하여 각각 추정된 피치, 요 및 롤을 포함하는 12개의 설치 각도를 12차원 벡터로 누적하고, 상기 누적된 12차원 벡터의 수가 설정치 이상이면 상기 누적된 12차원 벡터 상호 간의 평균 유클리디안 거리가 최소인 벡터를 상기 전방, 후방, 좌측 및 우측 카메라의 최종 설치 각도로 선택하는 파라미터 선택부;를 더 포함하는 것을 특징으로 하는 캘리브레이션 장치.

Images