KR101989370B1

KR101989370B1 - 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법

Info

Publication number: KR101989370B1
Application number: KR1020190019543A
Authority: KR
Inventors: 김진복; 이인섭; 이영민
Original assignee: 주식회사 리트빅
Priority date: 2019-02-19
Filing date: 2019-02-19
Publication date: 2019-06-14

Abstract

본 발명은 일반적으로 자동차에 장착된 SVM 시스템에서 카메라의 설정을 자동 캘리브레이션하는 기술에 관한 것이다. 특히, 본 발명은 차량 주행 중에 SVM 카메라가 촬영하는 주행차로에서 차선을 인식하고 이를 이용하여 SVM 시스템의 전후좌우 카메라 설정을 캘리브레이션함으로써 차량 출고 이후에 사용자가 자동차를 사용하고 있는 상태에서 SVM 시스템의 캘리브레이션을 가능하게 해주는 기술에 관한 것이다. 본 발명에 따르면 차량 주행 중에 차선인식 기술을 활용하여 SVM 카메라 설정을 자동 캘리브레이션함으로써 출고 이후 자동차 사용 중에 부품 수리나 사이드미러 반복 조작 등에 의해 SVM 카메라의 배치에 기계적 변화가 생긴 경우에도 SVM 영상의 품질을 양호하게 유지할 수 있는 장점이 있다.

Description

차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법 {method of providing dynamic automatic calibratiion of SVM by use of lane recognition}

본 발명은 일반적으로 자동차에 장착된 SVM 시스템에서 카메라의 설정을 자동 캘리브레이션하는 기술에 관한 것이다.

특히, 본 발명은 차량 주행 중에 SVM 카메라가 촬영하는 주행차로에서 차선을 인식하고 이를 이용하여 SVM 시스템의 전후좌우 카메라 설정을 캘리브레이션함으로써 차량 출고 이후에 사용자가 자동차를 사용하고 있는 상태에서 SVM 시스템의 캘리브레이션을 가능하게 해주는 기술에 관한 것이다.

최근들어 자동차에 서라운드뷰(Surround View Monitoring; SVM) 시스템이 도입되는 추세이다. SVM 시스템은 AVM(Around View Monitoring) 시스템이라고도 불리는데, 복수의 카메라를 차량에 설치하여 차량의 전후 좌우를 촬영한 후에 이들 영상을 합성하여 단일 이미지로 표시하는 기술이다. 운전자는 마치 차량 위에서 내려다보는 느낌으로 차량 주변의 상황을 관찰할 수 있게 되며, 이를 통해 주행이나 주차 과정에서 안전을 유지할 수 있다.

[도 1]은 일반적인 SVM 영상처리의 개념을 나타내는 도면이다. [도 1]을 참조하면, SVM 시스템은 차량의 전후좌우에 장착된 복수의 카메라(101 ~ 104)로부터 복수의 단위촬영 이미지(111 ~ 114)를 지속적으로 제공받고, 이들 단위촬영 이미지에 대해 이미지 개선과 왜곡 보정을 적용하여 평면 이미지로 만들고, 이들 전후좌우 네 방향 평면 이미지에 대해 스티칭(이미지 정합 및 합성) 영상처리를 수행하여 차량의 서라운드뷰 이미지(115)를 획득한다.

그런데, 모든 차량에 대해 영상획득 조건이 동일할 수는 없다. SVM을 위해 차량에 설치되는 카메라(101 ~ 104)의 이미지 특성이 조금씩 차이가 있을 뿐만 아니라 카메라(101 ~ 104)의 설치 위치나 방향도 차량마다 조금씩 상이하기 마련이다. 그로 인해 단위촬영 이미지(111 ~ 114)는 차량마다 조금씩 달라지게 된다. 이러한 차이를 무시하고 스티칭을 일률적으로 수행하면 부정합이 발생하여 서라운드뷰 이미지(115)를 정확하게 얻을 수 없는 문제가 발생하므로 차량 생산공정에서는 각 차량별로 SVM 캘리브레이션을 수행한다.

[도 2]는 종래기술에서 이루어지는 SVM 캘리브레이션의 일반적인 개념을 나타내는 순서도이다.

먼저, 차량 생산라인에서 차량에 탑재된 SVM 시스템에 대해 공장 캘리브레이션을 수행한다(S10). 캘리브레이션 작업장의 바닥에는 [도 7]의 (a)와 같이 바닥에 표준 패턴, 예컨대 체스보드 패턴이 표시되어 있는데, 이러한 캘리브레이션 작업장에 차량을 들이고 정렬 주차한다(S20).

이어서, SVM 시스템의 전후좌우 4대의 카메라가 차량 주변 바닥에 표시된 체스보드 패턴을 촬영하는데(S30), 이들을 각각 단위촬영 이미지라고 부른다. 이러한 단위촬영 이미지는 [도 7]의 (b)와 같이 왜곡된 형태를 가지게 되는데, 카메라의 조립 상태에 따라서 왜곡 상태는 조금씩 상이하다. SVM 영상을 생성하려면 각각의 단위촬영 이미지를 평면 이미지로 변환해야 한다. 공장 캘리브레이션 시스템에서는 이미지 변환을 반복 수행 및 평가하면서 각각의 카메라에 대한 최적의 이미지 변환 조건을 찾는다. 체스보드 패턴은 이미지 변환이 제대로 되었는지 아니면 여전히 왜곡이 존재하는지 식별하거나 그러한 왜곡의 속성을 파악하는 데에 유용하기 때문에 SVM 캘리브레이션에 일반적으로 사용된다.

이러한 과정을 통해 각각의 카메라에 대해 최적의 이미지 변환 조건을 찾은 후에 그 정보를 취합하여 룩업 테이블(Look-Up Table; LUT)을 생성한다(S40). 룩업 테이블은 원본 이미지의 각 픽셀을 평면 이미지에서 적절한 지점으로 옮겨주기 위한 정보를 담은 매핑 테이블이다. 원본 이미지의 각 픽셀 위치값에 룩업 테이블을 적용하면 해당 픽셀이 평면 이미지에서 어디에 놓여져야 하는지 알 수 있게 된다. 이를 통해 마치 말려있던 것같던 원본 이미지가 똑바로 펴진 형태가 되는 것이다. 그리고 나서, 자동차의 SVM 시스템은 각각의 카메라 별로 룩업 테이블을 저장한다(S50). 동일한 차량에서도 카메라의 이미지 특성과 기구적 설치 특성은 제각각이기 때문에 카메라 별로 룩업 데이블을 구분하여 저장한다.

차량이 출고된 이후에, 운전자의 조작에 의해 SVM 시스템이 SVM 영상을 생성하는 과정에 대해 기술한다(S60). SVM 시스템은 공장 캘리브레이션에서 획득하여 내부 스토리지에 저장해두었던 전후좌우 카메라(101 ~ 104) 각각을 위한 룩업 테이블을 예컨대 시스템 부팅 시에 로딩한다(S70). 그리고, 운전자 요구에 대응하여 전후좌우 카메라(101 ~ 104)로부터 4 방향의 단위촬영 이미지(111 ~ 114)를 얻고, 이들 단위촬영 이미지(111 ~ 114)에 해당 방향에 대한 각각의 룩업 테이블을 적용하여 4 방향의 평면 이미지를 생성한다(S80). 마지막으로, 전후좌우의 평면 이미지를 스티칭하여 SVM 이미지(115)를 생성 및 표시한다(S90).

이처럼 공장 캘리브레이션을 통해 SVM 시스템의 개별 카메라에 내재되어 있는 단차를 극복하고 정확한 SVM 이미지(115)를 생성할 수 있도록 룩업 데이터를 구하여 SVM 시스템에 저장하였다. 하지만, 차량이 실제 사용되는 때에는 탑승인원, 타이어 공기압, 도로면 사정에 의해 공장 캘리브레이션을 수행하는 때와는 SVM 시스템의 동작 환경이 상이하다. 또한, 카메라 부품을 교체하거나 혹은 카메라가 설치된 차량 부품(예: 범퍼, 사이드 미러)를 교체함에 따라 당초와는 전혀 다른 조건이 만들어진다. 특히, 좌우측 카메라는 사이드 미러에 설치하는데, 사이드 미러를 접고 펴는 과정에서 기구적으로 단차가 서서히 벌어지기도 하고 주차된 상황에서 주변 행인들이 타격하여 기구적으로 틀어지기도 한다.

이러한 차량 출고 이후에 일어난 사건으로 인하여 차량 제조라인에서 공장 캘리브레이션을 했음에도 불구하고 실제 사용 중에는 SVM 영상에 부정합이 발생한다. [도 3]은 차량 출고 이후에 SVM 카메라의 단차로 인해 SVM 영상이 왜곡되는 현상을 개념적으로 나타내는 도면이다. 전후좌우 네 방향의 평면 이미지를 스티칭한 결과에서 각각의 경계면에서 부정합이 발생하였으며, 그로 인해 차선이 끊어진 것처럼 보이는 현상이 보이는 것이다.

본 발명의 목적은 일반적으로 자동차에 장착된 SVM 시스템에서 카메라의 설정을 자동 캘리브레이션하는 기술을 제공하는 것이다.

특히, 본 발명의 목적은 차량 주행 중에 SVM 카메라가 촬영하는 주행차로에서 차선을 인식하고 이를 이용하여 SVM 시스템의 전후좌우 카메라 설정을 캘리브레이션함으로써 차량 출고 이후에 사용자가 자동차를 사용하고 있는 상태에서 SVM 시스템의 캘리브레이션을 가능하게 해주는 기술을 제공하는 것이다.

상기의 목적을 달성하기 위하여 본 발명에 따른 차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법은, SVM 시스템의 전후방 및 좌우측 카메라 각각에 대하여 각자 차량 주변 바닥의 표준 패턴을 촬영한 이미지를 평면 이미지로 변환하기 위한 룩업 테이블을 저장하는 제 1 단계; 전후방 카메라가 차량 주변 바닥의 표준 패턴을 촬영한 이미지에서 표준 패턴의 연장선이 만나는 지점으로부터 전후방 카메라의 기준 소실점을 획득하는 제 2 단계; 전후방 카메라가 차량 주행 중에 촬영한 이미지에서 주행차로의 양측 차선을 인식하고 그 양측 차선의 연장선이 만나는 지점으로부터 전후방 카메라의 현재 소실점을 획득하는 제 3 단계; 기준 소실점과 현재 소실점 간의 차이로부터 소실점 이격을 획득하는 제 4 단계; 소실점 이격에 기초하여 전후방 카메라에 대한 룩업 테이블을 업데이트하는 제 5 단계; SVM 영상의 스티칭 경계면에서 전후방 카메라에서 얻은 전후방 탑뷰 이미지의 양측 차선과 좌우측 카메라에서 얻은 좌우측 탑뷰 이미지의 양측 차선 간의 차이로부터 부정합 이격을 획득하는 제 6 단계; 부정합 이격에 기초하여 좌우측 카메라에 대한 룩업 데이블을 업데이트하는 제 7 단계;를 포함하여 구성된다.

이때, 본 발명에 따른 차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법은, 제 4 단계와 제 5 단계 사이에 수행되는, 소실점 이격과 미리 설정된 이격임계치를 비교하는 단계; 소실점 이격이 이격임계치보다 큰 경우에는 제 5 단계로 진행하는 단계; 소실점 이격이 이격임계치보다 작은 경우에는 제 6 단계로 진행하는 단계;를 더 포함하여 구성될 수 있다.

본 발명에서 제 3 단계는, 차량의 직선 주행을 식별하는 단계; 차선인식을 통해 전후방 카메라의 촬영 이미지에서 주행차로의 양측 차선을 식별하는 단계; 주행차로의 양측 차선의 연장선을 설정하는 단계; 양측 차선의 연장선이 만나는 지점을 전후방 카메라의 현재 소실점으로 설정하는 단계;를 포함하여 구성될 수 있다.

또한, 본 발명에서 제 4 단계는, 전후방 카메라의 촬영 이미지에 상하각, 좌우각, 회전각으로 구성된 회전좌표계를 설정하는 단계; 회전좌표계 상에서 기준 소실점과 현재 소실점의 좌표를 각각 식별하는 단계; 기준 소실점과 현재 소실점 간의 상하각 이격치, 좌우각 이격치, 회전각 이격치로 구성된 제 1 이격 벡터를 획득하는 단계; 제 1 이격 벡터를 소실점 이격으로 설정하는 단계;를 포함하여 구성될 수 있다.

이때, 제 5 단계는, 전후방 카메라에 대한 기존의 룩업 테이블을 식별하는 단계; 소실점 이격의 상하각 이격치, 좌우각 이격치, 회전각 이격치로부터 제 1 델타 룩업 테이블을 획득하는 단계; 전후방 카메라에 대한 기존의 룩업 테이블에 제 1 델타 룩업 테이블을 반영하는 단계;를 포함하여 구성될 수 있다.

또한, 본 발명에서 제 6 단계는, 전후방 카메라의 촬영 이미지를 각각의 룩업 테이블을 통해 평면 이미지로 변환하여 전후방 탑뷰 이미지를 획득하는 단계; 차선인식을 통해 전후방 탑뷰 이미지에서 주행차로의 양측 차선을 식별하는 단계; 전후방 탑뷰 이미지에서 식별한 양측 차선이 SVM 영상의 스티칭 경계면과 만나는 좌표(이하, '제 1 교차좌표'라 함)를 식별하는 단계; 좌우측 카메라의 촬영 이미지를 각각의 룩업 테이블을 통해 평면 이미지로 변환하여 좌우측 탑뷰 이미지를 획득하는 단계; 차선인식을 통해 좌우측 탑뷰 이미지에서 주행차로의 양측 차선을 식별하는 단계; 좌우측 탑뷰 이미지에서 식별한 양측 차선이 SVM 영상의 스티칭 경계면과 만나는 좌표(이하, '제 2 교차좌표'라 함)를 식별하는 단계; 제 1 교차좌표와 제 2 교차좌표 간의 평면상 차이를 나타내는 제 2 이격 벡터를 획득하는 단계; 제 2 이격 벡터에 대응되는 회전좌표계의 상하각 이격치, 좌우각 이격치, 회전각 이격치로 구성된 제 3 이격 벡터를 획득하는 단계; 제 3 이격 벡터를 부정합 이격으로 설정하는 단계;를 포함하여 구성될 수 있다.

이때, 제 7 단계는, 좌우측 카메라에 대한 기존의 룩업 테이블을 식별하는 단계; 부정합 이격의 상하각 이격치, 좌우각 이격치, 회전각 이격치로부터 제 2 델타 룩업 테이블을 획득하는 단계; 좌우측 카메라에 대한 기존의 룩업 테이블에 제 2 델타 룩업 테이블을 반영하는 단계;를 포함하여 구성될 수 있다.

한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법을 실행시키기 위하여 매체에 저장된 것이다.

본 발명에 따르면 차량 주행 중에 차선인식 기술을 활용하여 SVM 카메라 설정을 자동 캘리브레이션함으로써 출고 이후 자동차 사용 중에 부품 수리나 사이드미러 반복 조작 등에 의해 SVM 카메라의 배치에 기계적 변화가 생긴 경우에도 SVM 영상의 품질을 양호하게 유지할 수 있는 장점이 있다.

[도 1]은 일반적인 SVM 영상처리의 개념을 나타내는 도면.
[도 2]는 SVM 영상처리에서 카메라 캘리브레이션을 적용하는 개념을 나타내는 순서도.
[도 3]은 차량 출고 이후에 SVM 카메라의 단차로 인해 SVM 영상이 왜곡되는 현상을 개념적으로 나타내는 도면.
[도 4]는 본 발명을 적용한 SVM 시스템의 캘리브레이션 기술을 개념적으로 나타내는 도면.
[도 5]는 본 발명에 따른 차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법의 전체 과정을 나타내는 순서도.
[도 6]은 본 발명에서 기준 소실점을 획득하는 과정을 나타내는 순서도.
[도 7]은 본 발명에서 기준 소실점을 획득하는 예를 나타내는 도면.
[도 8]은 본 발명에서 현재 소실점을 획득하는 과정을 나타내는 순서도.
[도 9]는 본 발명에서 소실점 이격을 개념적으로 나타내는 도면.
[도 10]은 본 발명에서 소실점 이격을 구성하는 요소를 개념적으로 나타내는 도면.
[도 11]은 본 발명에서 소실점 이격에 기초하여 SVM 시스템의 전후방 카메라의 단차를 보정하는 과정을 나타내는 순서도.
[도 12]는 본 발명에서 SVM 시스템의 좌우측 카메라의 단차를 보정하는 과정을 나타내는 순서도.
[도 13]은 본 발명에서 SVM 시스템의 좌우측 카메라의 단차를 보정하는 개념을 나타내는 도면.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.

[도 4]는 본 발명을 적용한 SVM 시스템의 캘리브레이션 기술을 개념적으로 나타내는 도면이고, [도 5]는 본 발명에 따른 차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법의 전체 과정을 나타내는 순서도이다.

본 발명에서 SVM 시스템의 캘리브레이션은 공장 캘리브레이션과 주행중 다이나믹 캘리브레이션으로 나누어진다. 공장 캘리브레이션은 차량 제조 공장에 마련된 캘리브레이션 작업장에 차량을 넣은 후 작업장 바닥에 표시된 표준 패턴(체스보드 패턴)을 촬영하고 이를 잘 펴진 평면 이미지로 변환해주는 룩업 테이블을 전후좌우 카메라에 대해 생성하는 과정으로서 인라인 캘리브레이션(iline calibration)이라고도 부른다.

주행중 다이나믹 캘리브레이션(in-driving dynamic calibration)은 출고 이후에 차량을 운행하면서 이루어지는 캘리브레이션으로서 본 발명에서는 차량 주행중에 카메라 영상에서 차선인식을 통해 달성한다. 공장 캘리브레이션을 거쳤더라도 차량이 사용되다보면 SVM 카메라에 서서히 단차가 발생하고 그 결과 SVM 영상에 부정합이 발생한다. 이에, 주행 중에 촬영하는 SVM 카메라 영상으로부터 주행차선의 양측 차선을 얻고 그 소실점과 경계면 상태를 체크하여 부정합을 없애는 방향으로 룩업 테이블을 업데이트하는 과정이다.

본 발명에 따른 SVM 다이나믹 오토 캘리브레이션의 요지를 정리하면 다음과 같다.

먼저, 차선인식(lane recognition) 기술을 사용한다. 차량 주행 중에 SVM 시스템의 카메라를 통해 얻는 이미지에서 주행차로의 양측 차선을 인식하고 그 소실점과 경계면 상태를 체크하여 캘리브레이션을 수행한다.

또한, 전후방 카메라에 비해 좌우측 카메라에서의 오차 발생 가능성이 더 크다는 점을 고려하였다. 좌우측 카메라는 사이드 미러에 설치하는데, 사이드 미러를 접고 펴는 과정에서 기구적으로 단차가 서서히 벌어지기도 하고 주차된 상황에서 주변 행인들이 타격하여 기구적으로 틀어지기도 한다. 반면, 전후방 카메라는 차량 사고로 범퍼를 교체해야 단차가 발생한다.

그에 따라, 본 발명에서는 SVM 카메라의 단차 보정을 아래와 같은 순서로 수행한다.

첫째로, 전후방 카메라의 단차 허용한계를 미리 설정한다. 본 발명에서는 양측 차선의 소실점이 이격된 정도를 기준으로 전후방 카메라의 단차를 보상하므로 소실점 이격에 대한 임계치를 미리 설정한다.

둘째로, 소실점 이격이 임계치보다 큰 경우에는 전후방 카메라의 단차가 상당히 큰 경우이므로, 소실점 이격을 이용하여 전후방 카메라에 대한 단차 보정을 먼저 수행하고, 그 이후에 전후방 카메라가 촬영한 이미지(전후방 이미지)를 이용하여 좌우측 카메라에 대한 단차 보정을 수행한다.

세째로, 소실점 이격이 임계치보다 작은 경우에는 전후방 카메라에 대한 단차 보정은 필요치 않은 상황이므로 전후방 이미지를 이용하여 좌우측 카메라에 대한 단차 보정만을 수행한다.

후술하는 바와 같이, 본 발명에서는, 일정 시간 동안의 촬영 영상 데이터에 대한 영상 분석을 수행하는 것이 아니라, SVM 카메라가 특정 시간에 촬영한 단일 시점 이미지를 기반으로 단차 보정을 수행하는 것이 가능하므로 SVM 시스템과 같은 비교적 저성능의 임베디드 시스템에서도 CPU 부하를 낮게 유지할 수 있고 차량 주행 중에 단차 보정을 빠르게 처리할 수 있다.

이하에서는, 서라운드뷰(SVM) 영상에서 부정합을 제거하기 위하여 SVM 시스템이 수행하는 차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법의 전체 프로세스에 대해 자세하게 살펴본다.

단계 (S100) : 먼저, SVM 시스템의 전후좌우 4방향 카메라 각각에 대하여 각자 차량 주변 바닥의 표준 패턴을 촬영한 이미지를 평면 이미지로 변환하기 위한 룩업 테이블을 저장한다. 이 룩업 테이블은 SVM 시스템이 자체적으로 생성하여 저장할 수도 있고, 차량 외부의 공장 캘리브레이션 시스템에서 생성하여 SVM 시스템으로 제공할 수도 있다. 종래로 공장 캘리브레이션에서 해왔던 과정을 그대로 적용할 수 있기에 이에 대한 자세한 기술은 생략한다.

단계 (S200) : 이어서, SVM 시스템의 전후방 카메라가 예컨대 캘리브레이션 작업장에 입고되어 차량 주변 바닥에 표시된 표준 패턴, 예컨대 체스보드 패턴을 촬영한다. 이 표준 패턴을 촬영하여 얻은 이미지를 분석하여 표준 패턴의 연장선이 만나는 지점을 식별해내고, 그 지점의 공간 위치에 의해 전후방 카메라의 기준 소실점(vanishing point - original)을 획득한다. SVM 시스템에서 전방 카메라와 후방 카메라는 별도의 부품이므로 기준 소실점도 개별적으로, 즉 전방 기준 소실점과 후방 기준 소실점을 각각 구한다.

본 발명에서 '기준 소실점'은 해당 SVM 시스템에서 전후방 카메라의 정렬 및 이미지 처리의 기준 상태를 나타내는 정보이다. 예를 들어, 해당 차량에 SVM 시스템이 처음 설치되고 캘리브레이션 작업장에서 공장 캘리브레이션이 이루어졌던 그 상태를 기준으로 삼을 수 있는데, 그 상태를 나타내는 정보이다. 표준 패턴(예: 체스보드 패턴)을 통해 SVM 카메라들의 특성을 정밀하게 측정하기에 데이터의 신뢰도가 높으며, 그에 따라 이를 기준으로 삼는다.

[도 6]과 [도 7]은 본 발명에서 기준 소실점을 획득하는 과정 및 일 예를 나타내는 도면이다.

먼저 [도 7]의 (a)에서와 같이 차량 생산라인에서 차량 주변 바닥에 표준 패턴(예: 체스보드 패턴)을 배치하고(S210), SVM 시스템의 전후방 카메라가 차량 주변 바닥의 표준 패턴을 촬영한다(S220). 바닥에 표시된 체스보드 패턴을 차량의 전후방 카메라가 촬영하면 [도 7]의 (b)와 같은 어안(Fish Eye) 형태의 이미지가 얻어진다. [도 7]의 (c)에 나타낸 바와 같이, 이러한 어안 형태의 전후방 촬영 이미지에서 표준 패턴의 연장선(예: 체스보드 면의 연장선)을 식별하고(S230), 이미지 분석을 통해 이들 연장선이 만나는 지점을 식별하여 전후방 카메라의 기준 소실점(vanishing point - original)으로 설정한다(S240).

단계 (S300) : 이어서, 해당 SVM 시스템이 장착된 차량이 주행하는 도중에 전후방 카메라의 촬영 이미지에서 차선인식 기술로 주행차로의 양측 차선을 인식하고, 그 양측 차선의 연장선이 만나는 지점을 식별하여 전후방 카메라의 현재 소실점(vanishing point - current)을 획득한다. SVM 시스템에서 전방 카메라와 후방 카메라는 별도의 부품이므로 현재 소실점도 개별적으로, 즉 전방 현재 소실점과 후방 현재 소실점을 각각 구한다.

본 발명에서 '현재 소실점'은 해당 SVM 시스템에서 전후방 카메라의 정렬 및 이미지 처리의 현재 상태를 나타내는 정보이다. 만일 해당 SVM 시스템의 전후방 카메라가 차량에 처음 설치되고 공장 캘리브레이션이 이루어졌던 그 상태를 온전하게 유지하고 있다면 현재 소실점은 기준 소실점과 동일할 것이다. 반대로, 범퍼 교체에 의해 전방 카메라 혹은 후방 카메라가 원래와는 조금 상이하게, 예컨대 차량의 정면을 기준으로 원래보다 우측 하단으로 약간 틀어진 상태로 설치되어 있다면 현재 소실점은 기준 소실점으로부터 그만큼 옮겨진다.

[도 8]은 본 발명에서 현재 소실점을 획득하는 과정을 나타내는 순서도이다.

먼저, SVM 시스템은 차량의 직선 주행을 식별한다(S310). 차량의 조향각 정보를 제공받아 조향각이 0도 근방인 때를 식별할 수도 있고, 전후방 촬영 영상으로부터 직선 주행하고 있다는 것을 식별할 수도 있다. 일반적으로는 차량이 고속도로를 주행하고 있는 상황이 될 것이다.

이 상태에서, 전후방 카메라가 촬영한 이미지, 즉 전후방 이미지에서 차선인식을 통해 주행차로의 양측 차선을 식별하고(S320), 이미지 처리(image processing)를 통해 그 양측 차선의 연장선을 설정하며(S330), 이미지 분석을 통해 이들 양측 차선의 연장선이 만나는 지점을 식별하여 전후방 카메라의 현재 소실점(vanishing point - current)으로 설정한다(S340).

단계 (S400) : 다음으로, 기준 소실점(vanishing point - original)과 현재 소실점(vanishing point - current) 간의 차이로부터 소실점 이격(vanishing point - offset)을 획득한다. [도 9]는 본 발명에서 전방 이미지와 후방 이미지에 대해 소실점 이격을 개념적으로 나타내는 도면이고, [도 10]은 본 발명에서 소실점 이격을 구성하는 요소를 개념적으로 나타내는 도면이다. SVM 시스템에서 전방 카메라와 후방 카메라는 별도의 부품이므로 소실점 이격도 개별적으로, 즉 전방 소실점 이격과 후방 소실점 이격을 각각 구한다.

[도 9]를 참조하면, 기준 소멸점(11, 21)을 기준으로 하였을 때에 현재 소멸점(12, 22)이 틀어진 정도를 나타내며, 수학적으로는 좌표계에서 이격 벡터(13, 23)의 형태로 나타낼 수 있다.

소실점 이격을 수학적으로 표현하는 바람직한 실시예로서 본 명세서에서는 [도 10]에 나타난 바와 같이 회전좌표계를 이용한다. 회전좌표계에서는 카메라의 정면을 중심으로 상하각(TILT), 좌우각(PAN), 회전각(ROT)을 좌표(coordinates)로 삼아 좌표계를 설정한 것이다.

회전좌표계를 적용한 경우, 기준 소실점(11, 21)과 현재 소실점(12, 22)의 위치는 좌표 (상하각, 좌우각, 회전각)으로 표현되며, 그에 따라 기준 소실점과 현재 소실점 간의 차이를 나타내는 이격 벡터(13, 23)도 상하각, 좌우각, 회전각의 이격치(Δθ.tilt, Δθ.pan, Δθ.rot)로 표현된다. 이때, 상하각 이격치(Δθ.tilt)는 카메라 상하 각의 틀어진 각도를 나타내고, 좌우각 이격치(Δθ.pan)는 카메라 좌우 각의 틀어진 각도를 나타내며, 회전각 이격치(Δθ.rot)는 카메라 로테이션 각의 틀어진 각도를 나타낸다.

이렇게 구해진 이격 벡터(offset vector)가 소실점 이격(vanishing point - offset)에 해당된다.

단계 (S500, S600) : 주행 중에는 차량에 설치된 컴퓨터 장치가 수행해야 하는 일이 많기 때문에 SVM 시스템의 다이나믹 캘리브레이션의 프로세싱 부담도 적으면 적을수록 바람직하다. 그에 따라, 소실점 이격을 미리 설정된 이격임계치와 비교하여 소실점 이격이 이격임계치보다 작은 경우에는 전후방 카메라에 대한 단차 보정은 건너뛰도록 하고, 소실점 이격이 이격임계치보다 큰 경우에만 전후방 카메라에 대한 단차 보정을 수행하도록 구성할 수 있다.

물론, 본 발명의 구현 예에 따라서는 소실점 이격이 이격임계치보다 큰지 여부를 확인하지 않고 항상 전후방 카메라에 대한 단차 보정 과정을 거쳐가도록 구성하는 것도 가능하다.

본 발명에서는 전후방 카메라에 대한 단차 보정을 수행하기 위해 소실점 이격(Δθ.tilt, Δθ.pan, Δθ.rot)에 기초하여 전후방 카메라에 대한 룩업 테이블을 업데이트하는 방식을 제시하는데, [도 11]은 소실점 이격에 의해 전후방 카메라의 단차를 보정하는 과정을 나타내는 순서도이다. SVM 시스템에서 전방 카메라와 후방 카메라는 별도의 부품이므로 전후방 카메라의 단차 보정도 개별적으로, 즉 전방 소실점 이격을 이용하여 전방 카메라의 단차를 보정하고 후방 소실점 이격을 이용하여 후방 카메라의 단차를 보정한다.

먼저, [도 9]의 (a)에서 전술한 바와 같이, 전후방 카메라의 촬영 이미지에 상하각, 좌우각, 회전각으로 이루어진 회전좌표계를 설정하고(S410), 회전좌표계 상에서 기준 소실점의 좌표(11, 21)와 현재 소실점의 좌표(12, 22)를 각각 식별하고(S420), 기준 소실점과 현재 소실점 간의 상하각 이격치(Δθ.tilt), 좌우각 이격치(Δθ.pan), 회전각 이격치(Δθ.rot)로 구성된 제 1 이격 벡터(13, 23)를 획득하여(S430) 이를 소실점 이격으로 설정한다(S440).

이어서, 전후방 카메라와 관련하여 저장되어 있던 기존의 룩업 테이블을 식별한다(S610). SVM 시스템의 내부 저장장치에 저장되어 있기에 로딩하거나 혹은 SVM 시스템이 부팅할 때에 이미 로딩되어 있다.

그리고 나서, 소실점 이격의 상하각 이격치(Δθ.tilt), 좌우각 이격치(Δθ.pan), 회전각 이격치(Δθ.rot)를 나타내는 제 1 델타 룩업 테이블을 획득한다(S620). [도 9]를 참조하면 제 1 이격 벡터(13, 23)는 촬영 이미지에서 픽셀의 위치 이동에 해당하므로 그러한 픽셀 위치 이동을 나타내는 룩업 테이블을 구하여 이를 제 1 델타 룩업 테이블로 설정한다.

그리고 나서, 전후방 카메라에 대한 기존의 룩업 테이블에 제 1 델타 룩업 테이블을 반영한 새로운 룩업 테이블을 만들어 저장함으로써 전후방 카메라에 대한 룩업 테이블의 업데이트를 달성한다(S630).

단계 (S700, S800) : 다음으로, SVM 시스템의 좌우측 카메라에 대한 단차 보정을 수행한다. 본 발명에서는 전후방 탑뷰 이미지를 기준으로 좌우측 카메라의 단차를 보상하는 방식을 채택한다. 이는 전후좌우 카메라의 차량 설치 환경 및 차량의 운행 환경에 의하여 전후방 카메라는 좌우측 카메라에 비해 상대적으로 카메라 앵글 틀어짐이 적게 발생한다는 점을 고려한 것이다. 또한, 전후방 카메라는 표준 패턴과 주행 차선에서 얻어지는 기준 소멸점과 현재 소멸점 간의 이격을 활용하여 단차를 정확하게 보상할 수 있다는 점도 고려한 것이다.

[도 3]과 [도 4]를 참조하면, 좌우측 카메라에 단차가 발생하면 SVM 시스템이 생성한 SVM 영상에서 전후방 탑뷰 이미지와 좌우측 탑뷰 이미지가 정확히 맞지 않고 약간 어긋나는 부정합이 발견된다. 일반적으로 SVM 영상의 스티칭 경계면에서 탑뷰 이미지 간의 부정합 정도를 정확히 획득하기가 어려운데, 본 발명에서는 이를 효과적으로 달성하기 위해 차선인식을 이용한다.

[도 3] 및 [도 4]를 참조하면, 차량이 직선 주행하는 동안에는 전후방 탑뷰 이미지와 좌우측 탑뷰 이미지 모두에서 주행 차로의 양측 차선이 발견된다. 이에, SVM 영상의 스티칭 경계면에서 전후방 카메라에서 얻은 전후방 탑뷰 이미지의 양측 차선과 좌우측 카메라에서 얻은 좌우측 탑뷰 이미지의 양측 차선 간의 차이로부터 부정합 이격을 획득하고, 이 부정합 이격에 기초하여 좌우측 카메라에 대한 룩업 데이블을 업데이트한다.

[도 12]는 본 발명에서 SVM 시스템의 좌우측 카메라의 단차를 보정하는 과정을 나타내는 순서도이고, [도 13]은 본 발명에서 SVM 시스템의 좌우측 카메라의 단차를 보정하는 개념을 나타내는 도면이다.

먼저, 전후방 카메라의 촬영 이미지와 좌우측 카메라의 촬영 이미지를 각각의 룩업 테이블을 통해 평면 이미지로 변환하여 전후방 탑뷰 이미지와 좌우측 탑뷰 이미지를 획득한다(S710, S740).

이어서, 차선인식을 통해 전후방 탑뷰 이미지와 좌우측 탑뷰 이미지에서 주행차로의 양측 차선을 각각 식별한다(S720, S750).

SVM 영상의 스티칭 경계면에서 전후방 탑뷰 이미지와 좌우측 탑뷰 이미지가 어긋나지 않고 딱 맞게 만들려는 것이므로, 전후방 탑뷰 이미지와 좌우측 탑뷰 이미지에서 각각 식별한 양측 차선이 SVM 영상의 스티칭 경계면(33)과 만나는 좌표(31, 32)를 식별한다(S730, S760). 편이상, 전후방 탑뷰 이미지에서 얻어지는 좌표를 '제 1 교차좌표(31)'라 표시하고, 좌우측 탑뷰 이미지에서 얻어지는 좌표를 '제 2 교차좌표(32)'라 표시하였다.

다음으로, 제 1 교차좌표(31)와 제 2 교차좌표(32) 간의 평면상 차이를 나타내는 제 2 이격 벡터(34)를 획득(S770)한다. 이때, 제 2 이격 벡터(34)는 [도 13]의 (a) 및 (b)와 같이 스티칭 경계면(33) 좌우의 탑뷰 이미지 2개가 정합되게 만들 수만 한다면 다양하게 정의될 수 있다.

이때, 전후방 탑뷰 이미지와 좌우측 탑뷰 이미지는 전후방 이미지와 좌우측 이미지에 각각의 룩업 테이블을 적용하여 평면 상에 반듯하게 펼친 이미지이다. 따라서, 제 2 이격 벡터(34) 또한 이처럼 평면 상에 반듯하게 펼쳐진 이미지 상에서 정의된 개념이다. 반면, 룩업 테이블은 SVM 카메라가 획득한 단위영상(111 ~ 114)에 적용하는 데이터이므로 제 2 이격 벡터(34)로부터 룩업 테이블을 바로 업데이트하지 못하고 회전좌표계로 변환하는 과정을 거쳐야 한다.

이에, 평면 좌표계 상의 제 2 이격 벡터(34)에 대응되는 회전좌표계의 상하각 이격치(Δθ.tilt), 좌우각 이격치(Δθ.pan), 회전각 이격치(Δθ.rot)로 구성된 제 3 이격 벡터를 역산하여 획득하여(S780) 이를 전후방 탑뷰 이미지와 좌우측 탑뷰 이미지 간의 부정합 이격으로 설정한다(S790).

이어서, 좌우측 카메라와 관련하여 저장되어 있던 기존의 룩업 테이블을 식별한다(S810). SVM 시스템의 내부 저장장치로부터 로딩하거나 혹은 SVM 시스템이 부팅할 때에 이미 로딩되어 있다. 또한, 부정합 이격의 상하각 이격치(Δθ.tilt), 좌우각 이격치(Δθ.pan), 회전각 이격치(Δθ.rot)를 나타내는 제 2 델타 룩업 테이블을 획득하고(S820), 좌우측 카메라에 대한 기존의 룩업 테이블에 제 2 델타 룩업 테이블을 반영한 새로운 룩업 테이블을 만들어 저장함으로써 좌우측 카메라에 대한 룩업 테이블의 업데이트를 달성한다(S830).

한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims

서라운드뷰(SVM) 영상에서 부정합을 제거하기 위해 SVM 시스템이 수행하는 다이나믹 오토 캘리브레이션 방법으로서,
SVM 시스템의 전후방 및 좌우측 카메라 각각에 대하여 각자 차량 주변 바닥의 표준 패턴을 촬영한 이미지를 평면 이미지로 변환하기 위한 룩업 테이블을 저장하는 제 1 단계;
상기 전후방 카메라가 상기 차량 주변 바닥의 표준 패턴을 촬영한 이미지에서 상기 표준 패턴의 연장선이 만나는 지점으로부터 상기 전후방 카메라의 기준 소실점을 획득하는 제 2 단계;
상기 전후방 카메라가 차량 주행 중에 촬영한 이미지에서 주행차로의 양측 차선을 인식하고 그 양측 차선의 연장선이 만나는 지점으로부터 상기 전후방 카메라의 현재 소실점을 획득하는 제 3 단계;
상기 전후방 카메라의 촬영 이미지에 상하각, 좌우각, 회전각으로 구성된 회전좌표계를 설정하고, 회전좌표계 상에서 상기 기준 소실점과 상기 현재 소실점의 좌표를 각각 식별하고, 상기 기준 소실점과 상기 현재 소실점 간의 상하각 이격치, 좌우각 이격치, 회전각 이격치로 구성된 제 1 이격 벡터를 획득하고, 상기 제 1 이격 벡터를 소실점 이격으로 설정함으로써 상기 기준 소실점과 상기 현재 소실점 간의 차이로부터 소실점 이격을 획득하는 제 4 단계;
상기 전후방 카메라에 대한 기존의 룩업 테이블을 식별하고, 상기 소실점 이격의 상하각 이격치, 좌우각 이격치, 회전각 이격치로부터 제 1 델타 룩업 테이블을 획득하고, 상기 전후방 카메라에 대한 기존의 룩업 테이블에 상기 제 1 델타 룩업 테이블을 반영함으로써 상기 소실점 이격에 기초하여 상기 전후방 카메라에 대한 룩업 테이블을 업데이트하는 제 5 단계;
SVM 영상의 스티칭 경계면에서 상기 전후방 카메라에서 얻은 전후방 탑뷰 이미지의 양측 차선과 상기 좌우측 카메라에서 얻은 좌우측 탑뷰 이미지의 양측 차선 간의 차이로부터 부정합 이격을 획득하는 제 6 단계;
상기 부정합 이격에 기초하여 상기 좌우측 카메라에 대한 룩업 데이블을 업데이트하는 제 7 단계;
를 포함하여 구성되는 차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법.
청구항 1에 있어서,
상기 제 4 단계와 상기 제 5 단계 사이에 수행되는,
상기 소실점 이격과 미리 설정된 이격임계치를 비교하는 단계;
상기 소실점 이격이 상기 이격임계치보다 큰 경우에는 상기 제 5 단계로 진행하는 단계;
상기 소실점 이격이 상기 이격임계치보다 작은 경우에는 상기 제 6 단계로 진행하는 단계;
를 더 포함하여 구성되는 것을 특징으로 하는 차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법.
청구항 1에 있어서,
상기 제 3 단계는,
차량의 직선 주행을 식별하는 단계;
차선인식을 통해 상기 전후방 카메라의 촬영 이미지에서 주행차로의 양측 차선을 식별하는 단계;
상기 주행차로의 양측 차선의 연장선을 설정하는 단계;
상기 양측 차선의 연장선이 만나는 지점을 상기 전후방 카메라의 현재 소실점으로 설정하는 단계;
를 포함하여 구성되는 것을 특징으로 하는 차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법.
삭제
청구항 1에 있어서,
상기 제 6 단계는,
상기 전후방 카메라의 촬영 이미지를 각각의 룩업 테이블을 통해 평면 이미지로 변환하여 전후방 탑뷰 이미지를 획득하는 단계;
차선인식을 통해 상기 전후방 탑뷰 이미지에서 주행차로의 양측 차선을 식별하는 단계;
상기 전후방 탑뷰 이미지에서 식별한 양측 차선이 SVM 영상의 스티칭 경계면과 만나는 좌표(이하, '제 1 교차좌표'라 함)를 식별하는 단계;
상기 좌우측 카메라의 촬영 이미지를 각각의 룩업 테이블을 통해 평면 이미지로 변환하여 좌우측 탑뷰 이미지를 획득하는 단계;
차선인식을 통해 상기 좌우측 탑뷰 이미지에서 주행차로의 양측 차선을 식별하는 단계;
상기 좌우측 탑뷰 이미지에서 식별한 양측 차선이 SVM 영상의 스티칭 경계면과 만나는 좌표(이하, '제 2 교차좌표'라 함)를 식별하는 단계;
상기 제 1 교차좌표와 상기 제 2 교차좌표 간의 평면상 차이를 나타내는 제 2 이격 벡터를 획득하는 단계;
상기 제 2 이격 벡터에 대응되는 회전좌표계의 상하각 이격치, 좌우각 이격치, 회전각 이격치로 구성된 제 3 이격 벡터를 획득하는 단계;
상기 제 3 이격 벡터를 상기 부정합 이격으로 설정하는 단계;
를 포함하여 구성되고,
상기 제 7 단계는,
상기 좌우측 카메라에 대한 기존의 룩업 테이블을 식별하는 단계;
상기 부정합 이격의 상하각 이격치, 좌우각 이격치, 회전각 이격치로부터 제 2 델타 룩업 테이블을 획득하는 단계;
상기 좌우측 카메라에 대한 기존의 룩업 테이블에 상기 제 2 델타 룩업 테이블을 반영하는 단계;
를 포함하여 구성되는 것을 특징으로 하는 차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법.
하드웨어와 결합되어 청구항 1 내지 3, 5 중 어느 하나의 항에 따른 차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.