KR102628012B1 - 캘리브레이션 방법 및 장치 - Google Patents

Abstract

일 실시예에 따른 캘리브레이션 방법 및 장치는 차량의 주행 영상으로부터 주행 도로에 포함된 차선들을 검출하고, 미리 설정된 호모그래피 매트릭스에 기초하여, 차선들의 이미지 도메인의 좌표들을 월드 도메인의 좌표들로 변환하고, 차선들의 패턴 특성을 기초로 보정된 월드 도메인의 좌표들 및 이미지 도메인의 좌표들의 페어들에 기초하여 호모그래피 매트릭스를 갱신한다.

Description

캘리브레이션 방법 및 장치{METHOD AND APPARATUS OF AUTO CALIBRATION}

아래 실시예들은 캘리브레이션 방법 및 장치에 관한 것이다.

자율 주행 차량은 카메라 센서를 통해 차선과 주변 차량 등의 객체를 인식함으로써 차선 유지 주행, 차간 거리 유지 주행, 차량의 위치 추정을 통한 경로 생성 등을 수행할 수 있다. 이때, 이미지 도메인 상의 좌표를 월드 도메인 상의 좌표로 재건하는 기술은 이미지 도메인에서 검출한 모든 객체가 자 차량과 동일한 높이에 있음을 가정한 상태에서 호모그래피 매트릭스를 통해 수행될 수 있다.

하지만, 실제 도로 환경에서는 도로 굴곡과 경사면 등의 이유로 모든 객체가 자 차량과 동일한 높이에 있지 않다. 때문에 고정된 호모그래피 연산을 이용하여 좌표의 도메인 전환을 수행하는 경우, 그 결과가 부정확하여 차선 검출, 객체 검출, 위치 추정 시에 오차가 발생할 수 있다. 이러한 오차는 주행의 불안정함을 야기하고, 특히 도로의 고도가 다른 램프의 환경에서 검출 및/또는 추정의 정확성을 크게 떨어트릴 수 있다.

일 실시예에 따르면, 캘리브레이션 방법은 차량의 주행 영상으로부터 주행 도로에 포함된 차선들을 검출하는 단계; 미리 설정된 호모그래피 매트릭스(homography matrix)에 기초하여, 상기 차선들의 이미지 도메인의 좌표들을 월드 도메인의 좌표들로 변환하는 단계; 상기 차선들의 패턴 특성을 기초로, 상기 월드 도메인의 좌표들을 보정하는 단계; 및 상기 보정된 월드 도메인의 좌표들 및 상기 이미지 도메인의 좌표들의 페어(pair)들에 기초하여 상기 호모그래피 매트릭스를 갱신하는 단계를 포함한다.

상기 차선들의 패턴 특성은 상기 차선들 간의 평행 특성, 상기 차선들의 길이, 상기 차선들 간의 폭, 및 상기 차선들 간의 간격 중 적어도 하나를 포함할 수 있다.

상기 월드 도메인 좌표들을 보정하는 단계는 상기 차선들 간의 평행 특성과 상기 차선들 간의 폭 중 적어도 하나에 기초하여, 상기 월드 도메인의 x좌표들을 보정하는 단계; 및 상기 차선들의 길이 및 상기 차선들 간의 간격 중 적어도 하나에 기초하여, 상기 월드 도메인의 y좌표들을 보정하는 단계 중 적어도 하나를 포함할 수 있다.

상기 월드 도메인의 x좌표들을 보정하는 단계는 상기 월드 도메인의 좌표들을 차선 별로 클러스터링하는 단계; 및 상기 클러스터링된 차선들이 서로 평행하고, 상기 클러스터링된 차선들 간의 폭이 서로 동일해지도록, 상기 월드 도메인의 x좌표들을 보정하는 단계를 포함할 수 있다.

상기 월드 도메인의 y좌표들을 보정하는 단계는 상기 클러스터링된 차선들 각각을 부분 차선 별로 클러스터링 하는 단계; 및 상기 클러스터링된 부분 차선들의 길이가 서로 동일하고, 상기 클러스터링된 부분 차선들 간의 간격이 서로 동일해지도록, 상기 월드 도메인의 y좌표들을 보정하는 단계를 포함할 수 있다.

상기 월드 도메인 좌표들을 보정하는 단계는 상기 차량의 위치를 기초로 상기 차선들 중 적어도 하나의 기준 차선을 선택하는 단계; 상기 기준 차선에 기초하여 기준 패턴 특성을 측정하는 단계; 및 상기 기준 패턴 특성에 기초하여 상기 차선들 중 상기 적어도 하나의 기준 차선을 제외한 나머지 차선들의 월드 도메인 좌표들을 보정하는 단계를 포함할 수 있다.

상기 기준 패턴 특성은 상기 기준 차선과 상기 나머지 차선들이 서로 평행한 특성, 상기 기준 차선의 길이, 상기 기준 차선과 횡방향으로 인접한 나머지 차선 간의 폭, 및 상기 기준 차선 내 부분 차선들 간의 간격 중 적어도 하나를 포함할 수 있다.

상기 캘리브레이션 방법은 고해상도 맵에 따른 상기 주행 도로의 차선 특성 및 도로 교통 법규에 따른 상기 주행 도로의 차선 특성 중 적어도 하나에 기초하여, 상기 기준 패턴 특성을 갱신하는 단계를 더 포함할 수 있다.

상기 캘리브레이션 방법은 상기 주행 영상으로부터 상기 주행 도로에 포함된 차선 이외의 도로면 표식을 검출하는 단계; 상기 미리 설정된 호모그래피 매트릭스에 기초하여, 상기 도로면 표식의 이미지 도메인의 좌표들을 상기 도로면 표식의 월드 도메인의 좌표들로 변환하는 단계; 상기 도로면 표식의 패턴 특성을 기초로, 상기 도로면 표식의 월드 도메인의 좌표들을 보정하는 단계; 및 상기 도로면 표식의 보정된 월드 도메인의 좌표들 및 상기 도로면 표식의 이미지 도메인의 좌표들의 페어들에 기초하여 상기 호모그래피 매트릭스를 갱신하는 단계를 더 포함할 수 있다.

상기 도로면 표식의 패턴 특성은 상기 도로면 표식의 폭, 상기 도로면 표식의 길이, 상기 도로면 표식의 크기, 및 상기 도로면 표식의 대칭성, 및 상기 도로면 표식의 모양 중 적어도 하나를 포함할 수 있다.

상기 도로면 표식의 패턴 특성을 기초로, 상기 도로면 표식의 월드 도메인 좌표들을 보정하는 단계는 상기 도로면 표식의 길이에 기초하여 상기 도로면 표식의 월드 도메인의 x좌표들을 보정하는 단계; 및 상기 도로면 표식의 폭에 기초하여, 상기 도로면 표식의 월드 도메인 y좌표들을 보정하는 단계를 포함할 수 있다.

상기 차선들을 검출하는 단계는 픽셀 기반의 장면 세그먼테이션(pixel-wise scene segmentation) 기법 및 에지 검출(edge detection) 기법 중 적어도 하나에 기초하여, 상기 주행 영상으로부터 상기 차선들의 픽셀들을 검출하는 단계를 포함할 수 있다.

상기 주행 영상은 단일 프레임 및 연속 프레임들 중 적어도 하나를 포함할 수 있다.

일 실시예에 따르면, 캘리브레이션 방법은 영상으로부터 패턴을 검출하는 단계; 미리 설정된 호모그래피 매트릭스에 기초하여, 상기 패턴의 이미지 도메인의 좌표들을 상기 패턴의 월드 도메인의 좌표들로 변환하는 단계; 상기 패턴의 특성을 기초로, 상기 패턴의 월드 도메인의 좌표들을 보정하는 단계; 및 상기 보정된 패턴의 월드 도메인의 좌표들 및 상기 패턴의 이미지 도메인의 좌표들의 페어들에 기초하여 상기 호모그래피 매트릭스를 갱신하는 단계를 포함한다.

상기 패턴의 특성은 상기 패턴의 크기, 상기 패턴의 대칭성, 상기 패턴의 모양, 상기 패턴을 구성하는 도형들 간의 평행 특성, 상기 도형들의 길이, 상기 도형들 간의 간격, 및 상기 도형들 간의 폭 중 적어도 하나를 포함할 수 있다.

일 실시예에 따르면, 캘리브레이션 장치는 차량의 주행 영상을 획득하는 센서; 상기 주행 영상으로부터 주행 도로에 포함된 차선들을 검출하고, 미리 설정된 호모그래피 매트릭스에 기초하여, 상기 차선들의 이미지 도메인의 좌표들을 월드 도메인의 좌표들로 변환하고, 상기 차선들의 패턴 특성을 기초로, 상기 월드 도메인의 좌표들을 보정하며, 상기 보정된 월드 도메인의 좌표들 및 상기 이미지 도메인의 좌표들의 페어들에 기초하여 상기 호모그래피 매트릭스를 갱신하는 프로세서; 및 상기 갱신한 호모그래피 매트릭스를 출력하는 통신 인터페이스를 포함한다.

상기 차선들의 패턴 특성은 상기 차선들 간의 평행 특성, 상기 차선들의 길이, 상기 차선들 간의 폭, 및 상기 차선들 간의 간격 중 적어도 하나를 포함할 수 있다.

상기 프로세서는 상기 차선들 간의 평행 특성과 상기 차선들 간의 폭 중 적어도 하나에 기초하여, 상기 월드 도메인의 x좌표들을 보정하고, 상기 차선들의 길이 및 상기 차선들 간의 간격 중 적어도 하나에 기초하여, 상기 월드 도메인의 y좌표들을 보정할 수 있다.

상기 프로세서는 상기 월드 도메인의 좌표들을 차선 별로 클러스터링하고, 상기 클러스터링된 차선들이 서로 평행하고 상기 클러스터링된 차선들 간의 폭이 서로 동일해지도록, 상기 월드 도메인의 x좌표들을 보정할 수 있다.

상기 프로세서는 상기 클러스터링된 차선들 각각을 부분 차선 별로 클러스터링하고, 상기 클러스터링된 부분 차선들의 길이가 서로 동일하고, 상기 클러스터링된 부분 차선들 간의 간격이 서로 동일해지도록, 상기 월드 도메인의 y좌표들을 보정할 수 있다.

상기 프로세서는 상기 차량의 위치를 기초로 상기 차선들 중 적어도 하나의 기준 차선을 선택하고, 상기 기준 차선에 기초하여 기준 패턴 특성을 측정하며, 상기 기준 패턴 특성에 기초하여 상기 차선들 중 상기 적어도 하나의 기준 차선을 제외한 나머지 차선들의 월드 도메인 좌표들을 보정할 수 있다.

상기 기준 패턴 특성은 상기 기준 차선과 상기 나머지 차선들이 서로 평행한 특성, 상기 기준 차선의 길이, 상기 기준 차선과 횡방향으로 인접한 나머지 차선 간의 폭, 및 상기 기준 차선 내 부분 차선들 간의 간격 중 적어도 하나를 포함할 수 있다.

상기 프로세서는 고해상도 맵에 따른 상기 주행 도로의 차선 특성 및 도로 교통 법규에 따른 상기 주행 도로의 차선 특성 중 적어도 하나에 기초하여, 상기 기준 패턴 특성을 갱신할 수 있다.

상기 프로세서는 상기 주행 영상으로부터 상기 주행 도로에 포함된 차선 이외의 도로면 표식을 검출하고, 상기 미리 설정된 호모그래피 매트릭스에 기초하여, 상기 도로면 표식의 이미지 도메인의 좌표들을 상기 도로면 표식의 월드 도메인의 좌표들로 변환하고, 상기 도로면 표식의 패턴 특성을 기초로, 상기 도로면 표식의 월드 도메인의 좌표들을 보정하며, 상기 도로면 표식의 보정된 월드 도메인의 좌표들 및 상기 도로면 표식의 이미지 도메인의 좌표들의 페어들에 기초하여 상기 호모그래피 매트릭스를 갱신할 수 있다.

상기 도로면 표식의 패턴 특성은 상기 도로면 표식의 폭, 상기 도로면 표식의 길이, 상기 도로면 표식의 크기, 및 상기 도로면 표식의 대칭성, 및 상기 도로면 표식의 모양 중 적어도 하나를 포함할 수 있다.

상기 프로세서는 상기 도로면 표식의 길이에 기초하여 상기 도로면 표식의 월드 도메인의 x좌표들을 보정하고, 상기 도로면 표식의 폭에 기초하여, 상기 도로면 표식의 월드 도메인 y좌표들을 보정할 수 있다.

상기 프로세서는 픽셀 기반의 장면 세그먼테이션 기법 및 에지 검출 기법 중 적어도 하나에 기초하여, 상기 주행 영상으로부터 상기 차선들의 픽셀들을 검출할 수 있다.

상기 주행 영상은 단일 프레임 및 연속 프레임들 중 적어도 하나를 포함할 수 있다.

일 실시예에 따르면, 캘리브레이션 장치는 영상을 감지하는 센서; 상기 영상으로부터 패턴을 검출하고, 미리 설정된 호모그래피 매트릭스에 기초하여, 상기 패턴의 이미지 도메인의 좌표들을 상기 패턴의 월드 도메인의 좌표들로 변환하고, 상기 패턴의 특성을 기초로, 상기 패턴의 월드 도메인의 좌표들을 보정하며, 상기 보정된 패턴의 월드 도메인의 좌표들 및 상기 패턴의 이미지 도메인의 좌표들의 페어들에 기초하여 상기 호모그래피 매트릭스를 갱신하는 프로세서; 및 상기 갱신한 호모그래피 매트릭스를 출력하는 통신 인터페이스를 포함한다.

상기 패턴의 특성은 상기 패턴의 크기, 상기 패턴의 대칭성, 상기 패턴의 모양, 상기 패턴을 구성하는 도형들 간의 평행 특성, 상기 도형들의 길이, 상기 도형들 간의 간격, 및 상기 도형들 간의 폭 중 적어도 하나를 포함할 수 있다.

도 1은 일 실시예에 따른 캘리브레이션 방법을 설명하기 위한 도면.
도 2는 일 실시예에 따른 캘리브레이션 방법을 나타낸 흐름도.
도 3은 일 실시예에 따라 주행 영상으로부터 검출한 차선들의 이미지 도메인의 좌표들을 월드 도메인의 좌표들로 변환하는 방법을 설명하기 위한 도면.
도 4 및 도 5는 실시예들에 따라 차선들의 패턴 특성을 기초로 차선들의 월드 도메인 좌표들을 보정하는 방법을 설명하기 위한 도면.
도 6 내지 도 8은 실시예들에 따른 캘리브레이션 방법을 나타낸 흐름도들.
도 9는 다른 실시예에 따른 캘리브레이션 방법을 나타낸 흐름도.
도 10은 일 실시예에 따라 영상으로부터 검출되는 패턴을 도시한 도면.
도 11은 일 실시예에 따른 캘리브레이션 장치의 블록도.

본 명세서에 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것이다. 개시된 실시예들은 다양한 다른 형태로 변경되어 실시될 수 있으며 본 명세서의 범위는 개시된 실시예들에 한정되지 않는다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

하기에서 설명될 실시예들은 스마트 차량 등의 증강 현실 내비게이션 (Augmented Reality Navigation) 시스템에서 차선을 표시하거나, 자율 주행 차량의 조향을 돕기 위한 시각 정보를 생성하는 데에 활용될 수 있다. 또한, 실시예들은 차량 내 주행 보조 또는 완전 자율 주행을 위해 설치된 HUD(Head Up Display) 등의 지능 시스템을 포함하는 기기에서 시각 정보(Visual Information)를 해석하여 안전하고 쾌적한 주행을 돕는 데에 사용될 수 있다. 실시예들은 예를 들어, 자율 주행 자동차, 지능형 자동차, 스마트 폰, 및 모바일 기기 등에 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

이하에서 '도로(road)'는 사용자의 차량들이 운행 중인 고속도로, 국도, 지방도, 고속 국도 등을 포함할 수 있다. 도로는 하나 또는 다수 개의 차로(lane)들을 포함할 수 있다. '주행 차로'는 다수 개의 차로들 중 주행 차량이 이용하는(주행 중인) 어느 하나의 차로에 해당할 수 있다. '차로'는 도로 노면 상에 표시된 차선 표시(lane marking)를 통해 서로 구분될 수 있다. 하나의 차로는 차로 좌우에 있는 차선 표시에 의해 구분될 수 있다. '도로면 표식(road marking)'는 차량이 운행하는 도로 노면 상에 기재된 표시로서, 중앙선, 유도선 등과 같은 차선 표시 이외에도, 차로 변경선, 좌회전 금지선, 진행 방향 안내선, 횡단 보도 등과 같은 기호, 어린이 보호 구역, 서행 등과 같은 문자 등의 비차선 표시(non-lane marking)를 포함할 수 있다.

도 1은 일 실시예에 따른 캘리브레이션 방법을 설명하기 위한 도면이다. 도 1의 (a)를 참조하면, 차선을 도시한 도면(110), 횡단 보도를 도시한 도면(130) 및 기타 도로면 표식을 도시한 도면(150)이 도시된다.

도면(110), 도면(130) 및 도면(150) 각각은 예를 들어, 도로 노면 상에 표시된 차선, 횡단 보도, 및 기타 도로면 표식과 같이 카메라의 위치나 자세가 틀어졌는지 여부를 판단할 수 있는 기준 또는 랜드마크(landmark)로 활용될 수 있는 일정 패턴을 포함할 수 있다.

일 실시예에 따른 캘리브레이션 장치는 카메라의 위치나 자세가 틀어진 경우에 지도 정보, 기준점 또는 그 밖의 차선 규격 정보가 없이도, 영상에 포함된 패턴 특성을 이용하여 호모그래피 매트릭스를 갱신함으로써 캘리브레이션을 수행할 수 있다. 이때. 패턴 특성은 예를 들어, 패턴의 크기, 패턴의 대칭성, 패턴의 모양, 패턴을 구성하는 도형들 간의 평행 특성, 도형들의 길이, 도형들 간의 간격, 및 도형들 간의 폭 등과 같이 일정한 규칙성 및/또는 반복성을 가진 다양한 요소들을 포함할 수 있다. 캘리브레이션 장치는 예를 들어, 하나의 영상 내에 차선, 횡단 보도, 도로면 표식 등의 패턴들이 모두 포함된 경우, 이들 중 어느 하나의 패턴을 이용할 수도 있고, 이들을 모두 함께 이용하여 캘리브레이션의 정확도를 향상시킬 수도 있다. 이하에서는 도 1의 (b)를 참조하여 패턴의 일 예시인 차선(들)의 패턴 특성을 설명한다.

도 1의 (b)를 참조하면, 주행 영상에서 검출된 차선들의 패턴 특성들을 도시한 도면(170)이 도시된다. 일 실시예에 따른 차선들의 패턴 특성은 예를 들어, 차선들 간의 평행 특성(171), 차선(들)의 길이(173), 차선들 간의 폭(175), 및 차선들 간의 간격(177)을 포함할 수 있다.

차선들 간의 평행 특성(171)은 동일한 도로 상의 차선들, 또는 하나의 차로를 구성(구분)하는 차선들('차로 구분선들')은 서로 평행하다는 것을 나타낸다. 차선(들)의 길이(173)은 예를 들어, 차선이 점선 형태인 경우, 도로 상의 하나의 차선 내에 포함된 부분 차선의 하나의 길이에 해당할 수 있다. 차선들 간의 폭(175)은 동일한 도로 상의 제1 차선과 제2 차선 사이의 가로 폭(또는 거리)에 해당할 수 있다. 차선 간격(177)은 예를 들어, 어느 한 차선에 포함된 부분 차선들 간의 간격, 다시 말해, 제2 차선에 포함된 제1 부분 차선과 제2 부분 차선 간의 간격에 해당할 수 있다. 차선(들)의 길이(173), 차선들 간의 폭(175), 및 차선들 간의 간격(177)은 도로 교통법 상의 차선 규격에 따라 결정될 수 있다. 도로 교통법 상의 차선 규격은 각 국가 별 도로 교통법에 따른 도로 종류(또는 도로 등급) 별로 달라질 수 있다.

도 2는 일 실시예에 따른 캘리브레이션 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 캘리브레이션 장치는 차량의 주행 영상으로부터 주행 도로에 포함된 차선들을 검출한다(210). 차량은 촬영된 주행 영상으로부터 주변 차량, 주행 차로, 차선을 포함하는 도로면 표식 등을 검출하여 충돌 회피를 수행하고, 표지판과 신호등을 식별 및/또는 검출함으로써 경로 탐색 및 종횡 방향 제어를 수행할 수 있다. 이하에서 '차량'은 자율 주행(Automatic Driving) 기능, 및/또는 첨단 운전자 지원(Advanced Driver Assistance; ADA) 기능을 포함하는 자차로 이해될 수 있다.

주행 영상은 2D 영상으로서 차량의 주행 시에 차량에 장착되어 차량의 전면(font view), 또는 양 측면(side view) 등을 촬영하도록 구성된 촬영 장치를 통해 획득될 수 있다. 또는 주행 영상은 통신 인터페이스(도 11의 통신 인터페이스(1170) 참조)를 통해 캘리브레이션 장치의 외부로부터 수신한 차량의 전면 및 양 측면 중 적어도 하나의 외부 영상(external image)일 수 있다. 주행 영상은 예를 들어, 도 3에 도시된 2D 주행 영상(310)과 같이 도로 영상, 및/또는 도로 노면 영상 등을 포함할 수 있다. 주행 영상은 컬러 영상 이외에도 적외선 영상 등과 같이 다양한 영상들을 포함할 수 있다. 주행 영상은 단일 프레임(Frame)을 포함할 수도 있고, 복수 개의 연속된 프레임들을 포함할 수도 있다.

단계(210)에서, 캘리브레이션 장치는 예를 들어, 픽셀 기반의 장면 세그먼테이션(pixel-wise scene segmentation) 기법, 또는 에지 검출(edge detection) 기법에 의해 주행 영상으로부터 차선들의 픽셀들을 검출할 수 있다. 또는 캘리브레이션 장치는 차선을 인식하도록 미리 학습된 신경망(Neural Network)을 이용하여 주행 영상으로부터 차선을 검출할 수 있다. 신경망은 예를 들어, 주행 영상에서 검출하고자 하는 차선 표시의 바운딩 박스와 검출하고자 하는 차선 표시의 종류가 미리 학습된 것일 수 있다.

캘리브레이션 장치는 미리 설정된 호모그래피 매트릭스(homography matrix)에 기초하여, 차선들의 이미지 도메인의 좌표들을 월드 도메인의 좌표들로 변환한다(220). 호모그래피 매트릭스는 한 평면을 다른 평면에 투영(projection) 시켰을 때 투영된 대응점들 사이에서 성립하는 일정한 변환 관계를 나타낼 수 있다. 호모그래피 매트릭스는 예를 들어, 2D 이미지 도메인의 좌표를 대응하는 3D 월드 도메인의 좌표로 변환하는 경우의 변환 관계(대응 관계)를 나타낼 수 있다. 미리 설정된 호모그래피 매트릭스는 예를 들어, 촬영 장치(카메라)의 캘리브레이션 시에 이용된 내측(intrinsic) 및 외측(extrinsic) 파라미터에 의해 결정된 초기 호모그래피 매트릭스일 수 있다. 캘리브레이션 장치가 차선들의 이미지 도메인의 좌표들을 월드 도메인의 좌표들로 변환하는 방법은 아래의 도 3을 참조하여 구체적으로 설명한다.

캘리브레이션 장치는 차선들의 패턴 특성을 기초로, 단계(220)에서 변환한 월드 도메인의 좌표들을 보정한다(230). 차선들의 패턴 특성은 예를 들어, 차선들 간의 평행 특성, 차선들의 길이, 차선들 간의 폭, 및 차선들 간의 간격 등을 포함할 수 있다.

단계(230)에서, 캘리브레이션 장치는 예를 들어, 차량의 위치를 기초로 차선들 중 적어도 하나의 기준 차선을 선택할 수 있다. 캘리브레이션 장치는 기준 차선에 기초하여 기준 패턴 특성을 측정할 수 있다. 캘리브레이션 장치는 기준 패턴 특성에 기초하여 차선들 중 적어도 하나의 기준 차선을 제외한 나머지 차선들의 월드 도메인 좌표들을 보정할 수 있다. 기준 차선은 예를 들어, 차량의 위치에서 가장 가까운 차선 또는 영상의 중심에 가까운 차선에 해당할 수 있다. 일반적으로 호모그래피 매트릭스를 통한 연산은 근거리일수록, 그리고 영상의 가운데로 갈수록 변환 결과에 대한 신뢰도가 높아질 수 있다.

따라서, 일 실시예에서는 영상의 중심에 가깝거나 차량의 위치에 가장 가까운 차선(예를 들어, 주행 차로의 차로 구분선들 중 어느 하나)을 기준 차선으로 선택하여 기준 패턴 특성을 측정함으로써 보정의 정확도를 향상시킬 수 있다. 이때, 기준 패턴 특성은 예를 들어, 기준 차선과 나머지 차선들이 서로 평행한 특성, 기준 차선의 길이, 기준 차선과 횡방향으로 인접한 나머지 차선 간의 폭, 및 기준 차선 내 부분 차선들 간의 간격 등을 포함할 수 있다.

실시예에 따라서, 캘리브레이션 장치는 선택한 기준 차선의 정확성을 판단한 후, 기준 차선을 보정에 이용할 수도 있다. 캘리브레이션 장치는 예를 들어, 차량의 위치에 가장 가까운 차선을 기준 차선으로 선택할 수 있다. 캘리브레이션 장치는 기준 차선의 길이 , 기준 차선과 기준 차선에 종방향으로 인접한 차선 간의 거리 , 및 기준 차선의 어느 한 부분 차선과 어느 한 부분 차선에 횡방향으로 인접한 부분 차선 간의 거리 를 측정할 수 있다. 이때, 고정밀 지도 정보 상에 차선 길이, 차선간 종방향의 거리 및 횡방향 거리 등의 정보가 존재하면, 캘리브레이션 장치는 , 의 측정없이 보정을 수행할 수 있다.

예를 들어, 현재 도로면 상에 각 차선의 길이 , 종방향 차선간 거리 , 횡방향 차선간 거리 와 , 의 차이가 미리 정해놓은 임계값보다 작은 경우, 캘리브레이션 장치는 라 가정하고 월드 도메인 상의 x좌표 및 y 좌표를 보정할 수 있다.

캘리브레이션 장치는 예를 들어, 차선들 간의 평행 특성과 차선들 간의 폭 중 적어도 하나에 기초하여, (차선들의) 월드 도메인의 x좌표들을 보정할 수 있다. 캘리브레이션 장치가 차선들의 월드 도메인의 x좌표들을 보정하는 방법은 아래의 도 4를 참조하여 구체적으로 설명한다. 또한, 캘리브레이션 장치는 예를 들어, 차선들의 길이 및 차선들 간의 간격 중 적어도 하나에 기초하여, 월드 도메인의 y좌표들을 보정할 수 있다. 캘리브레이션 장치가 차선들의 월드 도메인의 y좌표들을 보정하는 방법은 아래의 도 5를 참조하여 구체적으로 설명한다.

캘리브레이션 장치는 예를 들어, 고해상도 맵에 따른 주행 도로의 차선 특성 및 도로 교통 법규에 따른 주행 도로의 차선 특성 중 적어도 하나에 기초하여, 기준 패턴 특성을 갱신할 수 있다.

캘리브레이션 장치는 단계(230)에서 보정된 3D 월드 도메인의 좌표들 및 이미지 도메인의 좌표들의 페어(pair)들에 기초하여 호모그래피 매트릭스를 갱신한다(240).

캘리브레이션 장치는 캘리브레이션 결과를 명시적(explicitly)으로 출력할 수도 있고, 암시적(implicitly)으로 출력할 수도 있다. '캘리브레이션 결과를 명시적으로 출력'하는 것은 예를 들어, 캘리브레이션에 의해 보정된 차선의 위치(또는 보정된 차선의 월드 도메인 좌표)를 화면(또는 지도) 상에 디스플레이하거나, 및/또는 보정된 차선의 월드 도메인 좌표를 오디오로 출력하는 것 등을 포함할 수 있다. 또는 '캘리브레이션 결과를 암시적으로 출력'하는 것은 예를 들어, 보정된 차선의 위치에 의해 차량을 제어하거나, 차량의 위치를 결정하거나, 또는 주행 경로를 설정 또는 변경하는 것 등을 포함할 수 있다.

도 3은 일 실시예에 따라 주행 영상으로부터 검출한 차선들의 이미지 도메인의 좌표들을 월드 도메인의 좌표들로 변환하는 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 주행 영상(310) 및 주행 영상(310)으로부터 검출한 차선들의 이미지 도메인의 좌표들을 미리 설정된 호모그래피 매트릭스를 이용하여 월드 도메인의 좌표들로 변환한 결과를 나타낸 도면(330)이 도시된다.

일 실시예에 따른 캘리브레이션 장치는 예를 들어, 시멘틱 세그먼테이션(Semantic Segmentation) 기법을 이용해 주행 영상(310)에 포함된 객체(예를 들어, 차선)에 해당하는 부분을 의미 단위로 분할하여 픽셀 수준에서 검출함으로써 세그먼테이션 영상을 생성할 수 있다. 시멘틱 세그먼테이션은 객체를 픽셀 단위까지 밀도있게 예측하고, 주행 영상(310)에 어떠한 객체가 포함되어 있는지를 파악하여 객체 클래스(object class)가 포함된 픽셀 단위의 영역을 출력할 수 있다. 캘리브레이션 장치는 예를 들어, 여러 단계의 컨볼루션 레이어(convolution layer) 및 풀리 커넥티드 레이어(fully connected layer)로 구성된 분류 네트워크를 거쳐 세그먼테이션 영상을 생성할 수 있다. 캘리브레이션 장치는 예를 들어, AlexNet, VGGNet, GoogleNET 처럼 잘 알려진 분류 네트워크를 이용하여 주행 영상(310)으로부터 의미 단위로 객체를 분할하고, 분할된 영역이 어떤 의미를 갖는지를 픽셀 단위로 파악하여 각 클래스마다 레이블링 함으로써 세그먼테이션 영상에서 차선들의 픽셀들을 검출할 수 있다.

캘리브레이션 장치는 미리 설정된 호모그래피 매트릭스(또는 초기 호모그래피 매트릭스)를 이용하여 세그먼테이션 영상에서 차선들에 해당하는 픽셀들의 2D 이미지 도메인의 좌표들을 3D 월드 도메인의 좌표들로 변환할 수 있다. 3D 월드 도메인의 좌표들로 변환된 차선들에 해당하는 픽셀들은 도면(330)과 같이 검출될 수 있다.

이때, 초기 호모그래피 매트릭스를 이용하여 변환된 차선들에 해당하는 픽셀들의 3D 월드 도메인의 좌표들은 예를 들어, 주행 영상을 촬영하는 카메라의 자세 및/또는 위치가 바뀌거나, 도로면의 고도 차이로 인해 스케일의 차이(scale difference)가 발생하거나, 또는 도로면 뱅크 등으로 인해 좌우 불균형(imbalance)이 발생하는 경우 실제 차선들의 좌표와 차이가 발생할 수 있다. 일 실시예에서는 차선들의 패턴 특성을 이용하여 이러한 차이를 보다 빠르고 정확하게 보정할 수 있다.

도 4는 일 실시예에 따라 차선들의 패턴 특성을 기초로 차선들의 월드 도메인 좌표들을 보정하는 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 차선들을 월드 도메인의 좌표들로 변환한 결과를 나타낸 도면(410) 및 차선들의 월드 도메인의 x좌표들을 보정한 결과를 나타낸 도면(430)이 도시된다.

일 실시예에 따른 캘리브레이션 장치는 차량의 위치를 기초로, 도면(410)에 도시된 차선들 중 어느 하나의 기준 차선(예를 들어, 왼쪽에서 두 번째 위치하는 제2 차선)을 선택할 수 있다. 캘리브레이션 장치는 예를 들어, 도면(410)에 도시된 차선들의 픽셀들 중 차량과 가장 가까운 위치에 있는 제2 차선의 픽셀(415)을 선택할 수 있다. 차량에 가장 가까운 위치에 있는 픽셀은 차량과의 고도 차이가 거의 없으므로, 캘리브레이션 장치는 이러한 픽셀을 선택하여 다른 차선들의 x 좌표들을 보정함으로써 보정의 정확도를 향상시킬 수 있다.

캘리브레이션 장치는 제2 차선의 픽셀(415)의 x좌표(횡방향 위치)를 측정할 수 있다. 캘리브레이션 장치는 제2 차선의 픽셀(415)의 위치를 기준으로 제2 차선의 좌우에 위치하는 각 차선들의 월드 도메인의 좌표들을 차선 별로 클러스터링할 수 있다. 이때, 캘리브레이션 장치는 예를 들어, 연결 요소(Connected Component) 연산을 이용하여 각 차선에 포함된 픽셀들을 클러스터링할 수 있다. 연결 요소 연산은 그래프 이론(graph theory)에서 이용되는 연산으로, 그래프에서 적어도 한 개 이상의 경로로 연결된 정점들로 구성된 종속 그래프를 연결하는 데에 이용된다. 캘리브레이션 장치는 연결 요소 연산을 통해 동일 차선에 해당하는 픽셀들을 같은 그룹으로 클러스터링할 수 있다.

캘리브레이션 장치는 제2 차선의 픽셀(415)의 x좌표를 기준으로 클러스터링된 차선들이 서로 평행하고, 클러스터링된 차선들 간의 폭이 서로 동일해지도록, 각 차선의 월드 도메인의 x좌표들(횡방향 위치들)을 보정할 수 있다. 캘리브레이션 장치가 차선들의 월드 도메인의 x좌표들을 보정한 결과, 각 차선들이 도면(430)과 같이 서로 일정 간격으로 평행하게 배치될 수 있다.

도 5는 일 실시예에 따라 차선들의 패턴 특성을 기초로 차선들의 월드 도메인 좌표들을 보정하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 차선들의 월드 도메인의 x좌표들을 보정한 결과를 나타낸 도면(510) 및 차선들의 월드 도메인의 y좌표들을 보정한 결과를 나타낸 도면(530)이 도시된다.

일 실시예에 따른 캘리브레이션 장치는 도면(510)와 같이 차선들의 월드 도메인의 x좌표들(횡방향 위치들)을 보정한 후, 차선들의 월드 도메인의 y좌표들(종방향 위치들)을 보정할 수 있다.

차선들의 월드 도메인의 x좌표들을 보정할 때와 마찬가지로, 캘리브레이션 장치는 예를 들어, 도면(510)에 도시된 차선들의 픽셀들 중 차량과 가장 가까운 위치에 있는 제2 차선의 픽셀(515)을 선택할 수 있다. 캘리브레이션 장치는 도면(510)에서 x좌표들(횡방향 위치들)이 보정된 차선들을 도면(530)과 같이 부분 차선(531,532,533,534,535) 별로 클러스터링할 수 있다.

캘리브레이션 장치는 제2 차선의 픽셀(515)을 기준으로 온전히 보이는 부분 차선들(531,532,533,534,535) 중 가장 가까이 있는 부분 차선(531)을 부분 차선들(532,533,534,535)의 차선 길이 결정을 위한 부분 기준 차선을 설정할 수 있다. 캘리브레이션 장치는 나머지 부분 차선들(532,533,534,535)의 길이가 부분 차선(531)의 길이와 동일해지도록 나머지 부분 차선들(532,533,534,535)의 y좌표들을 보정할 수 있다. 또한, 캘리브레이션 장치는 제2 차선의 픽셀(515)과 동일 차선에 포함된 부분 차선(533)을 부분 차선들 간의 간격 결정을 위한 부분 기준 차선으로 설정할 수 있다. 캘리브레이션 장치는 나머지 부분 차선들(531, 532, 534, 535) 간의 간격이 제2 차선의 픽셀(515)과 부분 차선(533) 간의 간격과 동일해지도록 나머지 부분 차선들(531, 532, 534, 535)의 y 좌표들을 보정할 수 있다.

도 6은 다른 실시예에 따른 캘리브레이션 방법을 나타낸 흐름도이다. 도 6을 참조하면, 일 실시예에 따른 캘리브레이션 장치는 차량의 주행 영상이 획득되면(610), 주행 영상으로부터 차선 픽셀(들)이 검출되었는지를 판단할 수 있다(620). 단계(620)에서 차선 픽셀(들)이 검출되지 않았다고 판단되면, 캘리브레이션 장치는 동작을 종료할 수 있다.

단계(620)에서 차선 픽셀(들)이 검출되었다고 판단되면, 캘리브레이션 장치는 검출된 차선 픽셀(들)의 좌표를, 미리 설정된 호모그래피 매트릭스(630)를 이용하여 이미지 도메인에서 월드 도메인으로 전환(변환)할 수 있다(640).

캘리브레이션 장치는 단계(640)에서 월드 도메인으로 전환된 차선 픽셀(들)의 좌표들을, 차선 폭 및/또는 차선 평행 특성에 기반하여 횡방향으로 보정할 수 있다(650).

캘리브레이션 장치는 단계(650)에서 횡방향으로 보정된 차선 픽셀들의 좌표들을, 차선 길이 및/또는 차선 간격에 기반하여 종방향으로 보정할 수 있다(660).

캘리브레이션 장치는 단계(660)에서 보정된 월드 도메인의 좌표들 및 이미지 도메인의 좌표들의 페어들에 기초하여 단계(630)의 호모그래피 매트릭스를 갱신할 수 있다(670). 캘리브레이션 장치는 갱신된 호모그래피 매트릭스에 의해 캘리브레이션을 수행할 수 있다.

도 7은 다른 실시예에 따른 캘리브레이션 방법을 나타낸 흐름도이다. 도 7을 참조하면, 일 실시예에 따른 캘리브레이션 장치가 도 6을 통해 전술한 차선들의 패턴 특성뿐만 아니라, 주행 도로에 포함된 차선 이외의 도로면 표식의 패턴 특성을 함께 고려하여 호모그래피 매트릭스를 갱신하는 실시예가 도시된다.

캘리브레이션 장치는 차량의 주행 영상이 획득되면(710), 주행 영상으로부터 차선 픽셀(들)을 검출할 수 있다(720). 캘리브레이션 장치는 검출된 차선 픽셀(들)의 좌표를, 미리 설정된 호모그래피 매트릭스(730)를 이용하여 이미지 도메인에서 월드 도메인으로 전환(변환)할 수 있다(740).

캘리브레이션 장치는 단계(740)에서 월드 도메인으로 전환된 차선 픽셀(들)의 좌표들을, 차선 폭 및/또는 차선 평행 특성에 기반하여 횡방향으로 보정할 수 있다(750).

캘리브레이션 장치는 단계(750)에서 횡방향으로 보정된 차선 픽셀들의 좌표들을, 차선 길이 및/또는 차선 간격에 기반하여 종방향으로 보정할 수 있다(760).

이와 동시에, 캘리브레이션 장치는 차량의 주행 영상이 획득되면(710), 주행 도로에 포함된 차선 이외의 도로면 표식(예를 들어, 횡단 보도 표시 등)에 해당하는 픽셀을 검출할 수 있다(770). 캘리브레이션 장치는 미리 설정된 호모그래피 매트릭스(730)에 기초하여, 도로면 표식의 이미지 도메인의 좌표들을 도로면 표식의 월드 도메인의 좌표들로 변환할 수 있다(780).

캘리브레이션 장치는 도로면 표식의 패턴 특성(예를 들어, 표식 길이 및/또는 평행 특성 등)을 기반으로 도로면 표식의 월드 도메인의 좌표들을 종방향 및/또는 횡방향으로 보정할 수 있다(790). 도로면 표식의 패턴 특성은 예를 들어, 도로면 표식의 폭, 도로면 표식의 길이, 도로면 표식의 크기, 도로면 표식의 대칭성, 평행 특성, 및 도로면 표식의 모양 등을 포함할 수 있다. 단계(790)에서 캘리브레이션 장치는 예를 들어, 도로면 표식의 길이에 기초하여 도로면 표식의 월드 도메인의 x좌표들을 보정하고, 도로면 표식의 폭에 기초하여 도로면 표식의 월드 도메인 y좌표들을 보정할 수 있다.

캘리브레이션 장치는 단계(720) 내지 단계(760) 과정을 통해 보정된 차선 픽셀들의 좌표들 및/또는 단계(770) 내지 단계(790) 과정을 통해 보정된 도로면 표식의 월드 도메인의 좌표들에 기초하여 호모그래피 매트릭스를 갱신할 수 있다(795).

일 실시예에서는 차선들의 패턴 특성에, 주행 도로에 포함된 차선 이외의 도로면 표식의 패턴 특성을 더 고려하여 호모그래피 매트릭스를 갱신함으로써 캘리브레이션의 정확도를 향상시킬 수 있다.

도 8은 다른 실시예에 따른 캘리브레이션 방법을 나타낸 흐름도이다. 도 8을 참조하면, 일 실시예에 따른 캘리브레이션 장치는 차량의 주행 영상이 획득되면(805), 미리 설정된 초기 캘리브레이션 매트릭스(810)를 이용하여 2D 주행 영상을 3D 탑 뷰(Top view) 영상으로 도메인 변환할 수 있다(815). 이때, 캘리브레이션 장치는 주행 영상으로부터 검출한 차선 픽셀(들)의 도메인 또한 3D 월드 도메인의 좌표들로 변환할 수 있다.

캘리브레이션 장치는 단계(815)에서 월드 도메인으로 전환된 각 차선 픽셀(들)의 좌표들을 제1 클러스터링할 수 있다(820). 캘리브레이션 장치는 동일 차선에 해당하는 픽셀들을 같은 그룹으로 제1 클러스터링할 수 있다.

캘리브레이션 장치는 제1 클러스터링된 차선들이 서로 평행하고, 클러스터링된 차선들 간의 폭이 서로 동일해지도록 각 차선을 횡방향 보정(x좌표 보정)할 수 있다(825).

캘리브레이션 장치는 단계(825)에서 횡방향으로 보정된 각 차선 픽셀들의 제2 클러스터링할 수 있다(830). 캘리브레이션 장치는 횡방향으로 보정된 각 차선 픽셀들을 부분 차선 별로 제2 클러스터링할 수 있다. 캘리브레이션 장치는 제2 클러스터링한 부분 차선들을 예를 들어, 부분 차선의 길이 및/또는 차선들의 간격에 기반하여 부분 차선들을 종방향 보정(y좌표 보정)할 수 있다(835).

캘리브레이션 장치는 전술한 과정을 통해 최종적으로 보정이 완료된 차선(부분 차선)들을 스케일링(scaling)할 수 있다(840). 캘리브레이션 장치는 스케일링을 통해 이미지 도메인과 월드 도메인 간의 높이 비율(또는 크기 비율)을 조정할 수 있다.

캘리브레이션 장치는 단계(840)에서 스케일링된 차선들의 월드 도메인의 좌표(들)과 월드 도메인의 좌표들에 대응하는 이미지 도메인의 좌표(들)을 서로 매칭시켜 각각의 쌍으로 페어링(pairing)할 수 있다(845). 캘리브레이션 장치는 단계(845)에 의해 매칭된 좌표들의 페어에 의해 캘리브레이션 파라미터를 갱신할 수 있다(850). 캘리브레이션 장치는 갱신된 캘리브레이션 파라미터를 초기 캘리브레이션 매트릭스(810)에 적용함으로써 초기 캘리브레이션 매트릭스 또한 갱신할 수 있다.

도 9는 다른 실시예에 따른 캘리브레이션 방법을 나타낸 흐름도이다. 도 9를 참조하면, 일 실시예에 따른 캘리브레이션 장치는 영상으로부터 패턴을 검출한다(910). 예를 들어, 아래의 도 10과 같이 하나의 영상 내에 반복된 형태의 복수 개의 패턴들(1010, 1030)이 포함된 경우, 캘리브레이션 장치는 복수 개의 패턴들 중 어느 하나의 패턴을 검출할 수도 있고, 두 개의 패턴들을 모두 검출할 수도 있다.

캘리브레이션 장치는 미리 설정된 호모그래피 매트릭스에 기초하여, 단계(910)에서 패턴의 이미지 도메인의 좌표들을 패턴의 월드 도메인의 좌표들로 변환한다(920).

캘리브레이션 장치는 패턴의 특성을 기초로, 패턴의 월드 도메인의 좌표들을 보정한다(930). 패턴의 특성은 예를 들어, 패턴의 크기, 패턴의 대칭성, 패턴의 모양, 패턴을 구성하는 도형들 간의 평행 특성, 도형들의 길이, 도형들 간의 간격, 및 도형들 간의 폭 등을 포함할 수 있다.

단계(930)에서, 캘리브레이션 장치는 예를 들어, 패턴을 구성하는 도형들 간의 평행 특성과 패턴의 구성하는 도형들 간의 폭 중 적어도 하나에 기초하여 패턴의 월드 도메인의 x 좌표들을 보정할 수 있다. 캘리브레이션 장치는 패턴의 월드 도메인의 좌표들을 패턴을 구성하는 도형들 별로 클러스터링할 수 있다. 캘리브레이션 장치는 클러스터링된 도형들이 서로 평행하고, 클러스터링된 도형들 간의 폭이 서로 동일해지도록, 패턴의 월드 도메인의 x좌표들을 보정할 수 있다.

또한, 단계(930)에서, 캘리브레이션 장치는 패턴을 구성하는 도형들의 길이, 및 패턴을 구성하는 도형들 간의 간격 중 적어도 하나에 기초하여 패턴의 월드 도메인의 y 좌표들을 보정할 수 있다. 캘리브레이션 장치는 클러스터링된 도형들의 길이가 서로 동일하고, 클러스터링된 도형들 간의 간격이 서로 동일해지도록 패턴의 월드 도메인의 y 좌표들을 보정할 수 있다.

캘리브레이션 장치는 단계(930)에서 보정된 패턴의 월드 도메인의 좌표들 및 패턴의 이미지 도메인의 좌표들의 페어들에 기초하여 호모그래피 매트릭스를 갱신한다(940).

도 10은 일 실시예에 따라 영상으로부터 검출되는 패턴을 도시한 도면이다. 도 10을 참조하면, 영상으로부터 검출되는 패턴들(1010, 1030)이 도시된다. 패턴(1010)은 영상에서 위쪽의 천장 부분에서 검출된 패턴에 해당하고, 패턴(1030)은 영상에서 아래쪽의 바닥 부분에서 검출된 패턴에 해당한다. 일 실시예에 따른 캘리브레이션 장치는 영상으로부터 검출된 패턴 자체의 크기, 패턴의 대칭성, 패턴의 모양을 이용하여 캘리브레이션을 수행할 수 있다. 또한, 캘리브레이션 장치는 패턴 자체의 특성에 더하여 패턴을 구성하는 도형들 간의 평행 특성, 도형들의 길이, 도형들 간의 간격, 및 도형들 간의 폭 등을 함께 고려하여 캘리브레이션을 수행할 수도 있다.

실시예에 따라서, 캘리브레이션 장치는 영상의 위쪽 부분에 대하여는 패턴(1010)을 이용하여 캘리브레이션을 수행하고, 영상의 아래쪽 부분에 대하여는 패턴(1030)을 이용하여 캘리브레이션을 수행할 수도 있다.

일 실시예에 따른 캘리브레이션 장치는 맵 정보나 도로 교통법에 따른 차선 규격 등과 같은 정보가 없이도 단순히 영상으로부터 파악되는 패턴(예를 들어, 차선 패턴, 횡단 보도 패턴, 바닥면 또는 천장의 패턴 등)을 캘리브레이션을 위한 랜드마크로 활용하여 캘리브레이션 파라미터를 갱신함으로써 차선 검출 이외에도 이동형 청소 로봇, 오토 팩토리 등과 같은 다양한 분야에서의 캘리브레이션을 보다 용이하게 수행할 수 있다.

도 11은 일 실시예에 따른 캘리브레이션 장치의 블록도이다. 도 11을 참조하면, 일 실시예에 따른 캘리브레이션 장치(1100)는 센서(들)(1110), 프로세서(1130), 및 통신 인터페이스(1170)를 포함한다. 캘리브레이션 장치(1100)는 메모리(1150), 및 디스플레이(1190)를 더 포함할 수 있다. 센서(들)(1110), 프로세서(1130), 메모리(1150), 통신 인터페이스(1170), 및 디스플레이(1190)는 통신 버스(1105)를 통해 서로 통신할 수 있다.

센서(들)(1110)은 예를 들어, 카메라 센서, 이미지(image) 센서, 비전(vision) 센서를 포함할 수 있다. 카메라, 이미지 센서, 및/또는 비전 센서는 차량에 장착되어 차량의 주행 영상을 촬영할 수 있다.

프로세서(1130)는 도 1 내지 도 10을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(1130)는 프로그램을 실행하고, 캘리브레이션 장치(1100)를 제어할 수 있다. 프로세서(1130)에 의하여 실행되는 프로그램 코드는 메모리(1150)에 저장될 수 있다.

프로세서(1130)는 예를 들어, CPU(Central Processing Unit) 또는 GPU(Graphics Processing Unit)으로 구성될 수 있다.

메모리(1150)는 주행 영상, 보정된 월드 도메인의 좌표들 및 이미지 도메인의 좌표들의 페어를 저장할 수 있다. 또한, 메모리(1150)는 프로세서(1130)에서 갱신한 호모그래피 매트릭스 및/또는 갱신한 호모그래피 매트릭스를 이용한 캘리브레이션 결과를 저장할 수 있다. 메모리(1150)는 휘발성 메모리 또는 비 휘발성 메모리일 수 있다.

통신 인터페이스(1170)는 캘리브레이션 장치(1100)의 외부에서 캡쳐된 주행 영상 또는 캘리브레이션 장치(1100)의 외부로부터 수신되는 각종 센서들의 정보, 및 맵 정보 등을 수신할 수 있다. 실시예에 따라서, 통신 인터페이스(1170)는 프로세서(1130)에서 갱신된 호모그래피 매트릭스 및/또는 갱신된 호모그래피 매트릭스에 의해 수행된 캘리브레이션 결과를 캘리브레이션 장치(1100)의 외부 또는 디스플레이(1190)로 전송할 수 있다.

디스플레이(1190)는 갱신된 호모그래피 매트릭스에 의해 수행된 캘리브레이션에 의해 수정된 객체의 위치를 주행 영상과 함께 또는 별도로 표시할 수 있다. 디스플레이(1190)는 캘리브레이션에 의해 갱신된 객체의 월드 도메인 좌표를 예를 들어, 지도 정보 또는 내비게이션 영상에서의 객체의 위치 형태로 표시할 수도 있고, 객체의 갱신된 월드 도메인 좌표 형태로 표시할 수도 있다. 예를 들어, 캘리브레이션 장치(1100)가 차량에 내장(embedded)된 경우, 디스플레이(1190)는 차량에 설치된 헤드 업 디스플레이(HUD)로 구성될 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (31)

1. 자율 주행 차량의 캘리브레이션 방법에 있어서,
   차량의 주행 영상으로부터 주행 도로에 포함된 차선들을 검출하는 단계;
   미리 설정된 호모그래피 매트릭스(homography matrix)에 기초하여, 상기 차선들의 이미지 도메인의 좌표들을 월드 도메인의 좌표들로 변환하는 단계;
   상기 차선들의 패턴 특성을 기초로, 상기 월드 도메인의 좌표들을 보정하는 단계; 및
   상기 보정된 월드 도메인의 좌표들 및 상기 이미지 도메인의 좌표들의 페어(pair)들에 기초하여 상기 호모그래피 매트릭스를 갱신하는 단계를 포함하고,
   상기 월드 도메인 좌표들을 보정하는 단계는
   상기 차선들 간의 평행 특성과 상기 차선들 간의 폭 중 적어도 하나에 기초하여, 상기 월드 도메인의 x좌표들을 보정하는 단계; 및
   상기 차선들의 길이 및 상기 차선들 간의 간격 중 적어도 하나에 기초하여, 상기 월드 도메인의 y좌표들을 보정하는 단계중 적어도 하나를 포함하는, 캘리브레이션 방법.
2. 제1항에 있어서,
   상기 차선들의 패턴 특성은
   상기 차선들 간의 평행 특성, 상기 차선들의 길이, 상기 차선들 간의 폭, 및 상기 차선들 간의 간격 중 적어도 하나를 포함하는, 캘리브레이션 방법.
3. 삭제
4. 제1항에 있어서,
   상기 월드 도메인의 x좌표들을 보정하는 단계는
   상기 월드 도메인의 좌표들을 차선 별로 클러스터링하는 단계; 및
   상기 클러스터링된 차선들이 서로 평행하고, 상기 클러스터링된 차선들 간의 폭이 서로 동일해지도록, 상기 월드 도메인의 x좌표들을 보정하는 단계
   를 포함하는, 캘리브레이션 방법.
5. 제4항에 있어서,
   상기 월드 도메인의 y좌표들을 보정하는 단계는
   상기 클러스터링된 차선들 각각을 부분 차선 별로 클러스터링 하는 단계; 및
   상기 클러스터링된 부분 차선들의 길이가 서로 동일하고, 상기 클러스터링된 부분 차선들 간의 간격이 서로 동일해지도록, 상기 월드 도메인의 y좌표들을 보정하는 단계
   를 포함하는, 캘리브레이션 방법.
6. 제1항에 있어서,
   상기 월드 도메인 좌표들을 보정하는 단계는
   상기 차량의 위치를 기초로 상기 차선들 중 적어도 하나의 기준 차선을 선택하는 단계;
   상기 기준 차선에 기초하여 기준 패턴 특성을 측정하는 단계; 및
   상기 기준 패턴 특성에 기초하여 상기 차선들 중 상기 적어도 하나의 기준 차선을 제외한 나머지 차선들의 월드 도메인 좌표들을 보정하는 단계
   를 포함하는, 캘리브레이션 방법.
7. 제6항에 있어서,
   상기 기준 패턴 특성은
   상기 기준 차선과 상기 나머지 차선들이 서로 평행한 특성, 상기 기준 차선의 길이, 상기 기준 차선과 횡방향으로 인접한 나머지 차선 간의 폭, 및 상기 기준 차선 내 부분 차선들 간의 간격 중 적어도 하나를 포함하는, 캘리브레이션 방법.
8. 제6항에 있어서,
   고해상도 맵에 따른 상기 주행 도로의 차선 특성 및 도로 교통 법규에 따른 상기 주행 도로의 차선 특성 중 적어도 하나에 기초하여, 상기 기준 패턴 특성을 갱신하는 단계
   를 더 포함하는, 캘리브레이션 방법.
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 제1항에 있어서,
    상기 주행 영상으로부터 상기 주행 도로에 포함된 차선 이외의 도로면 표식을 검출하는 단계;
    상기 미리 설정된 호모그래피 매트릭스에 기초하여, 상기 도로면 표식의 이미지 도메인의 좌표들을 상기 도로면 표식의 월드 도메인의 좌표들로 변환하는 단계;
    상기 도로면 표식의 패턴 특성을 기초로, 상기 도로면 표식의 월드 도메인의 좌표들을 보정하는 단계; 및
    상기 도로면 표식의 보정된 월드 도메인의 좌표들 및 상기 도로면 표식의 이미지 도메인의 좌표들의 페어들에 기초하여 상기 호모그래피 매트릭스를 갱신하는 단계
    를 더 포함하는, 캘리브레이션 방법.
14. 제13항에 있어서,
    상기 도로면 표식의 패턴 특성은
    상기 도로면 표식의 폭, 상기 도로면 표식의 길이, 상기 도로면 표식의 크기, 및 상기 도로면 표식의 대칭성, 및 상기 도로면 표식의 모양 중 적어도 하나를 포함하는, 캘리브레이션 방법.
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제

Images