KR20170007596A - 개선된 차선 인식 방법 - Google Patents

Abstract

본 발명은 차선을 인식하는 방법에 관한 것으로서, 보다 상세하게는 스테레오 카메라로부터 취득한 칼라 영상과 깊이 영상을 이용하여 중복된 차선에서 실제 차선을 검출하는 개선된 차선 인식 방법에 관한 것이다.
보다 구체적으로 본 발명에 대하여 설명하면, 본 발명은 스테레오 카메라로부터 칼라 영상과 깊이 영상을 획득하는 단계, 상기 깊이 영상을 이용해 수평 위치과 수직 위치를 인식하여 소실점을 도출하는 단계, 상기 소실점을 이용해 차선 후보군을 생성·투영하는 단계, 상기 칼라 영상을 이용해 차선을 인식하는 단계, 칼라 영상을 이용해 인식된 차선과 깊이 영상을 이용해 생성·투영된 차선 후보군의 유사도를 측정하는 단계 및 실제 차선을 확정하는 단계를 포함하는 개선된 차선 인식 방법을 제공한다.

Description

개선된 차선 인식 방법{IMPROVED METHOD OF LANE RECOGNITION}

본 발명은 차선을 인식하는 방법에 관한 것으로서, 보다 상세하게는 스테레오 카메라로부터 취득한 칼라 영상과 깊이 영상을 이용하여 중복된 차선에서 실제 차선을 검출하는 개선된 차선 인식 방법에 관한 것이다.

최근 차량의 안전운행을 위한 다양한 시스템들이 적용되거나 적용을 위한 개발이 진행되고 있는데, 그 중 운전자의 운전 부주의로 차량이 차선을 이탈하게 되었을 경우에 이를 운전자에게 경고하기 위한 차선 이탈 경보 장치가 활발히 적용·개발되고 있다.

여기서 상기 차선은 일반적으로 도로 중앙에 황색으로 표시되는 중앙선과, 상기 중앙선의 좌측과 우측에 동일 방향으로 진행하는 차량들의 공간을 구획하는 흰색 차선으로 구성된다.

차선 이탈 경보 시스템의 종류로는 인사이드 미러 근처에 위치한 카메라를 이용한 방식, 트렁크에 위치한 후방 카메라를 이용한 방식 및 차량 하부에 설치된 광센서를 이용한 차선검출 방식 등이 존재한다.

종래에는 위와 같이 다양한 위치에 장착된 카메라(또는 센서) 등을 이용한 영상 장치로 차선을 인식할 때, 차량 주행 시의 날씨, 조도, 노면 상태, 차선 상태 등의 요인에 의해 차선 인식의 성공률이 낮아지기도 하지만 특히 도로에 차선이 중복되어 표시된 경우에 차선 인식이 실패할 가능성이 높았다.

따라서, 이를 극복하기 위해 한 쪽의 차선을 기준 차선으로 놓고 반대 쪽 차선을 예측하여 가상 차선을 생성함으로써 차선 유지 또는 차선 인식 시스템이 구현되었으나, 이 기술은 기준 차선을 인식할 수 있다는 가정 하에서 개발된 기술로서, 만약 기준 차선조차 제대로 인식할 수 없는 환경에서는 여전히 차선 인식을 올바르게 할 수 없는 문제점이 잔존하였다.

그 예로, 도 1 및 도 2에 다양한 환경에서의 차선 인식 어려움을 나타낸 예시도가 도시된다.

도 1은 해외의 공사 현장을 나타낸 것으로, (a)를 보면 흰색의 차선과 황색의 차선이 도로 상에 나타나 있으며, 특히 황색은 두 갈래로 갈라져 정확한 차선을 구분하기가 어렵다. 따라서 (b)에서와 같이 차량이 주행할 시 ①, ②, ③의 차선 중 차선 인식 시스템이 어느 차선을 인식할 지가 명확하지 않게 되어 시스템의 정확도가 낮아지는 결과를 초래한다.

그리고 도 2는 국내의 도로 공사 현장 및 도로 정비 후의 도로 상태를 나타내고 있으며, 앞서 언급한 도 1과 마찬가지로 도로 위 중복된 선분들로 인해 차선을 정확하게 인식하기 어려운 상태를 보여준다.

이에 따라 본 발명에서는 기존의 차선 인식 방식과 달리 스테레오 카메라를 이용해 취득한 칼라 영상과 깊이 영상을 차선 인식에 이용함으로써 차선 인식의 신뢰도를 향상시킨 개선된 차선 인식 방법을 제공한다.

본 발명은 전술한 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 스테레오 카메라를 이용해 차선 인식 성공률을 향상시키는 개선된 차선 인식 방법을 제공하는데 그 목적이 있다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 종래기술의 문제점을 해결하기 위한 본 발명에 의하면, 스테레오 카메라로부터 칼라 영상과 깊이 영상을 획득하는 단계, 상기 깊이 영상을 이용해 수평 위치과 수직 위치를 인식하여 소실점을 도출하는 단계, 상기 소실점을 이용해 차선 후보군을 생성·투영하는 단계, 상기 칼라 영상을 이용해 차선을 인식하는 단계, 칼라 영상을 이용해 인식된 차선과 깊이 영상을 이용해 생성·투영된 차선 후보군의 유사도를 측정하는 단계 및 실제 차선을 확정하는 단계를 포함하는 개선된 차선 인식 방법을 제공한다.

본 발명은 유사도 측정 단계 후 중복 차선을 제거하는 단계를 더 포함하는 것이 바람직하다.

본 발명에서 소실점을 도출하기 위한 상기 수평 위치는, 수직 디스패러티 맵(v-disparity map)으로부터 로드 프로파일(Road Profile)을 검출하여 수직축(v-축)과 교차점을 수평선으로 결정함으로써 인식된다.

본 발명에서 소실점을 도출하기 위한 상기 수직 위치는, 깊이 영상의 깊이 정보를 이용하여 연속된 수직 물체를 검출한 후 탑 뷰(Top View)로 변환하여 해당 선분 영상으로 매핑함으로써 인식된다.

본 발명에서 상기 차선 후보군은 연속된 수직 물체로부터 생성한 가이드 레인(Guide Lane)과 평행한 선분을 생성하고, 상기 선분을 깊이 영상의 좌표로 매핑시킴으로써 생성된다.

본 발명에서 평행한 상기 선분은 10개 내지 40개 사이의 수로 설정될 수 있다.

본 발명에서 유사도 측정 단계는, 유클리디안 거리(Euclidean Distance), 프로크루스테스 분석(Procrustes Analysis) 또는 곡률 반경 유사도를 포함하는 유사도 측정 방법을 이용할 수 있다.

본 발명에서 중복 차선 제거 단계는, 칼라 영상의 차선과 깊이 영상의 차선 후보군을 비교하여 미리 설정된 임계 값 이하의 유사도를 가지는 직선 성분을 제거함으로써 수행되는 것이 바람직하다.

본 발명은 차선 인식에 스테레오 카메라를 이용하여 획득되는 칼라 영상과 깊이 영상을 이용함으로써 차선 인식이 어려운 환경에서도 차선 인식률을 향상시킬 수 있는 개선된 차선 인식 방법을 제공하는 효과가 있다.

특히 본 발명은 도로 상에 차선이 중복되어 표시되어 있을 때 도로 위에 표시된 직선 또는 곡선의 선분과 차선 후보군 간의 유사도 측정을 통해 중복 차선을 제거함으로써 실제 차선을 정확하게 인식할 수 있는 효과가 있다.

도 1 및 도 2는 다양한 환경에서의 차선 인식 어려움을 나타낸 예시도.
도 3은 본 발명의 일실시예에 따른 개선된 차선 인식 방법의 순서도.
도 4는 본 발명의 일실시예에 따른 깊이 영상을 이용한 수평 위치 인식을 나타낸 예시도.
도 5는 본 발명의 일실시예에 따른 깊이 영상을 이용한 수직 위치 인식을 나타낸 예시도.
도 6은 본 발명의 일실시예에 따른 깊이 영상을 이용한 차선 후보군 생성을 나타낸 예시도.
도 7은 본 발명의 일실시예에 따른 칼라 영상을 이용한 차선 인식을 나타낸 예시도.
도 8은 본 발명의 일실시예에 따른 차선 유사도 측정 및 실제 차선 확정을 나타낸 예시도.

본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되므로 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면 복수의 형태를 포함할 수 있다.

스테레오 카메라로부터 획득한 칼라 영상과 깊이 영상을 이용하여 중복된 차선을 제거함으로써 실제 차선을 정확히 인식하도록 하기 위한 본 발명은, 스테레오 카메라로부터 칼라 영상과 깊이 영상을 획득하는 단계, 상기 깊이 영상을 이용해 수평 위치과 수직 위치를 인식하여 소실점을 도출하는 단계, 상기 소실점을 이용해 차선 후보군을 생성·투영하는 단계, 상기 칼라 영상을 이용해 차선을 인식하는 단계, 칼라 영상을 이용해 인식된 차선과 깊이 영상을 이용해 생성·투영된 차선 후보군의 유사도를 측정하는 단계 및 실제 차선을 확정하는 단계를 포함하는 개선된 차선 인식 방법을 제공한다.

본 발명의 일실시예에 따른 개선된 차선 인식 방법의 순서도가 도 3에 도시되며, 각 단계들에 대한 설명은 다음과 같다.

먼저 본 발명은 기존의 차선 인식 시스템 또는 방법들과 달리 스테레오 카메라를 이용하며, 이를 통해 칼라 영상과 깊이 영상을 획득한다(S10).

상기 스테레오 카메라는 스테레오 영상을 획득하기 위한 것으로, 동시에 2장의 화상을 얻을 수 있는 특수카메라이다. 이는 2개의 촬영용 렌즈를 일정 간격 떨어지게 배치한 상태로 같은 물체를 촬영하는 방법을 사용하는 것으로, 이렇게 얻은 화상을 입체적으로 이용할 수 있다.

두 렌즈는 초점조절, 노출조절 및 셔터의 작동이 연동되도록 설계되는 것이 일반적이며, 상기 스테레오 카메라로 촬영한 사진이나 영상을 스테레오 뷰어로 보면 두 렌즈의 시점 차로 인한 시차로 인해 입체적으로 피사체의 상이 보이게 되는 원리를 이용한다.

결과적으로, 본 발명은 스테레오 카메라를 이용해 도로의 입체적인 칼라 영상과 깊이 영상을 획득하게 된다.

이후 상기 깊이 영상을 이용해 수평 위치와 수직위치를 인식하여 소실점을 도출한다(S20).

상기 수평 위치는 수직 디스패러티 맵(v-disparity map)으로부터 로드 프로파일(Road Profile)을 검출하여 수직축(v-축)과 교차점을 수평선으로 결정함으로써 인식되며, 이에 대한 내용이 도 4에 도시된다.

도 4의 (a)는 깊이 영상의 디스패러티 이미지이고, 이를 이용한 (b)의 수직 디스패러티 맵을 통해 로드 프로파일을 검출하며, (c)에 점선으로 나타난 수직축과의 교차점을 수평선으로 결정하는 방식을 이용한다.

그리고 상기 수직 위치는 깊이 영상의 깊이 정보를 이용하여 연속된 수직 물체를 검출한 후 탑 뷰(Top View)로 변환하여 해당 선분 영상으로 매핑함으로써 인식되며, 이에 대한 내용이 도 5에 도시된다.

도 5의 (a)는 깊이 영상에서 연속된 수직 물체를 검출하는 것을 나타내고, 이를 탑 뷰로 변환한 것이 (b)에 해당하며, (c)를 보면 알 수 있듯이 대응하는 선분의 영상으로 매핑하여 깊이 영상의 수직 물체 가이드 레인을 생성한다.

결국 상기 수평선과 가이드 레인이 연장하여(또는 연장하지 않고) 만나는 소실점을 도출하게 된다.

그리고 본 발명은 상기 소실점을 이용해 차선 후보군을 생성·투영한다(S30).

이에 대한 내용으로 도 6에 본 발명의 일실시예에 따른 깊이 영상을 이용한 차선 후보군 생성을 나타낸 예시도가 도시된다.

상기 차선 후보군은 상기 가이드 레인과 평행한 선분을 생성하고, 생성한 상기 선분을 깊이 영상의 좌표로 매핑시킴으로써 생성되는데, 상기 선분은 10개 내지 40개 사이의 수로 설정될 수 있으나, 너무 많거나 적으면 유사도 측정에 있어서 정확도에 문제가 있을 수 있으므로, 바람직하게는 20개 내지 35개 사이의 수로 설정되는 것이 바람직하다.

도 6의 (a)는 상기 가이드 레인과 평행한 선분을 다수 생성하는 것을 나타내고, (b)는 상기 선분을 깊이 영상에 대응하는 좌표로 매핑시키는 것을 나타내며, (c)는 직선뿐만 아니라 곡선 구간에 해당하는 경우에도 평행한 선분을 생성할 수 있음을 나타낸다.

깊이 영상을 이용해 차선 후보군을 만드는 동안, 칼라 영상은 예를 들어 Hough Transform과 같은 통상적인 차선 검출 로직을 이용해 도로 위 차선을 인식한다(S40).

그리고 칼라 영상을 통해 검출한 상기 차선과 깊이 영상을 통해 생성한 상기 차선 후보군의 유사도를 측정하게 되는데(S50), 유사도 측정은 유클리디안 거리(Euclidean Distance), 프로크루스테스 분석(Procrustes Analysis) 또는 곡률 반경 유사도를 포함하는 유사도 측정 방법을 이용할 수 있다.

유사도 측정 단계에서 칼라 영상의 차선과 깊이 영상의 차선 후보군을 비교하여 미리 설정된 임계 값 이하의 유사도를 가지는 직선(또는 곡선) 성분을 제거하는 단계(S60)를 거친 후, 최종적으로 실제 차선을 확정한다(S70).

결과적으로 본 발명은 차선 인식에 스테레오 카메라를 이용하여 획득되는 칼라 영상과 깊이 영상을 이용함으로써 차선 인식이 어려운 환경에서도 차선 인식률을 향상시킬 수 있는 장점이 있다.

무엇보다도 본 발명은 도로 상에 차선이 중복되어 표시되어 있을 때 도로 위 표시된 선분과 차선 후보군 간의 유사도 측정을 통해 중복 차선을 제거함으로써 실제 차선을 정확하게 인식할 수 있는 장점이 있다.

이상 본 발명의 구체적 실시형태와 관련하여 본 발명을 설명하였으나, 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 범위를 벗어나지 않고 설명된 실시형태를 변경 또는 변형할 수 있으며, 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능하다.

Claims (6)

1. 스테레오 카메라로부터 칼라 영상과 깊이 영상을 획득하는 단계;
   상기 깊이 영상을 이용해 수평 위치과 수직 위치를 인식하여 소실점을 도출하는 단계;
   상기 소실점을 이용해 차선 후보군을 생성·투영하는 단계;
   상기 칼라 영상을 이용해 차선을 인식하는 단계;
   칼라 영상을 이용해 인식된 차선과 깊이 영상을 이용해 생성·투영된 차선 후보군의 유사도를 측정하는 단계; 및
   실제 차선을 확정하는 단계; 를 포함하는 개선된 차선 인식 방법.
   
2. 제 1항에 있어서 유사도 측정 단계 후,
   중복 차선을 제거하는 단계를 더 포함하는 것을 특징으로 하는 개선된 차선 인식 방법.
   
3. 제 1항에 있어서,
   소실점을 도출하기 위한 상기 수평 위치는, 수직 디스패러티 맵(v-disparity map)으로부터 로드 프로파일(Road Profile)을 검출하여 수직축(v-축)과 교차점을 수평선으로 결정함으로써 인식되는 것을 특징으로 하는 개선된 차선 인식 방법.
   
4. 제 1항에 있어서,
   소실점을 도출하기 위한 상기 수직 위치는, 깊이 영상의 깊이 정보를 이용하여 연속된 수직 물체를 검출한 후 탑 뷰(Top View)로 변환하여 해당 선분 영상으로 매핑함으로써 인식되는 것을 특징으로 하는 개선된 차선 인식 방법.
   
5. 제 1항에 있어서,
   상기 차선 후보군은 연속된 수직 물체로부터 생성한 가이드 레인(Guide Lane)과 평행한 선분을 생성하고, 상기 선분을 깊이 영상의 좌표로 매핑시킴으로써 생성되는 것을 특징으로 하는 개선된 차선 인식 방법.
   
6. 제 2항에 있어서 중복 차선 제거 단계는,
   칼라 영상의 차선과 깊이 영상의 차선 후보군을 비교하여 미리 설정된 임계 값 이하의 유사도를 가지는 직선 성분을 제거함으로써 수행되는 것을 특징으로 하는 개선된 차선 인식 방법.

Images