KR20230050150A - 조감도 영상 기반 안전지대 차선 인식 방법 및 시스템 - Google Patents

Abstract

조감도 영상 기반의 안전지대 차선 인식 방법이 제공된다. 상기 방법은 차량의 SVM 카메라를 통해 촬영된 조감도 영상을 획득하는 단계; 상기 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출하는 단계; 상기 안전지대 차선으로 검출된 객체에 대한 경계점을 구성하는 단계; 및 상기 경계점에 대한 다항 회귀 분석을 수행하여 상기 안전지대 차선에 상응하는 경계선을 추출하는 단계를 포함한다.

Description

조감도 영상 기반 안전지대 차선 인식 방법 및 시스템{METHOD AND SYSTEM FOR RECOGNIZING LANES IN A SAFETY ZONE BASED ON BIRDEYE VIEW IMAGE}

본 발명은 조감도 영상 기반 안전지대 차선 인식 방법 및 시스템에 관한 것이다.

도 1은 SVM 카메라에 의해 촬영된 조감도 노면 영상을 도시한 도면이다.

일반적인 차량용 SVM 카메라는 도 1과 같이 영상을 조감도(birdeye view)로 변환한 후 경계선을 추출하여 노면과 두드러진 차이를 보이는 차선을 검출한다. 하지만 노면의 노화나 조명 조건으로 인해 희미해진 차선은 경계선이 검출되지 않는 문제가 있으며, 차선을 새로 만들 때 기존 차선이 제거되지 않은 경우나 문자 안내 등에 의해 차선 인식 성능이 낮아지는 문제가 있다. 최근에는 이처럼 복잡한 조건에서도 안정적으로 동작할 수 있도록 의미 분할 네트워크(semantic segmentation)를 사용하여 차선 인식을 수행한다.

도 2는 의미 분할 네트워크를 이용하여 차선 분류를 수행하는 내용을 설명하기 위한 도면이다.

차량용 SVM 카메라의 의미 분할 네트워크 출력은 차선 영역의 화소가 차선으로 분류되어 출력된다. 따라서, 화소의 영상 상의 좌표를 다항 회귀 분석(polynomial regression)을 사용하면 오인식, 미인식 화소가 존재하더라도, 도 2의 (a)와 같이 차선 중심을 지나는 추세선을 얻을 수 있다. 그리고 ADAS(Advanced Driver Assistance Systems) 시스템에서는 차선의 외곽 정보를 사용하여 경보하거나 제어에 사용하므로, 차선의 폭(법정 넓이 또는 실측 넓이)를 사용하여 추세선을 기준으로 양 방향 평행 이동하면 차선 외곽선을 획득할 수 있다.

하지만, 도 2의 (b)와 같이 안전지대(Safety zone)를 나타내는 차선(이하, 안전지대 차선)의 경우에는 모양이 각기 다르므로 네트워크 출력 좌표의 다항 회귀 분석을 통해 구해진 추세선을 사용할 경우 외곽선 추정이 어렵다는 문제가 있다.

등록특허공보 제10-1951683호 (2019.02.19)

본 발명이 해결하고자 하는 과제는 SVM 카메라를 이용하여 차선을 인식하기 위한 것으로, 특히 의미 분할 네트워크 및 다항 회귀 분석을 이용하여 일반 차선과 안전지대 차선을 구분하여 인식하는, 조감도 영상 기반 안전지대 차선 인식 방법 및 시스템을 제공한다.

다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또 다른 과제들이 존재할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 조감도 영상 기반의 안전지대 차선 인식 방법은 차량의 SVM 카메라를 통해 촬영된 조감도 영상을 획득하는 단계; 상기 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출하는 단계; 상기 안전지대 차선으로 검출된 객체에 대한 경계점을 구성하는 단계; 및 상기 경계점에 대한 다항 회귀 분석을 수행하여 상기 안전지대 차선에 상응하는 경계선을 추출하는 단계를 포함한다.

본 발명의 일부 실시예에서, 상기 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출하는 단계는, 상기 의미 분할 네트워크를 기반으로 차선 영역을 추출하는 단계; 상기 차선 영역의 연속된 화소를 동일 차선으로 분류하여 저장하는 단계; 및 상기 차선으로 분류된 화소의 영상 좌표를 다항 회귀 분석을 통해 일반 차선 또는 안전지대 차선으로 검출하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출하는 단계는, 상기 추출된 차선 영역 중 기 설정된 임계값 이하의 화소 수를 갖는 일반 차선을 잡음으로 간주하여 제거하는 단계를 더 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 차선으로 분류된 화소의 영상 좌표를 다항 회귀 분석을 통해 일반 차선 또는 안전지대 차선으로 검출하는 단계는, 상기 차선으로 분류된 화소의 영상 좌표를 1차 다항식으로 모사하여 제1 화소 위치값을 산출하는 단계; 및 상기 1차 화소 위치값에 상응하는 MSE(Mean Square Error) 값이 상기 1차 다항식의 미리 설정된 임계값 미만인 경우, 상기 제1 화소 위치 추정값을 상기 일반 차선으로 추정하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 차선으로 분류된 화소의 영상 좌표를 다항 회귀 분석을 통해 일반 차선 또는 안전지대 차선으로 검출하는 단계는, 상기 MSE 값이 상기 1차 다항식의 미리 설정된 임계값 이상일 경우, 상기 차선으로 분류된 화소의 영상 좌표를 2차 다항식으로 모사하여 제2 화소 위치값을 산출하는 단계; 및 상기 2차 화소 위치값에 상응하는 MSE(Mean Square Error) 값이 상기 2차 다항식의 미리 설정된 임계값 미만인 경우, 상기 제2 화소 위치 추정값을 상기 일반 차선으로 추정하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 차선으로 분류된 화소의 영상 좌표를 다항 회귀 분석을 통해 일반 차선 또는 안전지대 차선으로 검출하는 단계는, 상기 MSE 값이 상기 2차 다항식의 미리 설정된 임계값 이상일 경우, 상기 차선으로 분류된 화소의 영상 좌표를 3차 다항식으로 모사하여 제3 화소 위치값을 산출하는 단계; 및 상기 3차 화소 위치값에 상응하는 MSE(Mean Square Error) 값이 상기 3차 다항식의 미리 설정된 임계값 미만인 경우, 상기 제3 화소 위치 추정값을 상기 일반 차선으로 추정하고, 상기 미리 설정된 임계값 이상인 경우, 상기 안전 지대로 추정하는 단계를 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 안전지대 차선으로 검출된 객체에 대한 경계점을 구성하는 단계는, 상기 안전지대 차선으로 검출된 객체에 대하여 상응하는 소정의 행 간격별 최소 열 위치 및 최대 열 위치를 산출하여 상기 경계점으로 구성할 수 있다.

본 발명의 일부 실시예에서, 상기 안전지대 차선으로 검출된 객체에 대한 경계점을 구성하는 단계는, 상기 소정의 행 간격별로, 각 행의 위치 및 각 행의 위치에 대응하는 최소 열 위치를 상기 안전지대 차선의 제1 방향의 외곽 경계점으로 구성하고, 각 행의 위치 및 각 행의 위치에 대응하는 최대 열 위치를 상기 안전지대 차선의 상기 제2 방향의 외곽 경계점으로 구성할 수 있다.

본 발명의 일부 실시예는, 상기 구성된 각 경계점을 중심으로 소정의 영역을 갖는 사각 패치에 대한 상기 의미 분할 네트워크에서의 신뢰도를 산출하는 단계; 및 상기 사각 패치별 신뢰도 중 기 설정된 신뢰도 임계값 미만인 사각 패치에 대한 경계점을 제거하는 단계를 더 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 SVM 카메라는 어안렌즈를 포함하여 구성될 수 있다.

또한, 본 발명의 제2 측면에 따른 조감도 영상 기반의 안전지대 차선 인식 시스템은 차량 주변의 조감도 영상을 촬영하는 SVM 카메라, 상기 SVM 카메라에 의해 촬영된 영상을 수신하는 통신모듈, 상기 촬영된 영상을 의미 분할 네트워크에 기초하여 안전지대 차선을 검출하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출하고, 상기 안전지대 차선으로 검출된 객체에 대한 경계점을 구성한 후, 상기 경계점에 대한 다항 회귀 분석을 수행하여 상기 안전지대 차선에 상응하는 경계선을 추출한다.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 조감도 영상 기반 안전지대 차선 인식 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

전술한 본 발명의 일 실시예에 따르면, 차선 인식률이 낮아지는 안전지대 차선에 대해서도 안정적으로 차선 방정식을 획득할 수 있는바, 차선 인식 성능 및 작동 영역을 증가시켜 운전자 편의 및 보조 시스템, 자율주행 시스템 등의 성능을 향상시킬 수 있다. 또한, 차선 추출 과정에서 높은 신뢰도를 갖는 표본만을 사용함으로써 의미 분할 네트워크의 이상 동작 시에도 성능 저하를 최소화할 수 있는 장점이 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 SVM 카메라에 의해 촬영된 조감도 노면 영상을 도시한 도면이다.
도 2는 의미 분할 네트워크를 이용하여 차선 분류를 수행하는 내용을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 조감도 영상 기반 안전지대 차선 인식 방법의 순서도이다.
도 4는 본 발명의 일 실시예에서의 일반 차선 및 안전지대 차선 검출 단계를 설명하기 위한 순서도이다.
도 5는 일반 차선 및 안전지대 차선을 대상으로 다항 회귀 분석시 산출되는 MSE 값을 나타낸 도면이다.
도 6은 의미 분할 네트워크에서의 오인식이 있는 경우를 설명하기 위한 도면이다.
도 7은 안전지대 차선의 외곽 경계점을 검출하는 내용을 설명하기 위한 순서도이다.
도 8은 외곽 경계점 추정 간격 및 추출된 경계선의 일 예시를 도시한 도면이다.
도 9는 신뢰도 기반의 오인식 경계점을 제거하기 위한 내용을 설명하는 순서도이다.
도 10은 신뢰도 기반의 오인식 경계점 제거 내용을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 조감도 영상 기반의 안전지대 차선 인식 시스템을 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 발명은 조감도 영상 기반의 안전지대 차선 인식 방법 및 시스템(100)에 관한 것이다.

자율주행 시스템의 주행 환경 인식 성능을 향상시키기 위한 일 방안으로 SVM 카메라를 사용하여 차선 인식을 수행할 수 있다. 이때, SVM 카메라는 어안 렌즈를 사용하는 것을 특징으로 하며, 어안 렌즈를 사용하여 차량 주변의 조감도 영상을 생성한다. 따라서, 다른 차량에 의해 차선이 가려질 수 있는 전방 카메라와는 달리, 안정적으로 차선을 검출할 수 있다.

차선은 도로에 차량이 다니는 길을 명시적으로 표시한 것으로 운전자가 쉽게 인식할 수 있도록 노면과 뚜렷하게 다른 색을 사용하여 표시하므로 영상의 경계선을 구하여 차선 인식을 수행할 수 있다. 하지만, 노면의 노화나 조명 조건 등에 의해 희미해진 차선은 경계선 검출이 어려우며 과거의 차선 흔적 등에 의한 오인식이 발생할 수 있다.

최근에는 의미 분할 딥러닝 네트워크를 사용하여 영상의 각 화소가 차선인지 분류하고, 차선 화소의 위치를 다항 회귀 분석을 통해 차선 객체로 추출함으로써 복잡한 주행환경에서도 차선을 안정적으로 검출할 수 있다. 일반적인 차선은 차량이 진행하는 영역을 구분한 것으로 안정적인 주행을 위해 단순한 모양으로 구성되므로 안정적으로 차선을 검출할 수 있다.

이와 달리, 안전지대 차선과 같은 특별한 영역은 운전자에게 공간의 목적을 명확히 알리기 위해 복잡한 구조를 갖기 때문에 다항 회귀 분석을 통해 얻어진 추세선으로부터 차선 외곽선 추정이 어렵다는 문제가 있다.

이러한 문제를 해소하기 위해, 본 발명의 일 실시예는 추세선과 의미 분할 네트워크 출력 위치의 차이값을 기준으로 일반 차선과 안전지대 차선을 구분한다. 그리고 안전지대 차선으로 구분된 경우, 행을 소정의 간격으로 나누어 해당 객체의 열 위치에서의 최대값 및 최소값을 안전지대 차선의 외곽선 추정 위치로 선정한다. 그 다음, 오인식 화소의 영향을 최소화하기 위하여 외곽선 추정 위치 중 신뢰도가 높은 표본만을 이용하여 다항 회귀 분석을 통해 안전지대 차선에 대한 방정식을 획득할 수 있다.

이러한 본 발명의 일 실시예에 따르면, 차선 인식률이 낮아지는 안전지대 차선에 대해서도 차선 방정식을 획득할 수 있는바, LDWS(Lane departure warning system) 및 LKAS(Lane Keeping Assist System) 시스템의 작동 영역을 증가시켜 차량 편의성 및 안정성을 보다 향상시킬 수 있다.

이하에서는 도 3 내지 도 10을 참조하여 본 발명의 일 실시예에 따른 조감도 영상 기반의 안전지대 차선 인식 방법에 대해 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 조감도 영상 기반 안전지대 차선 인식 방법의 순서도이다.

한편, 도 3에 도시된 각 단계들은 후술하는 조감도 영상 기반 안전지대 차선 인식 시스템(100)에 의해 수행되는 것으로 이해될 수 있으나, 반드시 이에 한정되는 것은 아니다.

본 발명의 일 실시예에 따른 조감도 영상 기반 안전지대 차선 인식 방법은 차량의 SVM 카메라를 통해 촬영된 조감도 영상을 획득하는 단계(S110)와, 상기 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출하는 단계(S120)와, 상기 안전지대 차선으로 검출된 객체에 대한 경계점을 구성하는 단계(S130) 및 상기 경계점에 대한 다항 회귀 분석을 수행하여 상기 안전지대 차선에 상응하는 경계선을 추출하는 단계(S140)를 포함하여 구성된다.

먼저, 본 발명의 일 실시예는 차량의 SVM 카메라(110)를 통해 촬영된 조감도 영상을 획득한다(S110). 그리고 획득한 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출한다(S120).

도 4는 본 발명의 일 실시예에서의 일반 차선 및 안전지대 차선 검출 단계를 설명하기 위한 순서도이다. 도 5는 일반 차선 및 안전지대 차선을 대상으로 다항 회귀 분석시 산출되는 MSE 값을 나타낸 도면이다. 도 6은 의미 분할 네트워크에서의 오인식이 있는 경우를 설명하기 위한 도면이다.

본 발명의 일 실시예는 영상을 의미 분할 네트워크를 이용하여 일반 차선과 안전지대 차선을 검출한다. 구체적으로, 의미 분할 네트워크를 기반으로 영상으로부터 차선 영역을 추출한다(S201). 그리고 차선 영역의 연속된 화소를 동일 차선으로 분류하여 저장한다(S203).

이때, 본 발명의 일 실시예는 추출된 차선 영역 중 기 설정된 임계값 이하의 화소 수를 갖는 차선을 잡음으로 간주하여 제거할 수 있다(S205). 즉, 의미 분할 딥러닝 네트워크 출력에서 특정 부분은 차선으로 분류되었지만, 실제로는 잡음에 의하여 타 영역이 차선으로 분류되는 경우가 발생할 수 있다. 이를 위해, 본 발명의 일 실시예는 특정 영역의 화소수가 개발 과정에서 미리 결정되는 상수인 임계값 이하의 화소수를 갖는 경우 잡음으로 판단하여 제거할 수 있다.

그 다음, 본 발명의 일 실시예는 차선으로 분류된 화소의 영상 좌표를 다항 회귀 분석을 통해 일반 차선 또는 안전지대 차선으로 검출한다(S207~S221).

의미 분할 네트워크를 이용하여 차선을 분류한 후 차선의 다항식을 회귀 분석으로 구할 경우, 도 5와 같이 일반 차선의 경우에는 회귀 분석 에러가 20 정도로 작지만, 안전지대 차선의 경우에는 900 이상으로 크다. 차선 검출 과정에서 과적합(over fitting)을 방지하기 위하여 순차적으로 1차부터 3차까지 다항 회귀 분석 모델링을 하는데, 3차 다항식으로도 MSE(Mean Square Error) 값이 큰 경우에는 해당 연속된 객체를 안전지대 차선으로 검출한다.

보다 구체적으로, 본 발명은 일반 차선으로 분류된 화소의 영상 좌표를 1차 다항식으로 모사하여 제1 화소 위치값을 산출한다(S207). 그리고 제1 화소 위치값에 상응하는 MSE 값이 1차 다상식의 미리 설정된 임계값 미만인 경우(S209-Y), 제1 화소 위치 추정값을 일반 차선으로 추정하게 된다(S219).

이와 달리, MSE 값이 1차 다상식의 미리 설정된 임계값 이상인 경우(S209-N), 일반 차선으로 분류된 화소의 영상 좌표를 2차 다항식으로 모사하여 제2 화소 위치값을 산출한다(S211). 그리고 제2 화소 위치값에 상응하는 MSE 값이 2차 다상식의 미리 설정된 임계값 미만인 경우(S213-Y), 제2 화소 위치 추정값을 일반 차선으로 추정하게 된다(S219).

또한, MSE 값이 2차 다상식의 미리 설정된 임계값 이상인 경우(S213-N), 일반 차선으로 분류된 화소의 영상 좌표를 3차 다항식으로 모사하여 제3 화소 위치값을 산출한다(S215). 그리고 제3 화소 위치값에 상응하는 MSE 값이 3차 다상식의 미리 설정된 임계값 미만인 경우(S217-Y), 제3 화소 위치 추정값을 일반 차선으로 추정하게 된다(S219). 이때, 제3 화소 위치값에 상응하는 MSE 값이 3차 다상식의 미리 설정된 임계값 이상인 경우에는(S217-N), 제3 화소 위치 추정값을 안전지대 차선으로 추정하게 된다(S221).

한편, 일반 차선의 경우 의미 분할 네트워크 출력에 오인식이 있어도 회귀 분석 과정에서 최소 에러를 갖는 다항식이 구해지므로, 평행이동을 통해 일반 차선의 외곽선을 획득할 수 있다. 하지만, 안전지대 차선 검출시 오인식이 발생하는 경우, 도 6과 같이 추세선이 안전지대 차선의 외곽선과 달라지므로 별도의 외곽 경계선을 획득하는 과정이 필요하다.

이를 위해 본 발명의 일 실시예는 안전지대 차선으로 검출된 객체에 대한 경계점을 구성하고(S130), 경계점에 대한 다항 회귀 분석을 수행하여 안전지대 차선에 상응하는 경계선을 추출할 수 있다(S140).

도 7은 안전지대 차선의 외곽 경계점을 검출하는 내용을 설명하기 위한 순서도이다. 도 8은 외곽 경계점 추정 간격 및 추출된 경계선의 일 예시를 도시한 도면이다.

안전지대 차선은 다수의 경계선으로 구성되어 있기 때문에 경계선을 사용하여 RANSAC(Random sample consensus) 등으로 추정하는 것은 정확하지 않다. 따라서, 본 발명의 일 실시예는 도 8과 같이 안전지대 차선으로 검출된 객체에 대하여 상응하는 소정의 행 간격(inc_r)별 최소 열 위치 및 최대 열 위치를 산출하여 경계점으로 구성할 수 있다.

즉, 소정의 행 간격별로, 각 행의 위치 및 각 행위 위치에 대응하는 최소 열 위치를 안전지대 차선의 제1 방향의 외곽 경계점으로 구성하고, 각 행위 위치 및 각 행의 위치에 대응하는 최대 열 위치를 안전지대 차선의 제2 방향의 외곽 경계점으로 구성한다. 이때, 도 8을 기준으로 제1 방향은 왼쪽 방향, 제2 방향은 오른쪽 방향에 해당한다.

구체적으로, 현재 행 정보(r)와 현재 열 정보(c)를 초기화(r=0, c=0)시킨 상태에서(S301), 현재 행 정보가 영상의 세로 길이 미만인지 여부를 확인한다(S303).

확인 결과 현재 행 정보가 영상의 세로 길이 미만인 경우(S303-Y), 현재 행 위치(r)에 대응하는 최소 열 위치(Min c)를 검출하여(S305), 행 위치 및 열 위치(r, c)를 안전지대 차선의 제1 방향(왼쪽) 외곽 경계점으로 구성한다(S307).

또한, 현재 행 위치(r)에 대응하는 최대 열 위치(Max c)를 검출하여(S309), 행 위치 및 열 위치(r, c)를 안전지대 차선의 제2 방향(오른쪽) 외곽 경계점으로 구성한다(S309).

이와 같은 과정은 전체 행을 대상으로 반복하여 수행된다(S313).

이후, 전체 행에 대한 제1 및 제2 방향의 외곽 경계점이 구성되면, 제1 및 제2 외곽 경계점들을 대상으로 다항 회귀 분석을 수행하여(S315), 복잡한 연산 없이 안전지대 차선에 대한 경계선을 추출한다(S317).

한편, 위 과정에 따라 안전지대 차선에 대한 경계선을 추출하더라도 의미 분할 네트워크에서 오인식이 발생하여 안전지대 차선의 외곽선 경계점이 추출되지 않은 경우, 잘못된 외곽 경계선을 추출할 수 있다. 이러한 문제를 해소하기 위해, 본 발명의 일 실시예는 외곽 경계점의 의미 분할 네트워크의 신뢰도를 이용하여 오인식 경계점을 제거한다.

도 9는 신뢰도 기반의 오인식 경계점을 제거하기 위한 내용을 설명하는 순서도이다. 도 10은 신뢰도 기반의 오인식 경계점 제거 내용을 설명하기 위한 도면이다.

의미 분할 네트워크는 가장 높은 확률을 갖는 분류로 특정 화소를 분류한다. 이러한 의미 분할 네트워크에 따라, 명확하게 차선으로 분류되는 경계점도 있지만, 도 10의 (a)와 같이 다른 분류일 가능성도 높은 경계점도 존재하게 된다.

이처럼 신뢰도가 낮은 경계점이 외곽선 추출에 사용될 경우 도 10의 (b)와 같이 왜곡이 발생하게 된다.

따라서, 본 발명의 일 실시예는 각 경계점을 중심으로 소정의 영역을 갖는 사각 패치에 대한 의미 분할 네트워크에서의 신뢰도를 산출하고(S401), 사각 패치별 신뢰도를 기 설정된 신뢰도 임계값과 비교한다(S403).

비교 결과 기 설정된 신뢰도 임계값 미만인 사각 패치에 대한 경계점은 제거하고(S405), 신뢰도 임계값 이상을 만족하는 사각 패치에 상응하는 경계점은 유지시킨다(S407).

이러한 과정을 통해 유지되는 경계점을 대상으로 다항 회귀 분석을 수행하면 도 10의 (c)와 같이 의미 분할 네트워크의 출력이 안정적이지 않은 경우에도 안전지대 차선에 대한 외곽선을 획득할 수 있다.

한편, 상술한 설명에서, 단계 S110 내지 S407는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 3 내지 도 10의 내용은 도 11의 내용에도 적용될 수 있다.

이하에서는 도 11을 참조하여 본 발명의 일 실시예에 따른 조감도 영상 기반의 안전지대 차선 인식 시스템(100)에 대해 설명하도록 한다.

도 11은 본 발명의 일 실시예에 따른 조감도 영상 기반의 안전지대 차선 인식 시스템(100)을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 조감도 영상 기반의 안전지대 차선 인식 시스템(100)은 SVM 카메라(110), 통신모듈(120), 메모리(130) 및 프로세서(140)를 포함한다.

SVM 카메라(110)는 차량 주변의 조감도 영상을 촬영하고, 통신모듈(120)은 SVM 카메라에 의해 촬영된 영상을 수신한다.

메모리(130)에는 촬영된 영상을 의미 분할 네트워크에 기초하여 안전지대 차선을 검출하기 위한 프로그램이 저장되며, 프로세서(140)는 메모리(130)에 저장된 프로그램을 실행시킨다.

프로세서(140)는 메모리(130)에 저장된 프로그램을 실행시킴에 따라, 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출하고, 안전지대 차선으로 검출된 객체에 대한 경계점을 구성한다. 그 다음 경계점에 대한 다항 회귀 분석을 수행하여 안전지대 차선에 상응하는 경계선을 추출한다.

이상에서 전술한 본 발명의 일 실시예에 따른 조감도 영상 기반의 안전지대 차선 인식 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 조감도 영상 기반의 안전지대 차선 인식 시스템
110: SVM 카메라
120: 통신모듈
130: 메모리
140: 프로세서

Claims (11)

1. 컴퓨터에 의해 수행되는 방법에 있어서,
   차량의 SVM 카메라를 통해 촬영된 조감도 영상을 획득하는 단계;
   상기 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출하는 단계;
   상기 안전지대 차선으로 검출된 객체에 대한 경계점을 구성하는 단계; 및
   상기 경계점에 대한 다항 회귀 분석을 수행하여 상기 안전지대 차선에 상응하는 경계선을 추출하는 단계를 포함하는,
   조감도 영상 기반의 안전지대 차선 인식 방법.
   
2. 제1항에 있어서,
   상기 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출하는 단계는,
   상기 의미 분할 네트워크를 기반으로 차선 영역을 추출하는 단계;
   상기 차선 영역의 연속된 화소를 동일 차선으로 분류하여 저장하는 단계; 및
   상기 차선으로 분류된 화소의 영상 좌표를 다항 회귀 분석을 통해 일반 차선 또는 안전지대 차선으로 검출하는 단계를 포함하는,
   조감도 영상 기반의 안전지대 차선 인식 방법.
   
3. 제2항에 있어서,
   상기 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출하는 단계는,
   상기 추출된 차선 영역 중 기 설정된 임계값 이하의 화소 수를 갖는 일반 차선을 잡음으로 간주하여 제거하는 단계를 더 포함하는,
   조감도 영상 기반의 안전지대 차선 인식 방법.
   
4. 제2항에 있어서,
   상기 차선으로 분류된 화소의 영상 좌표를 다항 회귀 분석을 통해 일반 차선 또는 안전지대 차선으로 검출하는 단계는,
   상기 차선으로 분류된 화소의 영상 좌표를 1차 다항식으로 모사하여 제1 화소 위치값을 산출하는 단계; 및
   상기 1차 화소 위치값에 상응하는 MSE(Mean Square Error) 값이 상기 1차 다항식의 미리 설정된 임계값 미만인 경우, 상기 제1 화소 위치 추정값을 상기 일반 차선으로 추정하는 단계를 포함하는,
   조감도 영상 기반의 안전지대 차선 인식 방법.
   
5. 제4항에 있어서,
   상기 차선으로 분류된 화소의 영상 좌표를 다항 회귀 분석을 통해 일반 차선 또는 안전지대 차선으로 검출하는 단계는,
   상기 MSE 값이 상기 1차 다항식의 미리 설정된 임계값 이상일 경우,
   상기 차선으로 분류된 화소의 영상 좌표를 2차 다항식으로 모사하여 제2 화소 위치값을 산출하는 단계; 및
   상기 2차 화소 위치값에 상응하는 MSE(Mean Square Error) 값이 상기 2차 다항식의 미리 설정된 임계값 미만인 경우, 상기 제2 화소 위치 추정값을 상기 일반 차선으로 추정하는 단계를 포함하는,
   조감도 영상 기반의 안전지대 차선 인식 방법.
   
6. 제5항에 있어서,
   상기 차선으로 분류된 화소의 영상 좌표를 다항 회귀 분석을 통해 일반 차선 또는 안전지대 차선으로 검출하는 단계는,
   상기 MSE 값이 상기 2차 다항식의 미리 설정된 임계값 이상일 경우,
   상기 차선으로 분류된 화소의 영상 좌표를 3차 다항식으로 모사하여 제3 화소 위치값을 산출하는 단계; 및
   상기 3차 화소 위치값에 상응하는 MSE(Mean Square Error) 값이 상기 3차 다항식의 미리 설정된 임계값 미만인 경우, 상기 제3 화소 위치 추정값을 상기 일반 차선으로 추정하고, 상기 미리 설정된 임계값 이상인 경우, 상기 안전 지대로 추정하는 단계를 포함하는,
   조감도 영상 기반의 안전지대 차선 인식 방법.
   
7. 제1항에 있어서,
   상기 안전지대 차선으로 검출된 객체에 대한 경계점을 구성하는 단계는,
   상기 안전지대 차선으로 검출된 객체에 대하여 상응하는 소정의 행 간격별 최소 열 위치 및 최대 열 위치를 산출하여 상기 경계점으로 구성하는 것인,
   조감도 영상 기반의 안전지대 차선 인식 방법.
   
8. 제7항에 있어서,
   상기 안전지대 차선으로 검출된 객체에 대한 경계점을 구성하는 단계는,
   상기 소정의 행 간격별로, 각 행의 위치 및 각 행의 위치에 대응하는 최소 열 위치를 상기 안전지대 차선의 제1 방향의 외곽 경계점으로 구성하고, 각 행의 위치 및 각 행의 위치에 대응하는 최대 열 위치를 상기 안전지대 차선의 상기 제2 방향의 외곽 경계점으로 구성하는 것인,
   조감도 영상 기반의 안전지대 차선 인식 방법.
   
9. 제1항에 있어서,
   상기 구성된 각 경계점을 중심으로 소정의 영역을 갖는 사각 패치에 대한 상기 의미 분할 네트워크에서의 신뢰도를 산출하는 단계; 및
   상기 사각 패치별 신뢰도 중 기 설정된 신뢰도 임계값 미만인 사각 패치에 대한 경계점을 제거하는 단계를 더 포함하는,
   조감도 영상 기반의 안전지대 차선 인식 방법.
   
10. 제1항에 있어서,
    상기 SVM 카메라는 어안렌즈를 포함하여 구성되는 것을 특징으로 하는,
    조감도 영상 기반의 안전지대 차선 인식 방법.
    
11. 조감도 영상 기반의 안전지대 차선 인식 시스템에 있어서,
    차량 주변의 조감도 영상을 촬영하는 SVM 카메라,
    상기 SVM 카메라에 의해 촬영된 영상을 수신하는 통신모듈,
    상기 촬영된 영상을 의미 분할 네트워크에 기초하여 안전지대 차선을 검출하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하고,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 영상을 의미 분할 네트워크에 입력하여 출력 결과로 일반 차선 또는 안전지대 차선을 검출하고, 상기 안전지대 차선으로 검출된 객체에 대한 경계점을 구성한 후, 상기 경계점에 대한 다항 회귀 분석을 수행하여 상기 안전지대 차선에 상응하는 경계선을 추출하는 것인,
    조감도 영상 기반의 안전지대 차선 인식 시스템.

Images