KR20140004410A

KR20140004410A - 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치

Info

Publication number: KR20140004410A
Application number: KR1020120071924A
Authority: KR
Inventors: 이혁
Original assignee: 현대모비스 주식회사
Priority date: 2012-07-02
Filing date: 2012-07-02
Publication date: 2014-01-13
Also published as: CN103523021B; CN103523021A; KR101912085B1

Abstract

본 발명은 영상 장치로부터 획득된 영상에 기초한 차선 검출의 신뢰도 계산방법에 있어서, a)상기 영상의 프레임에서 에지를 검출하는 단계; b)검출된 상기 에지로 차선을 인식하는 단계; c)인식된 상기 차선의 특징점을 산출하는 단계; d)상기 프레임이 상기 영상의 최초 프레임이 아닌 경우, 상기 영상의 현재 프레임의 특징점과 저장된 적어도 하나의 이전 프레임의 특징점의 차이를 계산하여 움직임 벡터를 생성하는 단계;및 e)상기 현재 프레임의 에지 중 차선을 나타내는 에지의 에지강도와 상기 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산하는 단계를하는 차선 검출의 신뢰도 계산방법을 제공하여, 차선 검출의 신뢰도를 보다 정확하게 계산할 수 있는 유리한 효과를 제공한다.

Description

차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치{Reliability calaulation method of lane detection and Apparatus for calcaulating for performing thereof}

본 발명은 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치에 관한 것으로, 영상의 현재 프레임을 기준으로 이전 프레임들의 차선의 변화를 반영한 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치에 관한 것이다.

지능형 차량의 제어 시스템에 있어서, 차선유지보조시스템(Lane Keeping Assist System, 이하, LKAS라 한다.) 또는 차선이탈경보시스템(Lane Departure Warning System, 이하, LDWS라 한다)은 운전자의 안전을 위해 필수적인 시스템이다. 이러한 시스템은 차선 검출을 기반으로 하고 있다. 차선 검출을 위해서는 다양한 센서들의 정보를 활용한다. 특히 비전 기반의 차선 검출 시스템의 경우, 저렴한 비용으로 많은 정보의 추출이 가능하고 기존의 다양한 비전 처리 알고리즘을 활용할 수 있는 장점이 있어 널리 활용된다.

이러한 비전 기반의 차선 검출 시스템에서 검출된 차선 정보는 운전자의 안전 운행에 있어서 매우 중요한 요소이다. 이에 검출된 차선에 대한 신뢰도를 살펴볼 필요가 있다. 차선 검출의 신뢰도를 계산하는 다양한 방법들이 제안되고 있는데, 그 중에서 획득된 영상에서 검출된 에지(edge)와 차량 사이의 거리를 활용하여 차선 검출의 신뢰도를 계산하는 방안이 제시되고 있다, 그러나 이러한 방안은 획득 시점의 특정 영상에 국한되어 차선 검출의 신뢰도를 계산하는 방식이다. 이에, 특정 영상의 이전 프레임에서 차선 검출의 결과에 대한 변화가 얼마나 발생하였는지가 신뢰도 판단에 포함되지 않은 문제점이 있다.

이에, 본 발명은 상기한 문제점을 해결하기 위한 것으로, 차선 검출의 신뢰도를 보다 정확하게 계산할 수 있는 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치를 제공하는 것을 그 목적으로 한다.

상기 목적을 달성하기 위한 본 발명은, 영상 장치로부터 획득된 영상에 기초한 차선 검출의 신뢰도 계산방법에 있어서, a)상기 영상의 프레임에서 에지를 검출하는 단계와, b)검출된 상기 에지로 차선을 인식하는 단계와, c)인식된 상기 차선의 특징점을 산출하는 단계와, d)상기 프레임이 상기 영상의 최초 프레임이 아닌 경우, 상기 영상의 현재 프레임의 특징점과 저장된 적어도 하나의 이전 프레임의 특징점의 차이를 계산하여 움직임 벡터를 생성하는 단계 및, e)상기 현재 프레임의 에지 중 차선을 나타내는 에지의 에지강도와 상기 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산하는 단계를 포함하는 차선 검출의 신뢰도 계산방법을 제공한다.

바람직하게는, 상기 e)단계의 신뢰도는, 상기 움직임 벡터의 크기와 상기 에지강도의 함수로 나타낼 수 있다.

바람직하게는, 상기 e)단계의 신뢰도는, 상기 움직임 벡터의 크기와 상기 에지강도의 가중합으로 계산될 수 있다.

바람직하게는, 상기 e)단계의 신뢰도는, 상기 움직임 벡터의 크기의 합에 제1 가중치를 곱한 값과, 상기 에지강도의 합에 1에서 제2 가중치를 뺀 값을 곱한 값의 합으로 나타낼 수 있다.

한편, 상기 목적을 달성하기 위한 다른 발명은, 영상 장치로부터 획득된 영상에 기초한 차선 검출의 신뢰도 계산장치에 있어서, 상기 영상의 프레임에서 에지를 검출하는 에지 검출부와, 검출된 상기 에지로 차선을 인식하는 차선 인식부와, 인식된 상기 차선의 특징점을 산출하는 특징점 산출부와, 상기 차선의 특징점을 저장하는 저장부와, 상기 영상의 현재 프레임의 특징점과 상기 저장부에 저장된 적어도 둘의 이전 프레임의 특징점의 차이를 계산하여 움직임 벡터를 생성하는 움직임 벡터 생성부 및, 상기 현재 프레임의 에지 중 차선을 나타내는 에지의 강도와 상기 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산하는 차선 검출 신뢰도 계산부를 포함하는 차선 검출의 신뢰도 계산장치를 제공할 수 있다.

바람직하게는, 상기 움직임 벡터의 크기와 상기 강도의 함수로 나타낼 수 있다.

바람직하게는, 상기 신뢰도는, 상기 움직임 벡터의 크기와 상기 에지강도의 가중합으로 계산될 수 있다.

바람직하게는, 상기 움직임 벡터의 크기의 합에 제1 가중치를 곱한 값과, 상기 에지강도의 합에 1에서 제2 가중치를 뺀 값을 곱한 값의 합으로 나타낼 수 있다.

본 발명에 따른 차선 검출 신뢰성 계산방법 및 이를 수행하는 계산장치에 따르면, 영상의 현재 프레임을 기준으로 이전 프레임들을 기반으로 인식된 차선들의 변화를 반영하여, 차선 검출의 신뢰도를 보다 정확하게 계산할 수 있는 유리한 효과를 제공한다.

도 1은 LKAS의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 일실시예에 따른 차선 검출 신뢰도 계산방법을 도시한 순서도,
도 3은 본 발명의 바람직한 일실시예에 따른 차선 검출 신뢰도 계산장치를 도시한 도면,
도 4는 움직임 벡터들을 나타낸 그림이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 LKAS의 구성을 도시한 도면이다.

도 1을 참조하면, LKAS ECU(1)는 스위치, 방향지시, 와이퍼 등에 대한 운전자 입력 정보 및, 차량의 요 레이트(yaw rate), 조향각, 차속 등의 차량 거동 정보를 입력받고, 도로 정보 추출부(2)에서 차선 정보 및 도로 정보를 전달받아, 차량이 차선을 이탈하지 않도록 전동식 파워 스티어링 시스템(MDPS:Motor Driven Power Steering,이하, MDPS라 한다)(3)을 제어한다.

본 발명은 도로 정보 추출부(2)에서 전송되는 차선 정보에 대한 신뢰도를 계산하는 기술로서, 현재 프레임을 기준으로 이전 프레임의 차선 정보를 반영하여 현재 프레임을 기반으로 추출된 차선 정보의 신뢰도를 계산하는 기술적 특징이 있다.

도 2는 본 발명의 바람직한 일실시예에 따른 차선 검출 신뢰도 계산방법을 도시한 순서도이고, 도 3은 본 발명의 바람직한 일실시예에 따른 차선 검출 신뢰도 계산장치를 도시한 도면이다. 한편, 도 4는 움직임 벡터들을 나타낸 그림이다.

도 2 내지 도 4를 병행 참조하면, 먼저, 영상의 프레임에서 에지(edge)를 검출한다.(S100) 에지 검출부(110)는 카메라로부터 획득된 영상의 매 프레임마다 에지를 검출한다. 여기서 에지란, 영상의 밝기가 낮은 값에서 높은 값으로, 또는 그 반대로 변화는 지점을 가리킨다. 대부분의 칼라 값의 변화 또는 밝기의 변화가 크게 나타나는 곳은 물체의 경계에서 나타나기 때문에, 에지를 검출하여 영상 내의 물체들의 경계를 추출할 수 있다. 에지를 검출하는 대표적인 1차 미분 연산자로서, 소벨 마스크(sobel mask)를 예로 들수 있다.

다음으로, 에지 검출후, 검출된 에지로 차선을 인식한다.(S200) 차선 인식부(120)는 검출된 에지 중 차선을 나타내는 에지를 인식한다.

도로가 평평하다고 가정하면, 통상적으로, 차선은 직선이며 양 차선의 폭이 일정하고, 양 차선은 하나의 소실점에서 만난다. 그리고, 소질점은 지평선상에 존재하는 특징이 있다. 이에 에지 중에 수직방향 에지는 차선이 아닐 확률이 높기 때문에 차선 후보로서 고려하지 않을 수 있다. 또한, 차선의 폭이 일정하게 형성되는 후보점들과 이를 기반으로 선분을 추출하고, 소실점을 향하는 선분들을 차선으로 인식하는 과정을 거친다. 상술한 차선 인식 과정은 어느 하나의 예시일뿐 본 발명을 한정하지 않는다.

도 4의 t는 현재 프레임을 기준으로 인식된 차선이며, 도 4의 t-1은 현재 프레임의 이전 프레임을 기준으로 인식된 차선이다. 또한, 도 4의 t-2는 현재 프레임의 그 다음 이전 프레임을 기준으로 인식된 차선이다.

다음으로, 인식된 차선의 특징점을 산출하여 이를 저장한다.(S300) 특징점 산출부(130)는 인식된 차선 상에서 복수 개의 특징점을 산출할 수 있다. 현재 프레임에 기반하여 인식된 차선의 특징점은 도 4의 a1,a2,a3,a4…. 이전 프레임들에 기반하여 인식된 차선의 특징점은 도 4의 a1’,a2’,a3’,a4’…,a1’’,a2’’,a3’’,a4’’…로 나타낼 수 있다. 산출된 특징점들은 저장부(140)에 저장된다.

다음으로, 영상의 프레임이 최초 프레임이 아닌 경우, 현재 프레임의 특징점과 이전 프레임들의 특징점의 차이를 계산하여 움직임 벡터를 생성한다.(S400)

움직임 벡터 생성부(150)는 현재 프레임에 기반하여 인식한 차선의 특징점의 2차원 위치와, 이전 프레임에 기반하여 인식한 차선의 특징점의 2차원 위치의 상대적 변화를 움직임 벡터로 생성한다. 예를 들어, 도 4를 참조하면, 현재 프레임을 기준으로 할 때, 소정의 특징점은 a1-a1-’a1’으로 이동한다.

여기서, 현재 프레임의 특징점(a1)을 기준으로 이전 프레임의 특징점(a1’)의 2차원 위치 차이를 움직임 벡터(V11)로 생성할 수 있다. 또한, 현재 프레임의 특징점(a1)을 기준으로 다음 이전 프레임의 특징점(a1’’)의 2차원 위치 차이를 움직임 벡터(V21)로 생성한다. 도 4에서 도시한 다른 움직임 벡터들(V12,V22,V13,V24,V14,V24)도 상술한 바와 같이 생성된다. 움직임 벡터의 개수는 차선의 특징점의 개수에 대응된다.

다음으로, 현재 프레임의 에지 중 차선을 나타내는 에지의 에지강도(이하,차선에지강도)와 상술한 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산한다.(S500)

차선 검출 신뢰도 계산부(160)는 다음 수학식 1을 통해 차선 검출 신뢰도를 계산한다.

<수힉식1>

여기서, w￢1은 움직임 벡터에 관한 제1 가중치를 의미하며, w￢2는 차선에지강도에 관한 제2 가중치를 의미한다. 일실시예에 있어서, 차선에지강도는 소벨 마스크(sobel mask)를 이용하여 영상의 현재 프레임으로부터 검출한 에지 중 차선으로 선택된 에지의 각 화소들에 대한 밝기 값의 합을 의미한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

110 : 에지 검출부
120 : 차선 인식부
130 : 특징점 산출부
140 : 저장부
150 : 움직임 벡터 생성부
160 : 차선 검출 신뢰도 계산부

Claims

영상 장치로부터 획득된 영상에 기초한 차선 검출의 신뢰도 계산방법에 있어서,
a)상기 영상의 프레임에서 에지를 검출하는 단계;
b)검출된 상기 에지로부터 차선을 인식하는 단계;
c)인식된 상기 차선의 특징점을 산출하는 단계;
d)상기 프레임이 상기 영상의 최초 프레임이 아닌 경우, 상기 영상의 현재 프레임의 특징점과 저장된 적어도 하나의 이전 프레임의 특징점의 차이를 계산하여 움직임 벡터를 생성하는 단계;및
e)상기 현재 프레임의 에지 중 차선을 나타내는 에지의 에지강도와 상기 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산하는 단계
를 포함하는 차선 검출의 신뢰도 계산방법.
제1 항에 있어서,
상기 e)단계의 신뢰도는,
상기 움직임 벡터의 크기와 상기 에지강도의 함수로 나타나는 것을 특징으로 하는 차선 검출의 신뢰도 계산방법.
제2 항에 있어서,
상기 e)단계의 신뢰도는,
상기 움직임 벡터의 크기와 상기 에지강도의 가중합으로 계산되는 것을 특징으로 하는 차선 검출의 신뢰도 계산방법.
제3 항에 있어서,
상기 e)단계의 신뢰도는,
상기 움직임 벡터의 크기의 합에 제1 가중치를 곱한 값과, 상기 에지강도의 합에 1에서 제2 가중치를 뺀 값을 곱한 값의 합으로 나타나는 것을 특징으로 하는 차선 검출의 신뢰도 계산방법.
영상 장치로부터 획득된 영상에 기초한 차선 검출의 신뢰도 계산장치에 있어서,
상기 영상의 프레임에서 에지를 검출하는 에지 검출부;
검출된 상기 에지로 차선을 인식하는 차선 인식부;
인식된 상기 차선의 특징점을 산출하는 특징점 산출부;
상기 차선의 특징점을 저장하는 저장부;
상기 영상의 현재 프레임의 특징점과 상기 저장부에 저장된 적어도 둘의 이전 프레임의 특징점의 차이를 계산하여 움직임 벡터를 생성하는 움직임 벡터 생성부;및
상기 현재 프레임의 에지 중 차선을 나타내는 에지의 강도와 상기 움직임 벡터에 기초하여 차선 검출 신뢰도를 계산하는 차선 검출 신뢰도 계산부
를 포함하는 차선 검출의 신뢰도 계산장치.
제5 항에 있어서,
상기 신뢰도는,
상기 움직임 벡터의 크기와 상기 강도의 함수로 나타나는 것을 특징으로 하는 차선 검출의 신뢰도 계산장치.
제6 항에 있어서,
상기 신뢰도는
상기 움직임 벡터의 크기와 상기 에지강도의 가중합으로 계산되는 것을 특징으로 하는 차선 검출의 신뢰도 계산장치.
제7 항에 있어서,
상기 움직임 벡터의 크기의 합에 제1 가중치를 곱한 값과, 상기 에지강도의 합에 1에서 제2 가중치를 뺀 값을 곱한 값의 합으로 나타나는 것을 특징으로 하는 차선 검출의 신뢰도 계산장치.