KR20120000573A - 차선인식 방법 및 장치 - Google Patents

Abstract

본 발명은 차도 (12)의 디지털화한 칼라 이미지 (10)이 다음으로 단계로 처리되는 차선인식방법에 관한 것으로서: 차도의, 그 회색값이 차도의 회색값 보다 낮은 표시선 측정 단계(S18), 상기 측정한 표시선의 회색값을 그 차도의 회색값보다 높은 값으로 설정하는 단계(S20) 및 단색 이미지용의 차선인식 연산에 의해, 그렇게 처리하여 변경된 이미지를 처리하기 위한 출력 단계(S22)를 포함한다.

Description

차선인식 방법 및 장치{METHOD AND DEVICE FOR LANE DETECTION}

본 발명은 청구항 제 1 항 또는 제 8 항에 따른 차선인식방법 및 그 장치에 관한 것이다.

오늘날 차량에는 운전자가 차량의 차선을 유지하도록 지원하는 운전자 지원 시스템이 점점 더 많이 장착되고 있다. 운전자가 의도하지 않고 차선을 이탈할 때 이를 경고하는 지원시스템을 영어권에서는 "Lane- Departure Warning System" (LDWS: 차선이탈경고시스템)라고 부른다. 그리고 조향에 직접 개입할 수 있는 시스템을 "Lane Keeping System" (LKS: 차선유지시스템)이라고 한다. 이에 반하여 독일에서는 일반적으로 이러한 시스템을 "Spurhalteassistenz- system" (차선유지지원시스템)이라고 한다.

차선유지지원시스템은 일반적으로 차량 앞 차선을 인식(차선 인식)하는 바, 특히 도로의 진로를 인식한다. 특히 차선유지지원시스템은 차선의 폭, 도로의 수평 및/또는 수직 굴곡, 차선 중앙측의 부착물 그리고 차량의 피칭 및 요잉 각도를 평가한다. 시스템의 이러한 요소에서 차선을 이탈할 때까지의 시간을 계산하여 의도하지 않은 상태에서 차선을 이탈하기 전에 운전자에게 이를 경고하거나 전동식 스티어링이나 의도적 ESP(전자식주행안전 프로그램)이 개입하여 차량이 차선을 유지하게 한다.

위에서 언급한 시스템 요소는 광학 센서, 예를 들어 CMOS 카메라를 사용하여 수집한 차량 앞의 상태가 디지털 방식으로 이미지 처리되어 측정된다. 이를 위해 특별한 이미지 처리 연산이 투입되는 바, 이 시스템은 수집된 영상에서 차선 및 그 경로에 특징적인 구조, 특히 차선 표시를 평가한다. 이러한 방식의 이미지 처리에 기반을 둔 차선유지지원시스템이 올바로 작동하는가는 무엇보다도 수집된 디지털 이미지에서 차선 표시와 같은 본질적인 구조가 신뢰할 수 있고 정확하게 인식되는가에 달려 있다. 이미지를 수집할 때 보통 단색 카메라를 사용한다. 이미지를 평가하는데 사용되는, 회색값에 기반을 둔 차선인식 연산 시스템은 단색으로 수집된 이미지에서 특히 도로와 차선 표시 사이의 어두운- 밝은/밝은- 어두운 경계부에 근거하여 차선 표시를 인식한다. 물론 어떤 신뢰할 수 있는 차선 표시 인식은 어두운 바탕 위의 밝은 표시에 대해서만 보장되는 바, 따라서 이미지의 회색값이 바탕 또는 도로의 회색값보다 낮은 칼라 표시선에 대해서도 반드시 보장되는 것은 아니다. 예를 들어 미국에서는 도로 구간을 밝은 바탕 위에 진황색의 표시로 구분하며 독일에서는 공사 현장을 황색으로 표시하고 오스트리아에서는 밝은 바탕에 진한 적색 표시를 사용한다. 이러한 표시는 사람의 눈에는 아주 잘 뜨이지만 단색 카메라를 장착한 차선인식시스템에는 그렇지 않다. 왜냐하면 이러한 도로 표시에서는 시각적인 색상 효과를 고려하기 때문이다.

DE 10 2004 061 822 A1에서는 차도 표시선을, 특히 공사 현장 구역에서 인식하는 방법을 다루고 있는 바, 공사 현장 구역에서는 차선 표시선이 차량 주변의 칼라 이미지에서 측정된 이미지 좌표 형태로 표시되어 있다. 이 방법에서는 포화값과 색조값을 이용하여 황색과 백색 차도 표시선을 측정한다.

본 발명의 과제는 위에서 묘사한, 칼라 표시선이 있는 상황에서 차선을 신뢰할 수 있게 인식하게 하는 차선인식 방법과 장치를 제안하는 것이다.

이 과제는 청구항 제 1 항에 따른 특징을 갖는 차선인식 방법과 청구항 제 8 항에 따른 특징을 갖는 적절한 장치에 의해 해결된다. 본 발명의 다른 형태는 해당 청구항에서 나온 것이다.

본 발명의 기본적인 발상은 이미지 수집에 칼라 영상장치를 사용하고, 수집하여 디지털화한 칼라 이미지에 대한 특별한 전처리를 하여 단색 이미지에 기반을 기존의 차선인식 연산이 칼라 표시선도 신뢰할 수 있게 인식할 수 있도록 하는 것이다. 이 전처리는 다음의 단계로 실행된다: 칼라 영상장치로 디지털화된 차도의 칼라 이미지에서 차도의, 그 회색값이 차도의 회색값보다 낮은 표시선 을 측정한 다음, 이렇게 측정한 표시선의 회색값을 차도의 회색값보다 높게 설정하여 후속되는 차선인식 연산이 칼라 표시선을 전처리 후 충분하게 된 밝은 어두운/어두운- 밝은 경계부에 의해 차선인식에 본질적인 표시선으로서 식별할 수 있게 한다. 칼라 이미지의 픽셀이 가지고 있는 회색값은 이 픽셀이 칼라 이미지가 변환될 때 단색 이미지에서 가지고 있는 회색값을 의미한다. 따라서 본 발명은 지금까지 계속 검증된 연산을 차선인식에 사용할 수 있으며 또 단색 이미지를 처리할 수 있다. 그러므로 이러한 종류의 연산을 사용함에도 불구하고 본 발명에 의해 칼라 표시선을 신뢰할 수 있는 정도로 인식할 수 있다.

본 발명은 어느 한 모델 형태에서 보는 바와 같이 차도의 디지털화된 칼라 이미지를 다음의 단계로 처리하는 차선인식 방법에 관한 것이다:

- 차도의, 그 회색값이 차도의 회색값보다 낮은 표시선 측정 단계,

- 이렇게 측정한 표시선의 회색값을 그 차도의 회색값보다 높은 값으로 설정하는 단계 및

- 단색 이미지용의 차선인식 연산에 의해, 그렇게 처리하여 변경된 이미지를 처리하기 위한 출력하는 단계.

디지털화된 칼라 이미지는 예를 들어 운전자지원시스템의, 특히 차선인식시스템의 칼라 카메라에 내장되어 있는 영상장치에서 나올 수 있다. 표시선의 측정은 디지털화된 이미지의 픽셀 분석에 의해 이루어질 수 있는 바, 이 분석에서 각 픽셀에 의해 회색값이 측정되고, 차도의 회색값으로서는 분석된 픽셀 대부분에서 나타나는 회색값이 사용된다. 그러면 그 회색값이 이렇게 측정된 "대부분"의 회색값보다 낮은 모든 픽셀을 차도의 회색값보다 낮은 회색값을 갖는 표시선으로 분류할 수 있다. 이미지에 있는, 표시선이 아니지만 그 회색값이 차도의 회색값보다 낮은 단순한 개별적인 점을 표시선으로서 분류하지 않도록 하기 위해 그 회색값이 차도의 회색값보다 낮은 픽셀이 이미지에서 어떤 특정한 크기를 초과하거나 또는 도로 표시선에 의해 흔히 형성되는 어떤 긴 선 형태의 구조를 지닌 어떤특정한 형태를 지닐 때, 그 픽셀을 표시선에 포함시킬 수 있다.

이러한 방법은 다음의 단계에 그 특징이 있다:

- 칼라 이미지의 개별적인 색상 요소 평가 및

- 평가된 색상 요소를 이용하여 차도 위 표시선의 색상 측정.

이렇게 하여 완전히 의도적으로 이미지의 칼라 표시선과 그 색상을 측정하고, 특히 이렇게 하여 이미지 내의 표시선을 구별 또는 분류할 수 있다. 즉 예를 들어 표시선을 도로 표시선으로서나 건축 현장의 표시선 또는 기타 특수한 표시 선으로서 분류할 수 있다.

특히 측정된 표시선의 색상을 차선 인식의 타당성을 위해 출력할 수 있다. 예를 들어 출력된 표시선 색상을 사용하여, 차선인식 연산에 의해 도로 표시선으로서 분류된 각 표시선이 올바로 분류되었는지를 차선인식 연산에 의해 확인할 수 있다. 예를 들어 도로 표시선으로서 분류된 표시선에 도로 표시선으로서 전혀 또는 거의 사용되지 않는 황색 또는 적색이 들어 있으면 차선인식 연산은 그러한 표시선을 차선인식에서 무시할 수 있다.

예를 들어 해가 뜰 때나 질 때, 인공 조명이 켜진 터널을 통과할 때와 같이 변화하는 조명 환경에 적절히 대처하기 위해 표시선을 측정하기 전에 칼라 이미지의 자동 백색보정을 실행할 수 있다.

특히 이 백색보정은 차량 바로 앞 차도의 적응식 평가에 의해 이루어질 수 있다.

이때 또한 색도에 있어서 국소적 편차의 영향을 백색 보정에서 무시할 수 있을 정도로 도로 구간을 크게 선택할 수 있다. 이렇게 함으로써 색도에 있어서 어떤 국소적 편차는 크게 중요하지 않게 된다.

차도가 색 중립적이라는 가정에서 특히 색상 편차 및 그에 따라 백색 보정의 수정계수를 결정할 수 있다.

또 다른 모델형태에서 알 수 있는 바와 같이 본 발명은 차도의 디지털화된 칼라 이미지를 처리하기 위해 다음과 같이 고안된 차선인식장치에 관한 것이다:

- 차도의, 그 회색값이 도로의 회색값 보다 낮은 표시선 측정,

- 이렇게 측정된 표시선의 회색값을 차도의 회색값 보다 높은 값으로 설정 및

- 단색 이미지용의 차선인식 연산에 의해, 그렇게 처리하여 변경된 이미지를 처리하기 위한 출력.

본 발명의 다른 모델 형태에서 알 수 있는 바와 같이 본 발명에 따른 방법 및 위 에서 설명한 바와 같이 작동하도록 장치를 설계할 수 있다.

또한 본 발명을 모델 형태에서 알 수 있는 바와 같이, 본 발명에 따른 장치 및 위에서 설명한 방법을 채용한 자동 차선이탈경고시스템 또는 차선유지시스템에 관한 것이다.

끝으로 본 발명은 모델형태에서 알 수 있는 바와 같이 본 발명에 따르고 위에서 설명한 방법을 채용한 자동 차선이탈경고시스템 또는 차선유지시스템을 장착한 차량에 관한 것이다.

이제 본 발명이 갖는 다른 장점 및 응용 방법을 도면에서 도시한 예시 모델을 이용하여 설명하겠다.

설명, 청구항, 요약 및 도면에서는 아래에 수록한 참조번호목록에서 사용한 개념 및 그에 속하는 참조번호가 사용된다.

도면은 아래와 같다:
도 1 본 발명에 따른 칼라 이미지에 의한 차선인식 방법의 예시 모델 흐름도.
도 2 차량 카메라로 수집한, 황색 갓길 표시선이 있는 차도의 단색 이미지로서, 본 발명에 따른 방법을 사용하기 전의 이미지.
도 3 차량 카메라로 수집한, 황색 갓길 표시선이 있는 차도의 단색 이미지로서, 본 발명에 따른 방법을 사용한 후의 이미지.
도 4 본 발명에 따른 칼라 이미지에 의한 차선인식장치의 예시 모델 블록도.

아래에서는 동일한 장치나 기능이 동일한 장치에 동일한 참조 번호를 표기할 수 있다. 다음에 기재된 절대값과 치수는 보기에 불과하며, 본 발명이 기재된 치수만으로 제한되는 것은 아니다.

본 발명에 따른 차선인식 방법은 어느 한 칼라 이미지를 많은 국가에서 차선 표시에 흔히 사용하는 차도의 백색 차선과 단색 이미지를 바탕으로 계산하는 차선인식 연산에 의해 처리하게 하기에 적합하도록 그 칼라 이미지를 가공하는데 사용된다. 도 1은 본 발명에 따른 방법을 채용한 프로그램의 흐름도이다. 이제 도 1에 표시된 흐름도와 도 2와도 3의 차도 이미지를 이용하여 좀 더 자세히 설명하겠다.

먼저 처리 단계(S10)에서는 특히 칼라 카메라를 사용하여 차량 앞 차도의 칼 라 이미지(10)을 수집하는 바, 이때 이 카메라는 예를 들어 차량의 윈드실드에 부착된 백미러 구역에 장착되어 있다. 이 칼라 이미지는 색상이 예를 들어 RGC나 YUV 색 공간에 따라 코딩될 수 있다.

처리 단계(S12)에서는 칼라 이미지가 자동으로 백색 보정되어 변화하는 조명 환경에 적절히 대처하게 된다. 백색 보정을 위해 이미지(10)에서 색도에 있어서 국소적 편차의 영향을 백색 보정에서 무시할 수 있을 정도로 도로 구간(18)을 선택할 수 있다. 도 2에서 알 수 있는 바와 같이 기본적으로 표시선이 없는 대체로 단일한 도로 구간을 구간(18)로서 선택하였기 때문에 색도에 있어서 큰 편차가 나타나지 않고 약간의 국소적 편차가 있을 뿐이다.

그 다음 처리 단계(S14)에서 칼라 이미지에 포함된 색상 요소를 평가하는 바, 예를 들어 RYB의 몫을 분리하여 R(적색) 몫이 이미지, Y(황색) 몫이 있는 이미지 그리고 B(청색) 몫이 이미지를 갖게 된다. 이제 이 이미지에서 차선인식 연산으로 차선 인식에 본질적인 의미를 지니는 표시선을 계산한다. 이러한 방법으로 특히 각 표시선에 어떤 색상이 어느 정도의 몫으로 있는가를 계산한다. 이는 색상으로 표시된 공사 현장의 표시선을 신속하게 인식하여 이 표시선을 일반적인 도로 표시선과 분명히 구별할 수 있기 때문에 차선 인식에 상당히 중요한 의미를 가진다. 또한 표의 계산된 색상을 출력하여 단색 이미지를 기반으로 한 차선 인식에 의해 인식된 표의 타당성을 검토하는 데 사용할 수 있다 . 처리 단계(S14)에서 계산한 표시선의 색은 처리 단계(S16에서 타당성 검토를 위해 차선 인식에 의해 출력된다.

다음의 처리 단계(S18 - S22)는 칼라 이미지를 단색으로 재현하여 실행된다. 도 2는 단색으로 재현된 칼라 이미지(10)의 보기이다 . 즉 칼라 이미지가 회색 값 이미지로 변환된 후의 이미지이다. 이 이미지에서 인식할 수 있는 차도(12)에는 2개의 차선이 있는 바, 이 차선은 백색의 중앙 표시선으로 구분되어 있다. 또한 단색 재현에 기반을 둔 도 2에서 좌측 차선은 그 좌측이 가운데의 백색 표시선보다 훨씬 나쁘게 인식되는 황색 갓길 표시선(16)으로 제한되어 있다. 칼라 이미지를 회색값 이미지(10)로 변환함으로써 황색 갓길 표시선의 회색값은 도 2에서 분명히 인식할 수 있는 바와 같이 차도의 회색값보다 낮다. 그러므로 단색 이미지를 기반으로 계산하는 차선인식 연산은 황색 갓길 표시선을 차선 인식에 본질적인 의미를 지닌 표시선으로 분류하지 않을 것이다.

그러므로 처리 단계(S18)에서는 도 2의 황색 갓길 표시선(16)처럼 차도의, 그 회색값이 차도의 회색값보다 낮은 표시선이 측정된다. 그 다음 처리 단계(S20)에서는 단계(S18)에서 계산한 표시선에 대해 그 회색값을 차도의 회색값보다 높은 값으로 설정한다. 즉 이미지를 변용한다 .

도 3은 이렇게 변용된 이미지(10)이다. 이제 황색 갓길 표시선(16)을 가운데의 백색 표시선(14)처럼 분명하게 인식할 수 있다. 이제 표시선(14 및 16)은 차도에 대해 충분한 밝은-어두운/어두운- 밝은 차이를 가지게 되어, 단색 이미지를 바탕으로 계산하는 차선인식 연산이 그 차선을 차선 인식에 본질적인 의미를 지닌 표시선으로서 식별할 수 있게 된다. 끝으로 처리 단계(S22)에서는 이렇게 처리하여 변경된 이미지(10)가 출력되어 이를 처리할 수 있도록 차선인식 연산으로 전송된다.

도 4는 본 발명에 따라 차량 카메라(20)에 의해 수집된, 디지털화된 이미지를 처리하기 위한 차선인식장치(22)를 가리킨다. 이 장치(22)에는 처리 단계(S12)를 실행하기 위한 백색 보정장치(24), 처리 단계(S14 및 S16) 그리고 측정된 표시선의 색상에 관한 데이터(34)를 출력하기 위한 색상요소 측정장치(26), 처리 단계(S18)를 실행하기 위한 회색값 측정장치(28) 및 처리 단계(S20 및 S22)를 실행하고 차선 인식을 위해 변용된 단색 이미지를 출력하기 위한 회색값 변용장치(30)이 내장되어 있다. 장치(24, 26, 28 및 30)는 예를 들어 고성능 마이크로 프로세서에 의해 작동될 수 있는 바, 즉 이 프로세서에 어떤 특수한 프로그램을 구성하여 이 프로세서가 본 발명에 따른 방법을, 예를 들어 도 1의 흐름도에 수록한 방법을 실행할 수 있도록 할 수 있다. 이들 각 개별 장치 또는 장치 전체는 논리에서도, 즉 하나 이상의 FPGA (Field Programable Gate Array: 현장 프로그래머블 게이트 어레이 ) 소자에서도 작동될 수 있다.

10 차도 이미지
12 차도
14 두 차선을 구분하는 가운데 표시선
16 좌측 차선의 황색 갓길 표시선
18 백색 보정 구간
20 차선인식장치
22 칼라 카메라
24 백색보정장치
26 색상요소 측정장치
28 회색값 측정장치
30 회색값 변용장치
(S10- (S22 처리 단계

Claims (12)

1. 차선인식 방법으로서,
   차도(12)의 디지털화한 칼라 이미지(10)가:
   - 차도의, 그회색값이차도의회색값보다낮은표시선을측정하는 단계(S18),
   - 이렇게 측정한 표시선의 회색값을 그 차도의 회색값보다 높은 값으로 설정하는 단계(S20),
   - 단색 이미지용의 차선인식 연산에 의해, 그렇게 처리하여 변경된 이미지를 처리하기 위하여 출력하는 단계(S22)로 처리되는
   차선인식 방법.
   
2. 제 1 항에 있어서,
   - 칼라 이미지의 개별적인 색상 요소를 평가하는 단계(S14); 및
   - 평가된 색상 요소를 이용하여 차도 위 표시선의 색상을 측정하는 단계(S16)를 특징으로 하는
   차선인식 방법.
   
3. 제 2 항에 있어서,
   측정된 표시선의 색상을 차선 인식의 타당성을 위해 출력하는(S16).
   차선인식 방법.
   
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   표시선을 측정하기 전에 칼라 이미지의 자동 백색보정을 실행하는
   차선인식 방법.
   
5. 제 4 항에 있어서,
   상기 백색 보정이 차량 바로 앞 차도의 적응식 평가에 의해 이루어지는
   차선인식 방법.
   
6. 제 5 항에 있어서,
   색도에 있어서 국소적 편차의 영향을 백색보정에서 무시할 수 있을 정도로 도로 구간을 크게 선택할 수 있는
   차선인식 방법.
   
7. 제 4 항 내지 제 6 항 중 어느 한 항에 있어서,
   차도가 색 중립적이라는 가정에서 특히 색상 편차 및 그에 따라 백색보정의 수정계수를 결정할 수 있는
   차선인식 방법.
   
8. 차도(12)의 디지털화된 칼라이미지(10)를 처리하기 위한 차선인식장치(20)가:
   - 차도의, 그 회색값이 도로의 회색값 보다 낮은 표시선을 측정하고,
   - 이렇게 측정된 표시선의 회색값을 차도의 회색값 보다 높은 값으로 설정하며,
   - 단색 이미지용의 차선 인식연산에 의해, 그렇게 처리하여 변경된 이미지를 처리하기 위하여 출력하는
   차선인식장치.
   
9. 제 8 항에 있어서,
   제 1 항 내지 제 7 항 중 어느 한 항에 따른 차선인식 방법을 실행할 수 있도록 구성되는
   차선인식 장치.
   
10. 제 8 항 또는 제 9 항에 따른 차선인식 장치를 내장하고 차선 데이터를 출력하는 자동 차선인식 시스템.
    
11. 제 10 항에 따른 자동 차선인식 시스템을 내장하고 있으며 출력된 이 차선 데이터를 차선 이탈을 인식하는데 사용하는 차선이탈 경고 시스템 또는 차선유지 시스템.
    
12. 제 11 항에 따른 자동 차선이탈 경고 시스템 또는 차선유지 시스템을 장착한 차량
    

Images