KR101913876B1 - 이미지처리방법과 장치 - Google Patents

Abstract

본 발명은 차량에 설치하기에 적합한 차선검출장치에 이용하기 위한 이미지처리방법과 장치에 관한 것이다. 본 발명의 방법은 2차원 어레이의 이미지획득픽셀을 갖는 이미저를 이용하여 차량의 전방에 전개되는 고속도로 영역의 초기이미지를 획득하되, 상기 어레이는 이미지로 획득된 장면의 대응하는 부분의 색상에 실질적으로 종속하지 않는 제1셋트의 픽셀과 제한된 색상범위에 종속하는 제2셋트의 픽셀을 포함하는 단계; 각 픽셀이 제1셋트의 픽셀의 적어도 하나의 픽셀로부터의 값을 이용하여 유도된 값이 할당되는 제1이미지를 생성하는 단계; 초기이미지로부터 제2이미지를 생성하되, 각 픽셀이 제1셋트의 픽셀의 적어도 하나의 픽셀과 제2셋트의 적어도 하나의 픽셀의 값을 이용하여 유도된 값이 할당되는 단계; 제1이미지에서 적어도 하나의 픽셀에 대하여 이러한 픽셀에 할당된 값과 적어도 하나의 인접한 픽셀에 할당된 값 사이의 차이를 나타내는 제1강도변화값을 확인하는 단계; 제2이미지에서 대응하는 픽셀에 대하여 이러한 픽셀에 할당된 값과 적어도 하나의 인접한 픽셀에 할당된 값 사이의 차이를 나타내는 제2강도변화값을 확인하는 단계와; 제1 및 제1이미지의 대응하는 픽셀에 대하여 제1 및 제2의 각 확인된 강도변화값의 크기와 부호에 종속하는 조합이미지의 대응하는 픽셀에 값을 할당하기 위하여 정의된 조합규칙셋트를 이용하여 조합이미지를 형성하는 단계를 포함함을 특징으로 한다.

Description

이미지처리방법과 장치 {METHOD OF PROCESSING IMAGES AND APPARATUS}

본 발명은 이미지처리방법에 관한 것으로, 특히 차선검출장치 또는 노면형상예측방법과 장치의 일부로서 이미지의 처리에 관한 것이다.

차량의 전방에 전개되는 고속도로영역의 이미지를 획득하기 위하여 간단한 비디오 카메라를 사용하는 것이 알려져 있다. 이러한 카메라는 2차원 어레이의 검출기픽셀로 구성되고 이들 픽셀 각각은 샘플링시간 동안 픽셀에 가하여지는 광선의 강도에 따라 달라지는 출력신호를 발생한다. 따라서 어레이로부터의 이미지 출력은 그레이스케일 이미지이다. 그리고 차선경계선 표지물을 확인하기 위하여 이미지를 처리하고 이로부터 고속도로 노선을 결정하는 것이 알려져 있다. 표지물을 확인하는 적당한 방법이 특허문헌 EP 1 057 141 B1에 교시되어 있다.

본원 출원인은 영국을 포함한 많은 국가에서 차선경계선이 검은 노면에 고대비(high contrast)의 백색라인으로 표시되어 있음을 잘 알고 있다. 백색라인은 노면색깔 보다 밝아 그레이스케일 이미지로 잘 나타나서 비교적 간단히 차선경계선을 검출할 수 있도록 한다. 예를 들어, 한국에서는 차선경계선을 황색과 청색으로 표시하는 것이 일반적이다. 그레이 스케일 이미저(grey scale imager)를 이용하여 이미지를 얻었을 때, 가끔 차선경계선은 노면과 잘 구분되지 않을 수 있다. 표지물과 노면은 그레이 스케일로 보았을 때 동일하거나 매우 유사한 명도를 갖는다.

제1관점에 따라서, 본 발명은 차량에 설치하기에 적합한 차선검출장치에 이용하기 위한 이미지처리방법을 제공한다.

제1관점에 따라서, 본 발명은 차량에 설치하기에 적합한 차선검출장치에 이용하기 위한 이미지처리방법을 제공하는 바, 이 방법이

2차원 어레이의 이미지획득픽셀을 갖는 이미저(imager)를 이용하여 차량의 전방에 전개되는 고속도로 영역의 초기이미지를 획득하되, 상기 어레이는 이미지로 획득된 장면의 대응하는 부분의 색상에 실질적으로 종속하지 않는 값을 갖는 출력신호를 각각 발생하는 공간좌표(XY)에 배치된 제1셋트의 픽셀과 이미지로 획득된 장면의 대응하는 부분의 제한된 색상범위에 종속하고 이미지로 획득된 장면의 대응하는 부분의 명도에 부분적으로 종속하는 값을 갖는 출력신호를 각각 발생하는 간격을 둔 위치에 배치된 제2셋트의 픽셀을 포함하는 단계;

획득된 초기이미지로부터 제1이미지를 생성하되, 상기 제1이미지의 각 픽셀이 제1셋트의 픽셀의 적어도 하나의 픽셀로부터의 값을 이용하여 유도된 값이 할당되는 단계;

초기이미지로부터 제2이미지를 생성하되, 상기 제2이미지의 각 픽셀이 제1셋트의 픽셀의 적어도 하나의 픽셀과 제2셋트의 적어도 하나의 픽셀의 값을 이용하여 유도된 값이 할당되는 단계;

제1이미지에서 적어도 하나의 픽셀에 대하여 이러한 픽셀에 할당된 값과 적어도 하나의 인접한 픽셀에 할당된 값 사이의 차이를 나타내는 제1강도변화값을 확인하는 단계;

제2이미지에서 대응하는 픽셀에 대하여 이러한 픽셀에 할당된 값과 적어도 하나의 인접한 픽셀에 할당된 값 사이의 차이를 나타내는 제2강도변화값을 확인하는 단계;

제1 및 제1이미지의 대응하는 픽셀에 대하여 제1 및 제2의 각 확인된 강도변화값의 크기와 부호에 종속하는 조합이미지의 대응하는 픽셀에 값을 할당하기 위하여 정의된 조합규칙셋트를 이용하여 차선검출장치에 사용하기에 적합한 조합이미지를 형성하는 단계;를

포함한다.

제2셋트의 픽셀은 장면의 대응하는 부분에 존재하는 단일의 주요색상(dominant hue)으로 제한된 색상의 제한된 범위의 양에 종속하는 값을 갖는 출력을 발생할 것이다. 이는 거의 대부분 적색색상이며 이는 이들 픽셀상에 레드 필터를 배치하거나 그 이외의 다른 방식으로 성취될 수 있는 것이다.

물론, 제2셋트의 픽셀은 예를 들어, 적색 또는 청색 또는 녹색 또는 황색과 같은 다른 주요색상, 또는 적색 및 녹색과 같은 색상의 집합, 또는 예를 들어 적외선영역과 같은 가시스펙트럼의 "색상" 외부의 영역에 우선적으로 응답할 수 있다.

주요색상에 관계없는 값을 발생하는 제1셋트의 픽셀은 대부분 이미지의 대응하는 부분의 명도에 종속하나 색상의 범위에는 종속하지 않는 값을 가질 것이다. 예를 들어, 이러한 값은 장면의 대응하는 부분이 밝으면 클 것이고 어두우면 작을 것이다. 이들 픽셀은 그레이스케일의 이미지를 이상적으로 생성할 것이다. 제1이미지는 이들 제1셋트의 픽셀로부터의 값을 이용하여 형성될 수 있다. 그레이스케일 이미지는 제2픽셀에 의하여 보여지는 색상을 포함하는 전범위(제한을 두지 않은 범위), 예를 들어 광범위한 가시대역 또는 적외선대역에 걸쳐 있다.

각 셋트의 픽셀은 많은 픽셀을 포함할 수 있으나, 한 셋트는 일부 실시형태에서 겨우 하나의 픽셀을 포함할 수 있다. 픽셀 수가 많으면 많을수록 이미지가 생성되는 해상도가 높고 이에 따라 분석될 수 있는 장면의 내용이 보다 선명하게 된다. 어느 주어진 시간에 이미지화되는 장면의 일부를 변화시키기 위하여 픽셀과 장면 사이에 가동형 렌즈 또는 셔터를 이용하는 경우, 전체 장면의 이미지를 생성하기 위하여 장면의 다른 일부분에 실질적으로 노출되는 단 하나의 픽셀을 갖는 세트라 하여도 본 발명의 범위내에 포함될 수 있다.

제2이미지를 생성하는 단계는 각 픽셀에 할당된 값이 제2셋트의 적어도 하나의 픽셀로부터 획득되고 제1셋트의 픽셀의 값과는 관계없는 중간이미지를 생성하는 단계와, 제2이미지의 값을 얻기 위하여 중간이미지에 할당된 값으로부터 제1이미지에 할당된 대응하는 값을 감산(減算)하는 단계를 포함한다.

레드 필터가 사용될 때, 중간이미지는 적색이미지인 것으로 간주될 수 있다. 제1이미지는 그레이스케일 이미지로 간주될 수 있으며, 제2이미지는 적색이미지로부터 그레이스케일을 감하여 얻는 의사색상(pseudo-hue) 이미지로 간주될 수 있다.

본 발명의 방법은 조합하여 제2(색상)이미지를 생성하기 전에 제1(그레이스케일)이미지와 중간(적색 또는 다른 색상 또는 다른 색상의 범위)이미지의 각각에서 픽셀에 할당된 값을 스케일링(scaling)하는 단계를 포함한다. 스케일링단계는 중간이미지에서 각 픽셀에 대응하는 값을 증가시키는 것을 포함할 수 있다. 이는 해당 색상 또는 제한된 범위의 색상만을 우선적으로 통과시키는데 필요한 필터링에 의하여 제한된 범위의 색상(예를 들어, 적색)에만 감응하는 픽셀에 도달하는 빛이 감소되었음을 인식한다.

이러한 스케일링단계는 색상이미지를 생성하기 위하여 사용될 때 양 이미지에 정확한 가중치를 제공할 수 있도록 하는데 유용하다. 이러한 스케일링에서 이들 제1 그레이스케일 이미지는 0과 N 사이의 값(여기에서, N은 255 또는 기타 다른 값일 수 있다)을 가지며, 적색이미지는 0과 N 사이의 값을 가지고, 색상이미지는 -N 과 +N 사이의 값을 갖는다. 적색이미지의 경우에, +255는 주요색상으로서 황색에 이르는 적색의 존재를 나타내고 청색은 거의 없거나 아주 없음을 나타내며, -255는 청록색에 이르는 청색의 존재를 나타내고 주요색상으로서 적색은 거의 없거나 아주 없음을 나타낸다.

본 발명의 방법은 이미지화 픽셀의 단일 2차원 어레이를 포함하는 이미저를 이용하는 단계를 포함한다.

이미지를 조합하기 위한 한 셋트의 규칙을 이용함으로서 그레이스케일인 장면의 제1이미지의 주요엣지특성과 동일 장면의 색상의 제2이미지의 주요엣지특성을 허용하며 이는 조합된 이미지에서 백색차선경계선과 비백색차선경계선(예를 들어 황색)이 강조될 수 있도록 하는데 이용될 수 있다. 이는 차선경계선을 검출하기 위하여 조합된 이미지의 연속하는 이미지처리중에 경계선검출가능성을 증가시킨다. 색상검출에 감응하지 않은 제1이미지는 이미지 일부의 명도를 변화시켜 이들이 동일한 색상이라 하여도 어두운 배경에서 밝은 차선을 확인할 수 있도록 한다. 제2이미지는 회색노면에서 황색선과 같이 명도가 동일한 경우에도 고속도로의 인접한 부분에 대한 상이한 색상의 차선을 검출할 수 있다. 만약 그레이스케일 이미지에서 엣지가 검출되지 않는 경우에는 조합된 이미지에 존재하는 의사색상 이미지에서 검출되어 조합된 이미지내에 존재하거나 그 반대일 수 있다.

본 발명의 방법은 예를 들어 소벨 엣지검출 알고리즘(Sobel edge-detection algorithm)을 이용하는 것과 같은 표준엣지검출기술을 이용하여 각 제1 및 제2이미지에 존재하는 강도변화를 확인하는 단계를 포함한다. 이는 이미지에서 픽셀의 값을 동일한 이미지에서 적어도 하나의 근접한 픽셀의 값과 비교하는 단계를 포함한다. 이는 수평(X) 또는 수직(Y) 평면에 인접한 픽셀일 수 있다.

가장 좋기로는 본 발명의 방법이 픽셀의 열에 대응하는 어레이에서 수평열의 값을 스캐닝하는 단계와 각 픽셀에 할당된 값을 이러한 열의 전후 픽셀의 값과 비교하는 단계를 포함하는 엣지기술을 이용한다. 각 픽셀이 차이에 종속하는 값으로 할당된 중간이미지가 형성된다.

전문가라면 제1, 중간, 제2 및 조합 이미지는 물론 예를 들어 전자메모리에 저장된 디지털 사진과 같은 다른 "이미지"가 물리적인 이미지인 것과는 달리 물리적인 이미지가 아님을 잘 알 것이다. 일반적으로 이들은 저장된 숫자 또는 문자숫자식 값의 어레이만으로 구성될 것이며 여기에서 각 값은 각 제1 및 제2이미지의 픽셀에 할당되고 초기이미지에 포착된 장면의 일부에 대응한다. 이들 이미지는 아주 잠깐만 저장되며, 실제로는 단 한번만 중간이미지의 단 하나의 값 또는 단 한 열의 값이 저장될 수 있다. 이들이 최종조합이미지를 형성하는 방법에 의하여 요구되는 바와 같이 이들이 조합될 수 있도록 충분히 긴 다른 이미지의 대응하는 값과 동일한 시간에 저장되는 한 이러한 방법은 여전히 수행될 것이다.

조합이미지의 형성단계에 사용된 한정셋트의 규칙은 각 픽셀에 대한 제1 및 제2 이미지로부터 얻은 두개의 강도변화값을 비교하는 단계와 최대크기를 갖는 값을 선택하는 단계와 조합이미지의 대응하는 픽셀에 대하여 이러한 픽셀(부호를 유지함)의 값을 할당하는 단계를 포함할 수 있다. 다른 규칙이 이용될 수 있다. 예를 들어, 조합이미지의 값의 크기를 얻기 위하여 각 강도값을 제곱하여 다른 값에 더하며, 두 강도값이 최대크기를 갖는 것에 따른 부호를 붙일 수 있다.

이러한 조합이미지로부터 엣지강화조합이미지의 표준이미지처리방법이 적용될 수 있다. 이러한 방법은 고속도로의 경계선을 확인하기 위하여 조합이미지를 처리하는 단계를 포함한다. 이는 특허문헌 EP 1 057 141 B1에 기술된 방법을 이용할 수 있다.

본 발명의 방법은 초기이미지에 각 픽셀의 값을 포함하는 조합이미지를 생성할 수 있다.

제1이미지를 형성하는 단계는 초기이미지의 값에 대응하고 제1셋트의 픽셀인 각 픽셀에 대하여 그리고 제1셋트의 하나 이상의 인접한 픽셀의 값으로부터 보간방식으로 얻은 값을 할당한 제2셋트의 픽셀에 대하여 값을 할당하는 단계를 포함한다. 따라서 본 발명의 방법은 제1셋트의 픽셀로부터의 모든 값을 선택하고 보간법을 이용하여 갭을 채운다.

동일 또는 유사한 보간단계가 제2셋트의 픽셀을 위한 값만을 선택하고 갭을 채우도록 보간함으로서 중간(적색)이미지를 형성하기 위하여 이용될 수 있다.

제2관점에 따라서 본 발명은 차량용 이미지처리장치를 제공하는 바, 이 장치가

차량의 전방에 전개되는 고속도로 영역의 초기이미지를 획득할 수 있도록 배치되는 이미저를 포함하고, 상기 이미저는 2차원 어레이의 이미지획득픽셀을 포함하며, 상기 어레이는 이미지로 획득된 장면의 대응하는 부분의 색상에 실질적으로 종속하지 않는 값을 갖는 출력신호를 각각 발생하는 공간좌표(XY)에 배치되고 이미지로 획득된 장면의 대응하는 부분의 제한된 색상범위에 종속하며 이미지로 획득된 장면의 대응하는 부분의 명도에 부분적으로 종속하는 값을 갖는 출력신호를 각각 발생하는 간격을 둔 위치에 배치된 제2셋트의 픽셀 사이에 배치되는 제1셋트의 픽셀을 포함하고;

처리수단을 포함하되, 상기 처리수단이

획득된 초기이미지로부터 장면의 색상에 실질적으로 관계가 없고 각 픽셀에 제1셋트의 픽셀의 적어도 하나의 픽셀로부터의 값을 이용하여 유도된 값이 할당된 제1이미지를 생성할 수 있게 된 제1처리수단,

초기이미지로부터 각 픽셀에 제1 및 제2셋트의 픽셀 모두의 적어도 하나의 픽셀로부터의 값을 이용하여 유도된 값이 할당된 제2이미지를 생성할 수 있게 된 제2처리수단,

제1이미지의 적어도 하나의 픽셀에 대하여 이러한 픽셀에 할당된 값과 적어도 하나의 인접한 픽셀에 할당된 값 사이의 차이를 나타내는 제1강도변화값을 확인하기 위한 제1확인수단,

제1 및 제1이미지의 대응하는 픽셀에 대하여 제1 및 제2의 각 확인된 강도변화값의 크기와 부호에 종속하는 조합이미지의 대응하는 픽셀에 값을 할당하기 위하여 정의된 조합규칙셋트를 이용하여 차선검출장치에 사용하기에 적합한 조합이미지를 형성하기 위한 조합수단,을

포함한다.

이미저는 차량에 고정되어 일련의 이미지를 획득할 수 있게 구성되며, 각 이미지는 각 일련의 조합이미지를 생성할 수 있도록 처리된다.

본 발명의 장치는 내부에 일시적으로 이미지 또는 그 일부가 저장되는 저장수단, 전형적으로 전자메모리의 영역을 포함할 수 있다.

처리수단은 본 발명의 제1관점에 따른 방법의 단계를 수행할 수 있도록 구성될 수 있다.

이미저는 비디오 카메라를 포함하고, 이는 초기이미지의 스트림을 생성할 수 있으며, 각 이미지는 각 조합이미지의 스트림을 형성하도록 처리된다.

비디오 카메라는 CCD 어레이를 포함한다. 이 어레이는 검출요소의 어레이를 포함할 수 있으며, 제2셋트의 픽셀은 이들이 색상에 대한 요구된 감도를 가질 수 있도록 필터로 커버된다. 필터는 레드 필터이다. 제1셋트의 픽셀은 클리어 필터로 커버될 수 있다.

제1 및 제2셋트의 픽셀은 수평 및 수직열로 구성되고 각 열은 교대로 제1 및 제2셋트의 픽셀로 구성되는 바둑판패턴(checker pattern)으로 배열될 수 있다. 다른 방식으로 한 셋트의 픽셀이 다른 셋트의 픽셀 보다 적을 수도 있다. 예를 들어, 제2픽셀 또는 제1픽셀이 제2픽셀 및 제1픽셀의 인접한 픽셀로부터 1 픽셀 이상의 간격을 두고 배열될 수 있다.

제3관점에 따라서 본 발명은 제2관점에 따른 장치와 추가로 이러한 장치로부터 출력된 조합이미지로부터 차선경계선을 확인하고 이러한 차선경계선으로부터 차량 전방의 노면형상을 예측할 수 있도록 구성된 처리수단을 포함하는 차량용 노면형상예측장치를 제공한다.

제4관점에 따라서 본 발명은 본 발명의 제1관점의 단계들과 추가로 이미지내에서 차선경계선을 검출하기 위하여 조합이미지를 처리하는 단계를 포함하는 차선검출방법을 제공한다. 이 단계는 인접한 픽셀 사이의 조합이미지에서 강도변화에 기반하여 차선경계선을 검출하는 단계를 포함한다. 조합이미지를 처리하기 위하여 엣지검출알고리즘이 이용될 수 있다.

제2 및 제3관점의 처리수단은 디지털신호프로세서를 포함할 수 있다. 프로세서의 작동시에 본 발명의 제1관점에 따른 방법의 단계들이 수행될 수 있도록 하는 메모리의 영역에 저장된 프로그램이 제공된다.

본 발명을 첨부도면에 의거하여 보다 상세히 설명하면 다음과 같다.

도 1은 본 발명의 한 관점에 따른 노면형상예측장치의 실시형태가 갖추어진 차량을 보인 설명도.
도 2는 장치의 CCD 어레이의 클리어 필터와 레드 필터로 정의된 제1 및 제2픽셀의 패턴을 보인 설명도.
도 3은 노면형상을 예측하기 전에 제1 및 제2이미지를 생성하기 위하여 장치에 의하여 수행되는 단계를 보인 흐름도.
도 4a 및 도 4b는 각각 제1이미지의 형성에 사용된 갭의 보간방법과 제2이미지의 형성에 사용된 갭의 보간방법을 보인 설명도.
도 5는 노면형상을 예측하기 위하여 사용된 조합엣지이미지의 생성에 이용된 단계들을 보인 설명도.
도 6은 조합이미지를 생성하는데 이용될 수 있는 일련의 다른 단계들을 보인 설명도.
도 7은 도 1의 장치를 이용하여 획득된 차량전방 장면의 초기이미지를 보인 설명도.
도 8a 및 도 8b는 각각 도 7의 초기이미지에 상응하는 제1(그레이스케일)이미지와 중간(레드)이미지를 보인 설명도.
도 9는 제1이미지 및 중간이미지로부터 생성된 제2의 색상이미지를 보인 설명도.
도 10은 그레이스케일 및 색상이미지로부터 생성된 조합엣지이미지의 설명도.
도 11은 조합이미지에 적용된 차선검출의 결과를 보인 설명도.

도 1에서 보인 바와 같이, 차량(100)에는 본 발명의 ?점에 따른 예시적인 노면형상예측장치(100)가 구비되어 있다. 이 장치는 연속적으로 이미지 프레임을 프로세서에 출력하는 전형적인 비디오 카메라인 이미저를 포함한다. 카메라는 노면으로부터 높이 H의 위치에 배치되어 있고, 차량전방의 장면을 획득한다. 프로세서는 엣지가 검출될 수 있도록 하고 이들로부터 노면형상이 예측되는 이미지를 처리하는 방법을 수행한다. 특히, 이미지에서 차선표지물의 검출에 기반하여 차선경계선의 예측이 이루어진다. 전문가라면 특허문헌 EP 1 057 141 B1의 교시내용으로부터 이러한 방법이 일반적으로 수행되는 방법을 용이하게 이해할 수 있을 것이다. 따라서 적당한 이미지로부터 엣지가 검출되는 방법의 상세한 설명이 본문에서 반복적으로 설명될 것이며, 전문가라면 초기이미지를 처리함으로서 엣지가 확인되고 차선경계선이 예측될 수 있음을 이해할 수 있을 것이다.

카메라는 다양한 형태의 것일 수 있으나 이 실시형태에서는 수평 및 수직열에 배열된 픽셀의 2차원 어레이(200)를 갖는 상보형금속산화반도체(CMOS) 이미지화회로를 포함한다. 이는 도 2에서 보인 바와 같이 필터 어레이로 커버되어 있다. 이 어레이는 6 x 6 어레이이지만 실제로는 대규모 어레이로서 예를 들어 500 x 500 또는 그 이상의 규모를 갖는 것이 사용될 것이다. CMOS 어레이의 작동은 잘 알려져 있는 것이므로 본문에서는 되풀이하여 설명하지 않을 것이다. 일반적으로 한 프레임에서 각 픽셀로부터 출력된 값은 샘플링시간동안 픽셀의 감응부분에 가하여지는 광선의 전체강도에 일치한다. 픽셀에 가하여지는 광선이 많으면 많을수록 보다 많은 전하가 생성되어 해당 픽셀의 출력값이 높아진다.

이 실시형태에서 이미지화어레이는 직접 장면으로부터의 광선을 받아 획득되는 장면의 대응하는 부분의 강도를 나타내는 출력을 발생한다. 이들 픽셀은 도 2에서 "C"로 표시된 클리어 필터(200)로 커버된다. 장면의 부분이 밝으면 밝을수록 값이 커지며, 이러한 값은 전체가 어두운 부분이 0 인 것으로부터 픽셀을 충분히 포화시킬 수 있도록 밝은 부분이 N인 범위를 갖는 바, 이러한 예에서 N은 255 이다.

바둑판패턴에서 제1셋트의 픽셀에는 주요색상 또는 제한된 범위의 색상에 감응하는 제2셋트의 픽셀이 혼재되어 있다. 본문에서는 장면의 부분의 제한된 색상범위의 존재를 나타내는 출력값을 발생하는 것이다. 도 2에서 보인 바와 같이, 이들은 그리드에 배열되어 있으며, 제1셋트의 한 픽셀 만큼 주요색상에 감응하는 유사한 픽셀로부터 모든 방향으로 간격을 두고 있다. 픽셀이 주요색상에 대하여 감응할 수 있도록 하기 위하여 이들은 적색색상을 갖는 광선이 픽셀에 우선적으로 이르도록 하는 도 2에서 부호 R로 표시한 레드 필터(220)로 커버되어 있다. 만약 장면의 일부가 전혀 적색색상을 갖지 않는 경우, 0의 값이 출력될 것이며, 색상이 전체가 적색이고 충분히 밝다면 약 255의 값이 출력될 것이다.

각 초기이미지, 즉, 프레임에 대하여, 각 픽셀에 대해 발생된 값이 처리를 위한 전자메모리의 영역에 저장된다. 본문에서 이러한 어레이의 값은 초기이미지로 불리나, 이는 간단히 값의 어레이이고 이미지를 디스플레이상에 생성하도록 사용되지 않는 한 인간의 눈으로는 볼 수 없는 것임을 이해할 것이다. 실제로 어느 한 순간에 이미지의 일부만이 메모리에 저장될 수 있으며, 처리되지 않은 어떠한 부분은 중복기재된다.

도 7은 초기이미지(300)를 보인 것으로, 이는 레드 필터가 배치된 픽셀에 대응하는 스펙클 패턴(speckle pattern)을 갖는다.

초기이미지가 차선경계선을 확인하기 위하여 다음 단계에서 처리되는 특허문헌 EP 1 057 141 B1에 교시된 장치와는 다르게, 도시된 실시형태는 인접한 노면과 동일한 명도를 갖는 차선경계선을 검출할 수 있는 시스템의 능력을 증가시키는 초기이미지의 부가적인 처리과정을 수행한다. 이는 특히 운전자가 나안으로 용이하게 확인할 수 있는 풀 컬러 비전(full colour vision)을 갖는 황색 차선표지물의 경우이지만, 이들 표지물은 그레이스케일 카메라에 의하여 획득된 이미지에서는 보이지 않을 수 있다.

도 3에서 보인 제1단계에서, 초기이미지(300)는 명도에 감응하나 색상에는 감응하지 않는 픽셀값만을 이용하여 제1 그레이스케일 이미지(400)를 형성토록 프로세서에 의하여 처리된다. 실제값이 초기이미지에 존재하는 경우, 이는 제1이미지의 대응하는 픽셀에 간단히 복사된다. 갭이 있는 경우, 초기이미지의 픽셀이 레드필터로 여과되므로 복사된 인접한 값은 갭을 채우는 추정값을 제공하기 위하여 보간된다. 이는 도 4a에서 주위의 픽셀이 보간과정에 사용된 것을 표시하는 화살표로 보이고 있다. 물론, 더 많은 주위의 픽셀 또는 더 적은 주위의 픽셀이 사용될 수 있다. 그 결과는 CCD 어레이가 색상 보다는 명도에 감응하는 픽셀만을 갖는 경우 생성될 수 있는 추정이미지인 제1이미지(400)이다. 이러한 제1이미지는 장면의 그레이스케일 이미지이다. 이는 도 8a에서 보이고 있는 바, 여기에서 레드 픽셀이 추정값으로 대체되었으므로 도 7의 스펙클(speckle)은 더 이상 존재하지 않는다. 다른 더 복잡한 보간방법이 사용되거나(예를 들어 레드 픽셀 상하의 픽셀을 이용하여), 또는 어떤 경우에 이미지의 명도를 추정하는 레드 픽셀을 포함할 수 있다.

제2단계에서, 제1 및 제2셋트의 픽셀의 값을 이용하여 색상에 따라 달라지는 제2이미지(500)가 생성된다. 이를 위하여, 레드 필터가 적용된 픽셀에 대응하는 초기이미지의 값만을 이용하여 중간 레드 이미지(600)가 생성된다. 다시, 초기이미지에 값이 존재하는 경우 이들이 제2이미지에 복사된다. 갭이 존재하는 경우 이들 갭은 이러한 갭에 대응하는 장면 부분의 추정색상을 제공하기 위하여 인접한 값을 보간하여 채워진다. 이는 도 4b에 도시되어 있다. 레드 이미지는 장면의 각 부분에 존재하는 적색과 같은 주요색상의 양의 이미지이다. 이는 도 8a에 도시되어 있다. 역시 보다 복잡한 보간방법이 사용될 수 있다.

그리고 중간 레드 이미지(500)가 제1이미지와 조합되어 색상이미지(600)를 생성한다.이는 도 9에 도시되어 있다. 이를 위하여 제1(명도)이미지의 값으로부터 감하여진 레드 이미지의 값에 일치하는 값이 색상이미지의 각 픽셀에 할당된다. 도 9에서 보인 바와 같이, 이러한 값의 범위는 최대 +255로부터 낮게는 -255이다. 적색이 많고 장면이 비교적 어두운 경우, 적색 이외에 다른 색상이 거의 없음을 나타내는 높은 값이 할당될 것이다. 적색이 많으나 전체적으로 명도가 높은 경우 값은 0에 가까울 것인 바, 이는 적색에 부가하여 다른 색상이 존재함을 나타낸다. 만약 장면의 일부가 매우 밝고 레드 이미지에 적색이 거의 없는 경우 값은 -255 정도로 매우 낮을 것이다. 이와 같이, 이미지의 값은 의사색상의 추정값을 보이는 것으로, 255가 적색/황색이고, 0은 어두운 중간색상이며, -255는 청색/청록색이다.

다음 단계에서, 제1(그레이스케일) 및 제2(의사색상)이미지(400, 600)가 조합되어 노면형상예측단계로 보내질 수 있는 이미지(700)를 생성한다. 이러한 조합이미지(700)를 생성하기 위하여, 각 이미지(400, 500)는 이미지의 엣지의 존재를 검출하는 엣지검출기로 보내진다. 각 픽셀에 대하여, 프로세서는 각 이미지에 대한 엣지검출기의 각 출력으로부터 조합이미지의 값을 결정하기 위한 알고리즘 또는 다른 논리과정을 적용한다.

특히, 도 5에서 보인 바와 같이, 제1 및 제2이미지의 각 픽셀은 이들을 각 엣지검출기(401, 601)를 통과시켜 적어도 하나의 인접한 픽셀에 대하여 픽셀의 값의 변화를 확인하기 위하여 차례로 처리된다. 값의 변화가 크다는 것(큰 차이)은 이미지에 엣지의 일부가 존재한다는 것이다. 각각의 경우 절대값(402, 602)이 결정되고 두 절대변화값중에서 최대값이 조합이미지에서 대응하는 픽셀에 대한 값을 배정하기 위하여 사용된다. 이러한 과정은 도 10에서 보인 이미지를 생성하기 위하여 장면의 완전한 조합이미지를 만들어낼 때까지 모든 픽셀에 대하여 반복된다.

도 6에서 보인 바와 같은 다른 실시형태에서, 제1 및 제2이미지에서 각 픽셀의 값의 변화는 엣지검출기(401, 601)를 이용하여 유사하게 결정되고 이로부터 각 변화의 절대값(402, 602)이 유사한 방식으로 유도된다. 각 이미지로부터의 조합된 값의 제곱값이 계산되고 가산하여 좁합됨으로서 조합이미지의 값을 얻을 수 있으며, 이와 같이 계산된 값은 이에 적용된 부호, 즉, 절대값이 최대크기를 갖는 것에 따르는 부호를 갖는다. 예를 들어, 제1이미지로부터의 변화값이 더 크면 조합이미지에서 해당 픽셀에 할당된 값이 양의 부호를 가지며 더 작다면 음의 부호를 가진다. 절대값은 가산의 결과로부터 제공된다. 이 기술은 이미지를 직각성분으로서 처리하고 "엣지응답의 크기"를 계산한다.

끝으로, 도 10에서 보인 바와 같은 조합이미지는 특허문헌 EP 1 057 141 B1에서 교시하고 있는 바와 같은 표준기술을 이용하여 차선경계선을 확인할 수 있도록 처리될 수 있다. 그 결과는 도 11에서 보인 이미지(800)일 수 있다. 여기에서 황색으로 칠하여진 최좌측의 차선경계선(800)이 확인됨을 잘 알 수 있다. 이는 초기이미지를 확인하는 것이 거의 불가능하지만 색상이미지에서 라인(610)으로서 선택되었다.

10: 노면형상예측장치, 100: 차량, 200: 픽셀의 2차원 어레이, 210: 클리어 필터, 220: 레드 필터, 300: 초기이미지, 400: 그레이스케일 이미지, 401: 엣지검출기, 402: 절대값, 500: 제2이미지, 600: 색상이미지, 601: 엣지검출기, 602: 절대값, 610: 라인, 700: 조합이미지, 800: 이미지, 810: 차선경계선.

Claims (24)

1. 차량에 설치하기에 적합한 차선검출장치에 이용하기 위한 이미지처리방법에 있어서, 이 방법이
   2차원 어레이의 이미지획득픽셀을 갖는 이미저를 이용하여 차량의 전방에 전개되는 고속도로 영역의 초기이미지를 획득하되, 상기 어레이는 이미지로 획득된 장면의 대응하는 부분의 색상에 실질적으로 종속하지 않는 값을 갖는 출력신호를 각각 발생하는 공간좌표(XY)에 배치된 제1셋트의 픽셀과 이미지로 획득된 장면의 대응하는 부분의 제한된 색상범위에 종속하고 이미지로 획득된 장면의 대응하는 부분의 명도에 부분적으로 종속하는 값을 갖는 출력신호를 각각 발생하는 간격을 둔 위치에 배치된 제2셋트의 픽셀을 포함하는 단계;
   획득된 초기이미지로부터 제1이미지를 생성하되, 상기 제1이미지의 각 픽셀이 제1셋트의 픽셀의 적어도 하나의 픽셀로부터의 값을 이용하여 유도된 값이 할당되는 단계;
   초기이미지로부터 제2이미지를 생성하되, 상기 제2이미지의 각 픽셀이 제1셋트의 픽셀의 적어도 하나의 픽셀과 제2셋트의 적어도 하나의 픽셀의 값을 이용하여 유도된 값이 할당되는 단계;
   제1이미지에서의 적어도 하나의 픽셀에 대하여 상기 제1이미지에서의 적어도 하나의 픽셀에 할당된 값과 적어도 하나의 인접한 픽셀에 할당된 값 사이의 차이를 나타내는 제1강도변화값을 확인하는 단계;
   제2이미지에서의 대응하는 픽셀에 대하여 상기 제2이미지에서의 대응하는 픽셀에 할당된 값과 적어도 하나의 인접한 픽셀에 할당된 값 사이의 차이를 나타내는 제2강도변화값을 확인하는 단계;
   제1 및 제2이미지의 대응하는 픽셀에 대하여 제1 및 제2의 각 확인된 강도변화값의 크기와 부호에 종속하는 조합이미지의 대응하는 픽셀에 값을 할당하기 위하여 정의된 조합규칙셋트를 이용하여 차선검출장치에 사용하기에 적합한 조합이미지를 형성하는 단계;를
   포함함을 특징으로 하는 이미지처리방법.
2. 제1항에 있어서, 제2셋트의 픽셀의 각 픽셀이 장면의 대응하는 부분에 존재하는 단일의 주요색상의 양에 종속하는 값을 갖는 출력을 발생함을 특징으로 하는 이미지처리방법.
3. 제2항에 있어서, 주요색상이 적색임을 특징으로 하는 이미지처리방법.
4. 제1항에 있어서, 제2이미지를 생성하는 단계가 각 픽셀에 할당된 값이 제2셋트의 적어도 하나의 픽셀로부터의 출력을 사용하여 획득되고 제1셋트의 픽셀의 값과는 독립적인 중간이미지를 생성하는 단계와, 제2이미지의 값을 얻기 위하여 중간이미지에 할당된 값으로부터 제1이미지에 할당된 대응하는 값을 감산하는 단계를 포함함을 특징으로 하는 이미지처리방법.
5. 제4항에 있어서, 조합하여 제2(색상)이미지를 생성하기 전에 제1(그레이스케일)이미지와 중간(적색 또는 다른 색상 또는 다른 색상의 범위)이미지의 각각에서 픽셀에 할당된 값을 스케일링하는 단계를 포함함을 특징으로 하는 이미지처리방법.
6. 제1항에 있어서, 이미지화 픽셀의 단일 2차원 어레이를 포함하는 이미저를 이용하는 단계를 더 포함함을 특징으로 하는 이미지처리방법.
7. 제1항에 있어서, 이미지에서 픽셀의 값을 동일한 이미지에서 적어도 하나의 근접한 픽셀의 값과 비교함으로서 각 제1 및 제2이미지에 존재하는 강도변화를 확인하는 단계를 포함하고, 픽셀이 수평(X) 또는 수직(Y) 평면에 인접한 픽셀임을 특징으로 하는 이미지처리방법.
8. 제7항에 있어서, 픽셀의 열에 대응하는 어레이에서 수평열의 값을 스캐닝하는 단계와 각 픽셀에 할당된 값을 상기 열의 전후 픽셀의 값과 비교하는 단계를 포함함을 특징으로 하는 이미지처리방법.
9. 제7항에 있어서, 조합이미지의 형성단계에 사용된 한정셋트의 규칙이 각 픽셀에 대한 제1 및 제2 이미지로부터 얻은 두개의 강도변화값을 비교하는 단계와 최대부호를 갖는 값을 선택하는 단계와 최종이미지의 대응하는 픽셀에 대하여 상기 값을 할당하는 단계를 포함함을 특징으로 하는 이미지처리방법.
10. 제7항에 있어서, 규칙이 픽셀의 각 강도변화값을 제곱하는 단게와 조합이미지의 값의 크기를 형성하기 위하여 가산하는 단계와, 두 강도값이 최대크기를 갖는 것에 따른 부호를 적용하는 단계를 포함함을 특징으로 하는 이미지처리방법.
11. 제1항에 있어서, 고속도로 경계선을 확인하기 위하여 조합이미지를 처리하는 단계를 더 포함함을 특징으로 하는 이미지처리방법.
12. 제1항에 있어서, 초기이미지에서 각 픽셀의 값을 포함하는 조합이미지를 생성하는 단계를 포함함을 특징으로 하는 이미지처리방법.
13. 제1항에 있어서, 제1이미지를 형성하는 단계가 초기이미지의 값에 대응하고 제1셋트의 픽셀인 각 픽셀에 대하여 그리고 제1셋트의 하나 이상의 인접한 픽셀의 값으로부터 보간방식으로 얻은 값을 할당한 제2셋트의 픽셀에 대하여 값을 할당하는 단계를 포함함을 특징으로 하는 이미지처리방법.
14. 제1항에 있어서, 중간이미지를 형성하는 단계가 제2셋트의 픽셀을 위한 값만을 선택하는 단계와 갭을 채우도록 보간하는 단계를 포함함을 특징으로 하는 이미지처리방법.
15. 차량용 이미지처리장치에 있어서, 이 장치가
    차량의 전방에 전개되는 고속도로 영역의 초기이미지를 획득할 수 있도록 배치되는 이미저를 포함하고, 상기 이미저는 2차원 어레이의 이미지획득픽셀을 포함하며, 상기 어레이는 이미지로 획득된 장면의 대응하는 부분의 색상에 실질적으로 종속하지 않는 값을 갖는 출력신호를 각각 발생하는 공간좌표(XY)에 배치되고 이미지로 획득된 장면의 대응하는 부분의 제한된 색상범위에 종속하며 이미지로 획득된 장면의 대응하는 부분의 명도에 부분적으로 종속하는 값을 갖는 출력신호를 각각 발생하는 간격을 둔 위치에 배치된 제2셋트의 픽셀 사이에 배치되는 제1셋트의 픽셀을 포함하고;
    처리수단을 포함하되, 상기 처리수단이
    획득된 초기이미지로부터 장면의 색상에 실질적으로 관계가 없고 각 픽셀에 제1셋트의 픽셀의 적어도 하나의 픽셀로부터의 값을 이용하여 유도된 값이 할당된 제1이미지를 생성할 수 있게 된 제1처리수단,
    초기이미지로부터 각 픽셀에 제1 및 제2셋트의 픽셀 모두의 적어도 하나의 픽셀로부터의 값을 이용하여 유도된 값이 할당된 제2이미지를 생성할 수 있게 된 제2처리수단,
    제1이미지의 적어도 하나의 픽셀에 대하여 이러한 픽셀에 할당된 값과 적어도 하나의 인접한 픽셀에 할당된 값 사이의 차이를 나타내는 제1강도변화값을 확인하기 위한 제1확인수단,
    제1 및 제2이미지의 대응하는 픽셀에 대하여 제1 및 제2의 각 확인된 강도변화값의 크기와 부호에 종속하는 조합이미지의 대응하는 픽셀에 값을 할당하기 위하여 정의된 조합규칙셋트를 이용하여 차선검출장치에 사용하기에 적합한 조합이미지를 형성하기 위한 조합수단을
    포함함을 특징으로 하는 차량용 이미지처리장치.
16. 제15항에 있어서, 이미저가 차량에 고정되어 일련의 이미지를 획득할 수 있게 구성되며, 각 이미지는 각 일련의 조합이미지를 생성할 수 있도록 처리됨을 특징으로 하는 차량용 이미지처리장치.
17. 제15항에 있어서, 내부에 일시적으로 이미지 또는 그 일부가 저장되는 저장수단, 전자메모리의 영역을 포함함을 특징으로 하는 차량용 이미지처리장치.
18. 제15항에 있어서, 처리수단이 청구항 제1항 내지 제14항 중 어느 하나의 청구항에서 어느 하나의 단계를 수행할 수 있도록 구성됨을 특징으로 하는 차량용 이미지처리장치.
19. 제15항에 있어서, 이미저가 비디오 카메라를 포함하고, 상기 비디오 카메라는 초기이미지의 스트림을 생성할 수 있으며, 각 이미지는 각 조합이미지의 스트림을 형성하도록 처리됨을 특징으로 하는 차량용 이미지처리장치.
20. 제19항에 있어서, 비디오 카메라가 검출요소의 CCD 어레이를 포함하고, 제2셋트의 픽셀이 이들이 색상에 대한 요구된 감도를 가질 수 있도록 필터로 커버됨을 특징으로 하는 차량용 이미지처리장치.
21. 제20항에 있어서, 필터가 레드 필터임을 특징으로 하는 차량용 이미지처리장치.
22. 제15항에 있어서, 제1 및 제2셋트의 픽셀이 수평 및 수직열로 구성되고 각 열은 교대로 제1 및 제2셋트의 픽셀로 구성되는 바둑판패턴으로 배열됨을 특징으로 하는 차량용 이미지처리장치.
23. 제15항에 따른 차량용 이미지처리장치와 추가로 상기 차량용 이미지처리장치로부터 출력된 조합이미지로부터 차선경계선을 확인하고 상기 차선경계선으로부터 차량 전방의 노면형상을 예측할 수 있도록 구성된 처리수단을 포함함을 특징으로 하는 차량용 노면형상예측장치.
24. 제1항에 기재된 모든 단계와 추가로 이미지내에서 차선경계선을 검출하기 위하여 조합이미지를 처리하는 단계를 포함함을 특징으로 하는 차선검출방법.

Images