KR100588563B1 - 영상을 이용한 차선 인식방법 - Google Patents

Abstract

차량의 영상 처리장치에서 CCD 카메라를 통해 입력되는 영상으로부터 차선을 인식하여 운전자의 차선 변경 의지를 자동으로 판단하여 방향 지시등의 점멸 및 사이드 미러의 각도를 자동으로 조정하도록 하는 것으로,

차량의 주행에 따라 영상 검출부는 전방의 영상을 입력하여 영상 처리부에 인가하며, 영상 처리부는 입력되는 도로 영상을 흑백 이미지로 변환한 다음 영상 처리를 통해 차선을 인식하고, 인식된 차선의 기울기 변화를 추출하여 기울기의 변화로부터 차량의 진행 방향을 추출하여 제어부에 인가하는 과정,

상기 제어부는 영상 처리부에서 인가되는 차량의 진행 방향에 따라 방향 지시등 및 사이드 미러를 작동 제어하는 과정 및 상기 제어부는 영성 처리부에서 인가되는 차량의 진행 방향이 차선의 복귀로 판단되면 방향 지시등의 작동을 오프 시킴과 동시에 사이드 미러를 원래의 위치로 복원시키는 과정을 포함한다.

차선 인식, 영상검출, 진행 방향, 차선 기울기

Description

영상을 이용한 차선 인식방법{METHOD FOR A TRAFFIC LINE RECOGNITION OF USING IMAGE ON VEHICLE}

도 1은 본 발명에 따른 영상을 이용한 차선 인식장치에 대한 일 실시예의 구성도.

도 2는 본 발명에서 영상을 이용한 차선 인식 및 주변장치 작동을 실행하는 일 실시예의 흐름도.

도 3은 도 1의 영상 검출부에서 입력되는 원 도로 영상.

도 4는 도 3의 원 도로 영상의 밝기를 평균화한 영상.

도 5는 도 4에 대한 필터링 처리의 원리를 설명한 도면.

도 6은 도 4에 대하여 필터링 처리한 영상.

도 7은 도 6에 대하여 위에서 본 것 같이 변환시킨 영상.

도 8은 도 7의 영상에 대하여 수직 방향으로 압축한 영상.

도 9는 도 8의 영상에서 차선 기울기를 추출하는 이미지.

도 10은 도 9의 영상에 대하여 수직 합을 구해 수직 중첩함수로 오프셋을 결정하는 상태도.

도 11은 영상 처리영역을 판독하여 차선내의 차량 중심점에서 오프셋을 검출하는 구성도.

도 12는 영상 처리 영역에서 곡률 산출 보이는 영상.

본 발명은 차량의 영상 처리장치에 관한 것으로, 더 상세하게는 CCD 카메라를 통해 입력되는 차선 영상으로부터 운전자의 차선 변경 의지를 자동으로 판단하여 방향 지시등의 점멸 및 사이드 미러의 각도를 자동으로 조정하도록 하는 영상 인식을 이용한 차선 변경 감지방법에 관한 것이다.

일반적으로 차량을 주행하는 과정에서 차선 혹은 진행 방향을 변경하고자 하는 경우 운전자는 멀티펑션 스위치에 구비되는 방향 지시등 점등을 위한 레버를 조작함으로써, 방향 지시등을 점등시켜 주변 차량에게 진행하고자 하는 방향을 안내하고 있다.

따라서, 핸들을 조작하면서 방향 지시등 점등을 위한 레버를 잡거나 조작하여야 하므로 운전에 불편을 초래하는 문제점이 발생한다.

이를 개선하기 위하여 핸들의 조작 방향을 검출하는 조향각 센서와 다수개의 터치 센서를 이용하여 핸들이 조작되는 방향을 판단하여 방향 지시등을 점등시키는 기술이 제공되고 있다.

또한, 네비게이션 시스템의 경우 제공되는 설정된 목적지까지의 주행과정에서 예상 진로에 대한 방향 전환 여부를 판단하여 방향 지시등을 점등시키도록 하는 기술이 제공되고 있다.

그러나, 전자의 경우 운전자가 핸들을 조작할 때마다 방향 지시등이 점등되어지며, 방향 전환 후 직선 주행을 하기 위하여 핸들을 복귀시키는 과정에서도 방향 지시등이 점등되어 주변 차량에게 혼란성을 유발시키게 되는 문제점이 있다.

또한, 후자의 경우 목적지로의 주행중에 다른 여러 변수 및 경로의 변경이 수반될 수 있으나 이에 대하여 능동적으로 방향 지시등을 점등시킬 수 없으며, 차선 변경에 대해서는 방향 지시등의 점등이 수행되지 못하는 단점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 발명한 것으로, 그 목적은 차량에 장착되는 CCD 카메라를 통해 입력되는 차선 영상으로부터 운전자의 차선 변경 의지를 판단하고, 이에 따라 방향 지시등의 자동 점멸 및 사이드 미러의 각도를 자동으로 조정함으로써, 운전에 편리성 및 안정성을 제공하도록 한 것이다.

상기와 같은 목적을 실현하기 위한 본 발명은 차량의 주행에 따라 영상 검출부는 전방의 영상을 입력하여 영상 처리부에 인가하며, 영상 처리부는 입력되는 도로 영상을 흑백 이미지로 변환한 다음 영상 처리를 통해 차선을 인식하고, 인식된 차선의 기울기 변화를 추출하여 기울기의 변화로부터 차량의 진행 방향을 추출하여 제어부에 인가하는 과정; 상기 제어부는 영상 처리부에서 인가되는 차량의 진행 방향에 따라 방향 지시등 및 사이드 미러를 작동 제어하는 과정 및; 상기 제어부는 영성 처리부에서 인가되는 차량의 진행 방향이 차선의 복귀로 판단되면 방향 지시등의 작동을 오프 시킴과 동시에 사이드 미러를 원래의 위치로 복원시키는 과정을 포함하는 것을 특징으로 하는 영상을 이용한 차선 인식방법을 제공한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하면 다음과 같다.

도 1에서 알 수 있는 바와 같이 본 발명의 일 실시예에 따른 영상을 이용한 차선 인식장치는 영상 검출부(10)와 영상 처리부(20), 차속 검출부(30), 제어부(40) 및 방향 지시등(50)으로 구성된다.

영상 검출부(10)는 차량의 실내 혹은 실외의 소정 위치에 장착되는 디지털 CCD 카메라로, 차량의 전방 도로의 영상을 입력한 다음 프레임 단위로 처리하여 출력한다.

영상 처리부(20)는 영상 검출부(10)와 연결되어, 영상 검출부(10)에서 입력되는 전방 도로의 영상 프레임을 흑백 이미지로 변환한 다음 프로세싱 처리하여 차선을 인식한다.

상기 영상 처리부(20)는 입력되는 도로 영상 중에서 전체 밝기 보다 너무 어두어서 영상처리에 노이즈로 동작할 여지가 있는 부분, 예를 들어 스키드 마크, 그림자 등에 대하여 미리 제거하고, 너무 어두운 부분이 영상 내에 존재하게 되면 주위와 밝기 차이가 많이 나므로 차선이 아닌데도 차선으로 오인식 할 수 있으므로, 차선 오인식을 방지하기 위하여 도로의 밝기 값을 평균화하고, 평균값 이하에 대해서는 평균값으로 치환한다.

또한, 도로의 밝기 값이 평균값으로 처리된 영상에 대하여 필터링 처리를 수행하고, 필터링된 영상에 대하여 역원근법을 이용하여 위에서 본 영상으로 변환하며, 영상의 계산 시간 단축을 위하여 수직방향으로 소정 비율로 압축한다.

그리고, 차선의 기울기를 추출하여 차량의 진행방향을 검출하고, 차선의 경 계 침범에 대한 오프셋 값을 산출하며, 차선의 곡률을 산출한다.

차속 검출부(30)는 차량의 감가속에 대한 정보를 검출하여 그에 대한 정보를 제어부(40)에 인가한다.

제어부(40)는 상기 영상 처리부(20)에서 인가되는 차선 인식과 차선 경계 침범에 대한 오프셋 값, 기울기, 곡률 등의 이미지와 차량의 감가속에 대한 정보를 분석하여 차량의 차선 변경 여부 및 진행 방향을 검출하여 방향 지시등(50)의 점멸 및 소등에 대한 제어와 사이드 미러(70)의 각도를 제어하여 운전자의 시야 범위를 확장 하여 준다.

방향 지시등(50)는 상기 제어부(40)에서 인가되는 제어신호에 따라 점멸되어 차량의 진행 방향을 주변 차량에게 안내하여 준다.

전술한 바와 같은 기능을 포함하는 본 발명의 구성에서 차선 변경 자동 인식을 통해 방향 지시등을 작동시키는 동작에 대하여 설명하면 다음과 같다.

차량의 주행이 개시되면 차량 실내외의 전면부 소정의 위치에 설치되는 CCD 카메라인 영상 검출부(10)는 주행 도로의 전방 영상을 입력하여 영상 처리부(20)측에 인가한다(S201).

영상 처리부(20)는 입력되는 전방 도로의 영상을 흑백 이미지로 변환한 다음(S202) 도로 영상중 전체 밝기 보다 너무 어두워서 영상 처리에 노이즈로 동작할 여지가 있는 부분, 예를 들어 스키드 마크, 그림자 등을 제거하여 차선이 아닌데도 차선으로 오인식 할 수 있는 부분을 제거한 후 도로의 밝기 값을 평균하고, 평균값 이하에 대해서는 평균값으로 치환한다(S203).

즉, 영상 검출부(10)에서 입력되는 도 3과 같은 영상중에서 영상 처리에 노이즈로 동작할 여지가 있는 어두운 A 부분에 대하여 제거하여 도 4와 같은 영상으로 처리한다.

이후, 어두운 영역이 제거된 영상을 필터링 처리하여 차선의 윤곽을 돋보이게 한다(S204).

상기의 필터링 처리는 영상의 밝기를 이용하는 것이 아니고 차선의 간격을 이용하여 그 간격만큼 떨어진 양쪽 주위의 밝기값이 지금 위치보다 어둡다는 것을 이용한다.

도 5에서 현재 픽셀(Pixel)의 위치를 x,y라고 하고, P(x,y)를 (x,y)에서의 밝기값이라 하며, F(x,y)를 (x,y)에서 필터링 된 밝기값, m을 차선폭이라고 하면

If P(x,y) 〉 P(x-m,y) 이고 P(x,y) 〉 P(x+m,y)

them F(x,y) = {P(x,y) - P(x - m,y)} + {P(x,y) - P(x + m,y)},

else F(x,y) =0

즉, 차선 폭 만큼의 양 옆보다 밝고(차선이 밝으니까) 그 차이가 클수록 F(x,y)값이 커지게 되며, 이러한 처리를 거친 영상은 도 6과 같이 된다.

상기와 같이 필터링된 영상을 역원근법을 이용하여 도 7에 도시된 바와 같이 위에서 본 것 같은 영상으로 변환한다(S205).

상기의 도 7의 영상에서 도로는 평행한 것으로 가정한 것이다.

상기 도 6과 같이 위에서 본 것 같은 영상으로 변환시킨 영상에 대하여 계산시간을 단축시키기 위하여 수직 방향으로 소정의 비율, 예를 들어 1/5로 압축하여 도 8과 같이 처리한다(S206).

상기와 같이 압축된 영상에서 차량의 진행방향을 의미하는 차선의 기울기를 추출한다(S207).

차선의 기울기는 정량적인 값으로 구하기 어려우므로 "왼쪽 많이, 왼쪽 중간, 왼쪽 조금, 중앙, 오른쪽 조금, 오른쪽 중간, 오른쪽 많이" 의 순으로 단계를 나누어 산출하며, 도 8의 영상을 왼쪽 및 오른쪽으로 기울이면서 상기 각 단계별 수직으로 밝기값을 합한 함수로 도 9와 같이 추출한다.

상기 S207에서 차선의 기울기가 추출되면 도 10과 같이 영상의 수직 합인 수직 중첩함수를 얻을 수 있게 되며, 이 함수의 두 최대값을 구하게 되면 바로 차선의 X 위치가 되므로, 차량의 차선 변경(이탈)을 계산할 수 있게 된다.

상기한 바와 같이 입력되는 영상으로부터 차선의 기울기를 추출하여 제어부(40)측에 인가하면, 제어부(40)는 영상 처리 영역을 판독하여 오프셋값을 계산한다(S208).

이는 차선내의 차량 중심점 위치를 x라 하고, 폭을 w라 하면 도 11과 같은 도로의 모델링을 얻을 수 있게 되며, 여기서 Xleft와 Xright는 운전자의 성향에 따른 학습값이므로, 차선내 차량의 수평 위치 변화로부터 계산한다.

X값이 차선의 왼쪽 혹은 오른쪽에 가까운 위치에서 수평 위치의 변화가 없는 횟수가 많으면 운전자는 왼쪽 혹은 오른쪽 차선에 붙여서 운전하는 버릇이 있는 습관이라고 판단하여, 이에 맞추어 Xleft 나 Xright 값에서 일정 거리값을 빼서 차등을 둔다.

이후, 도로가 곡률이 있게 되면 도 12와 같이 차선이 휨을 갖게 되므로 이 휘어진 량을 구하여 도로의 곡률을 계산한다(S209).

도로의 곡률은 영상의 밝은 곳을 이진화하여 그 포인트들을 2차원 커브로 확정하여 산출한다.

상기와 같이 차선의 기울기 및 곡률이 산출되면 차선의 기울기 및 곡률을 판단하여(S210), 차선의 기울기 변화가 검출되면 이로부터 차량의 진행(회전) 방향 변경에 따른 차선 변경으로 판단하여(S211) 진행되는 방향의 방향 지시등을 자동으로 점멸하여 준다(S212).

상기와 같이 차량의 진행 방향에 대하여 방향 지시등을 점멸시키는 상태에서 기울기기의 변환가 없는 경우 차선 혹은 진행 방향의 변경후 직선 주행으로 판단하여 점멸 상태에 있는 방향 지시등을 오프시킨다(S213).

또한, 교차로에서 진행 방향을 변경하는 경우 교차로에는 차선의 경계가 없으므로, 차속 검출부(30)에서 감속도의 정보가 검출되면 차선 변경 움직임의 기울기값을 바탕으로 진행 방향을 판단한다.

이때, 우회전 혹은 좌회전에 대하여 곡률의 한계값을 설정하고, 설정된 한계값 이상의 곡률이 검출되는 경우 해당 방향에 대한 방향 지시등을 점멸시킴과 동시에 사이드 미러를 작동시켜 운전자의 시야 범위를 확장시키고, 한계값 이내로 복귀되는 경우 점멸 상태의 방향 지시등을 오프시켜 줌과 동시에 사이드 미러를 원래의 위치로 복귀시켜 준다.

이상에서 설명한 바와 같이 본 발명은 도로의 영상으로부터 차선을 자동으로 인식하여 방향 지시등 및 사이드 미러를 자동으로 작동시킴으로써 운전에 편리성 및 안정성을 제공한다.

Claims (4)

1. 차량의 주행에 따라 영상 검출부는 전방의 영상을 입력하여 영상 처리부에 인가하며, 영상 처리부는 입력되는 도로 영상을 흑백 이미지로 변환한 다음 영상 처리를 통해 차선을 인식하고, 인식된 차선의 기울기 변화를 추출하여 기울기의 변화로부터 차량의 진행 방향을 추출하여 제어부에 인가하는 과정;

   상기 제어부는 영상 처리부에서 인가되는 차량의 진행 방향에 따라 방향 지시등 및 사이드 미러를 작동 제어하는 과정 및;

   상기 제어부는 영성 처리부에서 인가되는 차량의 진행 방향이 차선의 복귀로 판단되면 방향 지시등의 작동을 오프 시킴과 동시에 사이드 미러를 원래의 위치로 복원시키는 과정을 포함하는 것을 특징으로 하는 영상을 이용한 차선 인식방법.
2. 제1항에 있어서,

   상기 영상 처리부의 차선 인식은 흑백화 처리된 영상에서 전체 밝기보다 어두워 노이즈로 동작할 수 있는 부분을 제거하고, 도로의 밝기값을 평균화하는 단계;

   필터링 처리를 통해 차선 부분을 돋보이게 처리하는 단계;

   필터링 처리된 영상을 역원근법을 이용하여 위에서 본 것 같은 영상으로 변환하는 단계;

   영상의 계산시간 단축을 위하여 설정된 소정의 비율로 압축시키는 단계;

   차선의 기울기를 추출하여 차량의 진행 방향을 추출하는 단계;

   차선의 변경에 대한 기준이 되는 오프셋을 추출하는 단계 및;

   상기 차선의 기울기로부터 추출되는 차량의 진행 방향과 오프셋의 비교를 통해 차선 변경 여부를 판독하는 단계를 포함하는 것을 특징으로 하는 영상을 이용한 차선 인식방법.
3. 제1항에 있어서,

   상기 영상처리부는 영상검출부에서 입력되는 영상에 대하여 영상의 밝은 곳을 이진화하여 도로의 곡률을 추출하는 것을 특징으로 하는 영상을 이용한 차선 인식방법.
4. 제1항에 있어서,

   상기 영상처리부는 차선이 없는 교차로에서의 진행 방향의 변경은 감속도에 대한 정보와 차선 변경의 기울기를 바탕으로 진행 방향을 추출하고, 설정된 도로 곡률의 한계값 비교를 통해 방향 전환을 인식하는 것을 특징으로 하는 영상을 이용한 차선 인식방법.

Images