KR100766596B1 - 차량의 차선유지 조향제어방법 - Google Patents

Abstract

본 발명은 도로상을 주행하는 차량의 전방 도로정보영상으로부터 차량의 좌측차선과 우측차선을 검출하여 현재의 차량주행상태가 차선을 이탈하는지를 판단하고 그 판단결과에 기초하여 차량이 차선을 이탈하지 않도록 자동적인 조향방향 및 조향량의 제어를 실시간으로 수행하도록 된 차량의 차선유지 조향제어방법에 관한 것이다.

바람직한 실시예의 차선유지 조향제어방법에 따르면, 주행 차량의 전방 도로정보영상을 촬상하여 그 차량의 좌측과 우측의 차선정보를 추출하고, 상기 추출된 좌측/우측차선 정보의 영상좌표를 도로좌표로 변환하여 상기 차량의 주행중인 상기 좌측/우측차선의 원주와 그 원주의 곡률 반경을 구하며, 상기 차량이 상기 원주를 따라 이상적으로 주행하는 조건을 만족하는 상태의 목표점의 도로좌표치를 구하고 그 도로좌표치를 영상좌표치로 역변환시켜 화면상에 표시되도록 하고, 상기 화면상의 목표점을 통과하면서 수평축에 평행한 선분이 상기 차선과 교차하는 복수의 점에 대한 중심점을 구하고 그 중심점의 수평좌표치와 상기 목표점의 수평좌표치를 비교하며, 상기 중심점의 수평좌표치와 상기 목표점의 수평좌표치의 비교결과에 따라 상기 조향휠의 조향방향 및 조향량을 제어하여 상기 차선을 유지하여 주행할 수 있도록 하게 된다.

Description

차량의 차선유지 조향제어방법{VEHICLE STEERING CONTROL METHOD FOR LANE KEEPING}

도 1a는 본 발명의 바람직한 실시예에 따른 차량의 차선유지 조향제어방법을 구현하는 장치의 블록구성도,

도 1b는 본 발명에 따른 차량의 차선유지 조향제어방법이 카메라가 부착된 휴대폰 또는 네비게이션에 의해 구현되는 경우를 상정한 블록구성도,

도 2는 본 발명에 따른 차량의 차선유지 조향제어방법을 설명하기 위한 플로우차트,도 3a와 도 3b는 본 발명에 따른 차량의 차선유지 조향제어방법을 설명하기 위한 도면,

도 4a는 본 발명에 따른 차량의 차선유지 조향제어방법에 의해 곡선도로에서의 차선유지 조향제어과정을 설명하는 예시도,

도 4b는 본 발명에 따른 차량의 차선유지 조향제어방법에 의해 직선도로에서의 차선유지 조향제어과정을 예시한 도면,
도 4c는 본 발명에 따른 차량의 차선유지 조향제어방법에 의해 이상적인 주행 상태를 표시하는 예시도이다.

*도면의 주요 부분에 대한 부호의 설명*

10: 촬상부, 12: 영상처리부,

14: 제어연산부, 16: 조향제어부,

16a: 조향구동부, 16b: 조향휠,

18: 표시부, 60: 휴대폰(또는 네비게이션).

본 발명은 차량의 차선유지 조향제어방법에 관한 것으로, 보다 상세하게는 주행중인 차량의 좌측차선과 우측차선을 검출하여 현재의 차량주행상태가 차선을 이탈하는지를 판단해서 그 판단결과에 따라 차량이 차선을 이탈하지 않도록 자동적인 조향방향 및 조향량의 제어를 실행하도록 된 차량의 차선유지 조향제어방법에 관한 것이다.

최근에, 차량의 조향휠(즉, 핸들)의 조향각을 도로의 기하학적 상태에 따라 자동으로 제어하는 자동조향제어기술이 제안되고 있을 뿐만 아니라 차량의 주행상태에서 좌측차선 또는 우측차선을 이탈하여 발생되는 안전사고를 방지하기 위한 차량의 차선이탈 경보기술도 제안되고 있다.

그러한 조향제어기술에 따르면, 차량의 조향제어를 위해 그 차량을 2륜차 모델로 가정해서 그 차량이 진행하는 도로의 상황에 적합한 조향각계산식을 유도하여 조향각을 계산하고 그 조향각에 따라 조향휠을 제어하는 방식이 주로 적용되고 있다.

그러나, 그러한 조향제어기술에서는 우선 차량을 2륜차 모델로 가정하는 방식에서 그 2륜차 모델이 해당하는 차량의 주행 모델을 정확하게 표현하지 못함은 물론 모델의 유도과정에 차량의 기구학적 및 동역학적 특성을 정확하게 반영할 수 없기 때문에 조향각계산식에 의해 계산된 조향각에 따라 차량이 주행한다고 해도 주행선의 중심선을 따라 제대로 주행하지 못하게 되고, 특히 곡선도로에서는 차량의 주행속도 등의 요인에 따라 차량 중심점의 이동, 타이어의 미끄러짐 등이 발생되어 차량이 차선의 중심위치로부터 이탈되는 현상이 발생되게 된다.

또, 상기한 조향제어기술에서는 조향휠에 연계되는 조향축에 조향각 감지용 인코더를 부착해서 현재의 조향각에 대한 인지가 필요하게 되고, 그 조향각 감지용 인코더로부터 발생된 조향각도출력신호가 조향제어를 위한 요인으로 필요하게 된다.

본 발명은 상기한 종래 기술의 사정을 감안하여 이루어진 것으로, 최적의 조향상태에서 나타나야하는 목표점의 수평좌표치와 현재의 주행상태에서 얻어지는 차선중심점의 수평좌표치를 비교하여 두 수평좌표치가 동일하게 되도록 하기 위한 실시간 조향제어를 가능하도록 함으로써 차량에 대한 2륜차 모델의 가정이나 조향각 계산을 위한 복잡한 수학적 공식의 유도가 배제된 상태에서도 차량이 차선을 이탈하지 않도록 자동적으로 조향제어할 수 있도록 하는 차량의 차선유지 조향제어방법을 제공함에 그 목적이 있다.

상기한 목적을 달성하기 위해, 본 발명의 바람직한 실시예에 따르면 주행 차량의 전방 도로정보영상을 촬상하여 그 차량의 좌측과 우측의 차선정보를 추출하는 제 1과정과; 상기 추출된 좌측/우측차선 정보의 영상좌표를 도로좌표로 변환하여 상기 차량의 주행중인 상기 좌측/우측차선의 원주와 그 원주의 곡률반경을 구하는 제 2과정; 상기 차량이 상기 곡률의 원주를 따라 이상적으로 주행하기 위한 조건으로, 즉 차량의 중심이 원주상에 존재하고 차량의 놓인 방향이 원주의 접선방향과 일치해야 하는 조건에서 차량에 장착된 카메라로부터 일정한 거리의 주시 거리만큼 떨어진 원주상의 점(목표점 이라 칭함)을 구하고 이 목표점의 도로좌표치를 구하고 그 도로 좌표치를 영상좌표치로 역변환시켜 화면상에 표시되도록 하는 제 3과정;상기 화면상의 목표점을 통과하는 수평축에 평행한 선분이 좌우 차선 영상과 교차하는 두점을 구한 다음 이 두점간의 중심점을 구하고 그 중심점의 수평좌표치와 상기 목표점의 수평좌표치를 비교하는 제 4과정; 상기 중심점의 수평좌표치와 상기 목표점의 수평좌표치가 일치하도록 상기 조향휠의 조향방향 및 조향량을 제어하여 상기 차량이 차선을 유지하도록 하는 제 5과정을 포함하는 차량의 차선유지 조향제어방법이 제공된다.

바람직하게, 상기 제 2과정에서는 상기 추출된 좌측 및 우측 차선상에 3개 이상의 수평선을 긋고, 각 수평선마다 상기 좌측/우측 차선에 교차되는 2점을 구하며, 각 수평선마다의 2점간 중심점의 영상좌표치를 3개 이상 구하고, 상기 3개 이상의 중심점의 영상좌표를 도로좌표로 변환하여 그 3개 이상의 중심점을 지나는 원주와 그 원주의 곡률반경을 구하게 된다.

상기 제 3과정에서는 상기 차량이 상기 원주상에 놓인 상태에서 차량의 자세방향이 원주의 접선방향과 일치한다고 가정할 때 그 차량의 중심점으로부터 주시방향(Yw-축 방향)으로 일정거리만큼 떨어진 위치에 전방주시거리를 상정하고, 상기 전방주시거리 지점을 통과하면서 상기 Yw-축에 직각인 선분이 상기 원주와 교차하는 점을 목표점으로 구하여 이의 도로 좌표치를 구하며, 상기 목표점의 도로좌표치를 영상좌표치로 역변환시켜 화면에 표시하게 된다.

또, 상기 제 4과정에서는 상기 화면상에 표시된 목표점을 통과하면서 상기 화면의 수평축에 대한 평행한 수평선을 그리고, 상기 수평선이 상기 좌측/우측차선과 교차하는 2점을 구하여 그 2점간의 중심점의 수평좌표치를 구하며, 상기 영상좌표상의 목표점의 수평좌표치와 상기 중심점의 수평좌표치의 차이를 계산하여 비교하게 된다.

상기 차량의 조향제어는 상기 중심점의 수평좌표치와 상기 목표점의 수평좌표치의 차이가 감소되어 일치될 때까지 상기 차량의 조향휠이 회전되도록 실행된다.

본 발명의 다른 예에 따르면, 상기 제 1과정 내지 제 4과정은 카메라가 부착된 휴대폰과 네비게이션 중 어느 하나에 의해서도 구현될 수 있다.

본 발명에 대해 첨부도면을 참조하여 상세하게 설명한다.

도 1a는 본 발명의 바람직한 실시예에 따른 차량의 차선유지 조향제어방법을 구현하는 장치의 블록구성도이다.

도면에서, 10은 차량의 전면 상단에 장착되어 차량의 주행 전방을 촬상하여 도로정보영상을 형성하는 촬상부로서, 그 촬상부(10)는 예컨대 CCD카메라나 CMOS카메라 또는 적정한 영상촬영장치로 구성된다.

12는 상기 촬상부(10)에서 촬상된 차량전방의 도로정보영상을 수취하여 주지의 영상처리기법을 적용하여 차량주행로의 좌측차선과 우측차선을 추출하는 영상처리부로서, 그 영상처리부(12)에 의한 주지의 영상처리기법으로는 예컨대 도로정보영상에서 명암대비에 의해 좌측차선과 우측차선의 검출이 가능하게 된다.

14는 상기 영상처리부(12)에서 검출된 차량의 좌측차선과 우측차선 정보에 기초하여 해당하는 차량의 좌회전 또는 우회전 구동의 필요 여부를 결정하고 그 결과에 따라 조향휠의 회전제어명령을 발생하는 제어연산부이다.

여기서, 상기 영상처리부(12)와 상기 제어연산부(14)는 차량의 전자제어를 위해 설치되는 ECU가 적용되거나 별도의 엠베디드콘트롤시스템(Embeded Control System)을 적용해도 된다.

한편, 본 발명은 상기한 바와 같이 별개의 장치로 구성되어 차량에 탑재되어도 되지만, 도 1b에 예시된 바와 같이 카메라가 부착된 휴대폰에 적용하거나 도로안내기능을 하는 내비게이션의 카메라에 연계시킬 수 있다.

즉, 휴대폰 또는 네비게이션(60)에 부착된 카메라가 상기 촬상부(10)의 기능을 수행하도록 하고 휴대폰 또는 네비게이션의 제어수단(CPU 또는 마이컴)이 상기 영상처리부(12) 및 상기 제어연산부(14)의 기능을 수행하도록 하며 후술하는 표시부는 해당하는 휴대폰 또는 네비게이션에 갖추어진 표시수단에 의해 그 기능을 구현하도록 하는 예도 포함될 수 있다.

16은 상기 제어연산부(14)에서 인가되는 조향휠 회전제어명령에 의해 조향구동부(16a)를 제어하여 조향휠(16b)의 조향방향과 조향량(또는 조향각)이 제어되도록 하는 조향제어부이고, 상기 조향구동부(16a)는 상기 조향휠(16b)의 자동적인 조향구동을 위해 전동모터라든지 유압모터 또는 공압모터 중에서 어느 하나가 적용될 수 있다.

여기서, 상기 조향제어부(16)는 상기 제어연산부(14)로부터 조향중지명령이 전달되기까지 상기 조향구동부(16a)에 의한 회전구동을 실행하게 된다.

18은 차량내에 설치되어 상기한 조향각제어상태를 시각적으로 확인가능하도록 표시해주는 표시부이다.

상기한 구성의 본 발명에 따른 차량의 차선유지 조향제어방법에 대해 도 2에 도시된 플로우차트를 참조하여 상세하게 설명한다.

먼저, 도로상을 주행하는 차량의 전면 상단에 설치된 상기 촬상부(10)에서 촬상된 도로정보영상가 상기 영상처리부(12)에 인가되면 그 영상처리부(12)는 단계 20에서 상기 주행중인 차량의 전방 도로정보영상으로부터 해당하는 차량의 좌측차선(도 3a에서 '40' 참조)과 우측차선(도 3a에서 '42' 참조)을 추출하여 상기 제어연산부(14)에 인가하게 된다.

단계 22에서 상기 제어연산부(14)는 상기 추출된 좌측차선(40)과 우측차선(42)상에 복수의 수평선(즉, 본 발명에서는 최소한 3 이상의 수평선)(도 3a의 좌측 도면에서 43,44,46)을 긋고, 각 수평선(43,44,46)마다 상기 좌측차선(40)과 상기 우측차선(42)에 교차되는 2개의 교차점을 구하여 각 수평선(43,44,46)상의 2개의 교차점 사이의 중심점(도 3a의 좌측 도면에서 43a,44a,46a)을 구하게 된다.

단계 24에서 상기 제어연산부(14)는 해당하는 차량의 현재 위치에서 전방주시방향을 Yw-축으로 설정함과 더불어 그 Yw-축에 직각이면서 해당하는 차량의 중심점을 통과하는 축을 Xw-축으로 설정하여 도로좌표로 정의하는 경우, 상기 촬상부(10)에서 촬상되어 추출된 상기 3개의 중심점(도 3a의 좌측 그림의 43a,44a,46a)의 영상좌표값을 도로좌표값으로 좌표변환(즉, 도 3a의 우측 그림의 43b, 44b, 46b 참조)하게 된다.

단계 26에서 상기 제어연산부(14)는 상기 차량이 주행하는 곡선도로의 곡률을 검출하기 위해 상기 도로좌표상에 위치하는 상기 3개의 점(43b, 44b, 46b)을 통과하는 곡률의 원주와 그 곡률의 반경(R; 도 3a에서 48)을 구하게 된다.

여기서, 해당하는 차량이 그 원주를 따라 이상적으로 주행할 경우에는 차체의 중심이 그 원주상에 위치하여야 하고 그 차량의 자세가 그 원의 원주의 접선방향과 일치하여야 하는 바, 단계 28에서 상기 제어연산부(14)는 상기 곡률의 원주상에 위치하고 접선방향으로 놓인 차량을 이상적으로 주행하고 있는 차량으로 가정할 때(도 3a의 우측 그림의 점선 부분 또는 도 3b의 우측 그림 참조), 이 차량의 카메라로부터 일정한 전방주시거리(도 3a의 우측 그림의 Xw'-Yw'축 또는 도 3b의 우측 그림의 50 참조)만큼 떨어진 지점을 통과하면서 전방주시방향에 직각인 선분(즉, 도 3b의 우측 그림의 50)이 원주와 교차하는 점(목표점)(도 3b의 우측 그림의 52)을 구하고 그 목표점(52)의 도로좌표치를 구하게 된다.

그리고나서, 단계 30에서 상기 제어연산부(14)는 상기 목표점(52)의 도로좌표치를 영상좌표치로 역변환시켜 그 역변환된 목표점(52a)의 위치를 상기 표시부(18)상에 표시되도록 하게 된다.

또, 단계 32에서 상기 제어연산부(14)는 상기 표시부(16)상에 표시된 상기 목표점(52a)을 통과하면서 그 표시부(16)의 화면의 수평축에 평행한 수평선을 긋고 그 수평선이 상기 좌측차선(40)과 상기 우측차선(42)에 교차하는 2점을 구하여 그 두점 간의 중심점(도 3b의 좌측 도면에서 54a 참조)을 구하게 된다. 이 중심점 54a(도 3b의 좌측 도면)는 이상적인 주행조건이 아닌 현 주행 조건에서 주시거리 만큼 떨어진 원주상의 도 3a의 점 54의 역좌표변환점에 해당된다.

그리고나서, 단계 34에서 상기 제어연산부(14)는 상기 영상좌표상의 목표점(52a)의 수평좌표치와 상기 중심점(54)의 수평좌표치의 차이 및 방향성(양 또는 음)을 계산하여 그 수평좌표치 간의 차이가 판단되면, 단계 36에서 그 차이가 영(Zero)이 되도록 상기 조향제어부(16)를 통해 상기 조향구동부(16a)를 제어하여 상 기 조향휠(16b)의 조향 방향 및 조향량을 제어하게 된다.

도 4a는 곡선도로 상에서 상기 좌측차선(40)과 상기 우측차선(42)의 중심점(54)을 목표점(52a)에 위치시키기 위해 시계방향으로 상기 조향구동부(16a)에 의한 조향제어를 실행함으로써 상기 중심점(54)의 수평좌표치가 화살표방향으로 이동하여 상기 목표점(52a)의 수평좌표치와 일치될 때까지 회전시키는 과정을 보여준다.

도 4b는 에 도시된 직선도로상에서는 선형의 상기 좌측차선(40)과 상기 우측차선(42) 사이의 목표점(52a)의 수평좌표치는 항상 '0'의 값을 갖도록 해야 하며, 따라서 항상 Ys'-축 상에 위치되며 상기 중심점(54a)의 수평좌표치가 그 목표점(52a)의 수평좌표치에 일치될 때까지 조향을 시계방향으로 제어하는 과정을 보여준다.
도 4c는 조향제어를 함으로 목표점과 중심의 수평좌표치가 일치된 이상적인 주행 제어 상태를 표시한다.

상기한 바와 같이, 본 발명에 따른 차량의 차선유지 조향제어방법에 의하면, 현재의 조향각을 인코더에 의해 검출하지 않고서도 주행 차량의 조향상태에서 얻어진 영상 특징점과 이상적인 조향상태에서 얻어져야 하는 영상 특징점을 실시간 비교하여 그 양자의 영상 특징점이 일치할 때까지 조향휠을 회전제어함으로써 어떠한 곡률의 주행선이나 속도 및 미끄럼 등의 주행조건에서도 차량이 차선의 중심선을 따라 주행하도록 최적의 조향제어를 실시간으로 수행할 수 있게 된다.

유리하게, 본 발명에 따르면, 상기 촬상부(10)와 상기 영상처리부(12), 상기 제어연산부(14) 및 상기 표시부(18)는 카메라가 부착된 휴대폰 또는 네비게이션에 의해 구현되도록 할 수도 있다.

Claims (6)

1. 주행 차량의 전방 도로정보영상을 촬상하여 그 차량의 좌측과 우측의 차선정보를 추출하는 제 1과정;

   상기 추출된 좌측/우측차선 정보의 영상좌표를 도로좌표로 변환하여 상기 차량의 주행중인 상기 좌측/우측차선의 원주와 그 원주의 곡률 반경을 구하는 제 2과정;

   상기 차량이 상기 원주를 따라 이상적으로 주행하기 위한 조건으로 차량의 중심점이 원주상에 위치하고 차량의 자세 방향이 원주의 접선 방향과 일치하는 조건을 만족하는 상태에서 일정한 크기의 전방 주시거리만큼 떨어진 원주상의 한점을 목표치로 구한 다음 이 목표점의 도로좌표치를 구하고 그 도로좌표치를 영상좌표치로 역변환시켜 화면상에 표시되도록 하는 제 3과정;

   상기 화면상의 목표점을 통과하면서 수평축에 평행인 선분이 상기 좌측/우측차선과 교차하는 두 점 간의 중심점을 구하고 그 중심점의 수평좌표치와 상기 목표점의 수평좌표치를 비교하는 제 4과정;

   상기 중심점의 수평좌표치와 상기 목표점의 수평좌표치가 일치하지 않을 경우 두 수평좌표치가 일치 될 때까지 상기 조향휠의 조향방향 및 조향량을 제어하여 상기 차량이 차선을 이탈하지 않고 주행선을 따라 주행하도록 하는 제 5과정을 포함하는 것을 특징으로 하는 차량의 차선유지 조향제어방법.
2. 제 1항에 있어서, 상기 제 2과정은 상기 추출된 좌측 및 우측 차선상에 3개 이상의 수평선을 긋고,

   각 수평선마다 상기 좌측/우측 차선에 교차되는 2점을 구하며,

   각 수평선마다의 2점간 중심점의 영상좌표치를 3개 이상 구하고,

   상기 3개 이상의 중심점의 영상좌표를 도로좌표로 변환하여 그 중심점을 지나는 원주와 그 원주의 곡률반경을 구하는 단계를 포함하는 것을 특징으로 하는 차량의 차선유지 조향제어방법.
3. 제 1항에 있어서, 상기 제 3과정은 상기 차량이 상기 곡률의 원주상을 이상적으로 주행한다고 가정하여 즉, 차량의 중심점이 상기 곡률의 원주상에 위치하고 차량의 놓인 자세방향이 원주의 접선방향과 일치한다고 가정하고 그 차량의 중심점으로부터 주시방향(Yw-축 방향)으로 일정 거리만큼 떨어진 위치에 전방주시거리를 상정하고,

   상기 전방주시거리만큼 떨어진 수평선분이 원주와 만나는 점을 목표점으로 설정하고 이의 도로좌표치를 구하며, 상기 목표점의 도로좌표치를 영상좌표치로 역변환시켜 화면표시하는 단계를 포함하는 것을 특징으로 하는 차량의 차선유지 조향제어방법.
4. 제 1항에 있어서, 상기 제 4과정은 상기 화면상에 표시된 목표점을 통과하면서 상기 화면의 수평축에 평행한 수평선을 긋고,

   상기 수평선이 상기 좌측/우측차선과 교차하는 2점을 구하여 그 2점간의 중심점의 수평좌표치를 구하며,

   상기 영상좌표상의 목표점의 수평좌표치와 상기 중심점의 수평좌표치의 차이를 계산하여 비교하는 단계를 포함하는 것을 특징으로 하는 차량의 차선유지 조향 제어방법.
5. 제 1항과 제 4항 중 어느 한 항에 있어서, 상기 차량의 조향제어는 상기 중심점의 수평좌표치와 상기 목표점의 수평좌표치의 차이가 감소되어 일치될 때까지 상기 차량의 조향휠이 회전되도록 이루어지는 것을 특징으로 하는 차량의 차선유지 조향제어방법.
6. 제 1항 내지 제 4항 중 어느 한 항에 있어서, 상기 제 1과정 내지 제 4과정은 카메라가 부착된 휴대폰과 네비게이션 중 어느 하나에 의해서 구현되는 것을 특징으로 하는 차량의 차선유지 조향제어방법.

Images