KR100540743B1

KR100540743B1 - 주행편차 보정에 의한 차량의 조향각/속도조절 데이터생성장치 및 방법

Info

Publication number: KR100540743B1
Application number: KR1020030004788A
Authority: KR
Inventors: 최용건; 최용준; 최인철
Original assignee: 최용건; 최인철; 최용준
Priority date: 2003-01-24
Filing date: 2003-01-24
Publication date: 2006-01-10
Also published as: WO2004066047A1; KR20040067584A

Abstract

본 발명은 주행하는 차량의 전면에 설치된 영상촬영수단에서 얻어진 도로영상을 분석하여 차량의 조향각을 조절하고, 속도를 제어하므로써 무인 주행이 가능하게 하는 주행편차 보정에 의한 차량의 자동 주행장치 및 방법에 관한 것이다.

본 발명은 도로와 영상촬영장치 광축과의 가로편차(Δx)를 구한 후, 가로편차(Δx)와 차량축간 거리(L), 그리고 영상촬영수단과 수평거리(d)를 이용하여 차량의 조향각을 계산하고, 또한, 차량의 전방 영상데이터 중 세로편차(Δy)와 선행차량의 위치를 분석하여 브레이크와 엑셀러레이터를 구동하는 데이터를 생성하여 차량을 자동으로제어할 수 있다.

조향각, 가로편차, 세로편차, 속도조절, 차선검출. 선행차량

Description

주행편차 보정에 의한 차량의 조향각/속도조절 데이터 생성장치 및 방법{Steering angle of the vehicle due to a travelling deviation revision / speed control data creation system and method}

도 1a는 본 발명의 영상촬영수단의 초기화 개념도,

도 1b는 본 발명의 이미지 평균법을 설명하기 위한 개념도

도 2는 본 발명의 수평거리(d)의 정의 도면,

도 3a는 본 발명에 의한 중앙선(주차선)만 있을 경우의 도로영상 도면,

도 3b는 본 발명에 의한 양쪽 차선이 다 있는 경우의 도로영상 도면,

도 4는 본 발명에 따른 세로편차의 구성 개념도,

도 5는 공지기술인 회전반경의 개념도,

도 6은 본 발명에 따른 외측바퀴기준 조향개념도,

도 7은 본 발명에 따른 촬영수단기준 조향개념도,

도 8은 본 발명에 따른 자동주행장치를 보인 블록구성도,

도 9는 본 발명에 따른 H/W장치 구성도,

도 10은 본 발명에 따른 영상데이터 초기화를 설명하기 위한 순서도,

도 11은 본 발명의 조향각 계산방법을 설명하기 위한 순서도.

도 12는 본 발명의 세로편차(Δy)의 계산방법을 설명하기 위한 순서도,

도 13은 본 발명의 상태값 생성방법을 설명하기 위한 순서도.

*도면의 주요부분에 대한 부호의 설명*

10;영상촬영수단 20;영상데이터메모리수단

30;차선 이미지 추출수단 31;차량 이미지 추출수단

50;속도조절부 60;조향각 조절부

70;구동부

본 발명은 차량에 설치되어 무인주행이 가능한 자동 주행장치의 주행 데이터 생성에 관한 것으로, 상세하게는 주행하는 차량의 전면에 영상촬영수단을 설치하고, 그 영상촬영수단에서 얻어진 영상 데이터를 분석하여 차량의 조향각을 조절하고, 속도를 제어할 수 있도록 하는 주행편차 보정에 의한 차량의 자동 주행장치 및 방법에 관한 것이다.

본 발명은 세부적으로는 도로와 영상촬영장치의 광축 사이의 가로편차(Δx)를 구한 후, 차량의 조향각을 계산하여 조향 데이터를 제공하며, 브레이크와 엑셀레이터를 구동하는 속도조절 데이터를 생성하는 방법 및 장치에 관한 것이다.

종래의 자동 주행장치로서, 공개특허공보(특허출원 제10-0257592호)에는 도로 양편의 차선 표시를 차선 검출센서에 의해 소정의 방법으로 차선 곡선을 검출하 고 검출된 곡선에 따라 주행할 수 있도록 하는 방법이 개시되어 있다.

공개특허공보(출원번호10-2000-0009711호)는 "자율조향을 위한 영상촬영수단의 기하학적 장착기술및 조향각 산출방법"을 개시하고 있지만, 조향각 계산을 위한 구체적인 방법이 제시되어 있지 않고, 반경(R)을 계산하는 방법을 실험값에 의한 추정식을 사용할 수밖에 없고, 개시되어 있는 조향각을 계산하는 방법은 일반적인 차량 이론서에 개시되어 있는 이미 공지되어 있는 기술이다.

또한, 공개특허공보(출원번호 10-2001-0032824)에 개시된 "차량의 차선 유지 지원시스템 및 그 제어방법"은 회전 반경을 계산하지 못하여 차선이탈을 경고하는 출원을 하고 있는 등 현재까지 미지의 회전반경을 이용하여 조향각을 표현하는 방법은 공개되었으나 화상의 변위로 표현되는 구체적인 방법이 공개되지 못하고 있었다. 또한 "차량의 차선 이탈 방지시스템 및 그 제어방법"(출원번호:10-2001-0032815)에서 보는 바와 같이 차선이탈을 방지하는 장치에 대한 출원이 있다.

본 발명은 주행하는 차량의 전면에 설치된 영상촬영수단에서 얻어진 도로영상데이터를 분석하여 목표 조향각(φ)을 계산하고, 차량의 속도를 제어하는 데이터를 생성해 주행편차를 보정하는 방법에 의한 차량의 자동 주행장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 자이로 등의 가속도센서, 자세계, GPS 등의 위치확인 장치, 도로의 능동형표식 등이 요구되지 않는 주행편차 보정에 의한 차량의 자동 주행장치 및 방법을 제공하는 것이다.

본 발명은 도로와 영상촬영장치 광축과의 가로편차(Δx)를 구한 후, 가로편차(Δx)와 차량축간 거리(L), 그리고 영상촬영수단과 수평거리(d)를 이용하여 차량의 조향각을 계산하여 스티어링을 조절하고, 또한, 차량의 전방 영상데이터 중 세로편차(Δy)와 선행차량의 위치를 분석하여 브레이크와 엑셀레이터를 구동하는 데이터를 생성하는 장치 및 방법을 제공함으로써 상기 목적을 달성할 수 있다.

상기 목적을 달성하기 위한 본 발명의 주행편차 보정에 의한 차량의 자동 주행장치는 크게 나누어 조향각조절부(60)와 속도조절부(50), 그리고 구동부(70)로 구성된다. 본 발명은 차량에 탑재되어 전방 도로 영상을 촬영하기 위한 영상촬영수단(10); 촬영된 영상데이터를 저장하는 영상데이터메모리수단(20); 상기 영상데이터메모리수단(20)에 저장된 도로의 영상데이터로부터 차선을 추출하기 위한 차선 이미지 추출수단(30);조향각조절부(60)는 차선 이미지 추출수단에서 추출된 차선데이터를 이용하여 수평거리(d)와 축간거리(L)를 지정하고, 가로편차(Δx)를 계산하는 수단(61); 계산된 가로편차(Δx)와 수평거리(d)와 축간거리(L)를 근거로 조향각을 계산하는 수단(62); 계산된 목표조향각과 조향각센서(60a)에서 측정된 조향각을 비교하는 조향각비교수단(63); 비교된 조향각값의 차이를 이용하여 스티어링정보를 생성하는 스티어링정보 생성수단(64)으로 구성된다. 속도조절부(50)은 상기 차량 이미지 추출수단(31)에 의해 도로 영상데이터로부터 차량 이미지 데이터와 차선이미지 추출수단(30)에서 추출된 차선이미지데이터는 y값을 계산하고 직전주기의 y값과의 차이인 세로편차(Δy)를 계산하게 되는 가로편차,세로편차계산수단(51); 상태값 판별식에 따라 상태값을 결정하는 상태값생성수단(52); 속도센서(50a)에서 입력된 속도 데이터가 정해진 속도와 어떤 차이를 보이는지를 비교하는 속도비교수단(53); 상태값과 현재의 속도에 따라 속도조절장치를 선택하는 속도조절장치 선택수단(54); 브레이크센서(58b)와 엑셀러레이터센서(57b)의 값과 비교하여 속도조절정보를 생성하는 속도조절정보 생성수단(55)으로 구성된다.

구동부(70)은 스티어링정보 생성수단(64)에서 생성된 정보를 저장하는 스티어링정보저장수단(65); 스티어링정보 저장수단(65)에 저장된 스티어링정보를 이용하여 독립적으로 스티어링(67)을 조절하게 되는 스티어링구동수단(66);속도조절정보 생성수단에서 생성된 속도조절정보를 저장하는 속도조절정보저장수단(56); 저장된 속도 조절정보를 기준으로 브레이크(58a)와 엑셀러레이터(57a)를 구동하게 되는 브레이크구동수단(58)과 엑셀러레이터 구동수단(57)으로 구성되는 것을 특징으로 한다.

이하, 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.

먼저 영상촬영수단에서 촬영된 도로영상에서 차선data를 추출하는 방법은 여러 가지가 있으나 도 1b 에 개념이 나타나 있는 차선이미지 평균법에 대해서만 설명한다.

본 발명에서는 영상촬영수단으로부터 취득된 영상data를 흑백영상으로 처리하고 주사선 별로 차선의 위치 평균값을 구한다. 위치 평균을 구하는 방법은 먼저 아래에서 부터 위로 주사선을 선택한 후 n개의 구역으로 나누어서 그레이 스케일이 큰 이미지에 대한 위치 평균값을 구한다. 도 1b를 참조하면, 250개의 pixel에 대해서 0 ~250 까지 번호를 부여하고 그레이 스케일이 평균값보다 큰것(흰색)만 남기고 소거한 후 일정한 수의 pixel 이 남아있는 구역만 위치평균을 구하게 된다. 인접 구역의 위치 평균이 다음구역의 경계선 부근이고 다음구역의 이미지평균위치도 이전구역 부근이면 이미지 평균위치를 통합하여 하나의 차선으로 통합하는 과정을 거치게 된다. 한국의 경우 왼쪽 차선이 주차선(m)이고 오른쪽 차선이 부차선(s)이 된다. 물론 일본이나 영국의 경우는 반대로 설정해도 된다.

도 1a은 본 발명에 따른 영상촬영수단의 초기화 개념도이다. 차량은 직선 차선이 설치된 도로의 중앙에 도로의 주행방향으로 주차된다. 조향각 센서의 값이 "0"이 되도록 조향각을 조절한다. 이후 차량의 중앙에 영상촬영수단의 광축이 차량의 중심선과 평행하게 설치한 후, 영상촬영수단을 초기화한다. 차량의 중심선으로부터 일정거리(X0)만큼 이격되어 설치되어도 무방하다. 도 1에서와 같이 영상촬영수단이 중심선으로부터 이격거리(X0)만큼 벗어나게 설치된다면 그 초기값에 이격거리가 반영되어 나타난다. 영상촬영수단의 초기화는 다음의 표 1에서 보는 것처럼 주사선 번호(Pn)와 영상촬영수단과 주사선에 나타난 실제 영상의 수평거리(d)와 광축 중심으로부터 주차선(m)의 거리(Xm), 부차선(s)과의 거리(Xs)를 모두 입력하면 완료된다.

표 1은 영상촬영장치의 초기화 테이블(T1)

(Pn)	d	Xm	Xs
1	5	-80	100
2	5.5	-78	98
3	6	-75	95
b-b'	10	-72	92
....	....	....	....
a-a'	150	-34	64
....	....	....	....
155	250	-10	30
156	270	-7	27
157	300	-5	23
....	....	....	....

각각의 주사선까지의 거리(d)는 화면상에 나타난 도로의 주사선별 실제거리로서 실측에 의해서 입력되고 단위는 미터이고 광축 중심으로부터의 이격거리(Xm, Xs)는 화면의 화소(pixel) 수로 표현된다.

본 발명에서 광축과 차량의 주행방향이 일치하도록 영상촬영수단을 조립하는 이유는 영상촬영수단과 주사선의 실제 거리(d)와 가로편차(Δx)가 벡터로서 섞이지 않고 표현되는 장점이 있기 때문이다.

영상촬영수단에서 얻어진 영상에 대해 광축 중심에 직교좌표의 원점을 두고 초기값을 설정하면 표 1과 같은 영상촬영수단의 초기화 표를 얻을 수 있다. 도 2에 도시된 바와 같이 수평거리(d)는 A점을 진행하고 있는 차량이 Δt시간 이후 주행하게 될 B점과의 정면거리를 말한다.

가로편차 Δx는 도로의 굽은 정도로서 현재 차량의 시각에서 본 Δt시간 후에 지나야 할 지점의 광축으로부터의 가로거리를 나타낸다. 상기 가로편차 Δx는 연속적으로 측정되는 값으로서 직전주기에서 도달하지 못한 잔량, 또는 오버슈트 된 양이 그대로 반영된다. 영상에 나타나는 차선을 인식하는 방법은 경계값 추출법이 있으며 촬영된 영상으로부터 쉽게 차선을 분리할 수 있다.

분리된 차선의 영상위치 정보를 이용하여 가로편차 Δx를 계산한다. 표 2는 주행시 영상 촬영수단으로부터 취득된 차선의 위치를 나타낸다. 표 2의 값을 이용하여 다음과 같이 계산 한다.

주차선(m)을 기준으로 주사선별로 가로편차를 계산하면(도면 3a인 경우)

Δx = 차로폭 * (Xnm - Xm)/( Xm-Xs)

부차선을 기준으로 계산하면(도면 3b인 경우)

Δx = 차로폭 * (Xns -Xs )/( Xm-Xs) 이고,

양쪽 차선을 기준으로 계산하면(도면 3b인 경우)

Δx = 차로폭 * (Xnm +Xns)/(( Xm-Xs)*2) -X0

여기서 Xnm, Xns는 다음의 표 2에 저장된 영상촬영수단에 의해 취득된 운행 중인 도로의 좌표기준 편차이다.

표 2는 영상촬영장치의 운영 테이블(T2)

(Pn)	d	Xnm	Xns	Cn
1	5	-80	100	N
2	5.5	-78	98	N
3	6	-75	95	N
b-b'	10	-72	92	N
...	..	...	...	...
c-c'	120	-42	73	N
a-a'	150	-34	64	Y

다시 말해, 가로편차(Δx)는 영상촬영수단의 광축 중심과 진행방향의 차선간 의 이격거리가 된다. 즉, 도 6과 도 7의 Δx가 되는 것이다. 단, X₀는 미터단위로 환산된 영상촬영수단의 차량중심으로부터의 이격거리이다.

차선이 존재하는 경우 영상의 아래에서 위로 모두 가로편차(Δx)가 계산된다. 계산된 값은 표로 저장되고 시스템이 사용하는 시간과 차량의 속도를 고려하여 조향각을 계산할 주사선 번호를 결정하면 자동적으로 가로편차(Δx)가 선택되는 것이다.

다만, 영상촬영수단으로부터 주사선까지의 거리(d)가 길어지면 도로의 변곡점이 중간에 나타날 수 있어서 제어가 불안정해지는 단점이 있음에 유의하여야 한다. 또한 곡선주로에서는 d값이 커졌을 때 차선을 혼동하는 경우가 발생하게 되는 문제점이 있음에도 유의하여야 한다.

상기의 가로편차(Δx)를 계산한 값을 이용하여 조향각을 계산하는 과정을 설명하면 다음과 같다. 도 5는 공지기술인 차량의 조향장치 개념도이다. 도면을 참조하면, 도면 중 차량의 정면방향은 F가 되고, 전면 외측바퀴의 스티어링 방향은 T가 된다 조향각φ는 차량의 정면 방향과 차량 전면의 외측 스티어링 휠이 이루는 각으로 전면외측 바퀴의 조향각은 회전원의 접선방향이 되고 회전중심을 연결하는 선과는 직각을 이룬다. 후륜과 전륜의 축간 거리가 L이고 회전 반경은 다음의 수학식 4로 계산된다.

R = L / sinφ + r

상기 수학식 4에서 R은 최소 회전반지름, L은 축간거리, sinφ는 가장 바깥쪽 앞바퀴 조향각, r은 바퀴정지면 중심과 킹핀과의 거리이다.
여기서 R이 r 보다 충분히 크다고 가정하면
sinΔ = L/R 이므로 회전반경은 다음의 수학식 5과 같다.
단위는 Δ는 rad이고 L, R, r은 m(미터 단위)이다.

삭제

R = L / sinφ

이 식은 미끄럼이 없다고 가정한 차량 외측 바퀴의 조향각을 나타낸다. 차량의 조향각은 외측바퀴 기준으로 설정된다.

이하, 가로편차(Δx)에 따른 조향각 계산방법을 설명한다.

차량에 설치된 영상촬영수단에 의해 촬영된 전방도로의 상태가 도 6과 같이 우로 굽은 도로라고 가정하면 다음과 같은 식이 성립한다. 현재, A점을 진행하고 있는 차량에서 촬영된 영상을 분석한 결과 목표항로 B점을 지나도록 스티어링을 조절하려고 할 때 조향각 φ를 계산하기 위하여 R을 기하학적 조건과 좌표를 활용하여 구하기 위해 다음의 수학식 6와 같이 원의 중심 C를 xy좌표계의 원점으로 잡는다.

x+y=R

도 6과 같이 차량은 B점을 반드시 지나야 하므로 계산식은 다음과 같이 변경된다. B점 좌표는 (R-Δx, d)이므로

(R-Δx)

+d

=R

R

-2RΔx+(Δx)

+d

= R

양변의 R

을 소거하고 방법을 정리하면

2RΔx = (Δx)

+d

그러므로, 가로편차(Δx)에 따른 조향각은 다음의 수학식 7와 같이 계산된다.

여기서 Δx의 단위는 m(미터단위)이다.

R=((Δx)+d)/2Δx

상기 수학식 7에 수학식 5의 R을 대입하면
sinφ =L/R = 2LΔx/((Δx)

+d

)
따라서, 삼각함수를 이용하여 간단하게 목표조향각 φ는 다음의 수학식 8와 같이 계산할 수 있게 된다.

삭제

목표조향각 φ = sin ^-1 (2LΔx/((Δx)+d))

여기서 d가 Δx 보다 충분히 크다고 가정하면
목표조향각 φ = sin ^-1 (2LΔx/d

)으로 된다.
수학식 8에 의해 목표 조향각을 계산할 수 있게 된다.

삭제

세로편차 φy 의 구성에 있어서는, 차선이미지 추출수단(30)에 의해 추출된 차선이미지를 이용하여 가로편차를 계산한다. 반복적으로 가로편차가 존재하는 주 사선 전체에 대해 가로편차(Δx)를 계산한다. 이렇게 해서 표 2에 가로편차의 값을 저장한다. y는 가로편차가 존재하는 최대의 주사선 번호를 말한다.

이후, 선행차량의 존재는 컬러필터를 이용하여 차량의 색상을 분리해내는 차량이미지 추출수단에 의해 가로편차가 존재하는 위치에 차량이미지가 존재하는지를 비교하게 된다. 이런 작업들은 단순한 작업으로 가로편차가 존재하는 위치에 차량의 컬러값이 있는지만 검사하면 된다. 이렇게 하면 저장된 y값과 자동주행차량 사이에 다른 차량이 어떤 주사선의 위치에 있는지 쉽게 검색될 수 있다. 이런 방법으로 주행차량 전방에 주행하는 선행차량의 위치를 쉽게 검출해낼 수 있게 된다.

도 4에서 보는 바와 같이 본 발명은 영상촬영수단에 검지된 차선의 데이터를 주사선 별로 처리하여 차선의 가로편차(Δx)가 계산되는 주사선의 최고값(a-a')을 정하고 차량의 속도를 조절해가는 방법이다.

표 2는 초기화 시 작성된 화면상의 차선의 위치와 같은 직선 도로임을 알 수 있다. 도로의 150미터 부근에 장애물로 인하여 더 이상 가로 편차를 계산할 수 없는 조건임을 알 수 있다.

여기서 세로편차 y 는 a-a' 라인 주사선이 되고 Δy = y(현주기) - y(종전주기)로 계산된다. Δy는 주사선 번호의 차이로서 주사선과 주사선간 실제 거리이며, 표1에서 초기화시 정해진 거리의 차감값으로 결정된다. 일정 시간 간격으로 영상촬영수단이 작동된다고 보면 그 변화량 Δy/Δt 를 계산할 수 있게 된다. 즉 상대속도에 따라서 값이 변하게 되는데 이 값을 이용 하여 속도조절을 하게 된다.

만약, 차량의 전방에 장애물이 없다면 차량은 정해진 속도로 진행하게 된다.(도로마다의 주행속도 기준)

장애물이 없다는 판단은 차량이미지추출수단(31)에 의해 추출된 컬러값이 가로편차위치에 존재하는지를 판단하여 결정한다. 선행차량이 a-a'와 자동주행차량사이에 없다면 차량의 속도는 현재의 속도가 유지된다. 선행차량이 a-a'와 자동주행차량사이에 있다면 다음 상태값 판별식에 따라 속도를 조절한다.

0 > Δy/Δt 이면 속도를 줄이는 브레이크가 작동된다.

0 = Δy/Δt 이면 속도는 그대로 유지된다.

0 < Δy/Δt 이면 엑셀러레이터가 작동된다. 단, 차량의 속도가 정해진 속도 이하일 때만 작동된다. 상기 조건에 의하여 브레이크와 엘셀러레이터의 작동데이터를 생성할 수 있다.

도 8은 본 발명에 따른 주행편차 보정에 의한 차량의 자동 주행장치를 보인 블록 구성도이다. 도면을 참조하면, 본 발명은 수동 운전과 자동주행이 가능한 하이브리드 차량의 주행 시스템으로서 구성된다. 본 발명은 크게 나누어 조향각조절부(60)와 속도조절부(50), 그리고 구동부(70)로 구성된다. 본 발명은 차량에 탑재되어 전방 도로 영상을 촬영하기 위한 영상촬영수단(10); 촬영된 영상데이터를 저장하는 영상데이터메모리수단(20); 상기 영상데이터메모리수단(20)에 저장된 도로의 영상데이터로부터 차선을 추출하기 위한 차선 이미지 추출수단(30);조향각조절부(60)는 차선 이미지 추출수단에서 추출된 차선데이터를 이용하여 수평거리(d)와 축간거리(L)를 지정하고, 가로편차(Δx)를 계산하는 수단(61); 계산된 가로편차(Δx)와 수평거리(d)와 축간거리(L)를 근거로 조향각을 계산하는 수단(62); 계산된 목표조향각과 조향각센서(60a)에서 측정된 조향각을 비교하는 조향각비교수단(63); 비교된 조향각값의 차이를 이용하여 스티어링정보를 생성하는 스티어링정보 생성수단(64)으로 구성된다. 속도조절부(50)은 상기 차량 이미지 추출수단(31)에 의해 도로 영상데이터로부터 차량 이미지 데이터와 차선이미지 추출수단(30)에서 추출된 차선이미지데이터는 도 12의 흐름도와 같은 순서에 의해 y값을 계산하고 직전주기의 y값과의 차이인 세로편차(Δy)를 계산하게 되는 가로편차,세로편차계산수단(51); 상태값 판별식에 따라 상태값을 결정하는 상태값생성수단(52); 속도센서(50a)에서 입력된 속도 데이터가 정해진 속도와 어떤 차이를 보이는지를 비교하는 속도비교수단(53); 상태값과 현재의 속도에 따라 속도조절장치를 선택하는 조절장치 선택수단(50); 브레이크센서(58b)와 엑셀러레이터센서(57b)의 값과 비교하여 속도조절정보를 생성하는 속도조절정보 생성수단(55)으로 구성된다.

구동부(70)은 스티어링정보 생성수단(64)에서 생성된 정보를 저장하는 스티어링정보저장수단(65); 스티어링정보 저장수단(65)에 저장된 스티어링정보를 이용하여 독립적으로 스티어링(67)을 조절하게 되는 스티어링구동수단(66);속도조절정보 생성수단(55)에서 생성된 속도조절정보를 저장하는 속도조절정보저장수단(56); 저장된 속도 조절정보를 기준으로 브레이크(58a)와 엑셀러레이터(57a)를 구동하게 되는 브레이크구동수단(58)과 엑셀러레이터 구동수단(57)으로 구성된다.

본 발명의 H/W 구성 및 작용을 도 9 를 참조하여 설명한다. 본 발명에 의하면, 영상촬영모듈(11)에 의해 도로의 영상이 촬영되어 디지털데이터로 영상data저장모듈(21)에 저장되고 ECU(40)(또는 별도 처리프로세서도 무방함)에 의해 상기 영상data저장모듈(21)에 저장된 도로의 영상데이터로부터 차선을 추출하기 위한 차선 이미지 추출수단(30)을 수행하게 된다. 차선 이미지 추출방법은 윤곽추출법이 사용되나 주사선별 구간이미지 평균법을 이용할 수도 있다.

스티어링정보를 생성하기 위해서 차선 이미지 추출수단에서 추출된 차선데이터를 이용하여 수평거리(d)와 축간거리(L)를 지정하고, 가로편차(Δx)를 계산하는 수단(61)이 ECU(40)에 의해 수행되며, 계산된 가로편차(Δx)와 수평거리(d)와 축간거리(L)를 근거로 조향각을 계산하는 수단(62)도 ECU(40)에 의해 수행된다. 계산된 목표조향각과 조향각센서(60a)에서 측정된 조향각을 비교하는 조향각비교수단(63)이 ECU(40)에 의해 수행되고 비교된 조향각값의 차이를 이용하여 스티어링정보를 생성하는 스티어링정보 생성수단(64)이 ECU(40)에 의해 수행된다.

속도조절정보를 생성하기 위하여 상기 차량 이미지 추출수단(31)에 의해 도로 영상데이터로부터 차량 이미지 데이터와 차선이미지 추출수단(30)에서 추출된 차선이미지데이터를 ECU(40)가 추출한 다음, 도 12의 흐름도와 같은 순서에 의해 y값을 계산하고 직전주기의 y값과의 차이인 세로편차(Δy)를 계산하게 되는 가로편차,세로편차계산수단(51)을 ECU(40)가 수행하고 상태값 판별식에 따라 상태값을 결정하는 상태값생성수단(52)을 수행한 후, 속도센서(50a)에서 입력된 속도 데이터가 정해진 속도와 어떤 차이를 보이는지를 비교하는 속도비교수단(53)을 ECU(40)가 수행한다. 상태값과 현재의 속도에 따라 속도조절장치를 선택하는 조절장치 선택수단(50)을 ECU(40)가 수행하고 브레이크센서(58b)와 엑셀러레이터센서(57b)의 값과 비교하여 속도조절정보를 생성하는 속도조절정보 생성수단(55)을 ECU(40)가 수행한다.

구동부(70)는 스티어링정보 생성수단(64)에서 생성된 정보를 ECU(40)가 스티어링정보저장수단(65)에 저장하고 스티어링정보 저장수단(65)에 저장된 스티어링정보를 이용하여 독립적으로 스티어링조절모듈(65b)이 스티어링(67)을 조절하게 된다. 속도조절정보 생성수단(55)에서 생성된 정보를 ECU(40)가 수행하여 생성된 속도조절정보를 속도조절정보저장수단(56)에 저장하면 저장된 속도 조절정보를 기준으로 브레이크(58a)와 엑셀러레이터(57a)를 구동하게 되는 브레이크조절모듈(58e)과 엑셀러레이터 조절모듈(57e)에 의해 속도가 조절된다.

이와 같이 구성된 본 발명의 작동방법을 도 10 내지 도 12를 참조하여 설명한다. 본 발명은 상기 영상데이터메모리수단(20)에 저장되는 도로영상 데이터는 도 10과 같은 순서로 초기화 과정을 거치게 되며, 그 초기화 과정은 차량에 탑재된 영상촬영수단으로부터 입력되는 변수값 즉, 주차선 번호(Pn), 수평거리(d), 주차선 거리(Xm), 부차선과의 거리(Xs) 등에 대한 변수값을 초기화(S11)시킨 상태에서 주차선 번호에 따라 수평거리(d)를 실측하여 저장하고, 또한 주차선 거리 및 부차선과의 거리를 계산하여 표1에 저장한다.(S12-S13) 이 과정은 자동주행을 시작하기 전에 초기값으로 설정되는 과정이다. 이러한 과정을 통해 주차선 번호가 마지막이 될 때까지 순차적으로 증가시키면서 데이터를 저장하게 된다.최종 주사선까지의 data를 저장하므로써 초기화 과정이 완료된다(S14-S15). 축간거리(L)은 차량의 종류에 따라 별도로 측정되어 저장된다.

이후, 실제 도로를 차량이 자동주행하는 과정을 설명하면 다음과 같다. 차량에 탑재되어 전방 도로 영상을 촬영하기 위한 영상촬영수단(10)에 의해 촬영된 영상데이터를 디지털 데이터로 영상데이터메모리수단(20)에 저장되고 상기 영상데이터메모리수단(20)에 저장된 도로의 영상데이터는 차선을 추출하기 위한 차선 이미지 추출수단(30)에 의해 차선 정보만 분리해 낸다. 차선 정보를 분리하는 방법은 윤곽추출법이나, 구간 이미지 평균법이 사용된다. 다른 방법을 사용하여도 무방하다. 분리된 차선영상데이터를 이용하여 표 2와 같이 전방차선의 편차를 저장하게 된다. 조향각 조절부(60)의 수평거리, 가로편차 계산수단(61)에 의해 수학식 1,2,3 중 하나를 선택하여 가로편차(Δx)를 계산한다. 가로편차(Δx)를 계산하는 방법은 앞서 언급한 방법에 따른다. 사전에 특정주사선을 선택하거나, 시스템의 판단에 따라 주사선이 정해지면 수평거리(d)와 축간거리(L)이 결정되고, 가로편차 (Δx)가 계산되면 차량의 진행방향을 결정하는 조향각을 조향각 계산수단(62)에서 계산하게 된다.

도 11과 같이 영상촬영수단에서 입력된 데이터를 근거로 조향각을 계산하게 되는데 메모리를 초기화(L,d,Δx )한 상태에서 주차선번호(Pn) 값을 선택하고, 표 2와 같이 가로편차(Δx)를 계산한 후 새로운 변수에 저장한다.(S21-S23)

이후, 본 발명에서 제시한 수학식 8의 공식에 따라 조향각을 계산하여 출력함으로써 차량의 조향각을 조절할 수 있게 된다.(S24)

계산된 조향각 정보를 조향각 비교수단(63)에서 조향각 센서(60a)의 조향각 정보와 비교하여 실제 조작하여야 할 목표조향각을 스티어링정보 생성수단(64)에 의해 생성한다. 생성된 스티어링 정보는 스티어링정보 저장수단(65)에 저장된다. 저장된 스티어링정보를 기준으로 스티어링구동수단(66)이 작동하게 된다.

영상촬영모듈(11)에서부터 스티어링구동수단(66)이 구동을 완료할 때까지의 시간을 제어(control)주기(Δt)라고 한다. 이 제어 주기가 길면 오버슈트가 생기거나, 목표값에 미달하는 상황이 발생하게 되어도 콘트롤이 불가능한 상황이 발생하게 되므로 조향각 계산시간을 줄이는 것이 시스템의 응답속도를 결정하는 핵심사항이 된다.

또한, 속도 조절부(50)는 아래에서 위로 주사선별로 차선이미지 추출수단(30)에 의해 추출된 도로의 차선을 이용하여 가로편차 (Δx) 를 계산한다. 아래에서 위로 계산을 진행하여 가로편차를 계산할 수 없는 때까지 계산을 반복하게 된다. 가로편차(Δx)의 계산이 완료되면 차량이미지추출수단(31)에 의해 추출된 차량의 이미지가 가로편차 위치에 존재하는지를 판단하여 앞에서 설명된 방법으로 y값을 세로편차 계산수단(51)에 의해 확정하고 세로편차(Δy)를 구한다.

도 12는 Δy값를 구하는 방법을 도시하고 있다. 도면을 참조하면, 본 발명은 주차선 거리(Xm), 부차선과의 거리(Xs), 차량의 중심선에의 이격거리(X0), 가로편차(Δx)를 초기화시킨 상태에서 주차선 번호(Pn)를 카운트 하여 표 2의 값을 기준으로 주차선 번호(Pn)가 마지막 라인일 때까지 가로편차(Δx)를 계산한 후 저장한다.(S31-S34),

상기 단계에서 주차선번호(Pn)이 마지막 라인이면 y= 색상값이 없는 최대의 주차선 번호(Pn)를 저장(S35)하고, 그 저장된 정보를 통해 Δy = y(현주기) - y(직 전주기)를 구한다.

단계 34에서 만약, 주차선 번호(Pn)이 마지막 라인이 아닐 경우에는 좌표(Pn,Δx,Cn)로 저장하고 다음 주차선 번호에 대해 가로편차를 계산하는 과정을 반복 처리한다.(S36-S37) 이후, 본 발명에 의하면, 차량의 주사선 위치와 차선의 가로편차 최고 주사선을 비교하여 작은값이 y로 결정된다. 종전 주기의 y와 현주기의 y의 주사선 차이의 실제거리가 세로 편차(Δy)로 정해지면 앞서 언급한 판별식에 따라 상태값 생성수단(52)을 통해서 상태값이 결정된다.

상태값 생성수단(52)은 도 13에서 보는 바와 같이 도 12의 세로 편차(Δy) 계산 수단에 의해서 작성된 표(Pn,Δx,Cn)의 표를 검색하여 선행차량의 색상값이 존재하는지를 검사한다. 선행차량의 색상은 차량이미지 추출수단에서 추출된 데이터를 이용한다.(S41,S42)

선행차량의 색상이 발견되지 않으면 정속도를 유지하는 C 코드를 생성하고 리턴한다. 선행차량의 색상이 존재한다면, 계산되어진 세로 편차 Δy 값과 작동주기 Δt값을 읽어온 후 상대속도 Δy/Δt 값을 계산하고(S43,S44) 그 값이 "0"인지를 검사한다.(S45)

단계45에서 상대속도 Δy/Δt 값이 "0"이면 정속도를 유지하는 C코드를 생성(S49)하고 리턴한다. "0"이 아니면 상대속도가 "0"보다 큰지를 검사(S46)하여 "0"보다 크면 엑셀러레이터 작동코드 A를 생성(S48)하고 리턴한다. "0"보다 작으면 브레이크와 엑셀러레이터를 동시 작동시키는 BA 코드를 생성(S47)한 후 리턴한다.

이렇게 상태값 생성수단(52)에서 생성된 상태코드와 속도 비교수단(53)에 의해 속도센서(50a) 의 속도를 비교한 후 속도 조절장치 선택수단(54)에 의해 브레이크(58a)와 엘셀러레이터(57a)의 작동 여부를 결정하게 된다. 속도조절정보 생성 수단(55)에 의해 앞서의 조건에 따라 C코드인 경우는 현재 상태를 유지하게 되고, A 코드인 경우에는 가속을 하게 되며, BA 코드인 경우에는 엑셀러레이터를 줄이면서 브레이크를 작동하게 되는 속도조절정보를 생성한 후 속도조절정보 저장 수단(56)에 저장하게 된다. 저장된 속도조절 정보에 따라 독립적으로 브레이크와 엑셀러레이터가 조절된다.

H/W 구성은 ECU모듈(40)을 기본으로 명령입력 모듈(40a)이 추가되고 실내에는 운행상황과 전방의 영상이 전시되는 모니터 모듈(80)이 추가된다. 모니터 모듈(80)에는 차량의 속도, 전방 차량의 거리, 조향각, 브레이크상태, 엑셀러레이터 구동량이 속도센서(50a)와 조향각센서(60a), 엑셀러레이터 센서(57b)와 브레이크센서(58b)에 의해 표시된다. 추가적으로 GPS모듈과 통신모듈, 지도모듈이 추가될 수 있다. 본 발명에 따라 GPS 모듈의 위치 확인 시스템은 대략적인 위치확인에만 사용되고 실질적인 자동주행에는 본 발명의 방법이 사용된다.

이상에서 설명한 바와 같이 본 발명은 무인 주행이 가능한 차량의 스티어링 및 속도 조절장치를 제공한다. 영상촬영수단에서 얻어진 차선정보를 이용하여 조향각을 제공할 수 있는 방법 및 장치를 제공할 수 있게 된다. 또한, 가시 차선 정보를 이용하여 속도를 제어하는 방법 및 장치를 제공한다.

Claims

차량에 탑재되어 전방 도로 영상을 촬영하기 위한 영상촬영수단(10);

촬영된 영상데이터를 저장하는 영상데이터메모리수단(20);

상기 영상데이터메모리수단(20)에 저장된 도로의 영상데이터로부터 차선을 추출하기 위한 차선 이미지 추출수단(30);

차선 이미지 추출수단에서 추출된 차선데이터를 이용하여 수평거리(d)와 축간거리(L)를 지정하고, 가로편차(Δx)를 계산하는 수단(61);

계산된 가로편차(Δx)와 수평거리(d)와 축간거리(L)를 근거로 조향각을 계산하는 수단(62);

계산된 목표조향각과 조향각센서(60a)에서 측정된 조향각을 비교하는 조향각비교수단(63); 및

비교된 조향각값의 차이를 이용하여 스티어링정보를 생성하는 스티어링정보 생성수단(64);을 포함하는 것을 특징으로 하는 차량의 목표조향각 데이터 생성장치.
제 1항에 있어서, 상기 가로편차를 계산하는 수단은,

주차선(m)을 기준으로 할 경우 다음의 수학식에 의해 가로편차를 계산하고,

Δx = 차로폭 * (Xnm - Xm)/( Xm-Xs)

부차선을 기준으로 할 경우 다음의 수학식에 가로편차를 계산하고

Δx = 차로폭 * (Xns -Xs )/( Xm-Xs)

양쪽 차선을 기준으로 할 경우 다음의 수학식에 의해 가로편차를 계산하는 것을 특징으로 하는 차량의 목표조향각 데이터 생성장치.

Δx = 차로폭 * (Xnm +Xns)/(( Xm-Xs)*2) -X0
제 1항에 있어서, 상기 조향각 계산수단은

상기 영상촬영수단을 통해서 얻어진 도로영상데이터의 차선이미지를 이용하여 목표지점의 가로편차(Δx)와 수평거리(d)를 구한 후 차량의 축간거리(L)를 기준으로 다음의 수학식에 의해 목표 조향각(φ)을 설정하는 것을 특징으로 하는 차량의 목표조향각 데이터 생성장치.

φ = sin ^-1 (2LΔx/((Δx)
+d
))
차량에 탑재되어 전방 도로 영상을 촬영하기 위한 영상촬영수단(10);

촬영된 영상데이터를 저장하는 영상데이터메모리수단(20);

상기 영상데이터메모리수단(20)에 저장된 도로의 영상데이터로부터 차선을 추출하기 위한 차선 이미지 추출수단(30);

상기 영상데이터메모리수단(20)에 저장된 도로의 영상데이터로부터 차량을 추출하기 위한 차량 이미지 추출수단(31);

상기 차량 이미지 추출수단(31)에 의해 추출된 차량 이미지 데이터와 상기 차선 이미지 추출수단(30)에서 추출된 차선 이미지 데이터를 분석하여 세로편차(Δy)를 계산하는 가로편차,세로편차계산수단(51);

상태값 판별식에 따라 상태값을 결정하는 상태값생성수단(52);

속도센서(50a)에서 입력된 속도 데이터를 정해진 속도와 그 차이를 비교하는 속도비교수단(53);

상태값과 현재의 속도에 따라 속도조절장치를 선택하는 조절장치 선택수단(54); 및

브레이크센서(58b)와 엑셀러레이터센서(57b)의 값과 비교하여 속도조절정보를 생성하는 속도조절정보 생성수단(55);을 포함하는 것을 특징으로 하는 차량속도 조절데이터 생성장치.
제 4항에 있어서,

상태값 판별식에 따라 속도를 조절할 경우, 0 > Δy/Δt 이면 속도를 줄이는 브레이크가 작동되고, 0 = Δy/Δt 이면 속도는 현재 속도로 유지되며, 0 < Δy/Δt 이면 엑셀러레이터가 작동되는 조건으로 속도를 조절하는 것을 특징으로 하는 차량속도 조절데이터 생성장치.
차량 선단부에 탑재된 영상촬영수단을 통해 차량 전방의 도로 영상을 촬영하여 메모리에 저장하는 단계;

상기 메모리에 저장된 도로의 상기 영상데이터로부터 차선을 추출하기 위한 차선 이미지 추출단계;

상기 메모리에 저장된 도로 영상데이터로부터 차량의 이미지를 추출하기 위한 차량 이미지 추출단계;

상기 차선 이미지 추출수단에 의해 도로 영상데이터로부터 추출된 차선 데이터와 조향각 센서에서 입력된 조향 데이터를 이용하여 주행 차량의 조향각을 산출하는 단계;

상기 차량 이미지 추출수단에 의해 도로 영상데이터로부터 추출된 차량 이미지 데이터와 속도센서에서 입력된 속도 데이터를 이용하여 차량의 속도를 제어하기 위한 속도데이터를 산출하는 단계; 및

상기 조향각 산출단계에서 산출된 조향각 데이터에 의해 차량의 스티어링을 제어하기 위한 데이터를 생성하고, 상기 차량 속도제어 단계에서 구해진 속도 데이터에 의해 브레이크와 엑셀레이터를 제어하기 위한 차량의 속도조절 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 차량속도 조절데이터 생성방법.
제 6항에 있어서, 상기 조향각을 산출하는 단계는

상기 차선 이미지 추출수단에서 제공되는 차선 이미지 데이터를 이용하여 차량의 수평거리(d) 및 가로편차(△x)를 계산하는 단계;

상기 단계에 의해 계산된 수평거리(d)와 가로편차(△x)를 이용하여 조향각을 계산하는 단계;

상기 조향각 계산단계에서 계산된 조향각과 조향각 센서에서 입력된 조향각을 비교하여 조향 목표값을 계산하는 단계; 및

상기 단계에 의해 계산된 조향 목표값을 이용하여 스티어링 정보를 생성하는 단계;로 이루어진 것을 특징으로 하는 차량속도 조절데이터 생성방법.
제 6항에 있어서, 상기 차량의 속도 조절데이터를 생성하는 단계는,

상기 차선 이미지 추출수단과 차량 이미지 추출수단에서 각각 제공되는 차선 이미지 데이터와 차량 이미지 데이터를 이용하여 차량의 가로편차(△x) 및 세로편차(△y)를 계산하는 단계;

상기 단계에 의해 계산된 가로편차(△x)와 세로편차(△y)를 이용하여 차량의 상태값을 생성하는 단계;

상기 단계에서 계산된 상기 상태값과 속도센서에서 입력된 차량속도를 비교하여 속도 목표값을 계산하는 단계; 및

상기 단계에 의해 계산된 속도 목표값과 브레이크센서 및 엑셀레이터센서에서 입력된 신호를 이용하여 속도조절 정보를 생성하는 단계;로 이루어진 것을 특징으로 하는 차량속도 조절데이터 생성방법.
제 8항에 있어서, 상기 세로편차(Δy)를 계산하는 단계는,

주차선 거리(Xm), 부차선과의 거리(Xs), 차량의 중심선에의 이격거리(X0), 가로편차(Δx)를 초기화시키는 단계;

상기 단계에서 주차선 번호(Pn)를 카운트하여 상기 주차선 번호(Pn)가 마지막 라인일 때까지 가로편차(Δx)를 계산하는 단계;

상기 단계에서 만약, 주차선 번호(Pn)이 마지막 라인이 아닐 경우에는 좌표(Pn,Δx,Cn)로 저장하고 다음 주차선 번호에 대해 가로편차를 계산하는 단계; 및

상기 주차선번호(Pn)가 마지막 라인이면 y= 색상값이 없는 최대의 주차선 번호(Pn)를 저장(S35)하고, 그 저장된 정보를 통해 Δy = y(현주기) - y(직전주기)를 구하는 단계;로 이루어진 것을 특징으로 하는 차량속도 조절데이터 생성방법.
제 6항에 있어서, 상기 차량의 속도 조절데이터를 생성하는 단계는,

도로 영상데이터를 주사선별로 분석하여 차선 데이터를 도출한 후 주사선번호와 가로편차를 저장하는 단계;

저장된 좌표 위치에 선행차량의 칼라코드가 존재하는지 판단하여 일정거리내에 선행차량의 유무를 확인하는 단계; 및

선행 차량을 확인한 후 주사선 번호를 구하여 종전주기에서 구해진 주사선 번호와 비교하여 세로편차(△y)를 구하여 작동주기(△t)로 나눈값이 0 < Δy/Δt 이면 속도를 줄이는 브레이크가 작동되고, 0 = Δy/Δt 이면 차량속도는 현재속도로 유지되며, 0 > Δy/Δt 이면 엑셀러레이터가 작동되게 하는 단계;로 이루어진 것을 특징으로 하는 차량속도 조절데이터 생성방법.
제 6항에 있어서, 상기 조향각 산출단계는

상기 영상촬영수단을 통해서 얻어진 도로영상데이터의 차선이미지를 이용하여 목표지점의 가로편차(Δx)와 수평거리(d)를 구한 후 차량의 축간거리(L)를 기준으로 다음의 수학식에 의해 목표 조향각(φ)을 설정하는 것을 특징으로 하는 차량속도 조절데이터 생성방법.

φ = sin ^-1 (2LΔx/((Δx)
+d
))
삭제