KR100250323B1

KR100250323B1 - 무인 자동차의 화상 처리 장치 및 방법

Info

Publication number: KR100250323B1
Application number: KR1019970051963A
Authority: KR
Inventors: 김기석
Original assignee: 정몽규; 현대자동차주식회사
Priority date: 1997-10-10
Filing date: 1997-10-10
Publication date: 2000-04-01
Also published as: KR19990031307A; DE19846664A1; JPH11212641A; US6173222B1

Abstract

이 발명은 무인 자동차의 화상 처리 장치 및 방법에 관한 것으로써, 차량에 부착되어 차량 전방의 도로를 검색하는 제1,제2,제3무인 카메라와; 상기 무인 카메라에서 도로에 관한 영상을 입력받아 화상을 캡쳐하는 제1,제2,제3이미지 그래버와; 상기 제1,제2이미지 그래버에서 근거리에 관한 도로 영상 데이터를 처리하여 차선 이탈을 검출하는 제1제어장치와; 상기 제3이미지 그래버에서 원거리에 관한 영상 정보를 입력받아서 처리하여 차량의 진행 방향을 검출하는 제2제어장치와; 상기 제1제어장치와 제2제어장치로부터 도로에 관한 처리 데이터를 입력받아서 차량의 스티어링 제어를 처리하는 스티어링 제어 장치와; 상기 스티어링 제어 장치로부터 스티어링 제어에 관한 제어 신호를 입력받아서 스티어링을 제어하는 구동 드라이브로 이루어지며;

다중 카메라를 사용하여 병렬적으로 처리하기 위해 원거리 도로를 검색해 차량의 진행 방향을 검색하고 근거리 도로를 검출함으로써 차량의 차선 이탈을 검색해 내어 차선을 이탈하지 않는 스티어링 제어를 하므로써 정밀한 스티어링 제어 효과를 가진 무인 자동차의 화상 처리 장치 및 방법을 제공한다.

Description

무인 자동차의 화상 처리 장치 및 방법

이 발명은 무인 자동차의 화상 처리 장치 및 방법에 관한 것으로서, 더욱 상세하게 기술하면 무인 카메라를 이용하여 차량이 원거리 도로를 검출하여 차량의 진행 방향을 검색하며 근거리 도로를 검출하고 차선 이탈을 검색하여 스티어링 제어를 하는 무인 자동차의 화상 처리 장치 및 방법에 관한 것이다.

자동차 산업은 첨단 기술의 발달에 힘입어 첨단 전략 산업으로 발전하고 있으며 국가 경제에 미치는 비중이 매우 큰 산업분야이다.

자동차 산업은 종래의 기계 중심적 형태에서 벗어나 최신 전자 기술과 접목시키므로써 고도의 지능형 안전차량 또는 무인 주행 차량으로 개발방향을 바꾸어 가고 있는 추세이다.

현재 무인 주행 차량에 관한 연구는 선진 각국에서 활발한 연구가 진행중이다. 그예로써 미국에서 개발된 NAVLAB이라는 무인 자동차를 들 수 있다.

이 차량은 트여진 도로에서 주행할 수 있으며, 독일에서는 GRAFE가 아우토반 고속도로의 형태와 표식의 제한을 이용해 주행할 수 있다고 한다.

그러나, 종래의 기술은 차선 이탈을 목적으로 하여 도로 검색을 하면 한 개의 카메라를 이용해 차선 검출을 하므로써 발생될 수 있는 에러에 의해 진행 방향의 검출이 어렵고 진행 방향을 검출하는 목적으로 도로 검색을 하는 경우 차선 이탈을 검출하는데 어려움이 있는 문제점이 있다.

따라서, 이 발명의 목적은 상기한 문제점을 해결하기 위한 것으로써, 다중 카메라를 사용하여 병렬적으로 처리함으로써 원거리 도로를 검색해 차량의 진행 방향을 검색하고 근거리 도로를 검출함으로써 차량의 차선 이탈을 검색해 내는 무인 자동차의 화상 처리 장치 및 방법을 제공하기 위한 것이다.

상기한 목적을 달성하기 위한 수단으로써 이 발명의 구성은,

차량에 부착되어 차량 전방의 도로를 검색하기 위해 다중카메라중 원거리 카메라를 이용해 진행방향을 검출하고, 근거리 카메라를 이용해 차선이탈을 검출하도록 하는 제1,제2,제3 카메라로 구성된 무인 카메라와;

상기 제1,제2,제3 무인 카메라에서 도로에 관한 영상을 입력받아 화상을 캡쳐(capture)하여 동영상 중 한 화면의 영상데이터를 저장하는 제1,제2,제3이미지 그래버와;

상기 제1,제2이미지 그래버에서 근거리에 관한 도로 영상 데이터를 처리하여 차선 이탈을 검출하여 검출 차선과 차량 진행 방향을 검출해 차선 이탈율에 대한 신호를 출력하는 제1제어장치와;

상기 제3이미지 그래버에서 원거리에 관한 영상 정보를 입력받아서 처리하여 차량 진행 방향의 전체 도로의 기울기를 검출하는 제2제어장치와;

상기 제1제어장치와 제2제어장치로부터 도로에 관한 처리 데이터를 입력받아서 차량의 스티어링 제어를 처리하는 스티어링 제어 장치와;

상기 스티어링 제어 장치로부터 스티어링 제어에 관한 제어 신호를 입력받아서 스티어링을 제어하는 구동 드라이브로 이루어진다.

상기한 목적을 달성하기 위한 수단으로써 특징은,

각 무인 카메라로부터 도로에 관한 영상을 입력받는 단계와;

상기 무인 카메라로부터 입력받은 영상을 각 이미지 그래버로 캡쳐하는 단계와;

해당 무인 카메라를 이용해 원거리 도로를 입력받아 해당 제어 장치가 처리하여 진행 방향 도로의 기울기를 검출해 차량의 진행 방향을 제어하는 단계와;

해당 무인 카메라를 이용해 근거리 도로를 입력받아 해당 제어 장치가 처리하여 차량의 차선 이탈을 검출하는 단계와;

상기에서 구한 차량의 진행 방향과 차선 이탈 검출값 등을 이용해 차량의 스티어링 제어를 하는 단계로 이루어진다.

도1은 이 발명의 실시예에 따른 무인 자동차의 무인 카메라 장착도이고,

도2는 이 발명의 실시예에 따른 무인 자동차의 화상처리 장치의 제어 블록도이고,

도3은 이 발명의 실시예에 따른 무인 자동차의 화상 처리 장치의 제어 흐름도이고,

도4는 이 발명의 실시예에 따른 제1,제2무인 카메라를 이용한 차선 검출도이고,

4a는 제2무인 카메라에서 검출된 도로를 나타낸 도면이고,

4b는 제1무인 카메라에서 두라인이 검출된 도로를 나타낸 도면이다.

도5는 이 발명의 실시예에 따른 제3무인 카메라를 이용한 차선 검출도이다.

이 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명한다.

첨부한 도2에 도시되어 있는 바와 같이 무인 자동차의 화상 처리 장치의 구성 및 작용은 다음과 같다.

차량에 부착되어 차량 전방의 도로를 검색하는 제1,제2,제3무인 카메라(100,200,300)와; 상기 무인 카메라(100,200,300)에서 도로에 관한 영상을 입력받아 화상을 캡쳐하는 제1,제2,제3이미지 그래버(110,210,310)와; 상기 제1,제2이미지 그래버(110,210)에서 근거리에 관한 도로 영상 데이터를 처리하여 차선 이탈을 검출하는 제1제어장치(120)와; 상기 제3이미지 그래버(310)에서 원거리에 관한 영상 정보를 입력받아서 처리하여 차량의 진행 방향을 검출하는 제2제어장치(320)와; 상기 제1제어장치(120)와 제2제어장치(320)로부터 도로에 관한 처리 데이터를 입력받아서 차량의 스티어링 제어를 처리하는 스티어링 제어 장치(30)와; 상기 스티어링 제어 장치(30)로부터 스티어링 제어에 관한 제어 신호를 입력받아서 스티어링을 제어하는 구동 드라이브(40)로 이루어진다.

상기한 도2의 구성과 도1 및 도3을 참고로 하여 본 발명을 상세하게 설명하면 다음과 같다.

무인 자동차 화상 처리 장치의 제3무인 카메라(300)는 차량 전방의 원거리에 있는 영상을 입력받아 영상 신호로 출력한다.

제3이미지 그래버는 제2제어장치(320)로부터 동작 신호를 입력받으면 제3무인 카메라로 입력된 영상중 한 개의 화면을 아날로그 디지털 컨버터를 통해 입력된 영상을 캡쳐하여 저장하게 된다.

상기 제3이미지 그래버(310)에 저장된 영상 데이터를 이용해 제3제어장치는 차량이 진행할 도로를 검색하여 차량 진행 방향에 대한 전방도로의 커브 기울기를 검출한다(S20,S30).

또한, 제1제어장치(120)는 상기 제2제어장치(320)와 같이 동작하여 무인 자동차의 제1,제2무인 카메라(100,200)를 이용해 차량 전방의 근거리 영상을 입력받고, 제1,제2이미지 그래버(110,210)에서 캡쳐된 영상을 이용해 차량의 차선에 대한 차량 이탈 정보를 출력한다.

처음 제3무인 카메라(300)를 이용해 차량의 주행 도로 검색 방법은 도5에서 보이는 바와 같다.

무인 자동차의 상단에 있는 제3무인 카메라(300)는 차량 전방의 원거리 영상을 입력받는다.

상기 제3무인 카메라(300)에서 입력받은 영상을 제3이미지 그래버(310)가 캡쳐하여 상기 영상 신호를 내부의 디지털 아날로그 컨버터를 이용해 디지털 값으로 저장하고 상기 영상 신호를 제2제어장치(320)로 출력하게 된다.

상기 제2제어장치(320)는 상기 제3이미지 그래버(310)에서 출력되는 영상 신호를 입력받아 입력되는 데이터의 값을 특정값을 중심으로 이진화시켜 특정 명도를 검출하는 가우시안 필터법등을 사용해 처리하여 영상에서 잡힌 도로의 특징을 검출한다.

상기에서 제2제어장치(320)는 도5에서 보이듯이 제3무인 카메라를 이용해 도로를 검출하고 검출된 도로의 중심값을 검출하여 각각 체크된 도로라인의 중심값을 연결함으로써 차량 진행 방향을 임의로 표시하며 또한, 상기에서 구한 차량 진행 방향의 표시와 검출된 도로의 수평라인과 이루는 각을 구하여 각각의 진행방향 도로의 경사도를 구하여 차량 전방의 제3무인 카메라에 검출된 원거리 도로의 경사도를 검출하는 것이다.

상기 전체 경사도를 구하는 방법은 식1)과 같다.

식1)

α1θ1+α2θ2+α3θ3+α4θ4=θtotal(전방도로의 경사도)

상기 식1)에서 α1,α2,α3,α4는 도5에서 보이듯이 각구간별로 수평라인과 도로 중심 검출라인의 연장선과 이루는 각으로써 α1은 도5의 ①영역이 수평라인과 이루는 각이며, α4는 ④영역이 수평라인과 이루는 각이며, θ1,θ2,θ3,θ4는 각 구간별 실도로에 대한 비례상수로써 무인 카메라의 렌즈 배율에 따라 변경되지만 도5에서 ①영역이 실도로의 30m ④영역이 실도로의 10m 일 경우, θ4=1, θ1=0.33으로 정해진다.

따라서, 제3무인 카메라(300)를 이용해 차량 전방의 도로를 검색하여 차량 진행 방향의 경사도를 쉽게 찾을 수 있다(S40).

제1제어장치(120)는 상기 무인 자동차에 장착된 제1,제2무인 카메라(100,200)를 이용해서 차량 근거리의 도로를 검색해 차량의 차선 이탈을 검출한다.

즉, 제1,제2무인 카메라(100,200)를 이용해서 차량 전방 좌우측 차선을 검출하면 제1,제2이미지 그래버(110,210)는 상기 무인 카메라로부터 입력되는 영상을 캡쳐하고 영상 신호를 제1제어장치(120)로 출력하게 된다(S20,S30).

제1제어장치(120)는 상기 제1이미지 그래버(110)로부터 제1무인 카메라(100)로 입력되는 영상 신호를 입력받아 처리를 하고, 또한 제2이미지 그래버(210)로부터 제2무인 카메라(200)로 입력되는 영상 신호를 입력받아 처리를 한다.

제1제어장치(120)의 영상 처리는 도4a,도4b에서 보이는 바와 같이 제1무인 카메라(100)는 도4a를 제2무인 카메라(200)는 도4b의 영상을 검출해 출력한 영상을 상기 제2제어장치(320)와 같은 동작으로 가우시안 검출법을 이용해 차도의 차선을 검출하는 것이다.

제1제어장치(120)는 제2카메라를 이용해 도4a에서 보이는 바와 같이 제2이미지 그래버(210)에서 출력된 영상에서 도로의 우측 차선을 검출해 내어 차량 우측과 화면 우측에 검출된 도로까지의 거리 d1을 구하고, 제1카메라를 이용해 도4b에서 보이는 바와 같이 제1이미지 그래버(110)에서 출력된 영상에서 도로의 좌측 차선을 검출해 내어 차량 좌측과 화면 좌측에서 검출된 도로까지의 거리 d2를 구한다.

제1제어장치(120)는 상기에서 구한 d1,d2 거리가 같은 위치를 찾아 차량의 차선 이탈율을 구해 스티어링 제어를 하는 것이다(S50).

상기 차선 이탈율은 차량은 도로의 중앙을 향해 달리므로 주행차선의 중앙과 이동할 차선의 분리차선과의 거리를 계산하여 구한다.

따라서, 차량은 상기에서 구한 도로의 원거리 추출에 의한 도로의 진행 방향에 대한 좌우 기울기를 구하여 차량 진행 방향의 도로 기울기에 대한 스티어링의 큰 회전각을 제어하는 값을 구하고, 근거리 추출에 의한 도로의 차선 이탈을 구해 차량 진행에 순간적인 차선 변화에 따른 미세한 스티어링 제어를 하는 것이다.

즉, 스티어링 장치는 원거리 무인 카메라 시스템을 이용해 차량이 기울기가 큰 도로를 주행하는 경우 스티어링은 진행도롤의 기울기에 해당하는 회전각을 이루는 상태에서 근거리 카메라 시스템을 이용해 차량의 순간적인 차선폭의 미세한 변화를 검출해 스티어링을 제어한다.

상기 스티어링 제어의 제어값은 식2)와 같다.

식2)

스티어링제어=β⋅차선이탈률+γ⋅진행방향+δ⋅차속

상기 식2)에서 β,γ,δ는 측정된 비례 상수값으로써 β 〉γ 〉δ 관계를 갖는다.

상기의 β 〉γ 〉δ 관계는 차량이 차선을 이탈시 가장 큰 스티어링 값을 가지며, 진행방향은 상기 차선 이탈에 대한 보정을 취하는 것이며 또한, 차속은 상기 차선이탈률과 진행방향에 대한 스팅어링의 시간상 보정값으로 차량의 스티어링을 미세하게 조정하도록 하여 커브길등에서 스티어링이 진동하는 것을 방지한다.

결론적으로 제3무인 카메라(300)와 제3이미지 그래버(310) 및 제2제어장치(320)를 이용해 차량 전방의 원거리 도로를 검출해 차량의 진행 방향을 결정하고 제1,제2무인 카메라(100,200)와 제1,제2이미지 그래버(110,210) 및 제1제어장치(120)를 이용해 차량 전방의 근거리 도로를 검출하여 차량이 차선 이탈 제어값을 구한다.

스티어링 제어 장치(30)는 상기에서 구한 제어값을 입력받아 스티어링 제어에 관계하여 처리함으로써 스티어링 제어값을 구하여 드라이브(40)로 출력한다.

구동 드라이브(40)는 상기 스티어링 제어값에 따라 보다 정교한 스티어링 제어를 하여 차량 진행 방향 제어를 하는 것이다(S60).

이상에서와 같이 이 발명의 실시예에서, 다중 카메라를 사용하여 병렬적으로 처리하기 위해 원거리 도로를 검색해 차량의 진행 방향을 검색하고 근거리 도로를 검출함으로써 차량의 차선 이탈을 검색해 내어 차선을 이탈하지 않는 스티어링 제어를 하므로써 정밀한 스티어링 제어 효과를 가진 무인 자동차의 화상 처리 장치 및 방법을 제공한다.

Claims

차량에 부착되어 차량 전방의 도로를 검색하는 다수개의 카메라와;

상기 무인 카메라에서 도로에 관한 영상을 입력받아 화상을 캡쳐하는 이미지 그래버와;

상기 다수개의 이미지 그래버에서 근거리에 관한 도로 영상 데이터를 처리하여 차선 이탈을 검출하는 이미비 그래버 중 일부의 제1제어장치와;

상기 다수개의 이미지 그래버중 일부 이미지 그래버에서 원거리에 관한 영상 정보를 입력받아서 처리하여 차량의 진행 방향을 검출하는 제2제어장치와;

기 제1제어장치와 제2제어장치로부터 도로에 관한 처리 데이터를 입력받아서 차량의 스티어링 제어를 처리하는 스티어링 제어 장치와;

상기 스티어링 제어 장치로부터 스티어링 제어에 관한 제어 신호를 입력받아서 스티어링을 제어하는 구동 드라이브로 이루어지는 것을 특징으로 하는 무인 자동차의 화상 처리 장치.
청구항1에 있어서, 상기한 다수개의 무인 카메라는 제1,제2,제3무인 카메라인 3개로 구성되는 것을 특징으로 하는 무인 자동차의 화상 처리 장치.
청구항1에 있어서, 상기한 다수개의 이미지 그래버는 상기 각각의 무인 카메라의 이미지를 처리하기 위해 제1,제2,제3 이미비 그래버인 3개로 구성되는 것을 특징으로 하는 무인 자동차의 화상 처리 장치.
청구항1에 있어서, 상기한 제1제어장치에서 처리하는 다수개의 이미지 그래버는 제1,제2 이미지 그래버로 구성되는 것을 특징으로 하는 무인 자동차의 화상 처리 장치.
청구항1에 있어서, 상기한 제2제어장치에서 처리하는 일부 이미지 그래버는 제3이미지 그래버의 화상을 처리하는 것을 특징으로 하는 무인 자동차의 화상 처리 장치.
각 무인 카메라로부터 도로에 관한 영상을 입력받는 단계와;

상기 무인 카메라로부터 입력받은 영상을 각 이미지 그래버로 캡쳐하는 단계와;

해당 무인 카메라를 이용해 원거리 도로를 입력받아 해당 제어 장치가 처리하여 차량의 진행 방향을 검출하는 단계와;

해당 무인 카메라를 이용해 근거리 도로를 입력받아 해당 제어 장치가 처리하여 차량의 차선 이탈을 검출하는 단계와;

상기에서 구한 차량의 진행 방향과 차선 이탈 검출값 등을 이용해 차량의 스티어링 제어를 하는 단계를 특징으로 하는 무인 자동차의 화상 처리 방법.
청구항6에 있어서, 상기한 도로의 원거리 검출의 진행 방향의 전체 경사도는 다음식1) 같이 구하는 것을 특징으로 하는 무인 자동차의 화상 처리 방법.

식1) αnθn + α(n+1)θ(n+1) + α(n+2)θ(n+2)+⃛ = θtotal
청구항6에 있어서, 상기한 도로의 근거리 검출의 차량의 차선 이탈은 좌우측 카메라에서 검출해 구한 거리의 차를 이용하므로써 차선 이탈을 구하는 것을 특징으로 하는 무인 자동차의 화상 처리 방법.
청구항6에 있어서, 상기 무인 차량의 스티어링 제어값은 다음식2)와 같이 구하는 것을 특징으로 하는 무인 자동차의 화상 처리 방법.

식2)

스티어링제어=β⋅차선이탈룰+γ⋅진행방향+δ⋅차속

단, 상기 식2)에서 β,γ,δ는 측정된 상수값으로써 β 〉γ 〉δ 관계를 갖는다.