KR20040073908A - 선행차량 영상추적을 통한 차량의 조향각데이터 생성장치및 방법 - Google Patents

선행차량 영상추적을 통한 차량의 조향각데이터 생성장치및 방법 Download PDF

Info

Publication number
KR20040073908A
KR20040073908A KR1020030009670A KR20030009670A KR20040073908A KR 20040073908 A KR20040073908 A KR 20040073908A KR 1020030009670 A KR1020030009670 A KR 1020030009670A KR 20030009670 A KR20030009670 A KR 20030009670A KR 20040073908 A KR20040073908 A KR 20040073908A
Authority
KR
South Korea
Prior art keywords
vehicle
image
photographing
angle
distance
Prior art date
Application number
KR1020030009670A
Other languages
English (en)
Other versions
KR100559379B1 (ko
Inventor
최용건
최용준
최인철
Original Assignee
최용건
최용준
최인철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최용건, 최용준, 최인철 filed Critical 최용건
Priority to KR1020030009670A priority Critical patent/KR100559379B1/ko
Priority to PCT/KR2003/002932 priority patent/WO2004072753A1/en
Publication of KR20040073908A publication Critical patent/KR20040073908A/ko
Application granted granted Critical
Publication of KR100559379B1 publication Critical patent/KR100559379B1/ko

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D6/00Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/002Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits computing target steering angles for front or rear wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/24Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted
    • B62D1/28Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/026Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation combined with automatic distance control, i.e. electronic tow bar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 주행하는 차량의 전면에 설치된 영상촬영수단에서 얻어진 도로영상을 분석하여 차량의 조향각을 조절하고, 속도를 제어하므로써 무인 주행이 가능하게 하는 주행편차 보정에 의한 차량의 자동 주행장치 및 방법에 관한 것이다.
본 발명은 차량의 진행방향과 영상촬영장치의 촬영각(Θ)과 선행차량 까지의 차간거리(d)를 구한 후, 차량축간 거리(L)를 이용하여 차량의 조향각을 계산하고, 또한, 차간거리(d)를 분석하여 브레이크와 엑셀러레이터를 구동하는 데이터를 생성하여 차량을 자동으로 제어 할 수 있다.

Description

선행차량 영상추적을 통한 차량의 조향각데이터 생성장치 및 방법{Traveling deviation revision data creation system via image tracking of leading vehicle and method thereof}
본 발명은 차량에 설치되어 무인주행이 가능한 자동 주행장치의 주행 데이터 생성에 관한 것으로, 상세하게는 주행하는 차량의 전면에 영상촬영수단을 설치하고, 그 영상촬영수단에서 얻어진 영상 데이터를 분석하여 차량의 조향각을 조절하고, 속도를 제어할 수 있도록 하는 주행편차 보정에 의한 차량의 자동 주행장치 및 방법에 관한 것이다.
본 발명은 차량의 진행방향과 영상촬영장치의 촬영각(Θ)과 선행차량 까지의 차간거리(d)를 구한 후, 차량축간 거리(L)를 이용하여 차량의 조향각을 계산하고, 또한, 차간거리(d)를 분석하여 브레이크와 엑셀러레이터를 구동하는 데이터를 생성하여 차량을 자동으로 제어 하도록 하는 주행데이터 생성 방법에 관한 것이다.
종래의 자동 주행장치로서, 공개특허공보(특허출원 제10-0257592호)에는 도로 양편의 차선 표시를 차선 검출센서에 의해 소정의 방법으로 차선 곡선을 검출하고 검출된 곡선에 따라 주행할 수 있도록 하는 방법이 개시되어 있다.
공개특허공보(출원번호10-2000-0009711호)는 "자율조향을 위한 영상촬영수단의 기하학적 장착기술및 조향각 산출방법"을 개시하고 있지만, 조향각 계산을 위한구체적인 방법이 제시되어 있지 않고, 반경(R)을 계산하는 방법을 실험값에 의한 추정식을 사용할 수밖에 없고, 개시되어 있는 조향각을 계산하는 방법은 일반적인 차량 이론서에 개시되어 있는 이미 공지되어 있는 기술이다.
또한, 본원인이 선출원한 특허 출원번호10-2003-0004788호에 개시된 것처럼 도로와 영상촬영장치 광축과의 가로편차(△x)를 구한 후, 가로편차(△x)와 차량축간거리(L), 그리고 영상촬영수단과 수평거리(d)를 이용하여 차량의 조향각을 계산하여 스티어링을 조절하고, 또한, 차량의 전방 영상데이터 중 세로편차(△y)와 선행차량의 위치를 분석하여 브레이크와 엑셀레이터를 구동하는 데이터를 생성하는 장치 및 방법이 제시된 바 있다.
본 발명은 주행하는 차량의 전면에 설치된 영상촬영수단에서 얻어진 도로영상데이터를 분석하여 목표 조향각(Φ)을 계산하고, 차량의 속도를 제어하는 데이터를 생성해 주행편차를 보정하는 방법에 의한 차량의 자동 주행장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 자이로 등의 가속도센서, 자세계, GPS 등의 위치확인장치, 도로의 능동형표식 등이 요구되지 않는 주행편차 보정에 의한 차량의 자동 주행 장치 및 방법을 제공하는 것이다.
본 발명은 차량의 진행방향과 영상촬영장치의 촬영각(Θ)과 선행차량까지의 차간거리(d)를 구한 후, 차량축간 거리(L)를 이용하여 차량의 조향각을 계산하고, 또한, 차간거리(d)를 분석하여 브레이크와 엑셀러레이터를 구동하는 데이터를 생성하여 차량을 자동으로 제어함으로써 목적을 달성할 수 있다.
상기 목적을 달성하기 위한 본 발명의 선행차량 영상추적을 통한 차량의 조향각데이터 생성장치는 차량의 전방 도로 영상을 촬영하는 영상촬영수단(10); 촬영된 영상데이터를 저장하는 영상데이터메모리수단(20); 상기 영상데이터메모리수단(20)에 저장된 도로의 영상데이터로부터 차량의 이미지를 선택하기 위한 차량이미지 선택수단(30);선택된 차량이미지를 추출하기 위한 차량 이미지 분리수단(31);분리된 차량이미지를 이용하여 촬영각 편차를 계산하고 차간거리를 계산하는 차량이미지 촬영각편차 차간거리 계산수단(33); 계산된 촬영각 편차정보를 저장하는 촬영각편차 저장수단(35); 저장된 촬영각편차정보를 이용하여 직접 영상촬영수단의 촬영각을 조절하는 촬영각조절수단(34); 영상촬영수단의 촬영각을 측정하는 촬영각센서(36); 촬영각센서의 촬영각(Θ)과 차량이미지 촬영각편차 차간거리 계산수단(33)에서 계산된 차간거리(d)를 이용하여 조향각을 계산하는 조향각 계산수단(60); 조향각센서(67)에서 측정된 조향각과 조향각계산수단(60)에서 계산된 조향각을 비교하는 조향각비교수단(61); 비교된 조향각정보를 이용하여 스티어링 정보를 생성하는 스티어링정보 생성수단(62);생성된 스티어링 정보는 스티어링 정보 저장수단에 저장된다. 아울러 상태값 생성수단은 차간거리(d)에 따라 상태값 생성수단(50)에 의해 상태값이 생성되고 속도센서에서 읽어온 값과 상태값 생성수단에서 생성된 상태값을 이용하여 속도를 비교하는 속도 비교수단(51); 속도비교수단에서 비교된 속도와 상태값 생성수단에서 생성된 상태값을 이용하여 속도조절장치를 선택하는 속도조절장치 선택수단(52); 선택된 속도조절장치의 속도조절정보를 생성하여 저장하는 속도조절정보 생성수단(53); 생성된 속도 조절정보를 속도조절정보 저장수단(54)에 저장하게 된다.
구동부(70)는 스티어링정보 생성수단(64)에서 생성된 정보를 저장하는 스티어링정보 저장수단(65); 스티어링정보 저장수단(65)에 저장된 스티어링정보를 이용하여 독립적으로 스티어링(67)을 조절하게 되는 스티어링 구동수단(66);속도조절정보 생성수단에서 생성된 속도조절정보를 저장하는 속도조절정보 저장수단(56); 저장된 속도조절정보를 기준으로 브레이크(58a)와 엑셀러레이터(57a)를 구동하게 되는 브레이크 구동수단(58)과 엑셀러레이터 구동수단(57)으로 구성되는 것을 특징으로 한다.
도 1은 공지기술인 회전반경의 개념도,
도 2는 본 발명에 따른 외측바퀴기준 조향개념도,
도 3은 본 발명에 따른 촬영수단기준 조향개념도,
도 4a는 본 발명의 영상촬영수단의 초기화 개념도,
도 4b는 본 발명의 차간거리(d) 개념도,
도 5a는 본 발명의 영상추적을 위한 촬영각도 보정 개념도,
도 5b는 본 발명의 촬영각편차(△Θ) 개념도,
도 6은 본 발명에 선행차량 추적 개념도
도 7은 차량에 영상촬영모듈이 장착된 상태도
도 8은 본 발명에 따른 선행차량 영상추적을 이용한 자동차량주행장치의 블록구성도,
도 9는 본 발명에 따른 H/W장치 구성도,
*도면의 주요부분에 대한 부호의 설명*
10;영상촬영수단 20;영상데이터메모리수단
30;차량 이미지 선택수단 31;차량 이미지 분리수단
50;조향각 계산수단 60;상태값 생성수단
70;구동부
이하, 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1는 공지기술인 회전반경의 개념도이다. 도면을 참조하면, 본 발명은 차량의 조향장치가 갖는 특성에 따라 조향각 계산식을 유도하기 위해 기하학적 조건에 따라 회전반경을 다음 수학식1로 표현할 수 있다.
R = L / sin Φ+ r
R이 r보다 충분히 크다고 가정하면
R = L / sin Φ
도 2는 본 발명에 따른 외측바퀴기준 조향개념도이다. 도면을 참조하면, 외측바퀴가 원의 두점을 모두 지나게 되므로 함수의 조건에 따라서 다음의 수학식2로 표현할 수 있다.
x2+y2=R2
상기 수학식2에서 차량에 미끄럼이 없다고 가정하면 외측바퀴의 반경이 일정한 원의 B(R-d* sinΘ,d*cosΘ)점을 지나야 하므로
(R-d* sinΘ)2+(d*cosΘ)2=R2
R2-2*R*d*sinΘ+d2*sin2Θ+(d*cosΘ)2=R2
2*R*d*sinΘ= d2
R = d/ (2*sinΘ)
수학식 2와 같이 차량에 미끄럼이 없다고 가정하여 외측바퀴를 기준으로 조향각을 구하기 위하여 수학식1에 수학식2를 대입하면 다음의 수학식3을 얻을 수 있다.
d/ (2*sinΘ) = L / sin Φ
sin Φ= 2*L*sinΘ/d
Φ= sin-1( 2*L*sinΘ/d)
본 발명에서는 상기 수학식3과 같이 조향각을 계산하기 위해서는 세 가지 조건값이 결정되어야 한다.
즉, 수학식 1 내지 수학식 3과 같이 차량의 축간거리(L), 촬영각(Θ), 차간거리(d)가 결정되면 목표지점의 조향각을 계산할 수 있게 된다. 이때 변곡점이 없다고 가정하면 도 2의 두점 A,B사이의 조향각은 상기 차량의 축간거리(L), 촬영각(Θ), 차간거리(d)에 의해 주행시 조향각을 계산할 수 있게 되는 것이다.
도 4는 본 발명에 따른 영상촬영수단의 초기화 개념도이다. 차량은 직선 차선이 설치된 도로의 중앙에 도로의 주행방향으로 주차된다. 조향각 센서의 값이 "0"이 되도록 조향각을 조절한다. 이후 차량의 중앙에 영상촬영수단의 광축이 차량의 중심선과 평행하게 설치한 후, 영상촬영수단을 초기화한다.
도 4a는 영상촬영모듈을 차량에 설치 시 설치위치에 따른 상관관계를 보여주고 있다. 영상촬영 모듈이 차량의 좌우 중간지점에 설치되면 선행차량의 기준점도 차량의 중앙이 되지만, 그렇지 않은 경우는 선행차량의 동일위치를 기준으로 수식이 변경된다.
도 4b는 자동주행 차량과 선행차량과의 거리(d), 자동주행 차량과 선행차량과의 직교좌표 설정, 차량의 색상이 나타나는 최하단부(a-a')의 주사선 번호 등을 보여주는 도면이다. 최초의 자동주행장치 세팅시 도 4a에서와 같이 도로상에서 세팅된 주사선 번호에 따른 거리값이 차량과 영상촬영수단의 상대적 촬영각(Θ)이 변동되더라도 차량에 장착된 조건이 영상촬영수단의 좌우회전에 따른 거리편차가 없도록 장착해야 함은 당연하다. 이것이 본 발명의 중요한 거리측정 핵심 기술이기 때문이다.
이와 같이 영상촬영수단은 촬영각을 자동으로 선행차량의 가로 중심선에 맞추도록 설계되고 작동된다. 선행차량을 도 4에서와 같이 영상촬영수단이 중심선으로부터 이격거리(X0)만큼 벗어나게 설치된다면 그 초기값에 이격거리가 반영되어 나타난다. 영상촬영수단의 초기화는 다음의 표 1에서 보는 것처럼 주사선 번호(Pn)와 영상촬영수단과 주사선에 나타난 실제 영상의 수평거리(d)와 광축 중심으로부터 주차선(m)의 거리(Xm), 부차선(s)과의 거리(Xs), 그리고 선행차량의 이미지가 나타나는 최초의 주사선(Pm)을 모두 입력하면 완료된다.
표 1을 참조하면, 광축 중심으로부터의 이격거리(Xm, Xs)는 화면의 화소(pixel) 수로 표현된다. 최초의 주사선(Pm)은 선행차량의 차량이미지가 존재하는 최초의 주사선 번호가 되고, d는 선행차량까지의 실제거리를 실측하여 입력한다. 이렇게 하면 차량의 이미지가 나타나는 최초의 주사선(Pm)이 183이라고 할 때 250미터 거리(d)에 있는 것으로 해석할 수 있다.
본 발명은 도 4b에서와 같이 선행차량까지의 거리(d)는 차량의 바닥면을 기준으로 계산되어 표 1과 같이 저장된다.
도 5a는 본 발명의 영상추적을 위한 촬영각도 보정 개념도이고, 도 5b는 본 발명의 촬영각편차(△Θ) 개념도이다.
도 5a와 5b를 참조하면, 가로편차 △x는 영상촬영수단의 광축과 선행차량의 위치편차로서 가로방향의 편차값을 나타낸다. 차량에 설치된 영상촬영모듈은 전방의 차량의 움직임에 따라 회전하도록 하는 구조로 설계되고 작동된다.
도면을 참조하면, 도 5b는 변경된 촬영각(Θ)과 현 주기에서 변경하여야할 촬영각편차(△Θ)와의 관계를 나타내고 있는 도면이다. F는 자동주행차량의 현재 진행방향이고 좌표는 영상촬영모듈의 정면 방향으로 설정되며, S는 선행차량이 이동한 방향으로 영상촬영수단을 기준으로 본 이동방향이 된다.
도 5a는 도 5b에서 나타난 현주기의 촬영각편차(△Θ)를 계산하기위한 개념도이다. 직전주기의 차간거리(d)와 영상촬영수단의 광축을 중심으로 선행차량의 이격거리를 가로편차△x로 표현하고 촬영각 편차(△Θ)를 다음의 수학식 5에 따라 계산할 수 있다.
자동주행차량으로부터 선행차간거리가 d인 지점의 차량의 가로중심 이동거리가 Xd 이고, 영상촬영수단이 차량중심선으로부터 X0만큼 이격되어 설치된 경우에 가로편차는 다음의 수학식4에 의해 실제 거리로 환산된다.
△x = 차로폭 * Xd/( Xm-Xs) - X0
여기서 Xm,Xs는 표 1에서 차량의 차간거리(d)에 따라서 읽어진 값이다. Xd를 계산하는 방법은 차량의 가로중심 위치를 구하여 계산되고, 촬영각 편차(△Θ)는 다음 수학식5에 의해 계산된다.
차간거리(d)는 앞에서 언급한 바와 같이 표 1을 참조하여 선행차량의 컬러값이 나타나는 최초의 주사선번호(Pm)를 기준으로 실제 차간거리(d)가 결정된다.
△Θ= tan-1(△x/d)
△x/d가 충분히 작다고 가정하면
△Θ= △x/d 이다.
여기서, △Θ는 rad이고 △x,d 는 m단위이다.
도 6은 선행차량 추적을 통한 영상촬영모듈의 각도보정으로 자동주행차량의 조향각을 계산하고 차간거리(d)의 변동을 이용하여 자동주행 하는 개념도이다. 자동주행차량(A)을 기준으로 직교좌표계를 설정하고 선행차량의 영상을 영상촬영수단(10)을 통해 촬영한 영상데이터를 디지털 데이터로 영상데이터 메모리수단(20)에 저장한 후 차량 이미지 선택수단에 의해 차량의 이미지데이터만을 분리하여 주사선별로 가로중심을 구한 후 영상촬영수단이 설치된 위치편차(X0)만큼을 기준점을 이동하여 자동주행 차량이 주행할 거리(d)와 각도(Θ)를 산출한 후, 조향각을 계산하게 된다.
도 7은 차량에 영상촬영모듈이 장착된 상태를 예시한 도면이다. 도면을 참조하면 도 7은 본 발명에 따른 영상 촬영모듈(11)을 차량에 정합한 도면으로서 차량의 진행 방향으로 설치된 영상촬영모듈이 차량 정면 방향을 기준으로 좌우로 선행차량을 따라서 영상촬영수단의 촬영각을 영상추적 기법을 통해 촬영각(Θ)을 추종시킬 수 있는 구조임을 보여주고 있다
이하, 본 발명의 작동 방법을 도 8 및 도 9의 선행차량 영상추적을 이용한 자동차량주행장치를 보인 블록 구성도를 참조하여 설명한다.
도면을 참조하면, 본 발명의 선행차량 영상추적을 통한 차량의 조향각데이터생성장치는 차량의 전방 도로 영상을 촬영하는 영상촬영수단(10); 촬영된 영상데이터를 저장하는 영상데이터메모리수단(20); 상기 영상데이터메모리수단(20)에 저장된 도로의 영상데이터로부터 차량의 이미지를 선택하기 위한 차량이미지 선택수단(30);선택된 차량이미지를 추출하기 위한 차량 이미지 분리수단(31);분리된 차량이미지를 이용하여 촬영각 편차를 계산하고 차간거리를 계산하는 차량이미지 촬영각편차 차간거리 계산수단(33); 저장된 촬영각편차정보를 이용하여 직접 영상촬영수단의 촬영각을 조절하는 촬영각조절수단(34); 계산된 촬영각 편차정보를 저장하는 촬영각편차 저장수단(35); 영상촬영수단의 촬영각을 측정하는 촬영각센서(36); 촬영각센서의 촬영각(Θ)과 차량이미지 촬영각편차 차간거리 계산수단(33)에서 계산된 차간거리(d)를 이용하여 조향각을 계산하는 조향각 계산수단(60); 조향각센서(67)에서 측정된 조향각과 조향각계산수단(60)에서 계산된 조향각을 비교하는 조향각비교수단(61); 비교된 조향각정보를 이용하여 스티어링 정보를 생성하는 스티어링정보 생성수단(62)을 포함하며, 여기서 생성된 스티어링 정보는 스티어링 정보 저장수단에 저장된다.
또한, 본 발명은 차간거리(d)에 따라 상태값을 생성하기 위한 생태값 생성수단(50); 속도센서(51a)에서 읽어온 값과 상태값 생성수단(50)에서 생성된 상태값을 이용하여 속도를 비교하는 속도 비교수단(51); 속도비교수단에서 비교된 속도와 상태값 생성수단에서 생성된 상태값을 이용하여 속도조절장치를 선택하는 속도조절장치 선택수단(52); 선택된 속도조절장치의 속도조절정보를 생성하여 저장하는 속도조절정보 생성수단(53); 생성된 속도 조절정보를 저장하는 속도조절정보 저장수단(54)을 포함한다.
또한, 도면중 부호 70으로 표시한 구동부는 스티어링정보 생성수단(62)에서 생성된 정보를 저장하는 스티어링정보 저장수단(63); 스티어링정보 저장수단(63)에 저장된 스티어링정보를 이용하여 독립적으로 스티어링(65)을 조절하게 되는 스티어링 구동수단(64); 속도조절정보 생성수단(53)에서 생성된 속도조절정보를 저장하는 속도조절정보 저장수단(54); 저장된 속도 조절정보를 기준으로 브레이크(58)와 엑셀러레이터(56)를 구동하게 되는 브레이크구동수단(57) 및 엑셀러레이터 구동수단(55)으로 구성된다.
도면중 미설명 부호 56a는 엑셀러레이터센서, 56b는 엑셀레이터 패달, 58a는 브레이크센서, 66은 스티어링 핸들이다
이와 같이 구성된 본 발명에 의하면, 영상촬영수단(10)은 차량의 전면 방향으로 설치되어 도로와 선행차량의 영상을 촬영하여 영상데이터 메모리수단(20)에 디지털데이터로 저장된다. 저장된 영상데이터는 차량 내부에 설치된 모니터에 전시되고 차량이미지 선택수단(30)에 의해 차량 추적을 시행하는 최초에는 수동으로 차량이미지를 선택하게 된다. 선택된 차량이미지의 컬러코드를 이용하여 차량이미지분리수단(31)에 의해 도로영상과 차량이미지가 분리된다.
분리된 차량이미지를 이용하여 영상촬영수단(10)의 초기화시 작성된 표1을 이용하여 수학식 4와 같이 가로편차△x가 계산되고, 가로편차와 차간거리(d)를 이용하여 수학식 5에 따라 촬영각편차(△Θ)를 차량이미지 촬영각편차 차간거리 계산수단(33)에 의해 계산한다.
계산된 촬영각편차(△Θ)는 촬영각편차 정보저장수단(35)에 저장된다. 저장된 촬영각 편차는 촬영각 조절수단(34)에 의해 영상촬영수단(10)의 촬영각을 촬영각 편차만큼 변경한다. 변경된 영상촬영수단(10)의 촬영각은 촬영각센서에 의해 측정되어 조향각 계산수단(60)에 전달된다.
본 발명에서는 수학식 5와 같이 계산된 촬영각 편차(△Θ)를 촬영각편차정보저장수단(35)에 저장하면 촬영각조절수단(34)에서는 저장된 각도만큼 촬영각을 변경하게 된다. 이때 변경된 촬영각은 촬영각센서(36)에서 측정하여 그 측정값을 저장하게 된다. 촬영각을 변경하는 방법은 단순히 모터와 구동부로 구성되고 공지된 기술을 사용하면 된다.
한편, 본 발명은 차량이미지 촬영각편차 차간거리 계산수단(33)에서 계산된 차간거리 d 의 값과 촬영각 정보를 이용하여 수학식 3에 따라 조향각계산수단(60)에 의해 조향각이 계산된다. 계산된 조향각은 조향각 센서(67)에서 측정된 조향각과 조향각 비교수단(61)에 의해 비교되어 차이값이 스티어링 정보생성수단(62)에의해 계산되어 스티어링 정보저장수단(63)에 저장된다.
여기서, 상기 조향각 계산수단(60)은 촬영각센서에 저장된 촬영각을 읽어 와서 조향각 계산에 사용하게 되는데, 선행차량과의 거리(d)는 차량의 영상이 나타나는 최소의 주사선번호를 이용하여 표1에 초기화시 입력된 값과 비교하여 구하여 진다. 이렇게 하면 차간거리(d)값이 결정되고, 영상촬영수단의 촬영각은 촬영각 센서로부터 얻어지게 되어 수학식3에 따라 조향각을 계산할 수 있게 된다.
또한, 본 발명에 의하면, 구동부(70)의 스티어링 구동수단(65)은 스티어링정보저장수단(63)에 저장된 스티어링 정보에 따라 스티어링(65)을 구동하게 된다. 또한, 차량이미지 촬영각편차 차간거리 계산수단(33)에 의해 계산된 차간거리(d)는 상태값 생성수단(50)에 전달되고 직전 주기의 차간거리(d) 값과 비교하여 상태값 생성 절차에 따라 상태값을 생성한다.
본 발명은 속도센서(51a)에서 읽어온 차량속도와 상태값 생성수단에서 생성된 상태값을 이용하여 속도 비교수단(51)에서는 차량의 속도를 비교한다. 속도비교수단(51)에서 비교된 속도와 상태값 생성수단에서 생성된 상태값을 이용하여 속도조절장치 선택수단은(52) 속도조절장치를 선택한다. 선택된 속도조절장치의 속도조절정보를 생성하여 속도조절정보 생성수단(53)은 생성된 속도 조절정보를 속도조절정보 저장수단(54)에 저장하게 된다.
구동부(70)는 스티어링정보 생성수단(62)에서 생성된 정보를 스티어링정보저장수단(63)에 저장하고 스티어링정보 저장수단(63)에 저장된 스티어링정보를 이용하여 스티어링구동수단(64)이 독립적으로 스티어링(65)을 조절하게 된다.
또한, 상기 속도조절정보 생성수단(53)에서 생성된 속도조절정보는 속도조절정보저장수단(54)에 저장되고 저장된 속도 조절정보를 기준으로 브레이크구동수단(57)과 엑셀러레이터 구동수단(55)은 각각 브레이크(58)와 엑셀러레이터(56)를 자동으로 제어하여 속도를 조절할 수 있게 된다.
이상에서 설명한 바와 같이 본 발명은 주행하는 차량의 전면에 설치된 영상촬영수단에서 얻어진 도로영상을 분석하여 차량의 조향각을 조절하고, 속도를 제어하므로써 무인 주행이 가능하다.
또한, 본 발명은 차량의 진행방향과 영상촬영장치의 촬영각(Θ)과 선행차량 까지의 차간거리(d)를 구한 후, 차량축간 거리(L)를 이용하여 차량의 조향각을 계산하고, 또한, 차간거리(d)를 분석하여 브레이크와 엑셀러레이터를 구동하는 데이터를 생성함으로써 차량을 자동으로 제어 할 수 있다.

Claims (4)

  1. 차량의 전방 도로 영상을 촬영하는 영상촬영수단(10);
    촬영된 영상데이터를 저장하는 영상데이터메모리수단(20);
    상기 영상데이터메모리수단(20)에 저장된 도로의 영상데이터로부터 차량의 이미지를 선택하기 위한 차량이미지 선택수단(30);
    선택된 차량이미지를 추출하기 위한 차량 이미지 분리수단(31);
    분리된 차량이미지를 이용하여 촬영각 편차를 계산하고 차간거리를 계산하는 차량이미지 촬영각편차 차간거리 계산수단(33);
    계산된 촬영각 편차정보를 저장하는 촬영각편차 저장수단(35);
    저장된 촬영각편차정보를 이용하여 직접 영상촬영수단의 촬영각을 조절하는 촬영각조절수단(34);
    영상촬영수단의 촬영각을 측정하는 촬영각센서(36); 및
    촬영각센서의 촬영각(Θ)과 차량이미지 촬영각편차 차간거리 계산수단(33)에서 계산된 차간거리(d)를 이용하여 조향각을 계산하는 조향각 계산수단(60);
    을 포함하는 것을 특징으로 하는 선행차량 영상추적을 통한 차량의 조향각데이터 생성장치.
  2. 제 1항에 있어서, 상기 조향각 계산수단은 선행차량과 자동주행차량과의 직선거리(d)와 차량의 진행방향과 선행차량의 영상데이터 면적중심이 이루는 각도(Θ)와 차량의 축간 거리를 기준으로 다음의 수학식에 의해 목표 조향각을 계산하는 것을 특징으로 하는 선행차량 영상추적을 통한 차량의 조향각데이터 생성장치.
    Φ= sin-1( 2*L*sinΘ/d)
  3. 차량에 탑재된 영상촬영수단을 통해 차량 전방의 도로 영상을 촬영하여 데이터를 저장하는 단계;
    저장된 도로의 영상데이터로부터 차량의 이미지를 선택하여 분리하는 단계;
    분리된 차량이미지를 이용하여 촬영각 편차 및 차간거리를 계산하여 저장하는 단계;
    저장된 촬영각 편차정보를 이용하여 영상촬영수단의 촬영각을 조절하는 단계;
    영상촬영수단의 촬영각을 측정하는 단계; 및
    촬영각센서의 촬영각과 차량이미지 촬영각편차 차간거리 계산수단에서 계산된 차간거리를 이용하여 조향각을 계산하는 단계;
    를 포함하는 것을 특징으로 하는 선행차량 영상추적을 통한 차량의 조향각데이터 생성방법.
  4. 제 3항에 있어서, 상기 조향각을 계산하는 단계는,
    선행차량과 자동주행차량과의 직선거리(d)와 차량의 진행방향과 선행차량의영상데이터 면적중심이 이루는 각도(Θ)와 차량의 축간 거리를 기준으로 다음의 수학식에 의해 목표 조향각을 계산하는 것을 특징으로 하는 선행차량 영상추적을 통한 차량의 조향각데이터 생성방법.
    Φ= sin-1( 2*L*sinΘ/d)
KR1020030009670A 2003-02-15 2003-02-15 선행차량 영상추적을 통한 차량의 조향각데이터 생성장치및 방법 KR100559379B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020030009670A KR100559379B1 (ko) 2003-02-15 2003-02-15 선행차량 영상추적을 통한 차량의 조향각데이터 생성장치및 방법
PCT/KR2003/002932 WO2004072753A1 (en) 2003-02-15 2003-12-31 System and method for generating steering angle data of an automatic navigation vehicle via image tracking of a leading vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030009670A KR100559379B1 (ko) 2003-02-15 2003-02-15 선행차량 영상추적을 통한 차량의 조향각데이터 생성장치및 방법

Publications (2)

Publication Number Publication Date
KR20040073908A true KR20040073908A (ko) 2004-08-21
KR100559379B1 KR100559379B1 (ko) 2006-03-10

Family

ID=32866900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030009670A KR100559379B1 (ko) 2003-02-15 2003-02-15 선행차량 영상추적을 통한 차량의 조향각데이터 생성장치및 방법

Country Status (2)

Country Link
KR (1) KR100559379B1 (ko)
WO (1) WO2004072753A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101020939B1 (ko) * 2004-11-24 2011-03-09 현대자동차주식회사 전동 조향 장치의 조향휠 편향 보정 방법
KR101499458B1 (ko) * 2013-08-12 2015-03-06 현대오트론 주식회사 차량의 자동 조향 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1926048B1 (en) 2006-11-21 2010-02-24 Harman Becker Automotive Systems GmbH Presenting video images of a vehicle environment
US8825265B1 (en) 2012-03-16 2014-09-02 Google Inc. Approach for consolidating observed vehicle trajectories into a single representative trajectory
US8880272B1 (en) 2012-03-16 2014-11-04 Google Inc. Approach for estimating the geometry of roads and lanes by using vehicle trajectories
KR101448506B1 (ko) * 2012-12-13 2014-10-08 현대오트론 주식회사 선행차량의 거동을 이용한 주행 차로의 곡률 측정 방법 및 장치
KR101709521B1 (ko) * 2015-07-30 2017-03-09 주식회사 한글과컴퓨터 무인 스마트카를 이용한 공익서비스 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208750A (en) * 1987-06-17 1993-05-04 Nissan Motor Co., Ltd. Control system for unmanned automotive vehicle
JP2001171544A (ja) * 1999-12-20 2001-06-26 Nissan Motor Co Ltd 車載カメラの光軸ずれ検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101020939B1 (ko) * 2004-11-24 2011-03-09 현대자동차주식회사 전동 조향 장치의 조향휠 편향 보정 방법
KR101499458B1 (ko) * 2013-08-12 2015-03-06 현대오트론 주식회사 차량의 자동 조향 장치 및 방법

Also Published As

Publication number Publication date
WO2004072753A1 (en) 2004-08-26
KR100559379B1 (ko) 2006-03-10

Similar Documents

Publication Publication Date Title
EP3436879B1 (en) An autonomous vehicle with improved visual detection ability
JP3898709B2 (ja) 車両用走行区分線認識装置
US7652686B2 (en) Device for image detecting objects, people or similar in the area surrounding a vehicle
JP3722487B1 (ja) 車両用走行区分線認識装置
JP5310285B2 (ja) 自己位置推定装置及び自己位置推定方法
US10528826B2 (en) Vehicle guidance system
US10528056B2 (en) Vehicle guidance system
KR101071732B1 (ko) 차량 주행속도 제어 장치 및 그 방법
JP3722486B1 (ja) 車両用走行区分線認識装置
JP2021512313A (ja) 鉄道線路上の関心点または線を位置特定するための方法
JP2018048949A (ja) 物体識別装置
JP2007034989A (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP4377347B2 (ja) 移動ロボット
RU2733198C1 (ru) Способ управления движением транспортного средства и устройство управления движением транспортного средства
KR100559379B1 (ko) 선행차량 영상추적을 통한 차량의 조향각데이터 생성장치및 방법
JP7234840B2 (ja) 位置推定装置
JPH1137730A (ja) 道路形状推定装置
JP2005173899A (ja) 周囲状況表示装置
KR20060134719A (ko) 차량의 주차 구획 인식방법
KR100540743B1 (ko) 주행편차 보정에 의한 차량의 조향각/속도조절 데이터생성장치 및 방법
JP3722485B1 (ja) 車両用走行区分線認識装置
WO2021215199A1 (ja) 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム
JPH0626859A (ja) 無人走行車の測距装置
US20240059288A1 (en) Vehicle control device, storage medium storing computer program for vehicle control, and method for controlling vehicle
WO2020144129A1 (en) A control system, system and method for providing assistance to an occupant of a vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121214

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140122

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20141212

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20151228

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20171223

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190123

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20191220

Year of fee payment: 15