KR20190072733A - 스테레오 카메라 기반 도로 구배 예측방법 및 시스템 - Google Patents

스테레오 카메라 기반 도로 구배 예측방법 및 시스템 Download PDF

Info

Publication number
KR20190072733A
KR20190072733A KR1020170173752A KR20170173752A KR20190072733A KR 20190072733 A KR20190072733 A KR 20190072733A KR 1020170173752 A KR1020170173752 A KR 1020170173752A KR 20170173752 A KR20170173752 A KR 20170173752A KR 20190072733 A KR20190072733 A KR 20190072733A
Authority
KR
South Korea
Prior art keywords
road
estimating
information
gradient
depth information
Prior art date
Application number
KR1020170173752A
Other languages
English (en)
Other versions
KR102039801B1 (ko
Inventor
손행선
민경원
이선영
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170173752A priority Critical patent/KR102039801B1/ko
Publication of KR20190072733A publication Critical patent/KR20190072733A/ko
Application granted granted Critical
Publication of KR102039801B1 publication Critical patent/KR102039801B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/076—Slope angle of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B60W2550/142—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope, i.e. the inclination of a road segment in the longitudinal direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Vehicle Body Suspensions (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

도로의 구배를 선행 예측하여 차량의 새시 제어 등에 능동적으로 활용하기 위한 방안으로, 스테레오 카메라 기반 도로 구배 예측방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 구배 예측방법은 스테레오 카메라를 이용하여 전방 도로에 대한 깊이 정보를 추출하는 단계; 및 추출한 깊이 정보를 기반으로, 도로의 구배 정보를 추정하는 단계;를 포함한다.
이에 의해, 주행중에 도로의 구배정보를 선행하여 예측할 수 있어, 방지턱의 유무, 방지턱의 높낮이, 포트홀의 유무, 포트홀의 높낮이, 경사로의 경사정도, 내리막의 경사도 등을 미리 선행하여 알아낼 수 있으므로, 아를 기반으로 능동형 새시 제어에 활용하여 차량의 안정성 및 승차감을 더욱 향상시킬 수 있다.

Description

스테레오 카메라 기반 도로 구배 예측방법 및 시스템{Road Gradient Estimation Method and System based on Stereo Camera}
본 발명은 차량 영상 기술에 관한 것으로, 더욱 상세하게는 스테레오 카메라를 이용하여 전방 도로에 대한 구배 정보를 예측하는 방법 및 시스템에 관한 것이다.
최근 고급사양의 차량이 증가함에 따라, 승차감과 운전 편의성, 주행 안정성을 확보하기 위한 시스템 장치가 증가하는 추세이며, 전방에 존재하는 방지턱이나 포트홀과 같은 노면 정보를 미리 예측 하여 샤시 제어 등에 활용함으로써 주행 안정성을 높이고 승차감을 높이는 기술이 요구되고 있다.
기존의 방식은 방지턱이나 포트홀 등에 의해 차량의 자세가 변경되는 점을 인지하여 기계적으로 샤시를 제어하여 차량의 자세를 보정하는 방식으로 이루어 지고 있다.
하지만, 이는 후행 제어를 수행하는 방식에 기인한 것이므로, 운전자가 느끼는 승차감, 운전 편의성, 주행 안정성에 대한 만족도는 높지 않다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 도로의 구배를 선행 예측하여 차량의 새시 제어 등에 능동적으로 활용하기 위한 방안으로, 스테레오 카메라 기반 도로 구배 예측방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 구배 예측방법은 스테레오 카메라를 이용하여 전방 도로에 대한 깊이 정보를 추출하는 단계; 및 추출한 깊이 정보를 기반으로, 도로의 구배 정보를 추정하는 단계;를 포함한다.
추출단계는, 카메라 기준 좌표계로 전방 도로에 대한 깊이 정보를 추출하고, 도로의 구배 정보 추정단계는, 전방 도로에 대한 깊이 정보를 카메라 기준 좌표계에서 도로 기준 좌표계로 변환하는 단계;를 포함할 수 있다.
본 발명에 따른 구배 예측방법은 도로의 구배 정보 추정단계는, 스테레오 카메라가 도로면을 바라보는 지향각과 스테레오 카메라의 높이를 추정하는 단계;를 더 포함하고, 변환 단계는, 추정된 스테레오 카메라의 지향각과 높이를 이용하여, 전방 도로에 대한 깊이 정보를 카메라 기준 좌표계에서 도로 기준 좌표계로 변환하는 것일 수 있다.
스테레오 카메라의 지향각과 높이 추정단계는, 전방 도로에 대한 깊이 정보를 평면으로 모델링하는 단계; 및 모델링된 평면의 방정식의 계수들을 이용하여 스테레오 카메라의 지향각과 높이를 추정하는 단계;를 포함할 수 있다.
전방 도로에 대한 깊이 정보는, 장애물이 제외된 영역의 깊이 정보인 것일 수 있다.
모델링된 평면의 방정식의 계수들은, RANSAC 또는 최소자승법으로 결정되는 것일 수 있다.
도로 기준 좌표계는, 차량 바퀴를 기준으로 지면의 높이가 표현되는 것일 수 있다.
본 발명에 따른 구배 예측방법은 바퀴의 궤적을 예측하는 단계;를 더 포함하고, 추정 단계는, 예측된 바퀴의 궤적에 대한 도로의 구배 정보를 추정하는 것일 수 있다.
예측단계는, 스티어링 정보를 기초로 바퀴의 궤적을 예측하는 것일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 구배 예측 시스템은 전방 도로에 대한 깊이 정보를 추출하는 스테레오 카메라; 및 추출한 깊이 정보를 기반으로, 도로의 구배 정보를 추정하는 프로세서;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 차량 제어 시스템은 전방 도로에 대한 깊이 정보를 기반으로, 도로의 구배 정보를 추정하는 단계; 및 추정된 도로의 구배 정보를 이용하여, 새시를 제어하는 단계;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 차량 제어 시스템은 전방 도로에 대한 깊이 정보를 기반으로, 도로의 구배 정보를 추정하는 프로세서; 및 추정된 도로의 구배 정보를 이용하여, 새시를 제어하는 제어부;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 주행중에 도로의 구배정보를 선행하여 예측할 수 있어, 방지턱의 유무, 방지턱의 높낮이, 포트홀의 유무, 포트홀의 높낮이, 경사로의 경사정도, 내리막의 경사도 등을 미리 선행하여 알아낼 수 있으므로, 이를 기반으로 능동형 새시 제어에 활용하여 차량의 안정성 및 승차감을 더욱 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따르면, 카메라의 높이와 지향각을 지속적으로 예측하여 도로 구배값을 보정함으로써 좀 더 정확한 도로 구배값을 구할 수 있다.
도 1은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 능동형 새시 제어 시스템의 개념도이다.
도 2는, 도 1에 도시된 시스템에 의한 스테레오 카메라 기반 도로 구배 예측방법의 설명에 제공되는 도면이다.
도 3은 카메라 좌표계를 도로 기준 좌표계로 변환하는 개념의 설명에 제공되는 도면,
도 4는 카메라의 높이와 지향각 추정 방법의 부연 설명에 제공되는 도면,
도 5는 변경된 도로 기준 좌표계를 예시한 도면,
도 6은 예측된 바퀴의 궤적에 대한 도로 구배값의 추정 결과를 예시한 도면, 그리고,
도 7은 본 발명의 다른 실시예에 따른 능동형 새시 제어 시스템의 블럭도이다.
본 발명의 실시예에서는, 스테레오 카메라 기반 도로 구배 예측방법 및 시스템을 제시한다.
본 발명의 실시예에 따른 도로 구배 예측 시스템은, 스테레오 카메라를 이용하여 전방 도로에 대한 깊이 정보를 추출하고, 깊이 정보를 기반으로 하여 도로의 구배 정보를 추정하여, 차량 서스펜션 등의 제어에 활용할 수 있도록 하는 시스템이다.
본 발명의 실시예에 따른 도로 구배 예측 시스템은, 스테레오 카메라를 통해 전방 수십 미터의 도로에 대하여 구배 정보를 미리 예측할 수 있게 되어, 능동형 새시 제어가 가능하여 승차감과 편의성 안정성을 향상시킬 수 있다.
이와 같이, 본 발명의 실시예에 따른 도로 구배 예측 시스템은, 전방을 감시하는 스테레오 카메라로부터 아직 지나가지 않은 도로에 대한 구배정보를 미리 예측하는 시스템이다.
또한, 본 발명의 실시예에 따른 도로 구배 예측 시스템은, 현재의 조향각 정보를 기반으로 하여 전방 도로상에서 바퀴가 실제 지나갈 궤적을 예측하여 이 궤적에 대한 구배정보를 추출할 수 있도록 한다.
차량에 장착되어 있는 스테레오 카메라는 차량의 주행중에 지면을 향하는 각도와 위치가 변화할수 있으며 이를 기반으로 도로의 구배값이 달라질 수 있으므로, 본 발명의 실시예에 따른 도로 구배 예측 시스템은, 차량의 주행중에 지면에 대한 카메라의 각도와 카메라의 높이를 스스로 예측하여, 그 변화값을 연속적으로 반영함으로써 구배값을 보정하여 정확도가 높은 도로 구배값을 예측한다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 능동형 새시 제어 시스템의 개념도이다.
본 발명의 실시예에 따른 능동형 새시 제어 시스템에서는, 도 1에 도시된 바와 같이, 스테레오 카메라를 통하여 전방 도로의 3차원 좌표값을 취득하고, 현재 스티어링 휠 값을 적용하여 차량 좌우 바퀴가 향하는 궤적을 예측한다.
전방 도로의 3차원 좌표값에서 바퀴 궤적에 해당하는 도로의 높이 정보(구배)를 추정하여 능동 댐퍼를 조정하는 방식으로 능동형 새시 제어가 이루어 진다.
도 2는, 도 1에 도시된 시스템에 의한 스테레오 카메라 기반 도로 구배 예측방법의 설명에 제공되는 도면이다.
스테레오 카메라는 좌우 정렬된 양 눈에 해당하는 두 개의 카메라로 사물을 바라보며 촬영하는데(S110), 이들의 시차를 추정함으로써 3차원 위치를 추정할 수 있다. 같은 물체가 좌우 카메라에 동시에 나타나며 픽셀 대 픽셀로 매칭점을 추출하는 과정을 거친다(S120).
스테레오 매칭은 좌우 영상에서 매칭점을 찾아 그 시차(Disparity)를 측정한다. 자동차에서 사용하는 스테레오 매칭 알고리즘의 한 예로 SGM( Semi-Global Matching) 알고리즘이 있다.
스테레오 매칭을 통해 추출한 시차 값들로 각 영상 픽셀에 대해 카메라 좌표계를 기준으로 픽셀의 3차원 위치를 추정할 수 있다(S130). 카메라의 원점을 기준으로 한 각 픽셀좌표 (u, v)에서의 시차값이 d일 때 3차원 위치는 아래의 식과 같다. 여기서, b는 스테레오 카메라의 베이스라인(Baseline)의 길이, (px, py)는 카메라의 주점의 좌표, f는 초점거리이다.
Figure pat00001
그러나, 카메라 좌표계 기준으로 한 3차원 위치는 도 3에 도시된 바와 같이 도로 기준 좌표계를 변환 되어야 도로의 구배 정보를 추출할 수 있다. 도로 기준 좌표로 변환하기 위해서는 카메라가 도로면을 바라보는 지향각 θ와 카메라의 높이 h를 알아야 한다.
초기에 정확히 카메라의 지향각과 높이를 측정하여도 차량이 주행중에 차량의 진동에 의해 카메라의 위치가 변화하는 경우가 많으며, 오르막이나 내리막을 주행할때는 지향각도 순간적으로 변화하게 된다. 또한 뒷자석에 사람이 많이 타거나 짐을 실게 되면 카메라가 약간 들리게 되어 지향각이 작아지는 현상도 발생하게 된다. 외부적인 요인이 생길때마다 카메라의 높이와 지향각을 운전자가 스스로 측정하는 것은 현실적이지 않다.
따라서 본 발명의 실시예에서는, 카메라의 높이와 지향각을 미리 기구를 이용하여 측정하지 않으며, 스테레오 카메라를 통해 측정된 도로의 3차원 위치를 통하여 카메라의 높이와 지향각을 추정한다(S140).
구체적으로, 도 4에 도시된 바와 같이, 영상 전방 하단의 일정 영역(예를 들면, 320 pixels x 170 pixels 크기)을 정하고, 이 영역에서 장애물을 제외한 영역을 도로라고 가정한다. 장애물을 제거한 나머지 영역을 도로라고 판단하고, 도로 영역을 평면으로 모델링을 수행한다. 이는, 도로의 평면의 방정식 Yc=aZc+b를 세워 이 평면의 방정식을 추정하는데, 대표적인 방법으로 RANSAC을 이용한 방식과 최소자승법에 의한 방법이 있다.
이에 따라, 영상 전방 하단 영역내에 존재하는 점들 각각은 카메라 좌표 기준의 3차원 위치 좌표 (Xc,Yc,Zc)를 가지고 있으므로 이러한 점들이 도로면을 이룬다고 가정하고, 도로면의 평면의 방정식을 Yc=aZc+b로 모델링을 수행하고 a, b는 RANSAC 혹은 최소자승법으로 계산을하여, 궁극적으로는 다음의 식을 이용하여 θ와 h를 구할 수 있다.
Figure pat00002
그리고, 카메라의 높이 h 와 θ를 이용하여, 아래의 식에 따라, 카메라 기준 표계를 도로 기준 좌표계로 변환한다(S150). Yw는 차량 바퀴를 기준으로한 지면의 높낮이를 의미한다.
Figure pat00003
한편, 스티어링 휠 정보(S160)에 의해 예측된 바퀴의 궤적을 (t, Xw, Zw)의 순서쌍으로 나타낼 수 있으며, 시간 t의 위치에서 (Xw, Zw) 라 할 수 있다(S170). (Xw, Zw)의 위치에 해당하는 이미지의 영역을 마진을 두어 하나의 박스 형태로 나타내고, 이 박스 안에는 다수의 픽셀이 존재하게 된다. 이 다수의 픽셀 중에서 하나의 대표값 Yw를 추출하는데. 다수의 픽셀 중에 Median Value를 선택하여 대표값 Yw로 선정한다. 도 5에 구체적인 예를 제시하였다.
다음, S170단계에서 예측한 바퀴의 궤적에 대한 도로 구배값을 추정하여(S180), 차량 서스펜션 등을 제어하게 된다. 도 6에는 예측된 바퀴의 궤적에 대한 도로 구배값의 추정 결과를 예시하였다.
도 7은 본 발명의 다른 실시예에 따른 능동형 새시 제어 시스템의 블럭도이다. 본 발명의 실시예에 따른 능동형 새시 제어 시스템은, 스테레오 카메라(210), 영상 프로세서(220), 제어부(230) 및 저장부(240)를 포함한다.
스테레오 카메라(210)는 전방 도로를 촬영하는 양안식 카메라로, 전방 도로에 대한 깊이 정보를 생성한다.
영상 프로세서(220)는 스테레오 카메라(210)에서 추출한 깊이 정보를 기반으로, 바퀴의 궤적에 대한 도로의 구배 정보를 추정한다. 저장부(240)는 도로의 구배 정보를 추정함에 있어 영상 프로세서(220)에 필요한 저장 공간을 제공한다.
제어부(230)는 영상 프로세서(220)에서 추정된 도로의 구배 정보를 기반으로 새시를 제어하여, 승차감과 운전 편의성, 주행 안정성을 향상시킨다.
지금까지, 스테레오 카메라 기반 도로 구배 예측방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.
본 발명의 실시예에서는, 도로의 구배를 선행하여 예측하여 차량의 새시 제어 등에 능동적으로 활용하는데, 도로의 구배정보를 15~20 미터까지 정밀하게 추정하기 위하여 스테레오 카메라를 사용하였다. 스테레오 카메라는 다른 센서 대비 좀더 낮은 비용으로 정밀한 구배 정보의 추정이 가능하다.
또한, 본 발명의 실시예에서는, 스티어링 휠 정보와 연동하여 바퀴가 향하는 궤적을 예측하여 바퀴의 궤적에 대응하는 도로 구배 정보를 추출하며, 카메라의 지향각에 따라 그 측정값이 달라지는 것을 보상하기 위해 실시간으로 카메라의 높이와 카메라의 지향각을 추정하였다.
본 발명의 실시예에 따르면, 주행중에 도로의 구배정보를 선행하여 예측할 수 있어 방지턱의 유무, 방지턱의 높낮이, 포트홀의 유무, 포트홀의 높낮이, 경사로의 경사정도, 내리막의 경사도 등을 미리 선행하여 알아낼 수 있고, 이를 능동형 새시 제어에 활용하여 차량의 안정성 및 승차감을 확보할 수 있다.
또한, 본 발명의 실시예에서는,카메라의 높이와 지향각을 지속적으로 예측하여 도로 구배값을 보정함으로써 좀더 정확한 도로 구배값을 구할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
210 : 스테레오 카메라
220 : 영상 프로세서
230 : 제어부
240 : 저장부

Claims (12)

  1. 스테레오 카메라를 이용하여 전방 도로에 대한 깊이 정보를 추출하는 단계; 및
    추출한 깊이 정보를 기반으로, 도로의 구배 정보를 추정하는 단계;를 포함하는 것을 특징으로 하는 구배 예측방법.
  2. 청구항 1에 있어서,
    추출단계는,
    카메라 기준 좌표계로 전방 도로에 대한 깊이 정보를 추출하고,
    도로의 구배 정보 추정단계는,
    전방 도로에 대한 깊이 정보를 카메라 기준 좌표계에서 도로 기준 좌표계로 변환하는 단계;를 포함하는 것을 특징으로 하는 구배 예측방법.
  3. 청구항 2에 있어서,
    도로의 구배 정보 추정단계는,
    스테레오 카메라가 도로면을 바라보는 지향각과 스테레오 카메라의 높이를 추정하는 단계;를 더 포함하고,
    변환 단계는,
    추정된 스테레오 카메라의 지향각과 높이를 이용하여, 전방 도로에 대한 깊이 정보를 카메라 기준 좌표계에서 도로 기준 좌표계로 변환하는 것을 특징으로 하는 구배 예측방법.
  4. 청구항 3에 있어서,
    스테레오 카메라의 지향각과 높이 추정단계는,
    전방 도로에 대한 깊이 정보를 평면으로 모델링하는 단계; 및
    모델링된 평면의 방정식의 계수들을 이용하여 스테레오 카메라의 지향각과 높이를 추정하는 단계;를 포함하는 것을 특징으로 하는 구배 예측방법.
  5. 청구항 4에서,
    전방 도로에 대한 깊이 정보는,
    장애물이 제외된 영역의 깊이 정보인 것을 특징으로 하는 구배 예측방법.
  6. 청구항 4에 있어서,
    모델링된 평면의 방정식의 계수들은,
    RANSAC 또는 최소자승법으로 결정되는 것을 특징으로 하는 구배 예측방법.
  7. 청구항 3에 있어서,
    도로 기준 좌표계는,
    차량 바퀴를 기준으로 지면의 높이가 표현되는 것을 특징으로 하는 구배 예측방법.
  8. 청구항 1에 있어서,
    바퀴의 궤적을 예측하는 단계;를 더 포함하고,
    추정 단계는,
    예측된 바퀴의 궤적에 대한 도로의 구배 정보를 추정하는 것을 특징으로 하는 구배 예측방법.
  9. 청구항 8에 있어서,
    예측단계는,
    스티어링 정보를 기초로 바퀴의 궤적을 예측하는 것을 특징으로 하는 구배 예측방법.
  10. 전방 도로에 대한 깊이 정보를 추출하는 스테레오 카메라; 및
    추출한 깊이 정보를 기반으로, 도로의 구배 정보를 추정하는 프로세서;를 포함하는 것을 특징으로 하는 구배 예측 시스템.
  11. 전방 도로에 대한 깊이 정보를 기반으로, 도로의 구배 정보를 추정하는 단계; 및
    추정된 도로의 구배 정보를 이용하여, 새시를 제어하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 시스템.
  12. 전방 도로에 대한 깊이 정보를 기반으로, 도로의 구배 정보를 추정하는 프로세서; 및
    추정된 도로의 구배 정보를 이용하여, 새시를 제어하는 제어부;를 포함하는 것을 특징으로 하는 차량 제어 시스템.
KR1020170173752A 2017-12-18 2017-12-18 스테레오 카메라 기반 도로 구배 예측방법 및 시스템 KR102039801B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170173752A KR102039801B1 (ko) 2017-12-18 2017-12-18 스테레오 카메라 기반 도로 구배 예측방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170173752A KR102039801B1 (ko) 2017-12-18 2017-12-18 스테레오 카메라 기반 도로 구배 예측방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190072733A true KR20190072733A (ko) 2019-06-26
KR102039801B1 KR102039801B1 (ko) 2019-11-01

Family

ID=67104960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170173752A KR102039801B1 (ko) 2017-12-18 2017-12-18 스테레오 카메라 기반 도로 구배 예측방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102039801B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024051188A1 (zh) * 2022-09-08 2024-03-14 中国第一汽车股份有限公司 一种车辆行驶路面坡度预测方法、系统及其车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110073917A (ko) * 2009-12-24 2011-06-30 중앙대학교 산학협력단 Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법
KR20160070526A (ko) * 2014-12-10 2016-06-20 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR20160136932A (ko) * 2015-05-21 2016-11-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110073917A (ko) * 2009-12-24 2011-06-30 중앙대학교 산학협력단 Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법
KR20160070526A (ko) * 2014-12-10 2016-06-20 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR20160136932A (ko) * 2015-05-21 2016-11-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024051188A1 (zh) * 2022-09-08 2024-03-14 中国第一汽车股份有限公司 一种车辆行驶路面坡度预测方法、系统及其车辆

Also Published As

Publication number Publication date
KR102039801B1 (ko) 2019-11-01

Similar Documents

Publication Publication Date Title
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
US20210342604A1 (en) Road plane output with lateral slope
JP7301138B2 (ja) ポットホール検出システム
EP1087626B1 (en) Distance correcting apparatus in a surrounding monitoring system
JP3868876B2 (ja) 障害物検出装置及び方法
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP6273352B2 (ja) 物体検出装置、物体検出方法、および移動ロボット
JP5867176B2 (ja) 移動物体位置姿勢推定装置及び方法
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
KR20200036335A (ko) 차로를 결정하는 방법 및 장치
CN109997148B (zh) 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质
US20150036887A1 (en) Method of determining a ground plane on the basis of a depth image
JP2017162116A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN110088802A (zh) 物体检测装置
JP6936098B2 (ja) 対象物推定装置
KR102304851B1 (ko) Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법
KR20170064652A (ko) 에고모션 추정 시스템 및 방법
CN110088801A (zh) 可行驶区域检测装置以及行驶辅助系统
JP6950390B2 (ja) 表示制御プログラム、装置、及び方法
US20200193184A1 (en) Image processing device and image processing method
CN110053625B (zh) 距离计算装置和车辆控制装置
US20190100215A1 (en) Road surface detecting apparatus
KR102039801B1 (ko) 스테레오 카메라 기반 도로 구배 예측방법 및 시스템
JP5760523B2 (ja) 走路推定装置及びプログラム
KR102445017B1 (ko) 전방 차선의 너비 정보를 이용한 도로의 곡률 및 기울어짐 추정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant