KR101512557B1 - 영상정보를 이용한 4wd 차량의 주행제어장치 및 방법 - Google Patents

영상정보를 이용한 4wd 차량의 주행제어장치 및 방법 Download PDF

Info

Publication number
KR101512557B1
KR101512557B1 KR1020130079305A KR20130079305A KR101512557B1 KR 101512557 B1 KR101512557 B1 KR 101512557B1 KR 1020130079305 A KR1020130079305 A KR 1020130079305A KR 20130079305 A KR20130079305 A KR 20130079305A KR 101512557 B1 KR101512557 B1 KR 101512557B1
Authority
KR
South Korea
Prior art keywords
information
vehicle
feature data
image
driving
Prior art date
Application number
KR1020130079305A
Other languages
English (en)
Other versions
KR20150005388A (ko
Inventor
신옥식
Original Assignee
현대다이모스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대다이모스(주) filed Critical 현대다이모스(주)
Priority to KR1020130079305A priority Critical patent/KR101512557B1/ko
Publication of KR20150005388A publication Critical patent/KR20150005388A/ko
Application granted granted Critical
Publication of KR101512557B1 publication Critical patent/KR101512557B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K17/00—Arrangement or mounting of transmissions in vehicles
    • B60K17/34—Arrangement or mounting of transmissions in vehicles for driving both front and rear wheels, e.g. four wheel drive vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Arrangement And Driving Of Transmission Devices (AREA)

Abstract

본 발명은 영상정보를 이용한 4WD 차량의 주행제어장치 및 방법에 관한 것으로, 카메라에서 획득한 영상을 처리하여 특징데이터에 따른 광류를 계산하고; 휠속도 센서를 통해 획득한 휠 속도를 이용해 차속을 계산하고, 카메라 축에 대한 정보로 변환하여 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산하고, 기준값과 비교하여 노면 상태를 판단하고; 조향각 센서의 정보를 이용해 가상의 회전 주로를 결정하고, 이를 카메라 축에 대해 정보로 변환하여 영상 처리에서 추출한 특징데이터에서 가상 회전 주로에 대한 예측되는 특징데이터 변화 비율을 비교하여 노면 상태를 판단함으로써, 관성측정장치 고장시에도 노면 상태를 정확하게 판단하여 엔진의 구동토크를 전·후륜으로 적절하게 분배하여 주행 안전성을 제공할 수 있다.

Description

영상정보를 이용한 4WD 차량의 주행제어장치 및 방법{Apparatus for driving control of 4WD vehicle using image information and Method thereof}
본 발명은 4WD 차량의 주행제어장치 및 방법에 관한 것으로, 더욱 상세하게는 노면 상태에 따라 엔진의 구동토크를 전·후륜으로 적절하게 분배하여 주행 안전성을 제공하는 영상정보를 이용한 4WD 차량의 주행제어장치 및 방법에 관한 것이다.
4WD(Wheel-Drive) 차량은 엔진의 구동토크를 주행상황에 따라 전륜 및 후륜으로 적절하게 분배하여 구동시키는 것으로, 눈길이나 빙판길 등의 미끄러운 도로, 모래땅이나 가파른 언덕, 진흙길 등 큰 구동력이 필요로 하는 다양한 노면 상태에 따라 구동 타이어와 도로면의 슬립을 최소화하여 주행 안전성을 제공한다.
상기와 같은 다양한 노면 상태를 파악하기 위하여, 일반적으로 4WD 차량에는 관성측정장치(IMC; Inertial Measurement Unit)를 사용하고 있다.
대한민국 공개특허공보 제10-2008-0025705호(2008.03.21)에는 차량에 관성 측정 유닛을 사용하는 방법이 개시되어 있다.
잘 알려진 바와 같이, 관성측정장치는 운반체의 각속도와 가속도를 측정하여 시간에 대한 연속적인 적분을 수행함으로써 이미 알고 있는 출발점에 대한 동체의 위치와 속도, 진행 방향을 결정하는 장치로, 통상의 자이로스코프, 가속도계, 컴퓨터로 구성되어 있다.
동작원리는 가속도를 구해 적분하여 속도를 구하고, 속도를 적분하여 이동한 거리를 구함으로써, 처음 있던 위치를 입력하면 이동 후에도 자기의 위치와 속도를 항상 계산하여 파악할 수 있게 되어 악천후나 전파 방해의 영향을 받지 않는다는 장점 있다.
그러나 상기와 같이 종래의 관성측정장치를 사용하는 차량은, 긴 거리를 이동할 경우 관성측정장치의 오차가 누적되어 커지는 문제점이 있으며, 특히 관성측정장치에 고장이 발생할 경우 다양한 도로 상황을 정확하게 파악하지 못하여 주행 안정성이 떨어지는 문제점이 있다.
대한민국 공개특허공보 제10-2008-0025705호(2008.03.21)
본 발명은 상술한 종래기술의 문제점을 극복하기 위한 것으로서, 4WD 차량의 주행제어시 휠속도 및 조향각 정보와 함께 영상정보를 참조하여 노면 상태를 판단함으로써 관성측정장치 고장시에도 노면 상태를 정확하게 판단하여 엔진의 구동토크를 전·후륜으로 적절하게 분배하여 주행 안전성을 제공하는 영상정보를 이용한 4WD 차량의 주행제어장치 및 방법을 제공하는 데에 그 목적이 있다.
상기 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따른 영상정보를 이용한 4WD 차량의 주행제어장치는, 노면의 영상을 획득하는 카메라; 차량의 휠 속도를 획득하는 휠속도 센서; 차량의 조향각 정보를 획득하는 조향각 센서; 및 상기 카메라에서 획득한 영상을 처리하여 특징데이터에 따른 광류를 계산하고, 상기 휠속도 센서를 통해 획득한 휠 속도를 이용해 차속을 계산하고, 카메라 축에 대한 정보로 변환하여 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산하고, 기준값과 비교하여 노면 상태를 판단하거나, 상기 조향각 센서의 정보를 이용해 가상의 회전 주로를 결정하고, 이를 카메라 축에 대해 정보로 변환하여 영상 처리에서 추출한 특징데이터에서 가상 회전 주로에 대한 예측되는 특징데이터 변화 비율을 비교하여 노면 상태를 판단하는 제어부를 포함한다.
상기 제어부는; 상기 카메라에서 획득한 영상을 저역통과 필터를 거쳐 잡음을 제거하고, 히스토그램 평활화를 이용해 영상 밝기를 보정하고, 다운 샘플링(down sampling)을 통해 영상의 사이즈를 줄이고, 상기 영상에서 특징데이터를 검출하는 영상신호 처리모듈; 및 상기 영상신호 처리모듈에서 처리된 이전 영상에서 추출한 특징데이터와 비교하여 가장 가까운 거리의 특징데이터를 이용해 광류를 계산하는 광류 계산모듈을 포함할 수 있다.
상기 제어부는; 휠속도 센서를 통해 획득한 휠 속도를 이용해 차속을 계산하고, 차속 및 차량의 회전 반경의 차량 축에 대한 정보를 카메라 축에 대한 정보로 변환하는 센서신호 처리모듈;을 더 포함할 수 있다.
상기 광류 계산모듈은; 상기 카메라 축에 대한 정보를 이용해 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산하고, 휠 슬립이 기준값 이하인 상황에서 예측 오차가 기준값보다 큰 경우에는 저마찰로 판단하고, 예측 오차가 기준값보다 작은 경우에는 광류의 평균 속도를 제외한 속도 성분의 편차 및 시간에 따른 편차의 누적값을 비교하여 거친 노면과 편평한 노면을 판단하는 주행조건 판단모듈을 더 포함할 수 있다.
상기 센서신호 처리모듈은; 상기 조향각 센서의 정보 및 상기 휠속도 센서를 통한 좌우측 휠의 평균 속도 정보를 이용해 차량의 회전 반경을 추정하고, 상기 광류 계산모듈은; 추정된 회전 반경을 이용하여 가상의 회전 주로를 결정하고, 이를 카메라 축에 대해 정보로 변환하여 특징데이터를 예측할 수 있다.
상기 광류 계산모듈에서 영상 처리를 통해 추출한 특징데이터에서 가상 회전 주로에 대한 예측되는 특징데이터 비율이 기준값 이상이면 포장 도로로 추정하고, 기준값 이하이면 비포장 도로로 추정하는 주행조건 판단모듈을 포함할 수 있다.
상기 주행조건 판단모듈에서 판단된 주행조건에 따라 차량 엔진의 구동토크를 전·후륜으로 분배하여 주행 안전성을 제공하는 구동부를 더 포함할 수 있다.
또한, 본 발명의 바람직한 일 실시예에 따른 영상정보를 이용한 4WD 차량의 주행제어방법은, 카메라에서 획득한 영상을 처리하여 특징데이터에 따른 광류를 계산하는 단계; 휠속도 센서를 통해 획득한 휠 속도를 이용해 차속을 계산하고, 카메라 축에 대한 정보로 변환하여 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산하고, 기준값과 비교하여 노면 상태를 판단하는 단계; 및 조향각 센서의 정보를 이용해 가상의 회전 주로를 결정하고, 이를 카메라 축에 대해 정보로 변환하여 영상 처리에서 추출한 특징데이터에서 가상 회전 주로에 대한 예측되는 특징데이터 변화 비율을 비교하여 노면 상태를 판단하는 단계;를 포함한다.
상기 광류를 계산하는 단계는; 카메라(10)에서 획득한 영상을 저역통과 필터를 거쳐 잡음을 제거하는 단계; 히스토그램 평활화를 이용해 영상 밝기를 보정하는 단계; 다운 샘플링(down sampling)을 통해 영상의 사이즈를 줄이는 단계; 및 상기 영상에서 특징데이터를 검출하고, 이전 영상에서 추출한 특징데이터와 비교하여 가장 가까운 거리의 특징데이터를 이용해 광류를 계산하는 단계;를 포함할 수 있다.
상기 휠속도 센서를 이용해 노면 상태를 판단하는 단계는; 휠속도 센서를 통해 획득한 휠 속도를 이용해 차속을 계산하는 단계; 차속 및 차량의 회전 반경의 차량 축에 대한 정보를 카메라 축에 대한 정보로 변환하는 단계; 상기 카메라 축에 대한 정보를 이용해 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산하는 단계; 휠 슬립이 기준값 이하인 상황에서 예측 오차가 기준값보다 큰 경우에는 저마찰로 판단하는 단계; 및 예측 오차가 기준값보다 작은 경우에는 광류의 평균 속도를 제외한 속도 성분의 편차 및 시간에 따른 편차의 누적값을 비교하여 거친 노면과 편평한 노면을 판단하는 단계를 포함할 수 있다.
상기 조향각 센서를 이용해 노면 상태를 판단하는 단계는; 상기 조향각 센서의 정보 및 상기 휠속도 센서를 통한 좌우측 휠의 평균 속도 정보를 이용해 차량의 회전 반경을 추정하는 단계; 추정된 회전 반경을 이용하여 가상의 회전 주로를 결정하고, 이를 카메라 축에 대해 정보로 변환하여 특징데이터를 예측하는 단계; 및 영상 처리에서 추출한 특징데이터에서 가상 회전 주로에 대한 예측되는 특징데이터 비율이 기준값 이상이면 포장 도로로 추정하고, 기준값 이하이면 비포장 도로로 추정하는 단계를 포함할 수 있다.
또한, 상기에서 판단된 주행조건에 따라 차량 엔진의 구동토크를 전·후륜으로 분배하여 주행 안전성을 제공하는 구동 단계를 더 포함할 수 있다.
상기와 같이 구성된 본 발명의 바람직한 일 실시예에 따른 4WD 차량의 주행제어장치 및 방법에 의하면, 4WD 차량의 주행제어시 휠속도 및 조향각 정보와 함께 영상정보를 참조하여 노면 상태를 판단함으로써 관성측정장치 고장시에도 노면 상태를 정확하게 판단하여 엔진의 구동토크를 전·후륜으로 적절하게 분배하여 주행 안전성을 제공하는 효과가 있다.
또한, 노면 상태를 잘못 판단하여 발생할 수 있는 커플링과 TOD 등의 불필요한 제어를 방지할 수 있어 구동계 시스템의 품질 및 내구성을 더욱 향상시킬 수도 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 영상정보를 이용한 4WD 차량의 주행제어장치를 나타낸 블록 구성도,
도 2는 본 발명의 바람직한 일 실시예에 따른 영상정보를 이용한 4WD 차량의 주행제어방법을 나타낸 제어 흐름도로서, 광류를 계산하는 단계를 나타낸 도면,
도 3은 본 발명의 바람직한 일 실시예에 따른 영상정보를 이용한 4WD 차량의 주행제어방법을 나타낸 제어 흐름도로서, 휠속도 센서 및 조향각 센서를 이용해 노면 상태를 판단하는 단계를 나타낸 도면이다.
본 발명은 다양한 변형 및 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 보다 상세하게 설명하고자 한다. 그러나 이는 본 발명의 특정한 실시 형태를 한정하는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변형, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 영상정보를 이용한 4WD 차량의 주행제어장치를 나타낸 블록 구성도이다.
도시된 바와 같이, 발명의 바람직한 일 실시예에 따른 영상정보를 이용한 4WD 차량의 주행제어장치는, 카메라(10), 휠속도 센서(20), 조향각 센서(30), 제어부(40), 영상신호 처리모듈(41), 광류 계산모듈(42), 센서신호 처리모듈(43), 주행조건 판단모듈(44) 및 구동부(50)를 포함한다.
카메라(10)는 차량의 일측에 형성되어 주행중 노면의 영상을 획득한다. 이를 위하여, 카메라(10)는 노면을 촬영할 수 있도록 차량의 저면에 부착되는 것이 바람직하다.
휠속도 센서(20)는 차량의 휠 속도를 획득한다. 휠속도 센서(20)는 차량의 좌측휠 및 우측휠을 속도를 각각 검출하는 것이 바람직하다.
조향각 센서(30)는 차량의 조향각 정보를 획득한다.
제어부(40)는 상기 카메라(10)에서 획득한 영상을 처리하여 특징데이터에 따른 광류를 계산하고, 상기 휠속도 센서(20)를 통해 획득한 휠 속도를 이용해 차속을 계산하고, 카메라 축에 대한 정보로 변환하여 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산하고, 기준값과 비교하여 노면 상태를 판단할 수 있다. 또한, 상기 조향각 센서(30)의 정보를 이용해 가상의 회전 주로를 결정하고, 이를 카메라 축에 대해 정보로 변환하여 영상 처리에서 추출한 특징데이터에서 가상 회전 주로에 대한 예측되는 특징데이터 변화 비율을 비교하여 노면 상태를 판단할 수 있다.
본 발명에서 광류(光流)(Optical flow)란 물체 또는 센서의 3차원 운동에서 각 점의 이동벡터의 분포를 의미한다. 상기 광류는 명도 유형(brightness pattern)을 서서히 변화시킴으로써 발생하는 영상에서의 명백한 움직임의 속도 분포를 나타내는 것이다. 즉, 광류란 카메라에 의해 촬영되어 입력되는 시간적으로 다른 2개의 영상데이터로부터 그 영상에 나타나는 외견상 움직임을 벡터로 나타낸 것을 말한다.
따라서, 상기 광류를 기반으로 하여 오브젝트등(예를 들어, 차선 또는 차량)을 검출할 수 있는데, 바로 전에 촬영한 프레임의 이전 영상과 각각의 픽셀들을 현재 촬영한 프레임의 현재 영상의 모든 픽셀들과 각각 비교하거나, 또는 이전 영상데이터를 소정의 픽셀을 가지는 복수의 단위 블록으로 구분함과 아울러 현재 영상데이터를 픽셀 단위로 이동시키면서 상기 이전 영상데이터의 단위블록과 동일한 크기를 가지는 단위블록으로 구분한 후 그 이전 영상데이터의 각각의 단위블록들을 현재 영상데이터의 복수의 단위블록들과 비교하여 단위블록 내의 픽셀들의 휘도 및 색도 등의 차이 값을 구하며, 그 구한 차이 값으로 이전 영상데이터의 픽셀이 움직인 위치를 벡터로 표시하고, 특정 영역에서 특정 크기 이상의 벡터가 발생될 경우에 이를 기준으로 하여 오브젝트를 검출하는 것이다.
또한, 상기 특징데이터는 영상에서 추출되는 특징적인 점, 선 또는 면중 어느 하나의 데이터를 포함할 수 있다.
상기 제어부(40)는; 영상신호 처리모듈(41), 광류 계산모듈(42), 센서신호 처리모듈(43), 주행조건 판단모듈(44)를 포함한다.
영상신호 처리모듈(41)은, 상기 카메라(10)에서 획득한 영상을 저역통과 필터를 거쳐 잡음을 제거하고, 히스토그램 평활화를 이용해 영상 밝기를 보정하고, 다운 샘플링(down sampling)을 통해 영상의 사이즈를 줄이고, 상기 영상에서 특징데이터를 검출한다.
광류 계산모듈(42)은, 상기 영상신호 처리모듈(41)에서 처리된 이전 영상에서 추출한 특징데이터와 비교하여 가장 가까운 거리의 특징데이터를 이용해 광류를 계산한다.
센서신호 처리모듈(43)은, 휠속도 센서(20)를 통해 획득한 휠 속도를 이용해 차속을 계산하고, 차속 및 차량의 회전 반경의 차량 축에 대한 정보를 카메라 축에 대한 정보로 변환한다.
또한, 상기 광류 계산모듈(42)은 상기 카메라 축에 대한 정보를 이용해 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산할 수 있다.
주행조건 판단모듈(44)은, 휠 슬립이 기준값 이하인 상황에서 예측 오차가 기준값보다 큰 경우에는 저마찰로 판단하고, 예측 오차가 기준값보다 작은 경우에는 광류의 평균 속도를 제외한 속도 성분의 편차 및 시간에 따른 편차의 누적값을 비교하여 거친 노면과 편평한 노면을 판단한다.
또한, 상기 센서신호 처리모듈(43)은, 상기 조향각 센서(30)의 정보 및 상기 휠속도 센서(20)를 통한 좌우측 휠의 평균 속도 정보를 이용해 차량의 회전 반경을 추정할 수 있다.
이때, 상기 광류 계산모듈(42)은, 추정된 회전 반경을 이용하여 가상의 회전 주로를 결정하고, 이를 카메라 축에 대해 정보로 변환하여 특징데이터를 예측한다.
따라서, 주행조건 판단모듈(44)은 상기 광류 계산모듈(42)에서 영상 처리를 통해 추출한 특징데이터에서 가상 회전 주로에 대한 예측되는 특징데이터 비율이 기준값 이상이면 포장 도로로 추정하고, 기준값 이하이면 비포장 도로로 추정할 수 있다.
구동부(50)는 상기 주행조건 판단모듈(44)에서 판단된 주행조건에 따라 차량 엔진의 구동토크를 전·후륜으로 분배하여 주행 안전성을 제공한다.
상기 구동부(50)는 주행조건 판단모듈(53)의 판단에 의하여, 예로서 포장도로, 비포장도로, 거친노면 또는 평편한 노면 등을 판단하고, 이에 따라 2WD 저속모드, 2WD 고속모드, 4WD 저속모드 또는 4WD 고속모드 등으로 차량 엔진의 구동토크를 전·후륜으로 분배하여 주행 제어할 수 있다.
도 2 및 도 3은 본 발명의 바람직한 일 실시예에 따른 영상정보를 이용한 4WD 차량의 주행제어방법을 나타낸 제어 흐름도이다.
도시된 바와 같이, 발명의 바람직한 일 실시예에 따른 영상정보를 이용한 4WD 차량의 주행제어방법은, 영상정보를 이용한 4WD 차량의 주행제어방법에 있어서, 카메라(10)에서 획득한 영상을 처리하여 특징데이터에 따른 광류를 계산하는 단계(S200); 휠속도 센서(20)를 통해 획득한 휠 속도를 이용해 차속을 계산하고, 카메라 축에 대한 정보로 변환하여 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산하고, 기준값과 비교하여 노면 상태를 판단하는 단계(S300); 및 조향각 센서(30)의 정보를 이용해 가상의 회전 주로를 결정하고, 이를 카메라 축에 대해 정보로 변환하여 영상 처리에서 추출한 특징데이터에서 가상 회전 주로에 대한 예측되는 특징데이터 변화 비율을 비교하여 노면 상태를 판단하는 단계(S400);를 포함한다.
상기와 같이 구성된 본 발명의 바람직한 일 실시예에 따른 영상정보를 이용한 4WD 차량의 주행제어방법에 있어서, 도 2를 참조하여 상기 광류를 계산하는 단계(S200)를 더욱 상세히 살펴보면 다음과 같다.
도 2에 도시된 바와 같이, 먼저 카메라(10)에서 획득한 영상을 저역통과 필터를 거쳐 잡음을 제거한다(S210)(S220).
이후, 히스토그램 평활화를 이용해 영상 밝기를 보정하고(S230), 다운 샘플링(down sampling)을 통해 영상의 사이즈를 줄인다(S160).
이후, 상기 영상에서 특징데이터를 검출하고, 이전 영상에서 추출한 특징데이터와 비교하여 가장 가까운 거리의 특징데이터를 이용해 광류를 계산한다(S170).
도 3을 참조하여 휠속도 센서(20)를 이용해 노면 상태를 판단하는 단계(S300)를 더욱 상세히 살펴보면 다음과 같다.
도 3에 도시된 바와 같이, 먼저 휠속도 센서(20)를 통해 획득한 휠 속도를 이용해 차속을 계산한다(S310)(S320).
이후, 차속 및 차량의 회전 반경의 차량 축에 대한 정보를 카메라 축에 대한 정보로 변환한다(S330).
또한, 상기 카메라 축에 대한 정보를 이용해 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산한다(S340).
이에 따라, 휠 슬립이 기준값 이하인 상황에서 예측 오차가 기준값보다 큰 경우에는 저마찰로 판단하고(S350)(S360), 휠 슬립이 기준값 이하인 상황에서 예측 오차가 기준값보다 작은 경우에는 광류의 평균 속도를 제외한 속도 성분의 편차와 시간에 따른 상기 속도 성분 편차의 누적 평균값을 비교하여 상기 속도 성분 편차가 큰 경우 거친 노면으로, 상기 속도 성분 편차의 누적 평균값이 큰 경우 편평한 노면으로 판단한다 (S360)(S370).
도 3을 참조하여 조향각 센서(30)를 이용해 노면 상태를 판단하는 단계(S400)를 더욱 상세히 살펴보면 다음과 같다.
도 3에 도시된 바와 같이, 먼저 상기 조향각 센서(30)의 정보 및 상기 휠속도 센서(20)를 통한 좌우측 휠의 평균 속도 정보를 이용해 차량의 회전 반경을 추정한다 (S410)(S420)(S430).
이후, 상기 추정된 회전 반경을 이용하여 가상의 회전 주로를 결정하고, 이를 카메라 축에 대해 정보로 변환하여 특징데이터를 예측한다(S440)(S450).
이에 따라, 영상 처리에서 추출한 특징데이터에서 가상 회전 주로에 대한 예측되는 특징데이터 비율이 기준값 이상이면 포장 도로로 추정하고, 기준값 이하이면 비포장 도로로 추정한다(S460).
또한, 상기에서 판단된 주행조건에 따라 차량 엔진의 구동토크를 전·후륜으로 분배하여 주행 안전성을 제공하는 구동 단계를 더 포함할 수 있다.
따라서, 이와 같이 구성된 본 발명에 의하면, 4WD 차량의 주행제어시 휠속도 및 조향각 정보와 함께 영상정보를 참조하여 노면 상태를 판단함으로써 관성측정장치 고장시에도 노면 상태를 정확하게 판단하여 엔진의 구동토크를 전·후륜으로 적절하게 분배하여 주행 안전성을 제공하며 또한, 노면 상태를 잘못 판단하여 발생할 수 있는 커플링과 TOD 등의 불필요한 제어를 방지할 수 있어 구동계 시스템의 품질 및 내구성을 더욱 향상시킬 수도 있다.
본 명세서에 기재된 본 발명의 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 관한 것이고, 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있다. 따라서 본 발명은 상술한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 권리범위 내에 있게 된다.
10 : 카메라 20 : 휠속도 센서
30 : 조향각 센서 40 : 제어부
41 : 영상신호 처리모듈 42 : 광류 계산모듈
43 : 센서신호 처리모듈 44 : 주행조건 판단모듈
50 : 구동부

Claims (12)

  1. 노면의 영상을 획득하는 카메라;
    차량의 휠 속도를 획득하는 휠속도 센서;
    차량의 조향각 정보를 획득하는 조향각 센서; 및
    상기 카메라에서 획득한 영상을 처리하여 특징데이터에 따른 광류를 계산하고, 상기 휠속도 센서를 통해 획득한 휠 속도를 이용해 차속을 계산하고, 각각의 계산 결과값을 카메라 축에 대한 정보로 변환하여 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산하고, 기준값과 비교하여 노면 상태를 판단하거나,
    상기 조향각 센서의 정보를 이용해 가상의 회전 주로를 결정하고, 이를 카메라 축에 대해 정보로 변환하여 영상 처리에서 추출한 특징데이터에서 가상 회전 주로에 대한 예측되는 특징데이터 변화 비율을 비교하여 노면 상태를 판단하는 제어부를 포함하되,
    상기 제어부는;
    휠속도 센서를 통해 획득한 휠 속도를 이용해 차속을 계산하고, 차속 및 차량의 회전 반경의 차량 축에 대한 정보를 카메라 축에 대한 정보로 변환하는 센서신호 처리모듈;을 더 포함하는 영상정보를 이용한 4WD 차량의 주행제어장치.
  2. 제 1항에 있어서,
    상기 제어부는;
    상기 카메라에서 획득한 영상을 저역통과 필터를 거쳐 잡음을 제거하고, 히스토그램 평활화를 이용해 영상 밝기를 보정하고, 다운 샘플링(down sampling)을 통해 영상의 사이즈를 줄이고, 상기 영상에서 특징데이터를 검출하는 영상신호 처리모듈; 및
    상기 영상신호 처리모듈에서 처리된 이전 영상에서 추출한 특징데이터와 비교하여 가장 가까운 거리의 특징데이터를 이용해 광류를 계산하는 광류 계산모듈을 포함하는 영상정보를 이용한 4WD 차량의 주행제어장치.
  3. 삭제
  4. 제 2항에 있어서,
    상기 광류 계산모듈은;
    상기 카메라 축에 대한 정보를 이용해 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산하고,
    휠 슬립이 기준값 이하인 상황에서 예측 오차가 기준값보다 큰 경우에는 저마찰로 판단하고, 휠 슬립이 기준값 이하인 상황에서 예측 오차가 기준값보다 작은 경우에는 광류의 평균 속도를 제외한 속도 성분의 편차와 시간에 따른 상기 속도 성분 편차의 누적 평균값을 비교하여 상기 속도 성분 편차가 큰 경우 거친 노면으로, 상기 속도 성분 편차의 누적 평균값이 큰 경우 편평한 노면으로 판단하는 주행조건 판단모듈을 더 포함하는 영상정보를 이용한 4WD 차량의 주행제어장치.
  5. 제 2항에 있어서,
    상기 센서신호 처리모듈은; 상기 조향각 센서의 정보 및 상기 휠속도 센서를 통한 좌우측 휠의 평균 속도 정보를 이용해 차량의 회전 반경을 추정하고,
    상기 광류 계산모듈은; 추정된 회전 반경을 이용하여 가상의 회전 주로를 결정하고, 이를 카메라 축에 대해 정보로 변환하여 특징데이터를 예측하는 영상정보를 이용한 4WD 차량의 주행제어장치.
  6. 제 5항에 있어서,
    상기 광류 계산모듈에서 영상 처리를 통해 추출한 특징데이터에서 가상 회전 주로에 대한 예측되는 특징데이터 비율이 기준값 이상이면 포장 도로로 추정하고, 기준값 이하이면 비포장 도로로 추정하는 주행조건 판단모듈을 포함하는 영상정보를 이용한 4WD 차량의 주행제어장치.
  7. 제 4항에 있어서,
    상기 주행조건 판단모듈에서 판단된 주행조건에 따라 차량 엔진의 구동토크를 전·후륜으로 분배하여 주행 안전성을 제공하는 구동부를 더 포함하는 영상정보를 이용한 4WD 차량의 주행제어장치.
  8. 카메라에서 획득한 영상을 처리하여 특징데이터에 따른 광류(Optical Flow)를 계산하는 단계;
    휠속도 센서를 통해 획득한 휠 속도를 이용해 차속을 계산하고, 카메라 축에 대한 정보로 변환하여 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산하고, 기준값과 비교하여 노면 상태를 판단하는 단계; 및
    조향각 센서의 정보를 이용해 가상의 회전 주로를 결정하고, 이를 카메라 축에 대한 정보로 변환하여 영상 처리에서 추출한 특징데이터에서 가상 회전 주로에 대해 예측되는 특징데이터 변화 비율을 비교하여 노면 상태를 판단하는 단계;를 포함하되,
    상기 조향각 센서를 이용해 노면 상태를 판단하는 단계는;
    상기 조향각 센서의 정보 및 상기 휠속도 센서를 통한 좌우측 휠의 평균 속도 정보를 이용해 차량의 회전 반경을 추정하는 단계;
    추정된 회전 반경을 이용하여 가상의 회전 주로를 결정하고, 이를 카메라 축에 대한 정보로 변환하여 특징데이터를 예측하는 단계; 및
    영상 처리에서 추출한 특징데이터에서 가상 회전 주로에 대해 예측되는 특징데이터 비율이 기준값 이상이면 포장 도로로 추정하고, 기준값 이하이면 비포장 도로로 추정하는 단계를 포함하는 영상정보를 이용한 4WD 차량의 주행제어방법.
  9. 제 8항에 있어서,
    상기 광류를 계산하는 단계는;
    카메라(10)에서 획득한 영상을 저역통과 필터를 거쳐 잡음을 제거하는 단계;
    히스토그램 평활화를 이용해 영상 밝기를 보정하는 단계;
    다운 샘플링(down sampling)을 통해 영상의 사이즈를 줄이는 단계; 및
    상기 영상에서 특징데이터를 검출하고, 이전 영상에서 추출한 특징데이터와 비교하여 가장 가까운 거리의 특징데이터를 이용해 광류를 계산하는 단계;를 포함하는 영상정보를 이용한 4WD 차량의 주행제어방법.
  10. 제 8항에 있어서,
    상기 휠속도 센서를 이용해 노면 상태를 판단하는 단계는;
    휠속도 센서를 통해 획득한 휠 속도를 이용해 차속을 계산하는 단계;
    차속 및 차량의 회전 반경의 차량 축에 대한 정보를 카메라 축에 대한 정보로 변환하는 단계;
    상기 카메라 축에 대한 정보를 이용해 이전 영상 처리에서 획득한 특징데이터의 광류로부터 예측 오차를 계산하는 단계;
    휠 슬립이 기준값 이하인 상황에서 예측 오차가 기준값보다 큰 경우에는 저마찰로 판단하는 단계; 및
    휠 슬립이 기준값 이하인 상황에서 예측 오차가 기준값보다 작은 경우에는 광류의 평균 속도를 제외한 속도 성분의 편차와 시간에 따른 상기 속도 성분 편차의 누적 평균값을 비교하여 상기 속도 성분 편차가 큰 경우 거친 노면으로, 상기 속도 성분 편차의 누적 평균값이 큰 경우 편평한 노면으로 판단하는 단계를 포함하는 영상정보를 이용한 4WD 차량의 주행제어방법.
  11. 삭제
  12. 제 8에 있어서,
    상기에서 판단된 주행조건에 따라 차량 엔진의 구동토크를 전·후륜으로 분배하여 주행 안전성을 제공하는 구동 단계를 더 포함하는 영상정보를 이용한 4WD 차량의 주행제어방법.
KR1020130079305A 2013-07-05 2013-07-05 영상정보를 이용한 4wd 차량의 주행제어장치 및 방법 KR101512557B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130079305A KR101512557B1 (ko) 2013-07-05 2013-07-05 영상정보를 이용한 4wd 차량의 주행제어장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130079305A KR101512557B1 (ko) 2013-07-05 2013-07-05 영상정보를 이용한 4wd 차량의 주행제어장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150005388A KR20150005388A (ko) 2015-01-14
KR101512557B1 true KR101512557B1 (ko) 2015-04-22

Family

ID=52477250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130079305A KR101512557B1 (ko) 2013-07-05 2013-07-05 영상정보를 이용한 4wd 차량의 주행제어장치 및 방법

Country Status (1)

Country Link
KR (1) KR101512557B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101713531B1 (ko) * 2015-07-28 2017-03-08 배재대학교 산학협력단 단백질 분해활성이 증가된 붉은자루동충하초 돌연변이체의 제조방법
KR102631964B1 (ko) * 2016-11-23 2024-01-31 엘지이노텍 주식회사 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
US20200041304A1 (en) * 2018-07-31 2020-02-06 GM Global Technology Operations LLC High resolution virtual wheel speed sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274409A (ja) * 2001-03-15 2002-09-25 Fuji Heavy Ind Ltd 車両運動制御装置
JP2009139324A (ja) * 2007-12-10 2009-06-25 Mazda Motor Corp 車両用走行路面検出装置
KR101049901B1 (ko) * 2009-11-27 2011-07-15 김영운 센서정보를 이용한 지능형 주행안전 예방 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274409A (ja) * 2001-03-15 2002-09-25 Fuji Heavy Ind Ltd 車両運動制御装置
JP2009139324A (ja) * 2007-12-10 2009-06-25 Mazda Motor Corp 車両用走行路面検出装置
KR101049901B1 (ko) * 2009-11-27 2011-07-15 김영운 센서정보를 이용한 지능형 주행안전 예방 시스템 및 방법

Also Published As

Publication number Publication date
KR20150005388A (ko) 2015-01-14

Similar Documents

Publication Publication Date Title
US11377029B2 (en) Vehicular trailering assist system with trailer state estimation
US10102751B2 (en) Inclination detection in two-wheelers
US7477760B2 (en) Vehicle state sensing system and vehicle state sensing method
CN107792070B (zh) 车辆的驾驶辅助装置
JP2001108701A (ja) 車両走行状態検出装置
JP2006199242A (ja) 車両の挙動制御装置
US20150274175A1 (en) Vehicle roll angle estimation device
KR101512557B1 (ko) 영상정보를 이용한 4wd 차량의 주행제어장치 및 방법
US20220196395A1 (en) Method for ascertaining an operating angle between a tractor and a trailer of the tractor
WO2019166142A1 (en) Methods and apparatus for acquisition and tracking, object classification and terrain inference
JP3508213B2 (ja) 自動車の走行状態判定装置
GB2571589A (en) Terrain inference method and apparatus
US11173914B2 (en) Vehicle control apparatus and method
JP6603585B2 (ja) 車両の制御装置及び車両の制御方法
CN110782486A (zh) 高分辨率虚拟轮速传感器
US8090492B2 (en) Vehicle motion measurement apparatus, a vehicle abnormal motion prevention apparatus and a drive recorder
US11772730B2 (en) System and method for estimating a behavior of a cyclist on a bicycle and a quality of a road along a path followed by the bicycle
JP5821687B2 (ja) 車両検出装置及び車両検出方法
JP2013213792A (ja) 路面状態推定装置
KR101478914B1 (ko) 관성측정정보를 이용하여 영상정보를 보정하는 4wd 차량의 노면인식장치 및 방법
US20050065700A1 (en) Road surface condition determination apparatus
JP6617578B2 (ja) 道路勾配取得システムおよび道路勾配取得プログラム
JP2021101280A (ja) 交差点中心検出装置、交差点レーン判定装置、交差点中心検出方法、交差点レーン判定方法およびプログラム
JP2020201766A (ja) 車線逸脱走行アラートシステムおよび車線逸脱走行アラート方法
GB2571588A (en) Object classification method and apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190409

Year of fee payment: 5