KR101963352B1 - 비전 기반 적응형 순항 제어 시스템 및 방법 - Google Patents

비전 기반 적응형 순항 제어 시스템 및 방법 Download PDF

Info

Publication number
KR101963352B1
KR101963352B1 KR1020170113458A KR20170113458A KR101963352B1 KR 101963352 B1 KR101963352 B1 KR 101963352B1 KR 1020170113458 A KR1020170113458 A KR 1020170113458A KR 20170113458 A KR20170113458 A KR 20170113458A KR 101963352 B1 KR101963352 B1 KR 101963352B1
Authority
KR
South Korea
Prior art keywords
vehicle
preceding vehicle
distance information
image
radar
Prior art date
Application number
KR1020170113458A
Other languages
English (en)
Other versions
KR20190026481A (ko
Inventor
황영배
박민규
이주리
허환
강영광
이현오
강수진
Original Assignee
전자부품연구원
주식회사 모비어스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원, 주식회사 모비어스 filed Critical 전자부품연구원
Priority to KR1020170113458A priority Critical patent/KR101963352B1/ko
Publication of KR20190026481A publication Critical patent/KR20190026481A/ko
Application granted granted Critical
Publication of KR101963352B1 publication Critical patent/KR101963352B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B60W2550/302—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

비전 기반 적응형 순항 제어 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 차량 제어 방법은, 카메라를 통해 차량 전방의 영상을 획득하고, 획득한 영상으로부터 주행 상황을 인지하며, 레이다를 통해 선행차량과의 거리 정보를 획득하고, 행 상황과 선행차량과의 거리 정보를 이용하여 차량을 제어한다. 이에 의해, 적응형 순항 제어 시스템 기능을 수행할 때, 카메라를 통해 얻은 전방 영상을 분석하여 차선을 검출하고 차선의 곡률 반경을 계산함으로써 곡선도로를 인식하고 차량의 속도를 제어하여, 곡선도로 주행 시 선행차량이 탐지가 되지 않아 속도가 가속되는 것을 방지할 수 있다.

Description

비전 기반 적응형 순항 제어 시스템 및 방법{Vision based Adaptive Cruise Control System and Method}
본 발명은 차량 제어 기술에 관한 것으로, 더욱 상세하게는 비전 기반 적응형 순항 제어 시스템 및 방법에 관한 것이다.
적응형 순항 제어 시스템(Adaptive Cruise Control, ACC)은 선행 차량을 발견하고, 경로 위치를 결정하며(차량 목표 결정), 거리 측정 범위, 목표 차량까지의 범위비율 속도 및 적절한 브레이크 및 스로틀 작동을 수행하여 선행 차량에 대한 안전한 거리를 유지하고 시스템에 의해 선행 차량이 감지되지 않을 때 미리 설정된 순항 속도를 재개한다.
기존 시스템의 범위 측정 기술은 밀리미터 파 레이다(주로 77GHZ Radar), 레이저 레이다(LIDAR)를 이용하여 범위를 측정한다. 레이다를 활용한 ACC는 전자파를 발생시킨 후 그 반사파를 이용한다. 레이다는 범위 측정을 위해서 반사파를 받을 수 있는 범위 내의 차량 또는 건물, 중앙분리대 등 반사파를 보낼 수 있는 지형지물이 존재해야만 한다. 레이다가 장착된 ACC 시스템은 일반적으로 곡률 반경의 변화가 적은 고속도로 내에서 사용하기를 권하고 있으며, 곡선도로에서 선행차량이 일시적으로 사라지는 경우가 발생하는 경우 미리 설정된 순항 속도를 재개하여 위험한 상황이 발생할 가능성이 있다.
예를 들어, 중앙 분리대(지형지물)가 없는 해안절벽의 직선도로에서 대상 차량(ACC-Radar 장착)의 주행 속도를 100km로 설정하고 목표 차량의 주행 속도가 60km일 경우 대상 차량은 목표차량의 주행속도 및 거리를 측정하여 60km로 문제없이 주행하게 된다. 그러나 곡률 반경이 150m 이내로 낮은 곡선도로에서 선행차량이 차선 변경 시 선행차량은 레이다의 반사파 범위 내에 포함되지 않아 반사파를 받을 수 없게 되므로 대상 차량은 기존 설정된 주행 속도 100km로 급발진 하여 해안절벽으로 추락할 위험의 소지가 있다.
또한, 레이다의 경우 검출하고자 하는 대상 주변에 발생하는 전파 신호간섭, 비정상적 움직임 등에 의한 노이즈 등이 발생할 수 있으며, 기상상황이 좋지 않거나 터널 등에서 작동이 잘 되지 않는 문제가 발생할 수 있다. 이렇게 레이다의 데이터가 부정확하거나 검출이 제대로 되지 않는 상황에 대한 대비가 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 적응형 순항 제어 시스템 기능을 수행할 때 곡선도로 주행 시 선행차량이 탐지가 되지 않아 속도가 가속되는 것을 방지하기 위하여, 카메라를 통해 얻은 전방 영상을 분석하여 차선을 검출하고, 차선의 곡률 반경을 계산함으로써 곡선도로를 인식하고 차량의 속도를 제어하는 시스템 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 상황(야간, 기상상황 등 조명환경)에 따라 레이다 또는 카메라를 선택적으로 이용하여 선행차량을 검출하고 선행차량과의 거리를 추정함으로써 레이다가 제대로 동작하지 않을 경우에도 안정적인 ACC 기능을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 차량 제어 방법은, 카메라를 통해 차량 전방의 영상을 획득하는 단계; 획득한 영상으로부터 주행 상황을 인지하는 단계; 레이다를 통해 선행차량과의 거리 정보를 획득하는 단계; 및 주행 상황과 선행차량과의 거리 정보를 이용하여, 차량을 제어하는 단계;를 포함한다.
그리고, 주행 상황은, 선행차량 및 전방 도로의 곡률을 포함할 수 있다.
또한, 선행차량은, 주행 차선에서 주행하는 선행차량 및 비주행 차선에서 주행하는 선행차량을 포함할 수 있다.
그리고, 제어 단계는, 레이다를 통해 선행차량과의 거리 정보가 획득되면, 획득된 거리 정보를 이용하여 차량을 제어할 수 있다.
또한, 제어 단계는, 레이다를 통해 선행차량과의 거리 정보가 획득되지 않으면, 카메라를 통해 획득한 차량 전방의 영상으로부터 선행차량과의 거리 정보를 획득할 수 있다.
그리고, 제어 단계는, 전방 도로의 곡률이 임계치를 초과하면, 카메라를 통해 획득한 차량 전방의 영상으로부터 선행차량과의 거리 정보를 획득할 수 있다.
또한, 인지 단계는, 획득한 영상에서 차량 후보 영역을 검출하고 특징을 추출하여, 선행차량을 검출할 수 있다.
그리고, 인지 단계는, 획득한 영상을 역 투영 영상 변환하고, 역 투영 영상에서 차선 영역들을 검출한 후에 통합하여 차선을 검출할 수 있다.
또한, 제어 단계는, 차량의 속도와 조향각을 설정하여 제어할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 차량 제어 시스템은, 차량 전방의 영상을 획득하는 카메라; 선행차량과의 거리 정보를 획득하는 레이다; 획득한 영상으로부터 주행 상황을 인지하고, 주행 상황과 선행차량과의 거리 정보를 융합하는 프로세서; 및 프로세서에서 융합된 정보를 이용하여 차량을 제어하는 제어부;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 차량 제어 방법은, 카메라를 통해 획득한 차량 전방의 영상으로부터 주행 상황을 인지하는 단계; 및 주행 상황과 레이다를 통해 획득한 선행차량과의 거리 정보를 이용하여, 차량을 제어하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 차량 제어 시스템은, 카메라를 통해 획득한 차량 전방의 영상으로부터 주행 상황을 인지하고, 주행 상황과 레이다를 통해 획득한 선행차량과의 거리 정보를 융합하는 프로세서; 및 융합된 정보를 이용하여 차량을 제어하는 제어부;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 적응형 순항 제어 시스템 기능을 수행할 때, 카메라를 통해 얻은 전방 영상을 분석하여 차선을 검출하고 차선의 곡률 반경을 계산함으로써 곡선도로를 인식하고 차량의 속도를 제어하여, 곡선도로 주행 시 선행차량이 탐지가 되지 않아 속도가 가속되는 것을 방지할 수 있다.
또한, 본 발명의 실시예들에 따르면, 상황(야간, 기상상황에 따른 조명환경)에 따라 레이다 또는 카메라를 이용하여 선행차량 감지, 선행차량 추적 및 선행차량과의 거리를 추정하여, 상황에 맞는 보다 정확한 데이터를 얻을 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 비전 기반 적응형 순항 제어 방법의 설명에 제공되는 흐름도,
도 2는 차량 검출 과정의 설명에 제공되는 흐름도,
도 3은 차선 검출 과정의 설명에 제공되는 흐름도,
도 4는 정보 융합 과정의 설명에 제공되는 흐름도,
도 5는 주행 차량의 제어 과정의 설명에 제공되는 흐름도, 그리고,
도 6은 본 발명의 다른 실시예에 따른 비전 기반 적응형 순항 제어 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는, 차량에 부착된 전방 카메라에서 획득한 영상과 레이다(radar) 정보를 이용한 두 가지 센서 기반의 적응적 크루즈 콘트롤(Adaptive Cruise Control, ACC)을 제시한다. 구체적으로, 영상 정보로부터 전방 차선을 검출하고, 전방 주행 상황 및 차선의 곡률을 인지한 다음 레이다 정보를 함께 이용하여 차량의 속도와 조향을 제어한다.
도 1은 본 발명의 일 실시예에 따른 비전 기반 적응형 순항 제어 방법의 설명에 제공되는 흐름도이다.
도 1에 도시된 바와 같이, 먼저 차량에 장착된 전방 카메라를 통해 영상 정보를 획득하고(S110), 차량에 장착된 레이다를 통해 선행차량과의 거리 정보를 획득한다(S120).
다음, S110단계에서 획득한 영상 정보로부터 선행차량들을 검출하고(S130), 차선들을 검출한다(S140).
그리고, S130단계와 S140단계에서 검출한 정보들을 이용하여 주행 상황을 인지한다(S150). S150단계에서 인지하는 주행 상황에는, 1) 주행 차선 전방의 선행차량, 2) 비주행 차선에서 주행하고 있는 선행차량, 3) 전방 도로의 곡률이 포함된다.
이후, S150단계에서 인지한 주행 상황과 S120단계에서 획득한 선행차량과의 거리 정보를 융합하여(S160), 주행 차량의 속도와 조향각을 설정하여 제어를 수행한다(S170).
이하에서는, 도 1에 도시된 차량 검출 단계(S130)에 대해 도 2를 참조하여 상세히 설명한다. 도 2는 차량 검출 과정의 설명에 제공되는 흐름도이다.
차량 검출을 위해, 우선 입력 영상에서, 차량일 가능성이 높은 후보 영역을 검출하는 객체 제안(proposal) 단계(S131)와 입력 영상으로부터 특징을 추출하는 특징 추출 단계(S132)가 병렬적으로 수행된다.
특징 추출은 다양한 차량에 대한 학습 영상을 기반으로 CNN(Convolutional Neural Network) 또는 그 밖의 다른 알고리즘을 이용하여 추출할 수 있다.
이후, S131단계에서 검출/제안된 객체들과 S132단계에서 추출된 특징량을 이용하여, 차량과 차량이 아닌 영역을 판별 할 수 있는 분류기를 이용하여 차량을 분류하여 검출한다(S133). 분류기는 부스트(Boost), SVM(Support Vector Machine) 등으로 구현할 수 있다.
이하에서는, 도 1에 도시된 차선 검출 단계(S140)에 대해 도 3을 참조하여 상세히 설명한다. 도 3은 차선 검출 과정의 설명에 제공되는 흐름도이다.
차선 검출을 위해, 먼저 입력 영상에 대해, 역 투영 영상 변환(inverse perspective mapping)을 통해 입력 영상을 위에서 바라보는 탑-뷰(top-view) 영상으로 변환하여, 차선이 평행하게 변환된 영상을 획득한다(S141).
다음, 역 투영 영상에서 차선 성분을 검출한다(S142). 여기서는, 에지 검출기가 아닌 차선 영역을 검출하는 차선 영역 검출기를 사용하는 것이 바람직하다. 그리고, 차선 영역 검출 시 차량이 검출된 영역에서는 차선 성분을 검출하지 않도록 설정하여 오검출 되는 차선을 최소화할 수 있다.
차선 영역 검출기를 이용한 검출 결과는 차선 성분이 있는 곳에 대한 영역을 검출하게 해주며, 각 영역을 차선 세그먼트(segment)로 간주한다(S143). 그리고, 차선 세그먼트를 외삽(extrapolation)하여 외삽된 차선과 유사한 차선 세그먼트를 융합하여 점 선 차선을 하나의 차선으로 인지한다(S144).
이후, 미리 알고 있는 차선 간 거리를 이용하여 잘못 탐색된 차선을 제거한다(S145).
위 과정을 통해 검출된 차선 정보는, 도 1의 S150단계에서 전방 도로의 곡률을 계산하는데 이용된다.
이하에서는, 도 1에 도시된 정보 융합 과정(S160)에 대해 도 4를 참조하여 상세히 설명한다. 도 4는 S150단계에서 인지한 주행 상황과 S120단계에서 획득한 선행차량과의 거리 정보를 융합하는 과정의 설명에 제공되는 흐름도이다.
정보 융합을 위해, 먼저, 레이다가 선행차량과의 거리 정보를 획득하였는지 파악한다(S161).
만약, 주변 상황의 간섭이나 도로의 변화(곡선) 등으로 인해, 레이다가 선행차량에 대한 거리 정보를 획득하지 못한 경우(S161-아니오), S150단계에서 인지한 영상 기반 주행 상황 정보를 이용하여 주행 차선 전방에 있는 선행차량에 대한 거리를 추정한다(S162).
S162단계에서는 검출된 차량의 바닥의 위치와 검출된 영역의 크기를 이용하여 선행차량의 거리 정보를 대략적으로 추정한다.
반면, 레이다가 선행차량에 대한 거리 정보를 획득한 경우(S161-예), S150단계에서 인지한 영상 기반 주행 상황 정보와 S120단계에서 획득한 선행차량과의 거리 정보를 융합한다(S163).
구체적으로, S163단계에서의 정보 융합은 선행차량에 대한 거리 정보는 레이다를 통해 획득한 정보를 이용하고, 이를 제외한 나머지 정보는 영상 기반 주행 상황 정보를 이용하는 것을 의미한다.
이하에서는, 도 1에 도시된 주행 차량 제어 과정(S170)에 대해 도 5를 참조하여 상세히 설명한다. 도 5는 주행 차량의 속도와 조향각 설정/제어 과정의 설명에 제공되는 흐름도이다.
차량 제어를 위해, 먼저 선행차량과의 거리 및 선행차량의 속도를 산출하고(S171), 산출한 정보로부터 차량의 목표 속도와 목표 조향각을 계산한다(S172).
목표 속도는 주행 차선 선행차량과의 거리, 상대 속도, 그리고 사용자가 지정한 목표 속도를 이용하여 계산할 수 있으며, 목표 속도가 주어졌을 때 전방 도로의 곡률 정보를 이용하여 조향각을 계산할 수 있다.
이를 제어량이라고 하며, 이전 제어량과의 차이가 일정 수준 이상일 경우 이전 제어를 해제하고 새로운 제어량을 계산하고(S173), 계산된 제어량에 따라 차량의 속도와 조향각을 설정하여 제어한다(S174).
만약, 전방 주행 차량의 차선 변화로 인해 전방에 주행 차량이 존재하지 않는 경우, 속도제어 없이 영상에서 추정한 차선 곡률에 따라 조향각 변화만 제어한다.
도 6은 본 발명의 다른 실시예에 따른 비전 기반 적응형 순항 제어 시스템의 블럭도이다.
본 발명의 실시예에 따른 적응형 순항 제어 시스템은, 도 6에 도시된 바와 같이, 레이다(110), 카메라(120), 프로세서(130), 저장부(140) 및 제어부(150)를 포함한다.
레이다(110)는 선행차량과의 거리 정보를 획득하고, 카메라(120)는 차량의 전방 영상을 생성한다.
프로세서(130)는 카메라(120)에서 생성된 차량 전방 영상으로부터 전방 주행 차량들과 차선들을 검출하여 주행 상황을 인지한다. 그리고, 프로세서(130)는 인지한 주행 상황과 레이다(110)에서 획득한 선행차량과의 거리 정보를 융합하여 출력한다.
저장부(140)는 프로세서(130)가 영상을 처리하고 연산을 수행함에 있어 필요한 저장 공간을 제공한다.
제어부(150)는 프로세서(130)에서 출력되는 융합 정보를 기초로 주행 차량의 속도와 조향각을 설정하여 제어한다.
지금까지, 비전 기반 적응형 순항 제어 시스템 및 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에서는 레이다와 카메라를 이용하여 레이다가 반사파를 받지 못하는 상황에서 카메라 비전 기술로 선행차량 유무의 판단, 선행차량 추적 및 곡선도로를 인지하고, 곡선도로를 주행할 경우 곡률반경에 따라 주행속도를 제어할 수 있는 비전 기반 적응형 순항 제어 시스템 및 방법을 제시하였다.
이에, 상황(야간, 기상상황 등 조명환경)에 따라 레이다 또는 카메라를 선택적으로 이용하여 선행차량을 검출하고 선행차량과의 거리를 추정함으로써 레이다가 제대로 동작하지 않을 경우에도 안정적인 ACC 기능을 제공할 수 있다. 선행차량을 추적하는 기능도 레이다가 아닌 카메라를 통해 수행함으로써 선행차량의 추적이 끊기는 경우를 방지할 수 있으며, 이에 따라 안정적인 선행차량 추종주행이 가능하도록 하여 준다.
위 실시예에서 선행차량과의 거리 정보는, 레이다에서 획득한 경우에는 이를 이용하고, 레이다에서 획득하지 못한 경우에는 카메라 영상으로부터 획득하는 것을 상정하였는데, 변형이 가능하다.
이를 테면, 레이다를 통해 선행차량과의 거리 정보가 획득되었다 하더라도, 영상으로부터 파악된 전방 도로의 곡률이 심하여 임계치를 초과한 경우 또는 레이다 간섭이 심한 경우에는, 카메라를 통해 획득한 차량 전방의 영상으로부터 선행차량과의 거리 정보를 획득하도록 구현하는 것이 가능하다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 레이다
120 : 카메라
130 : 프로세서
140 : 저장부
150 : 제어부

Claims (12)

  1. 카메라를 통해 차량 전방의 영상을 획득하는 단계;
    획득한 영상으로부터 주행 상황을 인지하는 단계;
    레이다를 통해 선행차량과의 거리 정보를 획득하는 단계; 및
    주행 상황과 선행차량과의 거리 정보를 이용하여, 차량을 제어하는 단계;를 포함하고,
    제어 단계는,
    레이다를 통해 선행차량과의 거리 정보가 획득되면, 획득된 거리 정보를 이용하여 차량을 제어하고,
    레이다를 통해 선행차량과의 거리 정보가 획득되지 않으면, 카메라를 통해 획득한 차량 전방의 영상으로부터 검출된 선행차량의 바닥 위치와 검출된 영역의 크기를 이용하여 추정한 선행차량과의 거리 정보를 이용하여 차량을 제어하며,
    레이다를 통해 선행차량과의 거리 정보가 획득되었다 하더라도, 차량 전방의 영상으로부터 파악된 전방 도로의 곡률이 임계치를 초과하면, 차량 전방의 영상으로부터 선행차량과의 거리 정보를 획득하는 것을 특징으로 하는 차량 제어 방법.
  2. 청구항 1에 있어서,
    주행 상황은,
    선행차량 및 전방 도로의 곡률을 포함하는 것을 특징으로 하는 차량 제어 방법.
  3. 청구항 2에 있어서,
    선행차량은,
    주행 차선에서 주행하는 선행차량 및 비주행 차선에서 주행하는 선행차량을 포함하는 것을 특징으로 하는 차량 제어 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 청구항 2에 있어서,
    인지 단계는,
    획득한 영상에서 차량 후보 영역을 검출하고 특징을 추출하여, 선행차량을 검출하는 것을 특징으로 하는 차량 제어 방법.
  8. 청구항 2에 있어서,
    인지 단계는,
    획득한 영상을 역 투영 영상 변환하고, 역 투영 영상에서 차선 영역들을 검출한 후에 통합하여 차선을 검출하는 것을 특징으로 하는 차량 제어 방법.
  9. 청구항 1에 있어서,
    제어 단계는,
    차량의 속도와 조향각을 설정하여 제어하는 것을 특징으로 하는 차량 제어 방법.
  10. 차량 전방의 영상을 획득하는 카메라;
    선행차량과의 거리 정보를 획득하는 레이다;
    획득한 영상으로부터 주행 상황을 인지하고, 주행 상황과 선행차량과의 거리 정보를 융합하는 프로세서; 및
    프로세서에서 융합된 정보를 이용하여 차량을 제어하는 제어부;를 포함하고,
    프로세서는,
    레이다를 통해 선행차량과의 거리 정보를 획득하고,
    레이다를 통해 선행차량과의 거리 정보를 획득하지 못하면, 카메라를 통해 획득한 차량 전방의 영상으로부터 검출된 선행차량의 바닥 위치와 검출된 영역의 크기를 이용하여 선행차량과의 거리 정보를 추정하며,
    레이다를 통해 선행차량과의 거리 정보가 획득되었다 하더라도, 차량 전방의 영상으로부터 파악된 전방 도로의 곡률이 임계치를 초과하면, 차량 전방의 영상으로부터 선행차량과의 거리 정보를 획득하는 것을 특징으로 하는 차량 제어 시스템.
  11. 카메라를 통해 획득한 차량 전방의 영상으로부터 주행 상황을 인지하는 단계; 및
    주행 상황과 레이다를 통해 획득한 선행차량과의 거리 정보를 이용하여, 차량을 제어하는 단계;를 포함하고,
    제어 단계는,
    레이다를 통해 선행차량과의 거리 정보가 획득되면, 획득된 거리 정보를 이용하여 차량을 제어하고,
    레이다를 통해 선행차량과의 거리 정보가 획득되지 않으면, 카메라를 통해 획득한 차량 전방의 영상으로부터 검출된 선행차량의 바닥 위치와 검출된 영역의 크기를 이용하여 추정한 선행차량과의 거리 정보를 이용하여 차량을 제어하며,
    레이다를 통해 선행차량과의 거리 정보가 획득되었다 하더라도, 차량 전방의 영상으로부터 파악된 전방 도로의 곡률이 임계치를 초과하면, 차량 전방의 영상으로부터 선행차량과의 거리 정보를 획득하는 것을 특징으로 하는 차량 제어 방법.
  12. 카메라를 통해 획득한 차량 전방의 영상으로부터 주행 상황을 인지하고, 주행 상황과 레이다를 통해 획득한 선행차량과의 거리 정보를 융합하는 프로세서; 및
    융합된 정보를 이용하여 차량을 제어하는 제어부;를 포함하고,
    프로세서는,
    레이다를 통해 선행차량과의 거리 정보를 획득하고,
    레이다를 통해 선행차량과의 거리 정보를 획득하지 못하면, 카메라를 통해 획득한 차량 전방의 영상으로부터 검출된 선행차량의 바닥 위치와 검출된 영역의 크기를 이용하여 선행차량과의 거리 정보를 추정하며,
    레이다를 통해 선행차량과의 거리 정보가 획득되었다 하더라도, 차량 전방의 영상으로부터 파악된 전방 도로의 곡률이 임계치를 초과하면, 차량 전방의 영상으로부터 선행차량과의 거리 정보를 획득하는 것을 특징으로 하는 차량 제어 시스템.
KR1020170113458A 2017-09-05 2017-09-05 비전 기반 적응형 순항 제어 시스템 및 방법 KR101963352B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170113458A KR101963352B1 (ko) 2017-09-05 2017-09-05 비전 기반 적응형 순항 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170113458A KR101963352B1 (ko) 2017-09-05 2017-09-05 비전 기반 적응형 순항 제어 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190026481A KR20190026481A (ko) 2019-03-13
KR101963352B1 true KR101963352B1 (ko) 2019-03-28

Family

ID=65761773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170113458A KR101963352B1 (ko) 2017-09-05 2017-09-05 비전 기반 적응형 순항 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101963352B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992710B (zh) * 2019-12-13 2021-03-16 潍柴动力股份有限公司 弯道测速预警方法、装置、控制设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004050923A (ja) * 2002-07-18 2004-02-19 Honda Motor Co Ltd 車載表示装置
JP2007015676A (ja) * 2005-05-13 2007-01-25 Honda Motor Co Ltd 衝突予知装置および衝突予知方法
JP2008070999A (ja) * 2006-09-13 2008-03-27 Hitachi Ltd 車両の障害物検出装置及びそれを搭載した自動車

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150092505A (ko) * 2014-02-05 2015-08-13 주식회사 만도 차간 거리 경고 방법 및 전방 충돌 감지 장치
KR101619599B1 (ko) * 2014-08-08 2016-05-10 현대자동차주식회사 융합 레이더 센서 기반 저전력 차량 충돌 방지 방법 및 장치
KR20160126254A (ko) * 2015-04-23 2016-11-02 선문대학교 산학협력단 도로 영역 검출 시스템
KR102186137B1 (ko) * 2015-08-21 2020-12-03 현대자동차주식회사 차량 정보 기반 센서퓨전 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004050923A (ja) * 2002-07-18 2004-02-19 Honda Motor Co Ltd 車載表示装置
JP2007015676A (ja) * 2005-05-13 2007-01-25 Honda Motor Co Ltd 衝突予知装置および衝突予知方法
JP2008070999A (ja) * 2006-09-13 2008-03-27 Hitachi Ltd 車両の障害物検出装置及びそれを搭載した自動車

Also Published As

Publication number Publication date
KR20190026481A (ko) 2019-03-13

Similar Documents

Publication Publication Date Title
US11003921B2 (en) Apparatus and method for distinguishing false target in vehicle and vehicle including the same
CN111016919B (zh) 用于识别近距离切入车辆的装置和方法以及包括该装置的车辆
JP4343536B2 (ja) 車用の感知装置
CN112154455B (zh) 数据处理方法、设备和可移动平台
US7532109B2 (en) Vehicle obstacle verification system
WO2016031494A1 (ja) 物体検出装置
KR102569900B1 (ko) 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
KR102699140B1 (ko) 동시 차로 변경 차량 예측 장치 및 그의 예측 방법과 그를 이용하는 차량
CN110490217B (zh) 用于改进对象检测和对象分类的方法和系统
KR20200081525A (ko) 표적 차량 추적 장치 및 그의 표적 차량 추적 방법과 그를 포함하는 차량
WO2021259260A1 (zh) 一种制动等级的评估方法、装置、车辆和存储介质
CN107209997A (zh) 车辆的行驶控制装置以及行驶控制方法
WO2019065970A1 (ja) 車両用外界認識装置
US20230004169A1 (en) Apparatus and Method for Controlling Mobile Body
US10386849B2 (en) ECU, autonomous vehicle including ECU, and method of recognizing nearby vehicle for the same
García et al. Fusion procedure for pedestrian detection based on laser scanner and computer vision
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统
KR20200133856A (ko) 자율 주행 장치 및 방법
US11474535B2 (en) Method of processing data, apparatus for processing data, and system for controlling vehicle
KR101963352B1 (ko) 비전 기반 적응형 순항 제어 시스템 및 방법
KR102363691B1 (ko) 자율주행을 위한 객체 속도 추정 장치 및 방법
JP7071154B2 (ja) 道路境界検出装置
Wittmann et al. Improving lidar data evaluation for object detection and tracking using a priori knowledge and sensorfusion
JP4110922B2 (ja) 車両用外界認識装置
JP5103722B2 (ja) 停止車両判別装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170905

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180105

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170905

Comment text: Patent Application

A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20180302

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20170905

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180501

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20180830

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181221

PG1501 Laying open of application
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190322

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190322

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220203

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230126

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240311

Start annual number: 6

End annual number: 6