KR102299825B1

KR102299825B1 - 차량에서의 장애물 검출장치 및 그 제어방법

Info

Publication number: KR102299825B1
Application number: KR1020170129582A
Authority: KR
Inventors: 이재오
Original assignee: 현대모비스 주식회사
Priority date: 2017-10-11
Filing date: 2017-10-11
Publication date: 2021-09-08
Also published as: KR20190040550A

Abstract

본 발명은 차량에서의 장애물 검출장치 및 그 제어방법이 개시된다. 본 발명의 차량에서의 장애물 검출장치는, 촬영 영상으로부터 장애물을 감지하는 카메라; 전자기파를 송신하여 장애물을 감지하는 레이더; 차량 제어부로부터 차량정보를 입력받는 차량정보 입력부; 센서별 물체 인식을 위한 인식모델의 학습데이터를 저장하는 학습데이터 저장부; 카메라와 레이더를 통해 감지되는 감지결과와 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집하고, 검출데이터에 대해 학습 알고리즘을 통해 물체 인식 모델에 따라 학습한 학습데이터를 학습데이터 저장부에 저장한 후 학습 모델을 기반으로 카메라와 레이더를 통해 각각 물체를 인식한 결과와 센서퓨전 알고리즘에 의해 물체를 인식한 결과 중 어느 하나를 최종 인식 결과로 선정하는 제어부; 및 제어부에서 선정한 최종 인식 결과를 주변 제어장치에 출력하는 출력부;를 포함하는 것을 특징으로 한다.

Description

차량에서의 장애물 검출장치 및 그 제어방법{APPARATUS FOR DETECTING OBSTACLE IN VEHICLE AND CONTROL METHOD THEREOF}

본 발명은 차량에서의 장애물 검출장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 차량의 전방이나 후방에 장착된 센서들과 차량정보를 기반으로 센서별 인식모델 학습데이터를 구축하여 센서별 학습데이터를 기반으로 물체를 인식하고 결과에 대해 투표하여 최종 결정함으로써 센서인식의 한계 상황에서도 강건한 물체인식 성능을 얻을 수 있고 물리적 한계 상황을 극복할 수 있도록 하는 차량에서의 장애물 검출장치 및 그 제어방법에 관한 것이다.

최근 차량의 상품성 향상을 위한 목적으로, 차량에 탑승하는 운전자의 편의성을 향상시키기 위한 운전자 보조 시스템들이 차량에 적용되고 있으며, 그 종류는 날이 갈수록 광범위해지고 있다.

이러한 운전자 보조 시스템은 예를 들어, 적응형 크루즈 컨트롤(ACC; Adaptive Cruise Control)과 같이 주행 중인 차량의 종방향에 대한 속도를 제어해 주거나, 차선 이탈 경보 시스템(LDWS; Lane Departure Warning System)이나 차선 유지 보조 시스템(LKAS; Lane Keeping Assist System)과 같이 주행 중인 차량의 횡방향에 대한 제어를 수행함으로써 운전을 보조해주는 기능을 제공한다.

그러나 이러한 ACC 또는 LKAS에서 더 나아가, 차량의 각종 센서들로부터 획득되는 다수의 정보들을 실시간으로 조합(fusion) 활용하여 운전자의 운전을 보조함으로써 편의성을 향상시키는 센서 퓨전 기술이 개발되어 점차적으로 그 적용범위를 늘려가고 있다.

센서 퓨전 기술은 대표적으로 아래와 같은 기술이 있다.

먼저, 스마트 크루즈 컨트롤(SCC; Smart Cruise Control)은 운전자가 희망하는 속도를 설정하면 운전자가 액셀 조작을 하지 않아도 그 속도를 유지하면서 주행하는 정속 주행 장치로서, 오토 드라이브, 오토매틱 스피드 컨트롤, 오토 크루즈 등으로 불리기도 한다. 이러한 스마트 크루즈 컨트롤은 차속 제어와 함께 차간 거리도 컨트롤하며, 선행 차와의 거리를 카메라 센서와 레이더로 감지하여 감지된 데이터들을 조합하여 스로틀과 브레이크를 컴퓨터로 제어함과 동시에 안전거리를 유지하여 주행하도록 하는 기술로 최근 차량에 적용되어 점차 발전하고 있는 기술이다.

또한, 자동긴급제동(AEB; Autonomous Emergency Braking) 시스템은 주행 중인 차량의 충돌 발생을 자동으로 예측하고, 예측 상황 시 해당 차량의 브레이크 시스템을 긴급하게 작동시킴으로써 충돌을 회피하거나 충돌시의 피해를 경감시키는 시스템이다. 이러한 자동긴급제동 시스템은 차량에 구비된 카메라 센서와 레이더를 통하여 전방의 장애물을 인식하여 충돌 발생을 사전 설정된 알고리즘에 의하여 예측하고, 충돌상황 예측 시 운전자가 브레이크 페달을 밟지 않거나 늦게 밟더라도 최대한의 제동 성능이 발휘되도록 제동계통의 압력을 높이고, 브레이크 패드와 디스크의 간격을 좁히는 등의 사전 준비를 하거나, 또는 자동긴급제동 시스템이 직접 개입하여 스스로 브레이크를 작동함으로써, 사고를 미연에 방지하는 기술이다.

이와 같이 센서 퓨전 기술을 응용하는 각종 시스템은 차량에 구비된 카메라 센서와 레이더를 이용하여 차량의 현재 상황을 판단하기 때문에, 카메라 센서와 레이더로부터 수신되는 정보의 신뢰도가 대단히 중요한 요소로서 작용한다. 특히, 센서 퓨전 기술을 응용하는 시스템들은 차량 구동 시에 자동 제어를 수반하기 때문에, 자칫 오작동이 발생하면 큰 사고를 유발할 가능성이 있다.

예를 들어, 차량 주행 시 발생할 수 있는 환경적인 요소(날씨, 기온 등), 또는 운전 시 차량의 주행 조건(속도, 지형, 도로의 노면 상태 등)에 의하여 판단 기준의 신뢰도가 하락할 수 있으며, 이러한 문제는 운전자의 편의성 향상을 위하여 구비된 시스템들이 오히려 운전자의 안전성을 해칠 수 있는 문제를 유발할 수 있다. 따라서 센서 퓨전 기술을 위하여 차량에 구비되는 카메라 센서와 레이더로부터 수신되는 정보의 신뢰성을 향상시키기 위한 기술의 개발이 요구되고 있다.

본 발명의 배경기술은 대한민국 공개특허공보 제2017-0022709호(2017.03.02. 공개, 차량 정보 기반 센서퓨전 시스템)에 개시되어 있다.

본 발명은 상기와 같은 요구에 따라 안출된 것으로, 일 측면에 따른 본 발명의 목적은 차량의 전방이나 후방에 장착된 센서들과 차량정보를 기반으로 센서별 인식모델 학습데이터를 구축하여 센서별 학습데이터를 기반으로 물체를 인식하고 결과에 대해 투표하여 최종 결정함으로써 센서인식의 한계 상황에서도 강건한 물체인식 성능을 얻을 수 있고 물리적 한계 상황을 극복할 수 있도록 하는 차량에서의 장애물 검출장치 및 그 제어방법을 제공하는 것이다.

본 발명의 일 측면에 따른 차량에서의 장애물 검출장치는, 촬영 영상으로부터 장애물을 감지하는 카메라; 전자기파를 송신하여 장애물을 감지하는 레이더; 차량 제어부로부터 차량정보를 입력받는 차량정보 입력부; 센서별 물체 인식을 위한 인식모델의 학습데이터를 저장하는 학습데이터 저장부; 카메라와 레이더를 통해 감지되는 감지결과와 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집하고, 검출데이터에 대해 학습 알고리즘을 통해 물체 인식 모델에 따라 학습한 학습데이터를 학습데이터 저장부에 저장한 후 학습 모델을 기반으로 카메라와 레이더를 통해 각각 물체를 인식한 결과와 센서퓨전 알고리즘에 의해 물체를 인식한 결과 중 어느 하나를 최종 인식 결과로 선정하는 제어부; 및 제어부에서 선정한 최종 인식 결과를 주변 제어장치에 출력하는 출력부;를 포함하는 것을 특징으로 한다.

본 발명에서 차량정보는 차속, 조향각, 요레이트 중 어느 하나 이상을 포함하는 것을 특징으로 한다.

본 발명에서 학습 알고리즘은 심층 신경망(Deep Neural Network) 알고리즘인 것을 특징으로 한다.

본 발명에서 제어부는 물체 인식 결과에 대해 상호 투표를 통해 최종 결과를 선정하는 것을 특징으로 한다.

본 발명의 다른 측면에 따른 차량에서의 장애물 검출장치의 제어방법은 제어부가 카메라와 레이더를 통해 감지되는 감지결과와 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집하는 단계; 제어부가 수집된 검출데이터를 기반으로 학습 알고리즘을 통해 물체 인식 모델에 따라 학습한 학습데이터를 학습데이터 저장부에 저장하는 단계; 제어부가 학습 모델을 기반으로 카메라와 레이더를 통해 각각 물체를 인식하고, 센서퓨전 알고리즘에 의해 물체를 인식하는 단계; 및 제어부가 카메라와 레이더를 통해 물체를 인식한 결과와 센서퓨전 알고리즘을 통해 물체를 인식한 결과 중 어느 하나를 최종 인식 결과로 선정하여 출력하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에서 최종 인식 결과를 선정하여 출력하는 단계는, 제어부가 물체 인식 결과에 대해 상호 투표를 통해 최종 인식 결과를 선정하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 차량에서의 장애물 검출장치 및 그 제어방법은 차량의 전방이나 후방에 장착된 센서들과 차량정보를 기반으로 센서별 인식모델 학습데이터를 구축하여 센서별 학습데이터를 기반으로 물체를 인식하고 결과에 대해 투표하여 최종 결정함으로써 센서인식의 한계 상황에서도 강건한 물체인식 성능을 얻을 수 있고 물리적 한계 상황을 극복할 수 있다.

도 1은 본 발명의 일 실시예에 따른 차량에서의 장애물 검출장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량에서의 장애물 검출장치의 제어방법을 설명하기 위한 흐름도이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 차량에서의 장애물 검출장치 및 그 제어방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 차량에서의 장애물 검출장치를 나타낸 블록 구성도이다.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 차량에서의 장애물 검출장치는, 카메라(10), 레이더(20), 차량정보 입력부(30), 학습데이터 저장부(50), 제어부(40) 및 출력부(60)를 포함할 수 있다.

카메라(10)는 차량의 전방이나 후방에 설치되어 촬영 영상으로부터 장애물을 감지할 수 있도록 촬영 영상을 제어부(40)에 제공할 수 있다.

레이더(20)는 차량의 전방이나 후방에 설치되어 전자기파를 송신하여 장애물을 감지할 수 있도록 감지결과를 제어부(40)에 제공할 수 있다.

차량정보 입력부(30)는 차량 제어부(미도시)로부터 차량정보를 입력받아 제어부(40)에 제공한다.

차량정보 입력부(30)로부터 입력받은 차량정보는 차속, 조향각, 요레이트 중 어느 하나 이상을 포함하여 카메라(10) 및 레이더(20)를 통해 장애물을 감지할 때 센서퓨전 알고리즘에 적용될 수 있다.

학습데이터 저장부(50)는 센서별 물체 인식을 위한 인식모델의 학습데이터를 저장한다.

이와 같이 빅데이터를 통해 장애물 정보를 기반으로 물체 인식 모델을 학습함으로써 센서의 인식 한계상황 예를 들어, 안개, 눈, 비, 역광, 저조도 등의 상황에서도 물체 인식 모델에 의한 학습데이터를 기반으로 물체를 인식할 수 있도록 한다.

제어부(40)는 카메라(10)와 레이더(20)를 통해 감지되는 감지결과와 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집하고, 검출데이터에 대해 학습 알고리즘을 통해 물체 인식 모델에 따라 학습한 학습데이터를 학습데이터 저장부(50)에 저장한 후 학습 모델을 기반으로 카메라(10)와 레이더(20)를 통해 각각 물체를 인식한 결과와 센서퓨전 알고리즘에 의해 물체를 인식한 결과 중 어느 하나를 최종 결과로 선정한다.

제어부(40)는 카메라(10), 레이더(20) 및 차량정보를 모두 이용하여 신뢰성 있는 검출데이터를 수집하여 학습 알고리즘으로 심층 신경망(Deep Neural Network) 알고리즘을 이용하여 물체 인식 모델에 따라 학습한 학습데이터를 생성할 수 있다. 이는 시스템 개발 중 취득한 빅데이터를 기반으로 생성할 수 있다.

따라서 운전자 주행특성, 전문가에 의한 판단, 회귀분석 및 감지결과에 기초한 판단 등이 학습될 수 있다.

또한, 제어부(40)는 카메라(10)와 레이더(20)를 통해 각각 물체를 인식한 결과와 센서퓨전 알고리즘에 의해 물체를 인식한 결과에 대해 상호 투표를 통해 최종 결과를 선정할 수 있다.

따라서 센서 중 어느 하나에서 오류가 발생하더라도 학습데이터와 센서퓨전 알고리즘을 통해 물체를 인식하고 최적의 결과를 선정할 수 있다.

또한, 이와 같이 다중 센서 기술을 사용함에 있어 단일 센서만으로 대처하지 못하는 위험상황을 대처 극복할 수 있도록 할 수 있다.

출력부(60)는 제어부(40)에서 선정한 최종 결과를 자동긴급제동 시스템이나 스마트 크루즈 콘트롤 시스템으로 출력하여 장애물 인식 결과를 활용할 수 있도록 한다.

상술한 바와 같이, 본 발명의 실시예에 의한 차량에서의 장애물 검출장치에 따르면, 차량의 전방이나 후방에 장착된 센서들과 차량정보를 기반으로 센서별 인식모델 학습데이터를 구축하여 센서별 학습데이터를 기반으로 물체를 인식하고 결과에 대해 투표하여 최종 결정함으로써 센서인식의 한계 상황에서도 강건한 물체인식 성능을 얻을 수 있고 물리적 한계 상황을 극복할 수 있다.

도 2는 본 발명의 일 실시예에 따른 차량에서의 장애물 검출장치의 제어방법을 설명하기 위한 흐름도이다.

도 2에 도시된 바와 같이 차량에서의 장애물 검출장치의 제어방법에서는, 먼저, 제어부(40)가 카메라(10)와 레이더(20)를 통해 감지되는 감지결과와 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집한다(S10).

여기서 차량정보는 차속, 조향각, 요레이트 중 어느 하나 이상을 포함할 수 있다.

S10 단계에서 수집된 검출데이터를 기반으로 제어부(40)는 학습 알고리즘으로 심층 신경망(Deep Neural Network) 알고리즘을 이용하여 센서별 물체 인식 모델에 따라 학습한 학습데이터를 생성하여 학습데이터 저장부(50)에 저장한다(S20).

이러한 과정은 시스템의 개발 중 취득한 빅데이터를 통해 장애물 정보를 기반으로 물체 인식 모델을 학습함으로써 센서의 인식 한계상황 예를 들어, 안개, 눈, 비, 역광, 저조도 등의 상황에서도 물체 인식 모델에 의한 학습데이터를 기반으로 물체를 인식할 수 있도록 한다.

S20 단계에서 학습데이터 저장부(50)에 빅데이터의 딥러닝 기법으로 물체 인식 모델에 따른 학습데이터를 저장한 후, 제어부(40)는 학습데이터 저장부(50)에 저장된 학습데이터를 이용하여 카메라(10)와 레이더(20)를 통해 입력되는 감지결과를 통해 물체를 인식한다(S30).

또한 제어부(40)는 센서퓨전 알고리즘을 기반으로 카메라(10), 레이더(20) 및 차량정보로부터 물체를 인식할 수 있다.

이와 같이 S30 단계에서 카메라(10)와 레이더(20)를 통해 물체를 인식한 결과와 센서퓨전 알고리즘을 통해 물체를 인식한 결과는, 제어부(40)가 상호 투표를 통해 최종 인식 결과를 선정한다(S40).

이후 제어부(40)는 S40 단계에서 선정된 최종 인식 결과를 자동긴급제동 시스템이나 스마트 크루즈 콘트롤 시스템 등의 주변제어장치로 출력하여 장애물 인식 결과를 활용할 수 있도록 한다(S50).

상술한 바와 같이, 본 발명의 실시예에 의한 차량에서의 장애물 검출장치의 제어방법에 따르면, 차량의 전방이나 후방에 장착된 센서들과 차량정보를 기반으로 센서별 인식모델 학습데이터를 구축하여 센서별 학습데이터를 기반으로 물체를 인식하고 결과에 대해 투표하여 최종 결정함으로써 센서인식의 한계 상황에서도 강건한 물체인식 성능을 얻을 수 있고 물리적 한계 상황을 극복할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.

10 : 카메라 20 : 레이더
30 : 차량정보 입력부 40 : 제어부
50 : 학습데이터 저장부 60 : 출력부

Claims

촬영 영상으로부터 장애물을 감지하는 카메라;
전자기파를 송신하여 장애물을 감지하는 레이더;
차량 제어부로부터 차량정보를 입력받는 차량정보 입력부;
센서별 물체 인식을 위한 인식모델의 학습데이터를 저장하는 학습데이터 저장부;
상기 카메라와 상기 레이더를 통해 감지되는 감지결과와 상기 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집하고, 상기 검출데이터에 대해 학습 알고리즘을 통해 물체 인식 모델에 따라 학습한 학습데이터를 학습데이터 저장부에 저장한 후 학습 모델을 기반으로 상기 카메라와 상기 레이더를 통해 각각 물체를 인식한 결과와 센서퓨전 알고리즘에 의해 물체를 인식한 결과 중 어느 하나를 최종 인식 결과로 선정하는 제어부; 및
상기 제어부에서 선정한 상기 최종 인식 결과를 주변 제어장치에 출력하는 출력부;를 포함하되,
상기 제어부는, 상기 카메라와 상기 레이더를 통해 각각 물체를 인식한 결과와 상기 센서퓨전 알고리즘에 의해 물체를 인식한 결과에 대해 상호 투표를 통해 상기 최종 인식 결과를 선정하는 것을 특징으로 하는 차량에서의 장애물 검출장치.
제 1항에 있어서, 상기 차량정보는 차속, 조향각, 요레이트 중 어느 하나 이상을 포함하는 것을 특징으로 하는 차량에서의 장애물 검출장치.
제 1항에 있어서, 상기 학습 알고리즘은 심층 신경망(Deep Neural Network) 알고리즘인 것을 특징으로 하는 차량에서의 장애물 검출장치.
삭제
제어부가 카메라와 레이더를 통해 감지되는 감지결과와 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집하는 단계;
상기 제어부가 수집된 상기 검출데이터를 기반으로 학습 알고리즘을 통해 물체 인식 모델에 따라 학습한 학습데이터를 학습데이터 저장부에 저장하는 단계;
상기 제어부가 학습 모델을 기반으로 상기 카메라와 상기 레이더를 통해 각각 물체를 인식하고, 센서퓨전 알고리즘에 의해 물체를 인식하는 단계; 및
상기 제어부가 상기 카메라와 상기 레이더를 통해 물체를 인식한 결과와 상기 센서퓨전 알고리즘을 통해 물체를 인식한 결과 중 어느 하나를 최종 인식 결과로 선정하여 출력하는 단계;를 포함하되,
상기 최종 인식 결과를 선정하여 출력하는 단계는, 상기 제어부가 상기 카메라와 상기 레이더를 통해 각각 물체를 인식한 결과와 상기 센서퓨전 알고리즘에 의해 물체를 인식한 결과에 대해 상호 투표를 통해 상기 최종 인식 결과를 선정하는 것을 특징으로 하는 차량에서의 장애물 검출장치의 제어방법.
제 5항에 있어서, 상기 차량정보는 차속, 조향각, 요레이트 중 어느 하나 이상을 포함하는 것을 특징으로 하는 차량에서의 장애물 검출장치의 제어방법.
제 5항에 있어서, 상기 학습 알고리즘은 심층 신경망(Deep Neural Network) 알고리즘인 것을 특징으로 하는 차량에서의 장애물 검출장치의 제어방법.
삭제