KR20190051464A - 자동 긴급 제동장치 및 그 제어방법 - Google Patents

Abstract

본 발명은 자동 긴급 제동장치 및 그 제어방법이 개시된다. 본 발명의 자동 긴급 제동장치는, 영상을 촬영하여 대상물체를 감지하는 카메라부; 레이저를 통해 대상물체를 감지하는 라이다부; 차량을 제동시키기 위한 제동력을 발생시키는 제동부; 및 라이다부에서 감지한 대상물체의 위치를 카메라부에서 촬영한 영상에 정의하여 ROI를 설정하고, ROI를 기반으로 대상물체를 검출하여 물체정보를 검출하며, 물체정보에 기초하여 충돌위험을 판단하여 감속도를 설정하고 제동명령을 제동부에 출력하는 제어부;를 포함하는 것을 특징으로 한다.

Description

자동 긴급 제동장치 및 그 제어방법{AUTONOMOUS EMERGENCY BRAKING APPARATUS AND CONTROL METHOD THEREOF}

본 발명은 자동 긴급 제동장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 라이다(Lidar)를 통해 검출한 대상물체의 위치를 좌표 변환하여 카메라 영상에 ROI를 설정하고, 이를 기반으로 대상물체를 검출함으로써 처리속도를 향상시킬 수 있을 뿐만 아니라 근거리 물체에 대한 높은 신뢰성과 물체와의 정확한 거리를 기반으로 감속도를 설정하여 긴급 제동에 의한 충격을 완화시킬 수 있도록 한 자동 긴급 제동장치 및 그 제어방법에 관한 것이다.

일반적으로, 자동 긴급제동 장치(Autonomous Emergency Braking ; AEB)는 제어차량 전방에 위치한 선행차, 이륜차, 자전거, 장애물 또는 보행자와의 충돌을 예측하고 충돌상황을 판단하여 경보 및 자동제동 기능을 수행함으로써 충돌을 회피하거나 경감시킴으로써 피해를 최소화 할 수 있는 장치다.

여기서 자동 긴급제동 장치는 앞차와의 상대거리 및 선행차의 유무 등을 모니터링하여 자동 긴급제동 제어가 언제 들어가고 해제될 것인지를 판단하도록 되어 있다. 현재 사용되고 있는 전방차량 모니터링 센서로는 레이더, 라이다, 카메라 등이 사용되고 있다.

따라서 주행 중 운전자 부주의 또는 운전자 한계로 인한 교통사고를 줄임으로써 불필요한 사회적 비용절감 및 주행환경 개선을 도모하고 있다.

본 발명의 배경기술은 대한민국 등록특허공보 제10-1526622호(2015.06.08. 공고, 자동 긴급제동장치 작동 시 엔진정지 방지 방법)에 개시되어 있다.

이와 같은 자동 긴급 제동장치에서 보행자를 인식할 때 단일 카메라를 사용하는 경우 50m 이내의 대상을 검출할 수 있고, 적외선 카메라를 사용할 경우 야간의 보행자나 동물을 70m까지 인식하여 충돌경보를 할 수 있으며, 라이다는 20m 이내의 근거리 영역에서 높은 정확도를 갖고 보행자를 인식하여 자동 긴급 제동을 수행할 수 있다.

그러나 적외선 카메라는 비용이 높아 양산성이 떨어지는 문제점이 있고, 단일 카메라를 사용할 경우 외부환경 즉, 조명이 어두운 곳, 역광, 눈, 비 및 안개 등의 영향에 인식 성능이 저하될 뿐만 아니라 높은 신뢰도가 요구되는 복잡한 시내환경에서는 신뢰도가 떨어져 적합하지 못한 문제점이 있다.

본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 라이다(Lidar)를 통해 검출한 대상물체의 위치를 좌표 변환하여 카메라 영상에 ROI를 설정하고, 이를 기반으로 대상물체를 검출함으로써 처리속도를 향상시킬 수 있을 뿐만 아니라 근거리 물체에 대한 높은 신뢰성과 물체와의 정확한 거리를 기반으로 감속도를 설정하여 긴급 제동에 의한 충격을 완화시킬 수 있도록 한 자동 긴급 제동장치 및 그 제어방법을 제공하는 것이다.

본 발명의 일 측면에 따른 자동 긴급 제동장치는, 영상을 촬영하여 대상물체를 감지하는 카메라부; 레이저를 통해 대상물체를 감지하는 라이다부; 차량을 제동시키기 위한 제동력을 발생시키는 제동부; 및 라이다부에서 감지한 대상물체의 위치를 카메라부에서 촬영한 영상에 정의하여 ROI를 설정하고, ROI를 기반으로 대상물체를 검출하여 물체정보를 검출하며, 물체정보에 기초하여 충돌위험을 판단하여 감속도를 설정하고 제동명령을 제동부에 출력하는 제어부;를 포함하는 것을 특징으로 한다.

본 발명에서 대상물체는 보행자 및 차량 중 어느 하나 이상인 것을 특징으로 한다.

본 발명에서 제어부는 라이다부에서 감지한 대상물체의 위치를 좌표 변환하여 카메라부에서 촬영한 영상좌표계에 정의하여 ROI를 설정하는 것을 특징으로 한다.

본 발명은 제동명령의 출력에 따라 경고를 발생시키는 경고부를 더 포함하는 것을 특징으로 한다.

본 발명에서 물체정보는, 대상물체와의 상대거리 및 속도를 포함하는 것을 특징으로 한다.

본 발명에서 제어부는, 카메라부와 라이다부를 통해 대상물체를 검출하는 대상 검출부; 라이다부를 통해 검출된 대상물체의 위치를 영상좌표계로 좌표 변환하는 좌표 변환부; 좌표 변환된 대상물체의 위치를 기반으로 카메라부의 영상에 ROI를 설정하여 대상물체를 검출하고 물체정보를 검출하는 물체정보 검출부; 및 물체정보를 기반으로 충돌위험을 판단하여 감속도를 설정하는 감속도 설정부;를 포함하는 것을 특징으로 한다.

본 발명에서 물체정보 검출부는, 설정된 ROI에서 아다부스트 분류기(Adaboost Classifier)를 통해 대상물체를 검출하는 것을 특징으로 한다.

본 발명의 다른 측면에 따른 자동 긴급 제동장치의 제어방법은, 제어부가 라이다부를 통해 대상물체를 검출하는 단계; 제어부가 라이다부를 통해 검출한 대상물체의 위치를 영상좌표계로 좌표 변환하는 단계; 제어부가 영상좌표계로 변환된 대상물체의 위치를 기반으로 카메라부를 통해 촬영된 영상에 ROI를 설정하는 단계; 제어부가 설정된 ROI에서 대상물체를 검출하여 물체정보를 검출하는 단계; 제어부가 물체정보에 기초하여 충돌위험을 판단하는 단계; 및 제어부가 충돌위험을 판단하여 충돌위험이 있는 경우 감속도를 설정하여 제동명령을 제동부에 출력하는 단계를 포함하는 것을 특징으로 한다.

본 발명에서 제어부가 제동명령을 출력할 때 경고부를 작동시키는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에서 대상물체는, 보행자 및 차량 중 어느 하나 이상인 것을 특징으로 한다.

본 발명은 ROI에서 대상물체를 검출할 때, 제어부가 아다부스트 분류기(Adaboost Classifier)를 통해 대상물체를 검출하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 자동 긴급 제동장치 및 그 제어방법은 라이다(Lidar)를 통해 검출한 대상물체의 위치를 좌표 변환하여 카메라 영상에 ROI를 설정하고, 이를 기반으로 대상물체를 검출함으로써 처리속도를 향상시킬 수 있을 뿐만 아니라 근거리 물체에 대한 높은 신뢰성과 물체와의 정확한 거리를 기반으로 감속도를 설정하여 긴급 제동에 의한 충격을 완화시킬 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 자동 긴급 제동장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 자동 긴급 제동장치에서 ROI 설정 과정을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 자동 긴급 제동장치의 제어방법을 설명하기 위한 흐름도이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 자동 긴급 제동장치 및 그 제어방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 자동 긴급 제동장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 자동 긴급 제동장치에서 ROI 설정 과정을 설명하는 도면이다.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 자동 긴급 제동장치는, 카메라부(10), 라이다부(20), 제동부(40) 및 제어부(30)를 포함하여 경고부(50)를 포함한다.

카메라부(10)는 전방의 영상을 촬영하여 제어부(30)에 제공함으로써 대상물체를 감지하여 인식할 수 있도록 한다.

라이다부(20)는 전방으로 레이저를 조사하여 감지한 결과를 제어부(30)에 제공함으로써 대상물체를 감지하여 인식할 수 있도록 한다.

제동부(40)는 제동명령에 따라 차량을 제동시키기 위한 제동력을 발생시킨다.

제어부(30)는 라이다부(20)에서 감지한 대상물체의 위치를 카메라부(10)에서 촬영한 영상에 정의하여 ROI(Region Of Interest)를 설정하고, ROI를 기반으로 대상물체를 검출하여 물체정보를 검출하며, 물체정보에 기초하여 충돌위험을 판단하여 감속도를 설정하고 제동명령을 제동부(40)에 출력한다.

여기서 대상물체는 보행자 및 차량 중 어느 하나 이상으로써 각각의 인식 알고리즘을 통해 인식할 수 있다.

또한, 제어부(30)는 라이다부(20)에서 감지한 대상물체의 위치를 좌표 변환하여 카메라부(10)에서 촬영한 영상좌표계에 정의하여 ROI를 설정할 수 있다.

이와 같은 제어부(30)는 대상 검출부(310), 좌표 변환부(320), 물체정보 검출부(330) 및 감속도 설정부(340)를 포함할 수 있다.

대상 검출부(310)는 카메라부(10)로부터 입력되는 영상으로부터 대상물체를 검출하고, 라이다부(20)로부터 입력되는 감지결과로부터 대상물체를 검출한다.

좌표 변환부(320)는 라이다부(20)를 통해 검출된 대상물체의 위치를 수학식 1을 통해 영상좌표계로 좌표를 변환한다.

여기서, X : 변환된 LIDAR의 이미지 좌표, C : 이미지 중심 좌표, T : 이미지 가로 크기, N : LIDAR 검출 센서의 개수, D: LIDAR Degree

물체정보 검출부(330)는 좌표 변환된 대상물체의 위치를 기반으로 카메라부(10)의 영상에 ROI를 설정하여 대상물체를 검출하고 물체정보를 검출한다.

도 2의 (가)에 도시된 바와 같이 라이다부(20)를 통해 검출된 대상물체의 위치를 기반으로 (나)에 도시된 바와 같이 카메라부(10)를 통해 검출된 영상좌표계로 좌표 변환하여 ROI를 설정한 후 (다)에 도시된 바와 같이 ROI 영역에서 대상물체를 검출하여 물체정보를 검출한다.

물체정보 검출부(330)는 설정된 ROI에서 아다부스트 분류기(Adaboost Classifier)를 통해 대상물체를 검출함으로써 수행속도를 높일 수 있다.

여기서 물체정보는 대상물체와의 상대거리 및 속도를 포함할 수 있다.

대상물체와의 거리는 라이다부(20)를 통해 감지한 깊이(Depth) 정보를 이용하여 대상물체와의 거리를 정확하게 측정할 수 있다.

감속도 설정부(340)는 물체정보를 기반으로 충돌위험을 판단하여 감속도를 설정한다. 이때 정확한 거리를 기반으로 충돌소요시간을 정확하게 계산하여 감속도를 설정함으로써 긴급 제동에 의한 충격을 완화시킬 수 있다.

경고부(50)는 제어부(30)에서 제동명령을 출력할 때 경고를 발생시켜 운전자가 자동 긴급 장치의 작동상태를 인지 할 수 있도록 한다.

상술한 바와 같이, 본 발명의 실시예에 의한 자동 긴급 제동장치에 따르면, 라이다(Lidar)를 통해 검출한 대상물체의 위치를 좌표 변환하여 카메라 영상에 ROI를 설정하고, 이를 기반으로 대상물체를 검출함으로써 처리속도를 향상시킬 수 있을 뿐만 아니라 근거리 물체에 대한 높은 신뢰성과 물체와의 정확한 거리를 기반으로 감속도를 설정하여 긴급 제동에 의한 충격을 완화시킬 수 있도록 한다.

도 3은 본 발명의 일 실시예에 따른 자동 긴급 제동장치의 제어방법을 설명하기 위한 흐름도이다.

도 3에 도시된 바와 같이 본 발명의 일 실시예에 따른 자동 긴급 제동장치의 제어방법에서는 먼저, 제어부(30)가 카메라부(10)로부터 입력되는 영상으로부터 대상물체를 검출하고, 라이다부(20)로부터 입력되는 감지결과로부터 대상물체를 검출한다(S10).

여기서 대상물체는 보행자로써 보행자 인식 알고리즘을 통해 검출할 수 있다.

S10 단계에서 라이다부(20)를 통해 검출된 대상물체의 위치를 제어부(30)가 수학식 2를 통해 영상좌표계로 좌표를 변환한다(S20).

여기서, X : 변환된 LIDAR의 이미지 좌표, C : 이미지 중심 좌표, T : 이미지 가로 크기, N : LIDAR 검출 센서의 개수, D: LIDAR Degree

S20 단계에서 좌표 변환된 대상물체의 위치를 기반으로 제어부(30)가 카메라부(10)의 영상에 ROI를 설정한다(S30).

도 2의 (가)에 도시된 바와 같이 라이다부(20)를 통해 검출된 대상물체의 위치를 기반으로 (나)에 도시된 바와 같이 카메라부(10)를 통해 검출된 영상좌표계로 좌표 변환하여 ROI를 설정한 후 (다)에 도시된 바와 같이 ROI 영역에서 대상물체를 검출하여 물체정보를 검출한다.

S30 단계에서 카메라부(10)의 영상에 ROI를 설정한 후 제어부(30)는 ROI 영역에서 아다부스트 분류기(Adaboost Classifier)를 통해 대상물체를 검출하고, 물체정보를 검출한다(S40).

여기서 물체정보는 대상물체와의 상대거리 및 속도를 포함할 수 있다.

대상물체와의 거리는 라이다부(20)를 통해 감지한 깊이(Depth) 정보를 이용하여 대상물체와의 거리를 정확하게 측정할 수 있다.

S40 단계에서 물체정보를 검출한 후 제어부(30)는 물체정보를 기반으로 충돌위험을 판단한다(S50).

S50 단계에서 충돌위험을 판단한 후 충돌위험이 있는 경우, 제어부(30)는 긴급 제동을 위한 감속도를 설정한다(S60).

본 실시예에서는 라이다부(20)를 통해 감지한 깊이 정보를 이용하여 측정한 대상물체와의 정확한 거리를 기반으로 충돌소요시간을 정확하게 계산하여 감속도를 설정함으로써 긴급 제동에 의한 충격을 완화시킬 수 있다.

한편 S50 단계에서 충돌위험을 판단한 후 충돌위험이 없는 경우, 제어부(30)는 S40 단계로 리턴하여 계속해서 물체정보를 검출하면서 충돌위험을 판단할 수 있다.

S60 단계에서 긴급 제동을 위한 감속도를 설정한 후 제어부(30)는 제동명령을 제동부(40)에 출력한다(S70).

또한, S70 단계에서 제동명령을 출력할 때 제어부(30)는 경고부(50)를 통해 경고를 출력하여 운전자가 자동 긴급 장치의 작동상태를 인지 할 수 있도록 한다(S80).

상술한 바와 같이, 본 발명의 실시예에 의한 자동 긴급 제동장치의 제어방법에 따르면, 라이다(Lidar)를 통해 검출한 대상물체의 위치를 좌표 변환하여 카메라 영상에 ROI를 설정하고, 이를 기반으로 대상물체를 검출함으로써 처리속도를 향상시킬 수 있을 뿐만 아니라 근거리 물체에 대한 높은 신뢰성과 물체와의 정확한 거리를 기반으로 감속도를 설정하여 긴급 제동에 의한 충격을 완화시킬 수 있도록 한다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.

10 : 카메라부 20 : 라이다부
30 : 제어부 40 : 제동부
50 : 경고부 310 : 대상 검출부
320 : 좌표 변환부 330 : 물체정보 검출부
340 : 감속도 설정부

Claims (11)

1. 영상을 촬영하여 대상물체를 감지하는 카메라부;
   레이저를 통해 상기 대상물체를 감지하는 라이다부;
   차량을 제동시키기 위한 제동력을 발생시키는 제동부; 및
   상기 라이다부에서 감지한 상기 대상물체의 위치를 상기 카메라부에서 촬영한 영상에 정의하여 ROI를 설정하고, 상기 ROI를 기반으로 상기 대상물체를 검출하여 물체정보를 검출하며, 상기 물체정보에 기초하여 충돌위험을 판단하여 감속도를 설정하고 제동명령을 상기 제동부에 출력하는 제어부;를 포함하는 것을 특징으로 하는 자동 긴급 제동장치.
   
2. 제 1항에 있어서, 상기 대상물체는 보행자 및 차량 중 어느 하나 이상인 것을 특징으로 하는 자동 긴급 제동장치.
   
3. 제 1항에 있어서, 상기 제어부는 상기 라이다부에서 감지한 상기 대상물체의 위치를 좌표 변환하여 상기 카메라부에서 촬영한 영상좌표계에 정의하여 상기 ROI를 설정하는 것을 특징으로 하는 자동 긴급 제동장치.
   
4. 제 1항에 있어서, 상기 제동명령의 출력에 따라 경고를 발생시키는 경고부를 더 포함하는 것을 특징으로 하는 자동 긴급 제동장치.
   
5. 제 1항에 있어서, 상기 물체정보는, 상기 대상물체와의 상대거리 및 속도를 포함하는 것을 특징으로 하는 자동 긴급 제동장치.
   
6. 제 1항에 있어서, 상기 제어부는,
   상기 카메라부와 상기 라이다부를 통해 상기 대상물체를 검출하는 대상 검출부;
   상기 라이다부를 통해 검출된 상기 대상물체의 위치를 영상좌표계로 좌표 변환하는 좌표 변환부;
   좌표 변환된 상기 대상물체의 위치를 기반으로 상기 카메라부의 영상에 상기 ROI를 설정하여 상기 대상물체를 검출하고 물체정보를 검출하는 물체정보 검출부; 및
   상기 물체정보를 기반으로 충돌위험을 판단하여 상기 감속도를 설정하는 감속도 설정부;를 포함하는 것을 특징으로 하는 자동 긴급 제동장치.
   
7. 제 6항에 있어서, 상기 물체정보 검출부는, 설정된 상기 ROI에서 아다부스트 분류기(Adaboost Classifier)를 통해 상기 대상물체를 검출하는 것을 특징으로 하는 자동 긴급 제동장치.
   
8. 제어부가 라이다부를 통해 대상물체를 검출하는 단계;
   상기 제어부가 상기 라이다부를 통해 검출한 상기 대상물체의 위치를 영상좌표계로 좌표 변환하는 단계;
   상기 제어부가 영상좌표계로 변환된 상기 대상물체의 위치를 기반으로 카메라부를 통해 촬영된 영상에 ROI를 설정하는 단계;
   상기 제어부가 설정된 상기 ROI에서 상기 대상물체를 검출하여 물체정보를 검출하는 단계;
   상기 제어부가 상기 물체정보에 기초하여 충돌위험을 판단하는 단계; 및
   상기 제어부가 상기 충돌위험을 판단하여 상기 충돌위험이 있는 경우 감속도를 설정하여 제동명령을 제동부에 출력하는 단계를 포함하는 것을 특징으로 하는 자동 긴급 제동장치의 제어방법.
   
9. 제 8항에 있어서, 상기 제어부가 상기 제동명령을 출력할 때 경고부를 작동시키는 단계를 더 포함하는 것을 특징으로 하는 자동 긴급 제동장치의 제어방법.
   
10. 제 8항에 있어서, 상기 대상물체는, 보행자 및 차량 중 어느 하나 이상인 것을 특징으로 하는 자동 긴급 제동장치의 제어방법.
    
11. 제 8항에 있어서, 상기 ROI에서 상기 대상물체를 검출할 때, 상기 제어부가 아다부스트 분류기(Adaboost Classifier)를 통해 상기 대상물체를 검출하는 것을 특징으로 하는 자동 긴급 제동장치의 제어방법.

Images