KR20190049221A

KR20190049221A - 자율주행 차량의 보행자 인식 방법

Info

Publication number: KR20190049221A
Application number: KR1020170144825A
Authority: KR
Inventors: 이강동
Original assignee: 주식회사 이노베스트
Priority date: 2017-11-01
Filing date: 2017-11-01
Publication date: 2019-05-09

Abstract

본 발명은 자율주행 차량의 보행자 인식 방법에 관한 것이다.
본 발명은, 블랙박스가 장착된 자율주행 차량에 있어서, 상기 블랙박스 본체에 LIDAR(광선레이더)가 더 포함되고; 상기 LIDAR는 RF신호를 수신/송신하여 정보를 구분하고 상기 카메라는 영상으로 입력된 컬러 정보를 흑백으로 변환하는 변환 단계; 상기 LIDAR에 수신된 정보를 좌표평면으로 변환하고 상기 카메라는 변환된 정보에서 히스토그램(도수분포표)을 정규화 하는 정규화 단계; 상기 LIDAR에서 변환된 좌표계와 카메라에서 얻은 히스토그램을 통해 ROI(관심영역)를 설정하는 설정 단계; 상기 설정 단계에서 얻은 ROI를 HOG 변환을 하여 보행자 인식 정보를 얻으며 상기 LIDAR는 RF신호로 송신된 정보에서 거리 값을 구하는 거리값 측정 단계; 상기 거리값 측정단계에서 얻은 두 가지의 정보를 조합하는 조합 단계; 상기 조합 단계에서 조합된 정보에서 SVM분류를 통해 보행자/비 보행자를 구분하는 구분 단계; 상기 구분 단계의 분류를 통해 보행자를 구분하고 보행자일 경우에는 정보를 저장하고, 보행자 구분을 할 수 있을 경우 추가적으로 상기 정규화 단계로 회귀하고, 없을 경우 알고리즘을 종료하는 종료 단계로 이루어진다.

Description

자율주행 차량의 보행자 인식 방법{an Autonomous Vehicle of pedestrians facial features}

본 발명은 자율주행 차량의 보행자 인식 방법에 관한 것으로, 더욱 상세하게는, 자율주행 차량이 주행할 때 블랙박스가 전방의 보행중인 사람이나 자전거를 촬영하고 촬영된 사람이나 자전거의 거리를 레이더가 측정하고 그 측정값을 차량에 장착된 기기나 운전자에게 인지도록 함으로써 안전운행에 기여할 수 있는 자율주행 차량의 보행자 인식 방법에 관한 것이다.

일반적으로, 운전자 보조 장치들은 적응형 크루즈 컨트롤(Adaptive Cruise Control, [0002] ACC)과 같이 종방향에 대해 속도를 제어해 주거나, 차선이탈 경보 시스템(Lane Departure Warning System, LDWS)이나 차선유지 보조 시스템(Lane Keeping Assist System, LKAS)처럼 횡방향에 대해 운전을 보조해주는 기능을 제공한다.

이러한, 운전자 보조 장치들은 모두 운전자가 항상 개입하고 있어야 하는 제약조건이 있다.

무인 자율주행 차량의 연구에서는 종, 횡방향을 제어하여 무인으로 자율주행하는 시스템에 관한 연구가 있었으나, 매우 제한된 환경에서 이루어졌으며, 실제 도로에서 신뢰성을 보장할 수 없는 문제점이 있다.

예를 들어, GPS가 동작하지 않는 음영지역이나 공사 등으로 인해 차량에 탑재된 지도 데이터와 실제 환경이 다른 경우에는 무인 자율주행이 힘들었다.

이와 같이, 실제 도로환경은 예측이 불가능한 경우가 많으므로, 안전을 위해 미리 검증된 지역을 자율주행하도록 하거나, 차량 별로 탑재된 센서의 차이 및 컴퓨터 파워의 차이, 지도 데이터의 차이 또는 날씨 및 시간대 등의 차이로 인하여 자율주행이 가능한 지역과 불가능한 지역이 차량별, 주행 상황에 따라 다를 수 있는 문제점을 극복할 수 있는 방안이 필요하였다.

따라서 좀 더 발전된 방안으로 제안된 것이, 첨단 감지 센서를 이용하여 시각적, 청각적, 촉각적 요소를 통해 운전자가 인지하는 것과 동일한 개념으로 충돌 위험을 감지하여 운전자에게 사고 위험을 경고하고 전방/측면 충돌 회피를 위한 속도를 감속하거나 긴급 제동을 적극적으로 수행하는 차량운전 보조시스템이 제안된 바 있다.

상기한 차량운전 보조시스템은 차선 이탈 경고, 사각지대 감시, 향상된 후방감시 등을 수행할 수 있으며 그 기능에 따라 다양한 종류로 구분된다.

전방충돌 경고 시스템(Forward Collision Warning System, FCW)은 주행 차선의 전방에서 동일한 방향으로 주행 중인 자동차를 감지하여 전방 자동차와의 충돌 회피를 목적으로 운전자에게 시각적, 청각적, 촉각적 경고를 주기 위한 시스템이다.

자동 비상 제동 시스템(Advanced Emergency Braking System, AEBS)은 주행 차선의 전방에 위치한 자동차와의 충돌 가능성을 감지하여 운전자에게 경고를 주고 운전자의 반응이 없거나 충돌이 불가피하다고 판단되는 경우, 충돌을 완화 및 회피시킬 목적으로 자동차를 자동적으로 제동시키기 위한 시스템이다.

적응 순항제어 시스템(Adaptive Cruise Control, ACC)은 운전자가 설정한 속도로 차량이 자율적으로 주행하는 시스템으로써, 자율주행 중 운전자가 설정한 속도 이하로 주행하는 선행 차량이 등장 할 경우에 교통 흐름을 방해하지 않게 선행차량을 추종하여 차량이 주행할 수 있도록 제어하기 위한 시스템이다.

이 밖에 운전보조시스템은 차선이탈 경고 시스템(Lane Departure Warning System, LDWS), 차선유지 보조 시스템(Lane Keeping Assist System, LKAS), 사각지대 감시장치(Blind Spot Detection, BSD), 및 후방충돌 경고 시스템(Rear-end Collision Warning System, RCW), 자동 주차 보조 시스템(Smart Parking Assist System, SPAS)등이 있다.

한편 종래의 운전조보시스템은 활용되는 센서들의 특성에 따라 악천후나 야간 주행을 할 경우에 자동차의 전방물체가 추종해야 할 차량인지, 회피해야 할 장애물이 보행자나 이륜차인지 정확히 파악하기 힘들기 때문에 이를 해결해야 할 솔루션이 필요했다.

그리고 종래에는 무인자율주행차량 시스템은 기존의 양산 공급되는 승용 차량 플랫폼에 추가적인 센서들을 장착하고, 기존의 차량의 센서와 추가한 센서에서 수집 되어지는 차량 주행 정보와 주변 환경 정보들을 통합하여 차량의 추가되는 센서들로는 차량 항법 정보 및 영상 정보 등을 이용하여, 무인 자율주행 모델링의 기본데이터로 활용하고 있지만, 통합적이고 효율적인 데이터 획득 및 생성의 시스템 구성이 필요하고, 특히 장애물 및 무인 자율주행 차량의 주변환경을 인지할 수 있는 환경인지 시스템의 효율적 구성이 필요한 실정이다.

KR

10-2013-0091907

A

KR

10-1511858

B

따라서, 본 발명이 해결하고자 하는 기술적 과제, 즉, 본 발명의 목적은, 자율주행 차량이 주행할 때 블랙박스가 전방의 보행중인 사람이나 자전거를 촬영하고 촬영된 사람이나 자전거의 거리를 레이더가 측정하고 그 측정값을 차량에 장착된 기기나 운전자에게 인지하도록 함으로써 안전운행에 기여하는 자율주행 차량의 레이더 일체형 블랙박스를 제공하는 데 있다.

본 발명의 다른 목적은, 자율주행 차량이 주행할 때 레이더로 부터 얻은 보행자의 위치를 블랙박스의 카메라가 관심영역으로 설정하도록 함으로써 실시간으로 정확한 보행자의 위치나 움직임 방향을 블랙박스가 인식토록 하여 특히 보행자의 안전을 고려하는 자율주행 차량의 레이더 일체형 블랙박스를 제공하는 데 있다.

상기의 목적을 달성하기 위하여 본 발명의 실시 예는, 블랙박스가 장착된 자율주행 차량에 있어서, 상기 블랙박스 본체에 LIDAR(광선레이더)가 더 포함되고; 상기 LIDAR는 RF신호를 수신/송신하여 정보를 구분하고 상기 카메라는 영상으로 입력된 컬러 정보를 흑백으로 변환하는 변환 단계; 상기 LIDAR에 수신된 정보를 좌표평면으로 변환하고 상기 카메라는 변환된 정보에서 히스토그램(도수분포표)을 정규화 하는 정규화 단계; 상기 LIDAR에서 변환된 좌표계와 카메라에서 얻은 히스토그램을 통해 ROI(관심영역)를 설정하는 설정 단계; 상기 설정 단계에서 얻은 ROI를 HOG 변환을 하여 보행자 인식 정보를 얻으며 상기 LIDAR는 RF신호로 송신된 정보에서 거리 값을 구하는 거리값 측정 단계; 상기 거리값 측정단계에서 얻은 두 가지의 정보를 조합하는 조합 단계; 상기 조합 단계에서 조합된 정보에서 SVM분류를 통해 보행자/비 보행자를 구분하는 구분 단계; 상기 구분 단계의 분류를 통해 보행자를 구분하고 보행자일 경우에는 정보를 저장하고, 보행자 구분을 할 수 있을 경우 추가적으로 상기 정규화 단계로 회귀하고, 없을 경우 알고리즘을 종료하는 종료 단계로 이루어지는 것을 특징으로 하는 자율주행 차량의 보행자 인식 방법을 제공한다.

상기와 같은 구성의 본 발명은 다음과 같은 효과가 있다.

첫째, 자율주행 차량이 주행하는 동안에 보행자 또는 자전거를 타는 사람을 정확히 인식함으로써 인사사고를 예방하는 효과가 있다.

둘째, 자율주행 차량이 주행하는 동안에 광선레이더에서 측정한 보행자 또는 자전거를 타는 사람과차량 사이의 거리를 정확하게 판단함으로써 보행자를 피해서 차량이 주행하거나 브레이크를 작동시켜 인사사고를 예방하는 효과가 있다.

도 1은 본 발명에 따른 자율주행 자동차가 보행자를 인식하는 방법을 보인 순서도

이하에서는 상기의 목적을 달성하는 볼 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1에는 본 발명에 따른 자율주행 자동차가 보행자를 인식하는 방법을 보인 순서도가 도시되어 있다.

이에 도시된 바와 같이, 본 발명에 따른 자율주행 차량에는 카메라, 즉, 영상 촬영장치를 갖춘 블랙박스가 구비된다.

상기 블랙박스 본체에는 LIDAR(광선레이더)가 구비된다.

상기 LIDAR는 RF신호를 수신/송신하여 정보를 구분하고 상기 블랙박스의 카메라는 영상으로 입력된 컬러 정보를 흑백으로 변환한다.

상기 LIDAR 모듈에서 사용하는 주파수는 차량용이므로 77GHz 및 24GHz가 사용되며, 100m 이내의 물체를 식별하는 기능으로 제한된다.

또 상기 LIDAR는 수신된 정보를 좌표평면으로 변환하고 상기 카메라는 변환된 정보에서 히스토그램(도수분포표)을 정규화 한다.

또한, 상기 LIDAR에서 변환된 좌표계와 카메라에서 얻은 히스토그램을 통해 ROI(관심영역)를 설정한다.

그리고 상기 설정 단계에서 얻은 ROI를 HOG 변환을 하여 보행자 인식 정보를 얻으며 상기 LIDAR는 RF신호로 송신된 정보에서 거리 값을 구한다.

상기 LIDAR 전파의 속도는 초/3×10⁸이고 1us동안 300미터를 이동한다.

따라서, 100m 도달거리는 0.33us 정도이며, 왕복 0.66us 정도에 방사된 전파가 다시 안테나로 되돌아온다.

상기의 조건으로 얻는 관심 영역과 거리값 측정에 의해 얻은 두 가지의 정보를 조합하고, 상기 조합된 정보에서 SVM분류를 통해 보행자/비 보행자를 구분한다.

상기 구분 단계의 분류를 통해 보행자를 구분하고 보행자일 경우에는 정보를 저장하고, 보행자 구분을 할 수 있을 경우 추가적으로 상기 정규화 단계로 회귀하고, 없을 경우 알고리즘을 종료한다.

상기와 같이 블랙박스에 장착된 카메라와 레이더와 광선 레이더에 의해 보행자 또는 자전거를 타는 사람들의 얼굴, 즉, 이목구비 등을 미리 인식하고 차량에 장착된 기기에 입력한 상태에서 자율주행 차량이 주행하던 중 보행중인 사람, 자전거를 타는 사람을 발견하게 되면 상기 광선 레이더가 이를 감지한 후 그 신호를 기기로 전달하여 전방 몇 미터의 지점에 보행자가 있거나 자전거를 타는 사람이 있다는 신호를 자율주행하는 차량 또는 운전자에게 알려주게 된다.

따라서, 자율주행하는 차량은 서행하거나 브레이크를 작동하여 주행차량의 속력을 줄이거나 보행자 또는 자전거를 타는 사람을 피하며 운전을 하게 되는데, 이와 같은 동작은 일반적인 자율주행 차량의 운전 동작과 동일한 운전 동작에 의해 진행된다.

결과적으로 자율주행 차량이 주행할 때 블랙박스 카메라가 전방의 보행중인 사람이나 자전거를 촬영하고 촬영된 사람이나 자전거의 거리를 레이더가 측정하고 그 측정값을 차량에 장착된 기기나 운전자에게 인지하도록 함으로써 안전운행에 기여하게 된다.

또한, 자율주행 차량이 주행할 때 레이더로부터 얻은 보행자의 위치를 블랙박스의 카메라가 관심영역으로 설정하도록 함으로써 실시간으로 정확한 보행자의 위치나 움직임 방향을 레이더와 블랙박스 카메라가 인식하도록 하여 특히 보행자와 자전거를 타는 사람의 안전거리를 확보하여 인사사고를 방지하게 된다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

블랙박스가 장착된 자율주행 차량에 있어서,
상기 블랙박스 본체에 LIDAR(광선레이더)가 더 포함되고;
상기 LIDAR는 RF신호를 수신/송신하여 정보를 구분하고 상기 카메라는 영상으로 입력된 컬러 정보를 흑백으로 변환하는 변환 단계;
상기 LIDAR에 수신된 정보를 좌표평면으로 변환하고 상기 카메라는 변환된 정보에서 히스토그램(도수분포표)을 정규화 하는 정규화 단계;
상기 LIDAR에서 변환된 좌표계와 카메라에서 얻은 히스토그램을 통해 ROI(관심영역)를 설정하는 설정 단계;
상기 설정 단계에서 얻은 ROI를 HOG 변환을 하여 보행자 인식 정보를 얻으며 상기 LIDAR는 RF신호로 송신된 정보에서 거리 값을 구하는 거리값 측정 단계;
상기 거리값 측정단계에서 얻은 두 가지의 정보를 조합하는 조합 단계;
상기 조합 단계에서 조합된 정보에서 SVM분류를 통해 보행자/비 보행자를 구분하는 구분 단계;
상기 구분 단계의 분류를 통해 보행자를 구분하고 보행자일 경우에는 정보를 저장하고, 보행자 구분을 할 수 있을 경우 추가적으로 상기 정규화 단계로 회귀하고, 없을 경우 알고리즘을 종료하는 종료 단계로 이루어지는 것을 특징으로 하는 자율주행 차량의 보행자 인식 방법.