KR101489836B1 - 보행자 감지 및 충돌 회피 장치 및 방법 - Google Patents

보행자 감지 및 충돌 회피 장치 및 방법 Download PDF

Info

Publication number
KR101489836B1
KR101489836B1 KR20130110133A KR20130110133A KR101489836B1 KR 101489836 B1 KR101489836 B1 KR 101489836B1 KR 20130110133 A KR20130110133 A KR 20130110133A KR 20130110133 A KR20130110133 A KR 20130110133A KR 101489836 B1 KR101489836 B1 KR 101489836B1
Authority
KR
South Korea
Prior art keywords
pedestrian
collision
information
vehicle
distance
Prior art date
Application number
KR20130110133A
Other languages
English (en)
Inventor
이혁기
황윤형
연규봉
양인범
정기윤
Original Assignee
자동차부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 자동차부품연구원 filed Critical 자동차부품연구원
Priority to KR20130110133A priority Critical patent/KR101489836B1/ko
Application granted granted Critical
Publication of KR101489836B1 publication Critical patent/KR101489836B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01013—Means for detecting collision, impending collision or roll-over

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 보행자 감지 및 충돌 회피 장치 및 방법에 관한 것으로 상기 장치는 적어도 하나 이상의 각기 다른 방식으로 차량 주행방향에 있는 대상 물체가 촬영된 영상을 획득하는 이미지 센서부와, 적어도 하나 이상의 각기 다른 방식으로 차량 주행방향에 있는 대상 물체로부터 반사되는 신호를 검출하여 차량과 상기 대상 물체간의 거리 정보를 획득하는 거리 센서부와, 상기 이미지 센서부 및 거리 센서부로부터 검출된 센싱 정보들을 퓨전시켜 보행자를 감지하고 그 보행자에 관련된 적어도 하나 이상의 정보를 산출하는 센서퓨전 처리부 및 상기 적어도 하나 이상의 보행자에 관련된 정보와 차량에 관련된 정보를 조합하여 차량과 보행자간에 충돌위험이 있는지 판단하고 충돌위험이 있다고 판단될 경우, 충돌회피가 가능한 상황들을 예측하여 각 상황별로 충돌회피를 위한 제어신호를 출력하는 충돌 판단부를 포함한다.

Description

보행자 감지 및 충돌 회피 장치 및 방법{PEDESTRIAN DETECTING AND COLLISION AVOIDING APPARATUS AND METHOD THEREOF}
본 발명은 보행자 감지 및 충돌 회피 장치 및 방법에 관한 것으로, 보다 상세하게는 FIR(Far Infra-Red) 카메라, CMOS 카메라 및 거리센서 등을 조합하여 보행자를 보다 정확하게 감지하고 이동을 예측하여 차량과 보행자와의 충돌을 회피하는 보행자 감지 및 충돌 회피 장치 및 방법에 관한 것이다.
최근 발생하는 교통사고 중 차량과 보행자(오토바이나 자전거 탑승자 포함)와의 충돌사고 발생 시 전체의 30%가 사망에 이르는 치명적인 결과를 초래하고 있다. 따라서 최근 유럽(EU)에서는 보행자 상해 및 사망자를 줄이기 위한 안전규제를 강화하고 있으며, 그에 대한 대책으로 신규 상용차에 대하여 자동 위험감지 브레이크 시스템(AEB: Autonomous Emergency Braking System)을 의무적으로 장착하도록 지정하였다.
한편 차량과 보행자와의 충돌을 방지하기 위해서는 보행자의 정확한 감지와 보행자의 이동방향과 이동속도의 정확한 예측 및 그 예측 정보를 바탕으로 충돌가능여부와 충돌예측시간을 정확히 판단한 후 충돌이 예상될 경우 운전자에게 회피 유도를 위해 경고를 출력하거나 충돌 직전에 자동 제동을 수행해야 한다. 그 중에서도 가장 먼저 수행되며 가장 중요한 작업은 주/야간 혹은 악천후 상황에서도 보행자를 정확히 감지하고 보행자와의 거리를 검출하는 것이라고 할 수 있다.
따라서 이 분야의 장치들은 보다 정확한 보행자 감지와 거리 검출을 위해서 다양한 방식의 센서를 사용하고 있으나, 각 방식의 센서 성능에는 한계가 있으며, 또한 상기 센서에 고장이나 에러가 발생할 경우에는 장치 전체의 신뢰성이 저하됨으로써 차량 운전자와 보행자의 안전에 치명적인 영향을 미치게 되는 문제점이 있다.
본 발명의 배경기술은 대한민국 공개특허 10-2010-0072779호(2010.07.01.공개, 차량의 보행자 회피 장치 및 방법)에 개시되어 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, FIR(Far Infra-Red) 카메라, CMOS 카메라 및 거리센서 등을 조합하여 보행자를 보다 정확하게 감지하고 이동을 예측하여 차량과 보행자와의 충돌을 회피할 수 있도록 하는 보행자 감지 및 충돌 회피 장치 및 방법을 제공하는데 그 목적이 있다.
또한 본 발명은 보행자 여부를 판단하기 위해서 사용되는 이미지 센서, 레이더 센서, 및 라이다(Lidar) 센서 등을 조합하여 보다 정확하게 보행자를 감지함으로써 차량과 보행자와의 충돌을 회피할 수 있도록 하는 보행자 감지 및 충돌 회피 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 보행자 감지 및 충돌 회피 장치는, 적어도 하나 이상의 방식으로 차량 주행방향에 있는 대상 물체가 촬영된 영상을 획득하는 이미지 센서부, 적어도 하나 이상의 각기 다른 방식으로 차량 주행방향에 있는 대상 물체로부터 반사되는 신호를 검출하여 차량과 상기 대상 물체간의 거리 정보를 획득하는 거리 센서부, 상기 이미지 센서부 및 거리 센서부로부터 검출된 센싱 정보들을 퓨전시켜 보행자를 감지하고 그 보행자에 관련된 적어도 하나 이상의 정보를 산출하는 센서퓨전 처리부 및 상기 적어도 하나 이상의 보행자에 관련된 정보와 차량에 관련된 정보를 조합하여 차량과 보행자간에 충돌위험이 있는지 판단하고 충돌위험이 있다고 판단될 경우, 충돌회피가 가능한 상황들을 예측하여 각 상황별로 충돌회피를 위한 제어신호를 출력하는 충돌 판단부를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 보행자 감지 및 충돌 회피 장치는, 상기 충돌 판단부에서 출력된 제어신호에 의해 차량 제어에 개입하여 충돌회피 동작을 수행하는 차량 제어부를 더 포함하고, 상기 충돌회피 동작은 사운드나 진동을 이용하여 사용자에게 경고신호를 출력하는 동작, 운전자의 제동을 보조하기 위한 제동압 보조신호를 출력하는 동작, 종방향 제동을 통해 차량의 주행을 정지시키는 동작, 횡방향 제어를 통해 차선을 변경하는 동작 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 센서부는, 원적외선(FIR) 카메라, 씨모스(CMOS) 카메라, 및 씨씨디(CCD) 카메라 중 적어도 하나 이상의 이미지 센서를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 거리 센서부는, 레이더(Radar) 센서, 라이다(LIDAR) 센서, 초음파 거리 센서, 및 적외선 거리 센서 중 적어도 하나 이상의 거리 센서를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 센서퓨전 처리부는, 상기 이미지 센서부의 제1 카메라 및 제2 카메라로부터 획득한 영상을 이용하여 대상 물체가 보행자인지 감지하는 제1,2 보행자 감지부, 상기 거리 센서부로부터 검출된 거리 정보를 이용하여 장애물이 있는지 여부를 감지하는 장애물 감지부, 상기 제1,2 보행자 감지부를 통해 각기 감지된 보행자 영상 정보를 퓨전하여 더 정확한 보행자 감지를 수행하는 영상 퓨전부 및 상기 제1,2 보행자 감지부, 장애물 감지부 및 영상 퓨전부로부터 출력된 정보를 선택적으로 퓨전시켜 상기 감지된 대상 물체가 장애물인지 보행자인지를 판단하고, 차량과 보행자간의 거리를 산정하는 보행자 및 거리 인식부를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 센서퓨전 처리부는, 적어도 하나 이상의 이미지 센서로부터 획득한 영상 정보의 퓨전, 이미지 센서로부터 획득한 영상 정보와 거리 센서로부터 검출된 거리 정보의 퓨전, 적어도 하나 이상의 이미지 센서로부터 획득한 영상 정보와 적어도 하나 이상의 거리 센서로부터 검출된 거리 정보의 퓨전 중, 적어도 어느 하나 이상의 퓨전 방법을 선택적으로 조합하여 퓨전을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 충돌 판단부는, 보행자에 관련된 정보와 차량에 관련된 정보를 조합하여 충돌예상시간을 산정하는 충돌예상시간 산정부; 및 보행자에 관련된 정보, 충돌예상시간 정보, 차량에 관련된 정보 및 운전자 상태정보를 조합하여 운전자가 충돌을 회피할 수 있는 상태인지 판단하고, 그 운전자의 상태와 주행상황에 따라 차량과 보행자의 충돌위험이 있는지 판단하여 충돌회피가 가능한 상황별로 충돌회피를 위한 제어신호를 출력하는 상태판단 및 제어신호 출력부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 보행자에 관련된 정보는 보행자 거리정보, 보행자 속도정보, 및 보행자 이동방향정보 중 적어도 하나 이상을 포함하고, 상기 차량에 관련된 정보는 차속 정보, 요 레이트 정보, 차선 정보, 및 주변 차량정보 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 상태판단 및 제어신호 출력부는, 충돌 위험이 있을 경우 운전자가 충돌을 회피할 수 있는 정상 상태이면 운전자의 제동을 보조하기 위한 제동압 보조신호와 경고신호를 출력하며, 상기 운전자가 충돌을 회피할 수 없는 비정상 상태이면서 주행방향 변경이나 차선변경이 어려운 경우 종방향 제동신호를 출력하며, 상기 종방향 제동에 의한 충돌 회피가 어렵고 주변에 차량이 없을 경우 주행방향 변경이나 차선 변경을 위한 횡방향 제어신호를 출력하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 보행자 감지 및 충돌 회피 방법은, 적어도 하나 이상의 방식으로 차량 주행방향에 있는 대상 물체가 촬영된 영상을 획득하는 단계, 적어도 하나 이상의 각기 다른 방식으로 차량 주행방향에 있는 대상 물체로부터 반사되는 신호를 검출하여 차량과 상기 대상 물체간의 거리 정보를 획득하는 단계, 상기 적어도 하나 이상의 영상, 거리 정보, 및 차량에 설치된 적어도 하나 이상의 센서로부터 검출된 센싱 정보들을 퓨전시켜 보행자를 감지하고 그 보행자에 관련된 적어도 하나 이상의 정보를 산출하는 단계 및 상기 적어도 하나 이상의 보행자에 관련된 정보와 차량에 관련된 정보를 조합하여 차량과 보행자의 충돌위험이 있는지 판단하고 충돌위험이 있다고 판단될 경우, 충돌회피가 가능한 상황들을 예측하여 각 상황별로 충돌회피를 위한 제어신호를 출력하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 충돌회피를 위한 제어신호에 의해 차량 제어에 개입하여 충돌회피 동작을 수행하는 단계를 더 포함하고, 상기 충돌회피 동작은 사운드나 진동을 이용하여 사용자에게 경고신호를 출력하는 동작, 운전자의 제동을 보조하기 위한 제동압 보조신호를 출력하는 동작, 종방향 제동을 통해 차량의 주행을 정지시키는 동작, 횡방향 제어를 통해 차선을 변경하는 동작 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 센싱 정보들의 퓨전은, 적어도 하나 이상의 이미지 센서로부터 획득한 영상 정보의 퓨전, 이미지 센서로부터 획득한 영상 정보와 거리 센서로부터 검출된 거리 정보의 퓨전, 적어도 하나 이상의 이미지 센서로부터 획득한 영상 정보와 적어도 하나 이상의 거리 센서로부터 검출된 거리 정보의 퓨전 중, 적어도 어느 하나 이상의 퓨전 방법을 선택적으로 조합하여 수행되는 것을 특징으로 한다.
본 발명에 있어서, 보행자에 관련된 정보와 차량에 관련된 정보를 조합하여 충돌예상시간을 산정하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 충돌회피를 위한 제어신호를 출력하는 단계는, 보행자에 관련된 정보, 충돌예상시간 정보, 차량에 관련된 정보 및 운전자 상태정보를 조합하여 운전자가 충돌을 회피할 수 있는 상태인지 판단하고, 그 운전자의 상태와 주행상황에 따라 차량과 보행자의 충돌위험이 있는지 판단하여 충돌회피가 가능한 상황별로 충돌회피를 위한 제어신호를 출력하는 것을 특징으로 한다.
본 발명에 있어서, 상기 보행자에 관련된 정보는 보행자 거리정보, 보행자 속도정보, 및 보행자 이동방향정보 중 적어도 하나 이상을 포함하고, 상기 차량에 관련된 정보는 차속 정보, 요 레이트 정보, 차선 정보, 및 주변 차량정보 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 충돌회피를 위한 제어신호를 출력하는 단계는, 충돌 위험이 있을 경우 운전자가 충돌을 회피할 수 있는 정상 상태이면 운전자의 제동을 보조하기 위한 제동압 보조신호와 경고신호를 출력하며, 상기 운전자가 충돌을 회피할 수 없는 비정상 상태이면서 주행방향 변경이나 차선변경이 어려운 경우 종방향 제동신호를 출력하며, 상기 종방향 제동에 의한 충돌 회피가 어렵고 주변에 차량이 없을 경우 주행방향 변경이나 차선 변경을 위한 횡방향 제어신호를 출력하는 것을 특징으로 한다.
본 발명은 적어도 하나 이상의 이미지 센서와 적어도 하나 이상의 거리센서를 조합하여 보다 정확하게 보행자를 감지하고 보행자와의 거리 및 보행자의 이동을 예측함으로써 어느 하나의 센서에 고장이나 에러가 발생하더라도 안정적인 동작이 가능하게 하여 장치의 신뢰성을 유지할 수 있도록 하며, 또한 야간에 전조등에 의해 일부분 혹은 전체가 보이지 않는 보행자에 대한 감지 성능을 향상시키고, 기존의 자동 위험감지 브레이크 시스템(AEB)에 통합되어 차대차 및 차대보행자 충돌을 회피할 수 있도록 하여 종합적인 사고방지 기능을 수행할 수 있도록 하며, 새로운 성능의 센서들이 추가될 경우에도 센서 퓨전을 통해 보행자 감지 성능을 향상시킬 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 보행자 감지 및 충돌 회피 장치의 개략적인 구성을 보인 예시도.
도 2는 상기 도 1에 있어서, 이미지 센서와 거리 센서의 설치 위치를 설명하기 위한 일 예시도.
도 3은 상기 도 1에 있어서, 센서퓨전 처리부의 상세한 구성을 설명하기 위한 예시도.
도 4는 상기 도 1에 있어서, 충돌 판단부의 상세한 구성을 설명하기 위한 예시도.
도 5는 상기 도 4에 있어서, 상태판단 및 제어신호 출력부의 구체적인 동작을 설명하기 위한 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 보행자 감지 및 충돌 회피 장치 및 방법의 일 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다.
그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 보행자 감지 및 충돌 회피 장치의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 보행자 감지 및 충돌 회피 장치는, 이미지 센서부(110), 거리 센서부(120), 센서퓨전 처리부(130), 충돌 판단부(140), 및 차량 제어부(150)를 포함한다.
상기 이미지 센서부(110)는 적어도 하나 이상의 이미지 센서를 포함하여 구성될 수 있다. 편의상 FIR(Far Infra Red) 카메라인 제1 이미지 센서(111)와 CMOS 카메라(또는 CCD 카메라)인 제2 이미지 센서(112)를 포함하는 것으로 가정한다. 그러나 이에 한정하지 않고 다른 방식의 이미지 센서(또는 카메라 센서)를 더 포함할 수도 있다.
참고로 상기 CMOS 카메라(또는 CCD 카메라)는 가시광 영역의 빛을 감지하여 투영하는 역할을 하기 때문에 사람의 눈으로 보는 것과 비슷한 영상을 획득한다. 그러나 FIR 카메라는 사람이 보지 못하는 적외선 대역의 빛을 투영하여 영상을 획득한다. 상기 적외선은 빛의 파장 중 750nm에서 1mm의 대역의 빛으로서, 그 중 NIR(Near Infra Red)는 700nm에서 1400nm의 파장을 말하며, FIR의 빛은 LWIR(Long Wavelength Infra Red)라고도 하며, 빛의 파장 중 8μm 에서 15μm의 대역을 나타낸다. 특히 FIR 대역은 온도에 따라 파장이 변하기 때문에 온도를 구별할 수 있는 장점이 있다. 특히 사람의 체온이 10μm의 파장을 가지기 때문에 많이 사용되고 있다.
상기 이미지 센서부(110)는 주시방향(또는 차량 주행방향)을 촬영하여 보행자(또는 장애물) 영상을 획득한다.
상기 이미지 센서부(110)에 포함된 적어도 하나 이상의 이미지 센서(111, 112)로부터 획득한 영상은 센서퓨전 처리부(130)를 통해 영상 퓨전시킴으로써 더 정확한 보행자 감지를 수행할 수 있도록 한다. 즉, 상기 영상 퓨전을 통해 각 이미지 센서(111, 112)로부터 획득한 영상에서 부족한 부분(예 : 정확하지 않은 부분의 영상)을 보완할 수 있도록 함으로써 보행자를 더 정확히 감지할 수 있도록 한다.
상기 거리 센서부(120)는 적어도 하나 이상의 거리 센서를 포함하여 구성될 수 있다. 편의상 레이더(Radar) 센서인 제1 거리 센서(121)와 라이다(LIDAR) 센서인 제2 거리 센서(122)를 포함하는 것으로 가정한다. 그러나 이에 한정하지 않고 다른 방식의 거리 센서(예 : 초음파 거리 센서, 적외선 거리 센서 등)를 더 포함할 수도 있다.
참고로 상기 라이다(LIDAR : Light Detection And Ranging) 센서는 레이저 펄스를 발사하고, 반사되어 돌아오는 시간을 측정하여 반사체의 위치좌표를 측정하는데 사용할 수 있는 센서이다.
상기 거리 센서부(120)는 주시방향(또는 차량 주행방향)에 있는 보행자(또는 장애물)로부터 반사되는 신호를 검출하여 보행자(또는 장애물)와 차량간의 거리를 검출한다.
상기 거리 센서부(120)에 포함된 적어도 하나 이상의 거리 센서(121, 122)는 서로 동기화되어 동작한다. 따라서 주시방향에 있는 보행자(또는 장애물)까지의 거리를 동시에 검출 가능하다. 상기와 같이 동시에 검출된 보행자 거리정보는 어느 하나의 거리 센서에 이상이 있을 경우에 이를 보완할 수 있도록 함으로써 더 높은 신뢰성을 확보할 수 있도록 한다.
상기 센서퓨전 처리부(130)는 상기 적어도 하나 이상의 이미지 센서(111, 112) 및 상기 적어도 하나 이상의 거리 센서(121, 122)로부터 획득한 센싱 정보를 공지된 임의의 센서 퓨전 알고리즘(또는 센서 퓨전 엔진)을 이용해 융합하여 차량 진행방향의 상황을 종합적으로 판단한다. 예컨대 차량 진행방향에 보행자가 있는지 혹은 장애물이 있는지를 센싱 정보를 융합하여 종합적으로 판단한다.
다시 말해, 상기 센서퓨전 처리부(130)는 차량에 설치된 어느 한 가지 센서로부터 검출된 센싱 정보만을 이용하여 보행자를 감지하는 것이 아니라, 차량에 설치된 다수의 센서로부터 검출된 센싱 정보들을 융합하여 종합적인 판단을 통해 장애물과 보행자를 정확히 구분하여 감지하는 것이다.
본 발명의 실시예에서 상기 센서퓨전 처리부(130)는 1) FIR 카메라와 CMOS 카메라, 2) CMOS 카메라와 Radar/Lidar 센서, 3) FIR 카메라와 Radar/Lidar 센서, 4) FIR 카메라 및 CMOS 카메라와 Radar/Lidar 의 4가지 조합 중, 어느 한 가지 퓨전 방법을 선택하여 센서 퓨전을 수행할 수 있다.
상기 센서퓨전 처리부(130)는 도 3을 참조하여 상세히 설명한다.
상기 충돌 판단부(140)는 보행자에 관련된 정보(예 : 보행자 거리정보, 보행자 속도정보, 보행자 이동방향정보)와 차량에서 검출할 수 있는 다른 정보(예 : 차속 정보, 요 레이트 정보, 운전자 상태정보, 차선 정보, 주변 차량정보 등)를 이용하여 충돌 가능성의 판단과 충돌 가능 시간을 예측하여 충돌 회피 동작을 수행할 수 있도록 한다.
상기 차량 제어부(150)는 상기 충돌 판단부(140)에서 출력된 제어신호에 의해 차량의 제어에 직접적으로 개입하여 경고 출력, 종방향 제동(예 : 브레이크 제동), 또는 횡방향 제어(예 : 차선 변경을 위한 스티어링 휠 제어)를 통해 보행자와의 충돌을 회피할 수 있도록 한다.
도 2는 상기 도 1에 있어서, 이미지 센서와 거리 센서의 설치 위치를 설명하기 위한 일 예시도이다.
도 2에 도시된 바와 같이, 상기 적어도 하나 이상의 이미지 센서(111, 112) 및 거리 센서(121, 122)를 차량의 전방을 향하여 설치한다고 가정할 경우, 예컨대 제1 이미지 센서(111) 및 제1,2 거리 센서(121, 122)가 차량의 범퍼나 펜더(Fender)의 내부에 설치될 수 있으며, 제2 이미지 센서(112)가 전방 유리창의 내측에 설치될 수 있다.
상기 각 센서들(111, 112, 121, 122)의 설치 위치에 따라, 상기 제1 이미지 센서(111)와 제2 이미지 센서(112)간에는 종방향으로 높이 차이(h)가 발생할 수 있으며 횡방향으로 거리 차이(d)가 발생할 수 있다. 또한 상기 제2 이미지 센서(112)와 제1,2 거리 센서(121, 122)간에도 횡방향으로 거리 차이(e)가 발생할 수 있다.
물론 상기 각 센서들(111, 112, 121, 122)의 설치 위치나 설치 개수가 변경됨에 따라 상기 종방향 높이 차이(h)나 횡방향 거리 차이(d, e)도 변경될 수 있다.
따라서 상기 제1 이미지 센서(111)와 제2 이미지 센서(112)의 설치 위치에 따라 패럴렉스 오차(Parallex error)가 발생할 수 있으며, 상기 패럴렉스 오차를 이용해 3차원 영상을 구성함으로써, 삼각측량을 이용한 거리측정방법이나 피타고라스 정리를 이용한 거리측정방법을 이용하여 차량과 보행자와의 거리를 산출할 수도 있다.
도 3은 상기 도 1에 있어서, 센서퓨전 처리부의 상세한 구성을 설명하기 위한 예시도이다.
도 3에 도시된 바와 같이, 상기 센서퓨전 처리부(130)는 제1 보행자 감지부(131), 장애물 감지부(132), 제2 보행자 감지부(133), 영상 퓨전부(134), 및 보행자 및 거리 인식부(135)를 포함한다.
상기 제1 보행자 감지부(131)는 상기 제1 카메라(111)(예 : FIR 카메라)로부터 획득한 영상을 입력받아 사람의 체온으로부터 발산되는 적외선 영상을 이용해 보행자가 있는지 여부를 감지한다.
상기 제2 보행자 감지부(133)는 상기 제2 카메라(112)(예 : CMOS 카메라)로부터 획득한 영상을 입력받아 그 영상에 포함된 사람의 형상(예 : 머리, 몸통, 팔다리 등이 객체화된 형상)으로부터 보행자가 있는지 여부를 감지한다.
상기 장애물 감지부(132)는 상기 거리 센서부(120)(예 : 제1 거리 센서 or 제2 거리 센서)로부터 검출된 거리 신호를 입력받아 전방에 장애물(또는 보행자)이 있는지 여부를 감지한다.
상기 영상 퓨전부(134)는 상기 제1 보행자 감지부(131)를 통해 감지된 보행자 정보와 상기 제2 보행자 감지부(133)를 통해 감지된 보행자 정보를 영상 퓨전하여 더 정확한 보행자 감지를 수행한다.
예컨대 상기 제1 보행자 감지부(131)나 제2 보행자 감지부(133)를 통해 감지된 정보만으로는 장애물인지 보행자인지 정확히 판단할 수 없는 경우가 있다. 즉, 자전거나 오토바이에 탑승한 사람이거나, 키가 작은 아이이거나, 길가에 앉아 있는 사람이거나, 쓰러져 있는 사람의 경우에는 그 형상만으로는 보행자인지 장애물인지 정확히 판단할 수 없는 경우가 있다. 따라서 상기 제1 보행자 감지부(131)나 제2 보행자 감지부(133)를 통해 감지된 정보를 영상 퓨전시킴으로써 더 정확한 보행자 감지를 수행한다.
상기 보행자 및 거리 인식부(135)는 상기 제1,2 보행자 감지부(131, 133), 장애물 감지부(132) 및 영상 퓨전부(134)의 정보를 선택적으로 퓨전시켜 감지 대상이 장애물인지 보행자인지를 판단하고, 또한 차량과 보행자(또는 장애물)간의 거리를 더 정확히 산정한다.
상기 퓨전은 상술한 4가지 퓨전 방법 중 어느 하나를 선택적으로 수행할 수 있다. 이하 상기 4가지 퓨전 방법에 대해서 설명한다.
1) 복수의 이미지 센서의 퓨전(예 : FIR 카메라와 CMOS 카메라)
우선 야간(또는 악천후)에는 상기 제1 카메라(111)(예 : FIR 카메라)를 통해 감지된 대상에 대해 관심영역(ROI : Region Of Interest)을 설정하고 그 관심영역을 우선 감지 대상으로 설정함으로써 빠르고 정확한 보행자 감지를 수행하는데 유리할 수 있다. 그리고 상기 제2 카메라(112)(예 : CMOS 카메라)와의 퓨전을 통해 더 정확한 보행자 감지를 수행할 수 있다.
예컨대 상기 제2 카메라(112)(예 : CMOS 카메라)를 통해 보행자의 신체 일부(예 : 발 or 다리)가 감지되었을 경우 상기 제1 카메라(111)(예 : FIR 카메라)를 통해 감지된 영상과의 매칭을 통해 보행자 여부를 판단하고 그 보행자와의 거리를 산정할 수 있다. 다시 말해 상기 제1 카메라(111)나 제2 카메라(112) 중 어느 하나를 통해서 감지된 장애물(예 : 보행자의 팔 다리와 같은 신체 일부)의 형상에 의해서는 장애물인지 보행자인지 정확히 판단할 수 없으므로 두 영상 정보를 융합함으로써 상기 장애물이 보행자의 신체 일부인지를 정확히 확인할 수 있도록 한다.
특히 열원을 감지하는 상기 제1 카메라(111)(예 : FIR 카메라)는 야간 보행자의 감지 및 탐색이 용이하지만, 계절(예 : 여름, 겨울)이나 날씨에 따라 보행자의 열원 패턴(즉, 계절에 따라 입는 옷의 모양과 두께에 따라 달라지는 열원의 패턴)이 다르기 때문에 상기 제2 카메라(112)(예 : CMOS 카메라)를 추가로 이용하여 보행자를 인식할 경우 보행자 감지 성능을 향상시킬 수 있게 된다.
2) 이미지 센서와 거리 센서의 퓨전(예 : CMOS 카메라와 Radar/Lidar 센서)
한편 주간에는 상기 제2 카메라(112)(예 : CMOS 카메라)와 상기 거리 센서부(120)(예 : Radar 센서 or Lidar 센서)를 통해 감지된 대상에 대해 관심영역(ROI : Region Of Interest)을 설정하고 그 관심영역을 우선 감지 대상으로 설정함으로써 빠르고 정확한 보행자 감지를 수행하는데 유리할 수 있다.
3) 이미지 센서와 거리 센서의 퓨전(예 : FIR 카메라와 Radar/Lidar 센서)
또한 상기 제1 카메라(111)(예 : FIR 카메라)와 상기 거리 센서부(120)(예 : Radar 센서 or Lidar 센서)의 퓨전을 통하여 상기 거리 센서부(120)를 통해 감지된 장애물(또는 보행자)과 상기 제1 카메라(111)에서 감지된 보행자 정보(즉, 보행자임이 유력한 대상의 정보)를 융합하여 야간 보행자 감지 성능을 향상시킬 수 있다.
4) 복수의 이미지 센서와 거리 센서의 퓨전(예 : FIR 카메라 및 CMOS 카메라와 Radar/Lidar 센서)
상기 제1 카메라(111)(예 : FIR 카메라), 상기 제2 카메라(112)(예 : CMOS 카메라), 및 상기 거리 센서부(120)(예 : Radar 센서 or Lidar 센서)의 퓨전은, 상기 거리 센서부(120)로부터 보행자(혹은 장애물)의 대상 정보를 입력받아 관심영역(ROI)을 설정하고 제1 카메라(111)와 제2 카메라(112) 영상을 이용하여 보행자를 감지하며, 제1 보행자 감지부(131)와 제2 보행자 감지부(133)의 감지 정보를 이용해 최종 보행자 인식을 수행한다. 이때 상기 제1 카메라(111)와 제2 카메라(112) 영상의 패럴렉스에 따른 거리와 거리 센서부(120)로부터 검출된 거리를 비교하여 보행자 감지 성능을 높이고 오인식률을 최소화할 수 있다.
상기와 같이 센서퓨전 처리부(130)에서 보행자 및 거리를 정확히 인식한 후에는 그 보행자에 관련된 정보(예 : 보행자 거리정보, 보행자 속도정보, 보행자 이동방향정보)와 차량에서 검출할 수 있는 다른 정보(예 : 차속 정보, 요 레이트 정보, 운전자 상태정보, 차선 정보, 주변 차량정보 등)를 이용하여 충돌 가능성을 판단한다. 그리고 충돌 가능성이 있을 경우 충돌 가능 시간을 예측하여 충돌 회피 동작을 수행할 수 있도록 한다.
도 4는 상기 도 1에 있어서, 충돌 판단부의 상세한 구성을 설명하기 위한 예시도이다.
도 4에 도시된 바와 같이, 상기 충돌 판단부(140)는 충돌예상시간 산정부(141)와 상태판단 및 제어신호 출력부(142)를 포함한다.
상기 충돌예상시간 산정부(141)는 보행자에 관련된 정보(예 : 보행자 거리정보, 보행자 속도정보, 보행자 이동방향정보 등)와 차량에서 검출할 수 있는 정보(예 : 차속 정보, 요 레이트 정보 등)를 조합하여 충돌예상시간(TTC : Time To Collision)을 산정한다.
상기 상태판단 및 제어신호 출력부(142)는 운전자가 충돌을 회피할 수 있는 상태인지 판단하고, 그 운전자의 상태에 따라 경고신호의 출력에서부터 차량의 제동까지 개입할 정도를 판단한다.
즉, 상기 상태판단 및 제어신호 출력부(142)는 보행자에 관련된 정보(예 : 보행자 거리정보, 보행자 속도정보, 보행자 이동방향정보 등) 및 그 정보로부터 산출된 충돌예상시간 정보와 차량에서 검출할 수 있는 정보(예 : 차속 정보, 요 레이트 정보, 차선 정보, 주변 차량정보 등) 및 운전자 상태정보(예 : 정상, 비정상)를 조합하여 운전자가 충돌을 회피할 수 있는 상태인지 판단한다.
그리고 상기 상태판단 및 제어신호 출력부(142)는 상기 판단 결과에 해당하는 제어신호를 차량 제어부(150)에 출력함으로써, 상기 차량 제어부(150)를 통해 해당하는 구성수단(예 : 스피커나 진동 인디케이터, 브레이크, 스티어링 휠 등)을 제어하게 한다. 즉, 경고신호를 출력하거나 차량 제어나 제동에 직접적으로 개입하여 자동으로 충돌 회피 동작을 수행한다.
도 5는 상기 도 4에 있어서, 상태판단 및 제어신호 출력부의 구체적인 동작을 설명하기 위한 예시도이다.
도 5에 도시된 바와 같이, 상기 상태판단 및 제어신호 출력부(142)는 보행자에 관련된 정보(예 : 보행자 거리정보, 보행자 속도정보, 보행자 이동방향정보 등), 그 정보로부터 산출된 충돌예상시간 정보와 차량에서 검출할 수 있는 정보(예 : 차속 정보, 요 레이트 정보, 차선 정보, 주변 차량정보 등) 및 운전자 상태정보(예 : 정상, 비정상)를 미리 설정된 기준정보와 비교한다(S101).
그리고 상기 비교 결과에 따라 충돌 위험이 있는지 판단한다(S102).
상기 판단 결과에 따라 차량과 보행자간에 충돌 위험이 없을 경우(S102의 아니오)에는 정상 주행신호를 출력한다(S103).
만약 상기 판단 결과에 따라 차량과 보행자간에 충돌 위험이 있을 경우(S102의 예)에는 운전자가 충돌을 회피할 수 있는 상태인지 판단한다(S104).
상기 판단 결과에 따라 운전자가 직접 충돌 회피가 가능한 상태인 경우(S104의 예)에는 경고신호를 출력하고(S105), 또한 제동압 보조신호를 출력하여 운전자가 제동을 용이하게 수행할 수 있도록 한다(S106).
그러나 상기 판단 결과 운전자가 충돌을 회피할 수 없는 상태에 있을 경우(S104의 아니오)에는 차량 제어부(150)를 통해 차량을 제어하여 충돌 회피 동작이 가능한지 판단한다(S107).
그리고 상기 판단 결과에 따라 차량 제동을 통하여 충돌 회피가 가능할 경우(S107의 예)에는 종방향 제동신호를 출력한다(S108). 즉, 브레이크 제동에 개입하여 차량의 주행을 정지시킴으로써 보행자와의 충돌을 방지한다.
그러나 차량 제동을 통해서 충돌 회피가 어려울 경우(S107의 아니오)에는 주변(또는 다른 차선)에 차량이 있는지 판단(S109)한 후, 주변에 차량이 없을 경우(S109의 아니오)에는 횡방향 제어신호를 출력하여(S110) 차량의 주행 방향을 다른 차선으로 바꿈으로써 보행자와의 충돌을 방지하며, 만약 주변에 차량이 있을 경우(S109의 예)에는 종방향 제동신호를 출력하여(S108) 차량의 주행속도를 최대한 감소시킴으로써 충돌에 의한 보행자의 충격을 최소화시킬 수 있도록 한다.
여기서 주변차량 존재 여부는 구비된 레이더 센서, 초음파 센서 등에 의해 감지할 수 있다.
상기와 같이 본 발명은 차량의 이동 속도와 보행자의 이동 방향, 거리, 속도를 고려하여 충돌 가능성을 판단하며, 또한 충돌예상시간(TTC)의 값에 따라 상기 차량 제어부(150)를 통해 경고, 제동압 보조, 종방향 제동, 및 횡방향 제어 등의 차량 제어에 개입할 수 있도록 한다. 그리고 상기 차량 제어부(150)는 운전자의 제동이나 조향 작동 시 곧바로 상기 개입을 해제함으로써 운전자가 제동이나 조향 작동에 불편을 느끼지 않도록 한다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
110 : 이미지 센서부 111 : 제1 이미지 센서
112 : 제2 이미지 센서 120 : 거리 센서부
121 : 제1 거리 센서 122 : 제2 거리 센서
130 : 센서퓨전 처리부 131 : 제1 보행자 감지부
132 : 장애물 감지부 133 : 제2 보행자 감지부
134 : 영상 퓨전부 135 : 보행자 및 거리 인식부
140 : 충돌 판단부 141 : 충돌예상시간 산정부
142 : 상태판단 및 제어신호 출력부 150 : 차량 제어부

Claims (16)

  1. 차량 주행방향에 있는 대상 물체가 촬영된 영상을 획득하는 이미지 센서부;
    차량 주행방향에 있는 대상 물체로부터 반사되는 신호를 검출하여 차량과 상기 대상 물체간의 거리 정보를 획득하는 거리 센서부;
    상기 이미지 센서부 및 거리 센서부로부터 검출된 센싱 정보들을 퓨전시켜 보행자를 감지하고 그 보행자에 관련된 적어도 하나 이상의 정보를 산출하는 센서퓨전 처리부; 및
    상기 적어도 하나 이상의 보행자에 관련된 정보와 차량에 관련된 정보를 조합하여 차량과 보행자간에 충돌위험이 있는지 판단하고 충돌위험이 있다고 판단될 경우, 충돌회피가 가능한 상황들을 예측하여 각 상황별로 충돌회피를 위한 제어신호를 출력하는 충돌 판단부;를 포함하되,
    상기 이미지 센서부는, 원적외선(FIR) 카메라인 제1 이미지 센서, 및 씨모스(CMOS) 카메라와 씨씨디(CCD) 카메라 중 적어도 하나인 제2 이미지 센서를 포함하고,
    상기 센서퓨전 처리부는,
    야간 또는 악천후시에는 상기 제1 이미지 센서를 통해 관심영역(ROI)를 설정하고 상기 제2 이미지 센서와의 퓨전을 통해 보행자를 감지하며,
    주간에는 상기 거리 센서를 통해 관심영역(ROI)을 설정하고 상기 제2 이미지 센서와의 퓨전을 통해 보행자를 감지하며,
    야간에는 상기 제1 이미지 센서와 상기 거리 센서의 퓨전을 통해 보행자를 감지하며,
    상기 제1,2 이미지 센서 및 거리 센서를 모두 퓨전하여 보행자를 감지할 경우에는 상기 제1,2 이미지 센서의 패럴렉스 오차를 이용해 검출된 거리와 상기 거리 센서에서 검출된 거리를 비교하여 보행자를 감지하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 장치.
  2. 제 1항에 있어서, 상기 보행자 감지 및 충돌 회피 장치는,
    상기 충돌 판단부에서 출력된 제어신호에 의해 차량 제어에 개입하여 충돌회피 동작을 수행하는 차량 제어부;를 더 포함하고,
    상기 충돌회피 동작은 사운드나 진동을 이용하여 사용자에게 경고신호를 출력하는 동작, 운전자의 제동을 보조하기 위한 제동압 보조신호를 출력하는 동작, 종방향 제동을 통해 차량의 주행을 정지시키는 동작, 횡방향 제어를 통해 차선을 변경하는 동작 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 장치.
  3. 삭제
  4. 제 1항에 있어서, 상기 거리 센서부는,
    레이더(Radar) 센서, 라이다(LIDAR) 센서, 초음파 거리 센서, 및 적외선 거리 센서 중 적어도 하나 이상의 거리 센서를 포함하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 장치.
  5. 제 1항에 있어서, 상기 센서퓨전 처리부는,
    상기 이미지 센서부의 제1 이미지 센서 및 제2 이미지 센서로부터 획득한 영상을 이용하여 대상 물체가 보행자인지 감지하는 제1,2 보행자 감지부;
    상기 거리 센서부로부터 검출된 거리 정보를 이용하여 장애물이 있는지 여부를 감지하는 장애물 감지부;
    상기 제1,2 보행자 감지부를 통해 각기 감지된 보행자 영상 정보를 퓨전하는 영상 퓨전부; 및
    상기 제1,2 보행자 감지부, 장애물 감지부 및 영상 퓨전부로부터 출력된 정보를 선택적으로 퓨전시켜 상기 감지된 대상 물체가 장애물인지 보행자인지를 판단하고, 차량과 보행자간의 거리를 산정하는 보행자 및 거리 인식부;를 포함하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 장치.
  6. 삭제
  7. 제 1항에 있어서, 상기 충돌 판단부는,
    보행자에 관련된 정보와 차량에 관련된 정보를 조합하여 충돌예상시간을 산정하는 충돌예상시간 산정부; 및
    보행자에 관련된 정보, 충돌예상시간 정보, 차량에 관련된 정보 및 운전자 상태정보를 조합하여 운전자가 충돌을 회피할 수 있는 상태인지 판단하고, 그 운전자의 상태와 주행상황에 따라 차량과 보행자의 충돌위험이 있는지 판단하여 충돌회피가 가능한 상황별로 충돌회피를 위한 제어신호를 출력하는 상태판단 및 제어신호 출력부;를 포함하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 장치.
  8. 제 7항에 있어서,
    상기 보행자에 관련된 정보는 보행자 거리정보, 보행자 속도정보, 및 보행자 이동방향정보 중 적어도 하나 이상을 포함하고,
    상기 차량에 관련된 정보는 차속 정보, 요 레이트 정보, 차선 정보, 및 주변 차량정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 장치.
  9. 제 7항에 있어서, 상기 상태판단 및 제어신호 출력부는,
    충돌 위험이 있을 경우 운전자가 충돌을 회피할 수 있는 정상 상태이면 운전자의 제동을 보조하기 위한 제동압 보조신호와 경고신호를 출력하며,
    상기 운전자가 충돌을 회피할 수 없는 비정상 상태이면서 주행방향 변경이나 차선변경이 어려운 경우 종방향 제동신호를 출력하며,
    상기 종방향 제동에 의한 충돌 회피가 어렵고 주변에 차량이 없을 경우 주행방향 변경이나 차선 변경을 위한 횡방향 제어신호를 출력하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 장치.
  10. 원적외선(FIR) 카메라인 제1 이미지 센서, 및 씨모스(CMOS) 카메라와 씨씨디(CCD) 카메라 중 적어도 하나인 제2 이미지 센서를 이용하여 차량 주행방향에 있는 대상 물체가 촬영된 영상을 획득하는 단계;
    차량 주행방향에 있는 대상 물체로부터 반사되는 신호를 검출하여 차량과 상기 대상 물체간의 거리 정보를 획득하는 단계;
    상기 적어도 하나 이상의 영상, 거리 정보, 및 차량에 설치된 적어도 하나 이상의 센서로부터 검출된 센싱 정보들을 퓨전시켜 보행자를 감지하고 그 보행자에 관련된 적어도 하나 이상의 정보를 산출하는 단계; 및
    상기 적어도 하나 이상의 보행자에 관련된 정보와 차량에 관련된 정보를 조합하여 차량과 보행자의 충돌위험이 있는지 판단하고, 충돌위험이 있다고 판단될 경우 충돌회피가 가능한 상황들을 예측하여 각 상황별로 충돌회피를 위한 제어신호를 출력하는 단계;를 포함하되,
    상기 센싱 정보들을 퓨전시켜 보행자를 감지하는 단계에서,
    야간 또는 악천후시에는 상기 제1 이미지 센서를 통해 관심영역(ROI)를 설정하고 상기 제2 이미지 센서와의 퓨전을 통해 보행자를 감지하며,
    주간에는 상기 거리 센서를 통해 관심영역(ROI)을 설정하고 상기 제2 이미지 센서와의 퓨전을 통해 보행자를 감지하며,
    야간에는 상기 제1 이미지 센서와 상기 거리 센서의 퓨전을 통해 보행자를 감지하며,
    상기 제1,2 이미지 센서 및 거리 센서를 모두 퓨전하여 보행자를 감지할 경우에는 상기 제1,2 이미지 센서의 패럴렉스 오차를 이용해 검출된 거리와 상기 거리 센서에서 검출된 거리를 비교하여 보행자를 감지하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 방법.
  11. 제 10항에 있어서,
    상기 충돌회피를 위한 제어신호에 의해 차량 제어에 개입하여 충돌회피 동작을 수행하는 단계;를 더 포함하고,
    상기 충돌회피 동작은 사운드나 진동을 이용하여 사용자에게 경고신호를 출력하는 동작, 운전자의 제동을 보조하기 위한 제동압 보조신호를 출력하는 동작, 종방향 제동을 통해 차량의 주행을 정지시키는 동작, 횡방향 제어를 통해 차선을 변경하는 동작 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 방법.
  12. 삭제
  13. 제 10항에 있어서,
    보행자에 관련된 정보와 차량에 관련된 정보를 조합하여 충돌예상시간을 산정하는 단계;를 더 포함하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 방법.
  14. 제 10항에 있어서, 상기 충돌회피를 위한 제어신호를 출력하는 단계는,
    보행자에 관련된 정보, 충돌예상시간 정보, 차량에 관련된 정보 및 운전자 상태정보를 조합하여 운전자가 충돌을 회피할 수 있는 상태인지 판단하고, 그 운전자의 상태와 주행상황에 따라 차량과 보행자의 충돌위험이 있는지 판단하여 충돌회피가 가능한 상황별로 충돌회피를 위한 제어신호를 출력하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 방법.
  15. 제 13항 또는 제 14항에 있어서,
    상기 보행자에 관련된 정보는 보행자 거리정보, 보행자 속도정보, 및 보행자 이동방향정보 중 적어도 하나 이상을 포함하고,
    상기 차량에 관련된 정보는 차속 정보, 요 레이트 정보, 차선 정보, 및 주변 차량정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 방법.
  16. 제 10항에 있어서, 상기 충돌회피를 위한 제어신호를 출력하는 단계는,
    충돌 위험이 있을 경우 운전자가 충돌을 회피할 수 있는 정상 상태이면 운전자의 제동을 보조하기 위한 제동압 보조신호와 경고신호를 출력하며,
    상기 운전자가 충돌을 회피할 수 없는 비정상 상태이면서 주행방향 변경이나 차선변경이 어려운 경우 종방향 제동신호를 출력하며,
    상기 종방향 제동에 의한 충돌 회피가 어렵고 주변에 차량이 없을 경우 주행방향 변경이나 차선 변경을 위한 횡방향 제어신호를 출력하는 것을 특징으로 하는 보행자 감지 및 충돌 회피 방법.
KR20130110133A 2013-09-13 2013-09-13 보행자 감지 및 충돌 회피 장치 및 방법 KR101489836B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130110133A KR101489836B1 (ko) 2013-09-13 2013-09-13 보행자 감지 및 충돌 회피 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130110133A KR101489836B1 (ko) 2013-09-13 2013-09-13 보행자 감지 및 충돌 회피 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101489836B1 true KR101489836B1 (ko) 2015-02-04

Family

ID=52590289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130110133A KR101489836B1 (ko) 2013-09-13 2013-09-13 보행자 감지 및 충돌 회피 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101489836B1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016159442A1 (ko) * 2015-04-01 2016-10-06 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법
WO2017043705A1 (ko) * 2015-09-07 2017-03-16 엘지전자 주식회사 센서, 헤드 램프 및 차량
KR20170050362A (ko) * 2015-10-30 2017-05-11 엘지전자 주식회사 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
KR20170077314A (ko) * 2015-12-28 2017-07-06 자동차부품연구원 초음파 센서를 이용한 충돌 회피 장치 및 방법
CN107719348A (zh) * 2017-10-11 2018-02-23 湖南纽曼车联网科技有限公司 一种辅助刹车方法及装置
KR20180045662A (ko) 2016-10-26 2018-05-04 주식회사 만도 센서 융합을 통한 차량의 횡방향 거리 측정 장치 및 방법
KR20180078986A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR20180078983A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
CN108973862A (zh) * 2018-07-25 2018-12-11 深圳安易行科技有限公司 车载信息处理方法及相关产品
CN109747530A (zh) * 2017-11-02 2019-05-14 郭宇铮 一种双摄像头和毫米波融合汽车感知系统
CN110136485A (zh) * 2019-06-20 2019-08-16 吉林大学 无红绿灯路段行人过斑马线汽车辅助提醒系统及方法
KR20190108018A (ko) * 2018-03-13 2019-09-23 재단법인대구경북과학기술원 융합 센서를 이용한 오브젝트 탐지 장치 및 방법
CN110333725A (zh) * 2019-07-26 2019-10-15 爱驰汽车有限公司 自动驾驶避让行人的方法、系统、设备及存储介质
CN111098853A (zh) * 2018-10-25 2020-05-05 株式会社万都 驾驶员辅助系统及其控制方法
KR20210016940A (ko) * 2019-08-06 2021-02-17 현대모비스 주식회사 자동 긴급 제동장치 및 그 제어방법
CN113657331A (zh) * 2021-08-23 2021-11-16 深圳科卫机器人科技有限公司 警戒线红外感应识别方法、装置、计算机设备及存储介质
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
KR20230105912A (ko) * 2022-01-05 2023-07-12 대구대학교 산학협력단 항온동물 탐지 및 접근 예지 학습을 통한 충돌 위험 알림 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072131A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 이미지 센서와 거리센서의 데이터 융합에 의한 상황인식 방법 및 그 장치
KR20120140545A (ko) * 2011-06-21 2012-12-31 현대자동차주식회사 보행자 보호 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072131A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 이미지 센서와 거리센서의 데이터 융합에 의한 상황인식 방법 및 그 장치
KR20120140545A (ko) * 2011-06-21 2012-12-31 현대자동차주식회사 보행자 보호 시스템 및 그 방법

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016159442A1 (ko) * 2015-04-01 2016-10-06 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법
US10522039B2 (en) 2015-04-01 2019-12-31 Plk Technologies Co., Ltd. Pedestrian recognition apparatus and method
WO2017043705A1 (ko) * 2015-09-07 2017-03-16 엘지전자 주식회사 센서, 헤드 램프 및 차량
KR20170050362A (ko) * 2015-10-30 2017-05-11 엘지전자 주식회사 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
KR102310782B1 (ko) 2015-10-30 2021-10-12 엘지전자 주식회사 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
KR101868088B1 (ko) * 2015-12-28 2018-07-17 자동차부품연구원 초음파 센서를 이용한 충돌 회피 장치 및 방법
KR20170077314A (ko) * 2015-12-28 2017-07-06 자동차부품연구원 초음파 센서를 이용한 충돌 회피 장치 및 방법
KR20180045662A (ko) 2016-10-26 2018-05-04 주식회사 만도 센서 융합을 통한 차량의 횡방향 거리 측정 장치 및 방법
KR101996418B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US10821946B2 (en) 2016-12-30 2020-11-03 Hyundai Motor Company Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
US11584340B2 (en) 2016-12-30 2023-02-21 Hyundai Motor Company Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
KR20180078983A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR20180078986A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US10814840B2 (en) 2016-12-30 2020-10-27 Hyundai Motor Company Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
CN107719348A (zh) * 2017-10-11 2018-02-23 湖南纽曼车联网科技有限公司 一种辅助刹车方法及装置
CN109747530A (zh) * 2017-11-02 2019-05-14 郭宇铮 一种双摄像头和毫米波融合汽车感知系统
KR20190108018A (ko) * 2018-03-13 2019-09-23 재단법인대구경북과학기술원 융합 센서를 이용한 오브젝트 탐지 장치 및 방법
KR102090487B1 (ko) * 2018-03-13 2020-03-18 재단법인대구경북과학기술원 융합 센서를 이용한 오브젝트 탐지 장치 및 방법
CN108973862A (zh) * 2018-07-25 2018-12-11 深圳安易行科技有限公司 车载信息处理方法及相关产品
CN111098853A (zh) * 2018-10-25 2020-05-05 株式会社万都 驾驶员辅助系统及其控制方法
CN111098853B (zh) * 2018-10-25 2023-08-25 汉拿科锐动电子股份公司 驾驶员辅助系统及其控制方法
CN110136485A (zh) * 2019-06-20 2019-08-16 吉林大学 无红绿灯路段行人过斑马线汽车辅助提醒系统及方法
CN110136485B (zh) * 2019-06-20 2024-01-26 吉林大学 无红绿灯路段行人过斑马线汽车辅助提醒系统及方法
CN110333725A (zh) * 2019-07-26 2019-10-15 爱驰汽车有限公司 自动驾驶避让行人的方法、系统、设备及存储介质
CN110333725B (zh) * 2019-07-26 2022-05-20 爱驰汽车有限公司 自动驾驶避让行人的方法、系统、设备及存储介质
KR20210016940A (ko) * 2019-08-06 2021-02-17 현대모비스 주식회사 자동 긴급 제동장치 및 그 제어방법
KR102646251B1 (ko) 2019-08-06 2024-03-11 현대모비스 주식회사 자동 긴급 제동장치 및 그 제어방법
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
CN113657331A (zh) * 2021-08-23 2021-11-16 深圳科卫机器人科技有限公司 警戒线红外感应识别方法、装置、计算机设备及存储介质
KR20230105912A (ko) * 2022-01-05 2023-07-12 대구대학교 산학협력단 항온동물 탐지 및 접근 예지 학습을 통한 충돌 위험 알림 시스템 및 방법
KR102658708B1 (ko) * 2022-01-05 2024-04-17 대구대학교 산학협력단 항온동물 탐지 및 접근 예지 학습을 통한 충돌 위험 알림 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR101489836B1 (ko) 보행자 감지 및 충돌 회피 장치 및 방법
EP3342661B1 (en) Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
CN108877261B (zh) 具有用于检测从后方靠近的车辆的装置的摩托车
KR101996419B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
CN112706763B (zh) 车辆及控制该车辆的方法
KR101628503B1 (ko) 운전자 보조장치 및 그 작동 방법
JP5345350B2 (ja) 車両の運転支援装置
EP3273423B1 (en) Device and method for a vehicle for recognizing a pedestrian
KR102178433B1 (ko) 긴급 제동 시스템 및 그의 보행자 인식 방법
KR101759804B1 (ko) 운전 지원 장치 및 운전 지원 방법
US9020747B2 (en) Method for recognizing a turn-off maneuver
JP5855272B2 (ja) ブレーキ状況を認識する方法および装置
US20190012920A1 (en) Driving assistance device and driving assistance method
KR20190047458A (ko) 주변 상황 판단을 통한 자동 긴급 제동 시스템 및 방법
KR101875922B1 (ko) Aeb 시스템을 제어하기 위한 장치 및 그 방법
KR20170040604A (ko) 네비게이션 정보를 이용한 충돌 회피 장치 및 방법
KR20160115448A (ko) 차량의 운전 보조 시스템 및 운전 보조 방법
US20190130752A1 (en) Object detection apparatus and object detection method
KR102139590B1 (ko) 교차로에서의 차량 자동 긴급 제동 시스템 및 방법
KR20170050433A (ko) 차량 제어 시스템 및 방법
JP2016011031A (ja) 車両の運転支援装置
JP3872179B2 (ja) 車両の衝突防止装置
JP2012008718A (ja) 障害物回避装置
JP4116643B2 (ja) 車両周囲の少なくとも１つの物体を分類する装置
JP2019046143A (ja) 走行支援装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171207

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 6