KR20170119059A - Aeb 센서융합 시스템 - Google Patents

Aeb 센서융합 시스템 Download PDF

Info

Publication number
KR20170119059A
KR20170119059A KR1020160046712A KR20160046712A KR20170119059A KR 20170119059 A KR20170119059 A KR 20170119059A KR 1020160046712 A KR1020160046712 A KR 1020160046712A KR 20160046712 A KR20160046712 A KR 20160046712A KR 20170119059 A KR20170119059 A KR 20170119059A
Authority
KR
South Korea
Prior art keywords
information
far
sensor
pedestrian
radar detection
Prior art date
Application number
KR1020160046712A
Other languages
English (en)
Inventor
이완재
이강훈
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160046712A priority Critical patent/KR20170119059A/ko
Publication of KR20170119059A publication Critical patent/KR20170119059A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B60T8/171—Detecting parameters used in the regulation; Measuring values used in the regulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량에 적용된 자동 긴급 제동(AEB) 시스템의 보행자 인식 시스템에 관한 것으로서, 보다 상세하게는 보행자 인식 시스템이 레이더 센서와 원적외선 카메라 센서를 포함하고 센싱 결과를 융합하여 이용함으로써 야간에도 보다 정확하게 인지거리와 인지각도를 충족시킬 수 있는 AEB 센서융합 시스템에 관한 것이다.
보다 구체적으로 본 발명에 대하여 설명하면, 본 발명은 AEB(Autonomous Emergency Braking)의 보행자 인식 시스템에 있어서, 반사되는 전파를 이용해 물체를 탐지하여 레이더 탐지정보를 생성하는 레이더 센서, 물체가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 원적외선 카메라 센서 및 상기 레이더 탐지정보 및 원적외선 인식정보를 융합하는 정보융합부를 포함하는 AEB 센서융합 시스템을 제공한다.

Description

AEB 센서융합 시스템{SENSOR CONVERGENCE SYSTEM IN AUTONOMOUS EMERGENCY BRAKING}
본 발명은 차량에 적용된 자동 긴급 제동(AEB) 시스템의 보행자 인식 시스템에 관한 것으로서, 보다 상세하게는 보행자 인식 시스템이 레이더 센서와 원적외선 카메라 센서를 포함하고 센싱 결과를 융합하여 이용함으로써 야간에도 보다 정확하게 인지거리와 인지각도를 충족시킬 수 있는 AEB 센서융합 시스템에 관한 것이다.
보행자 보호에 대한 사회적 관심이 증가하면서 다양한 능동안전 시스템들이 개발 및 적용되고 있다. 보행자 AEB 시스템(Pedestrian Autonomous Emergency Braking System) 역시 그 중 하나이며 유럽에서의 적용이 가시화됨에 따라 관련 기술들이 다수 개발되고 있다.
AEB란 센서를 통하여 전방의 물체와 사람을 인식하고, 인공지능을 통하여 긴급 상황이라고 판단될 경우 자동으로 차량을 제동하는 기술이다.
따라서 보행자 AEB 시스템은 보행자를 자동으로 인지함과 동시에 차량과 보행자 간의 종/횡방향 상대위치와 상대속도를 알 수 있어야 한다. 이를 위해서 종래에는 스테레오 카메라를 이용하거나 Lidar(Light Detection and Ranging = Laser Radar) 센서와 카메라의 융합, 카메라와 레이더의 융합 등을 적용하여 위의 과제를 수행하였으나 이와 같은 시스템들은 야간 또는 저조도 상황에서 성능의 제약이 있어 보행자 AEB 시스템 기준을 저조도와 싸이클리스트(cyclist)에 대해서도 확대해가는 현재의 추세에 부합하지 않는 문제점이 있다.
따라서 야간 또는 저조도 상황에서도 보행자를 정확히 인식하여 보행자와 차량 간의 상대위치/상대속도를 보다 적은 오차로 추정할 수 있는 AEB 시스템이 필요한 실정이다.
본 발명은 전술한 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 저조도 상황 또는 야간 상황에서도 차량과 보행자 간의 종/횡방향 상대위치 및 상대속도를 보다 높은 정확도로 측정할 수 있는 AEB 센서융합 시스템을 제공하는데 그 목적이 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 종래기술의 문제점을 해결하기 위한 본 발명에 의하면, AEB(Autonomous Emergency Braking)의 보행자 인식 시스템에 있어서, 반사되는 전파를 이용해 물체를 탐지하여 레이더 탐지정보를 생성하는 레이더 센서, 물체가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 원적외선 카메라 센서 및 상기 레이더 탐지정보 및 원적외선 인식정보를 융합하는 정보융합부를 포함하는 AEB 센서융합 시스템을 제공한다.
본 발명의 상기 정보융합부는, 상기 레이더 탐지정보와 원적외선 인식정보 간의 상관관계를 계산하여 행렬을 구성하는 정합성 판단부, 상기 정합성 판단부에서 구성한 행렬을 이용해 측정치를 생성하고, 상기 측정치와 이전 시점의 트랙 추적정보 간의 상태변수 영역에서의 유사도를 계산하는 유사도 계산부, 상기 측정치와 상태변수를 이용해 필터링(Filtering)을 수행하여 각 추적정보를 갱신하는 상태변수 갱신부 및 상기 트랙의 병합, 생성 및 삭제를 수행하는 추적정보 관리부를 포함하여 구성된다.
본 발명에서 상기 유사도 계산부는 상기 레이더 탐지정보와 원적외선 인식정보의 종/횡방향 상대위치를 극좌표계를 이용해 표현함으로써 상기 측정치를 생성하는 것이 바람직하다.
본 발명에서 상기 상태변수 갱신부는 베이시안 필터를 적용하여 필터링을 수행하는 것이 바람직하다.
본 발명에서 상기 레이더 탐지정보 중 보행자가 아닌 결과를 원적외선 인식정보와 융합 전 제거하는 레이더 탐지정보 후처리부를 더 포함할 수 있다.
본 발명에서 상기 레이더 탐지정보는 64개 이하의 수로 생성되는 것이 바람직하다.
본 발명에서 상기 원적외선 인식정보는 8개 이하의 수로 생성되는 것이 바람직하다.
본 발명은 차량에 적용된 자동 긴급 제동 시스템의 보행자 인식 시스템이 레이더 센서와 원적외선 카메라 센서를 포함하고 각각의 출력 결과를 융합하여 이용함으로써 저조도 상황 또는 야간 상황에도 보다 정확하게 차량과 보행자 간의 상대위치 및 상대속도를 계산할 수 있는 효과가 있다.
또한 본 발명은 레이더 센서가 생성한 레이더 탐지정보 중 보행자가 아닌 결과를 융합 전 미리 제거함으로써 자료 결합의 정확성을 향상시키고 계산량을 감소시키는 효과가 있다.
아울러 본 발명은 레이더 탐지정보와 원적외선 인식정보를 극좌표계를 이용하여 융합함으로써 차량과 보행자 간 상대위치 및 상대속도의 추정 오차를 감소시킴과 동시에 영상센서과 거리센서를 융합함으로써 트랙을 병합, 생성 및 삭제하는 등 효과적으로 트랙을 관리할 수 있는 효과가 있다.
도 1은 AEB VRU 시나리오를 나타낸 예시도.
도 2는 CVFA 시나리오에서의 초기 위치 설정을 나타낸 예시도.
도 3은 시뮬레이션에 사용된 보행자 속도 프로파일을 나타낸 예시도.
도 4는 보행자 상대거리와 상대각도의 시뮬레이션 결과를 나타낸 예시도.
도 5는 레이더의 거리 및 속도 측정 원리를 나타낸 예시도.
도 6은 소실점을 이용한 영상에서의 거리 계산 원리를 나타낸 예시도.
도 7은 원적외선 영상의 보행자 인식을 나타낸 예시도.
도 8은 LEDDAR을 이용한 보행자 탐지를 나타낸 예시도.
도 9는 3D Lidar를 이용한 보행자 신호를 나타낸 예시도.
도 10은 레이더를 이용한 보행자 탐지를 나타낸 예시도.
도 11은 본 발명의 일실시예에 따른 AEB 센서융합 시스템의 구성도.
도 12는 본 발명의 일실시예에 따른 레이더 탐지정보 후처리부의 레이더 탐지정보 후처리 과정을 나타낸 예시도.
도 13은 본 발명의 일실시예에 따른 유사도 계산부의 측정치 생성을 나타낸 예시도.
도 14는 본 발명의 일실시예에 따른 레이더 탐지정보와 원적외선 인식정보의 종/횡방향 상대위치 융합을 직교좌표계 사용과 극좌표계 사용으로 비교하여 나타낸 예시도.
도 15는 본 발명의 일실시예에 따른 AEB 센서융합 시스템의 출력 결과를 나타낸 예시도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되므로 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면 복수의 형태를 포함할 수 있다.
본 발명의 각 구성들을 설명하기에 앞서 본 기술의 이해를 위해 가장 중요한 응용분야라 할 수 있는 Euro NCAP(New Car Assessment Program)의 보행자 AEB 시나리오를 분석할 필요가 있다.
Euro NCAP는 보행자 AEB를 AEB VRU(Vulnerable Road Use)라는 명칭으로 정의하여 테스트 항목으로 설정하고 있고, 그 시험과정과 채점방식을 테스트 프로토콜이라는 명칭으로 상세하게 기술하고 있다.
그러나 아직까지는 야간 AEB VRU에 대한 테스트 프로토콜이 발표되지 않은 채 주간 상황(조도 1000lux 이상)에 대한 테스트 프로토콜만이 확정된 상황이다. 따라서 본 발명에서는 주간 AEB VRU 테스트 프로토콜을 분석하여 야간 상황에 준용한다.
Euro NCAP 테스트 프로토콜에서는 보행자의 출현상황을 도 1에 도시된 바와 같이 CVFA, CVNA, 그리고 CVNC로 정의한다.
CVFA(Car to VRU Far-side Adult)는 성인이 8kph의 속도로 이동하여 차량의 중앙에 충돌하는 상황을 가정한 경우이고, CVNA(Car to VRU Near-side Adult)는 성인이 5kph의 속도로 이동하여 차량 폭의 25%, 75% 지점에 충돌하는 상황을 가정한 경우이며, CVNC(Car to VRU Near-side Child)는 어린이가 정차된 장애물 차량 사이로 5kph의 속도로 이동하여 차량의 중앙에 충돌하는 상황을 가정한 경우이다.
각각의 상황에서 차량의 이동속도는 20 ~ 60kph로 설정되고, 차량의 이동은 TTC(Time To Collision) 4.0초에서부터 시작하는 것으로 설정된다.
AEB 제동 후 득점의 기준은 최초 이동 속도에서 얼마나 감속이 이루어지는지에 따라 달라지며, 만점을 획득하기 위해서는 40kph까지는 충돌이 발생하지 않아야 하고 그 이상의 속도에서는 20kph 이상의 감속이 이루어져야 한다.
이를 위해서는 최초의 제동시점과 제동시감속도의 설정이 중요한 요소이나 본 발명은 보행자 인지에 관한 것으로서 제동제어와 관련된 알고리즘은 본 발명의 범위를 벗어나는 것에 해당한다. 다만, 1차 경고(최초 경고)를 위해서는 경고시점 이전에 최초 인지가 이루어져야 하는데 이 시점은 TTC 약 2초에 해당한다.
테스트 프로토콜에서는 시나리오에 따라 도 2와 같은 초기 위치를 설정한다. 정의된 내용에 따르면 일정한 가속구간을 가지고 최초의 횡방향 위치를 가지게 되므로 보행자의 전체적 움직임은 정지, 등가속운동, 등속운동의 순서가 된다.
각 운동에 따른 시간구간은 최종속도, 초기위치 및 가속거리에 따른 함수로 도 3과 같은 보행자 속도 프로파일을 가정하면, CVFA에서는 t1에서 1.075초, t2에서 0.90초, t3에서 2.025초가 되고, CVNA에서는 t1에서 1.10초, t2에서 0.72초, t3에서 2.16초가 되며, CVNC에서는 t1에서 1.10초, t2에서 0.72초, t3에서 2.16초가 된다.
계산을 통해 얻어진 속도 프로파일을 근거로 차량의 위치와 보행자의 위치를 계산하여 상대거리와 상대각도를 계산하면 도 4와 같은 결과가 얻어진다. 각 그래프의 가로축은 msec 단위의 시간이고 TTC 4.0초부터 0.0초까지 총 4초의 시간에 대하여 계산을 수행하였다.
즉, 도 4의 (a)는 CVFA의 시간에 따른 상대거리를 계산한 결과이며 차량의 속도에 따라 균일하게 상대거리가 증가하고, (b)는 CVFA의 시간에 따른 상대각도를 나타내며 보행자가 차량의 왼편에 존재하므로 각도값은 음수로 나타난다. 초기에는 차량이 접근함에 따라 각도의 절대값이 커지다가 이후 등속구간에 진입하면 일정한 상대각도를 가지는 것을 확인할 수 있다.
(c)와 (d)의 경우에는 CVNA 25/75 경우의 상대각도 결과로 TTC 0.0시점의 상대각도가 -90도 또는 90도로 나타나는 것을 볼 수 있고, (e)와 (f)는 CVNC의 상대거리와 상대각도이며 정면으로 충돌하는 상황이므로 그 양상은 CVFA와 동일하게 나타나지만 장애물에 의해 초기에는 관찰되지 않다가 TTC 약 2.0초 이후부터 정보가 나타나는 것을 확인할 수 있다.
상술한 바와 같이 최초 경고 시점인 TTC 약 2초를 기준으로 인지 목표를 계산해 보면, 차량 속도 60kph에서 최대 인지거리 40m를 충족하여야 하고 차량 속도 20kph에서 최대 인지각도 44도를 충족하여야 한다.
위와 같은 인지거리와 인지각도를 충족시켜 보행자 인식을 달성하기 위해서는 AEB 보행자 인식 시스템이 보행자 인식을 위한 센서를 구비하여야 하는데, 적용되는 센서에 따라 인지 특성이 달라질 수 있다.
예를 들어, 레이더의 경우에는 수신전파와 송신전파를 비교하여 위상차이를 통해 거리를 출력하고 도플러 효과에 의한 주파수 변화를 통해 속도를 출력하는 방식을 이용한다. 도 5에 레이더의 거리 및 속도 측정 원리를 나타낸 예시도가 도시되며, 두 가지 물리량 모두 센서에서 직접 얻어지는 값이므로 레이더 센서는 거리와 속도를 측정하는 센서로 분류된다.
이와 반대로 카메라의 경우에는 얻어진 화소(pixel) 정보로부터 3차원 공간과 카메라 모델을 사용하거나 인식된 객체의 화소 단위 크기와 거리 사이의 상관관계를 이용하여 거리를 계산하여야 하므로 거리를 추정하는 센서로 분류된다. 도 6에 소실점을 이용한 영상에서의 거리 계산 원리를 나타낸 예시도가 도시되며 카메라의 내·외부 파라미터에 의해 거리 추정 결과는 달라질 수 있다.
그 외에 LEDDAR(Light Emitting Diode Detection And Ranging)나 Lidar의 경우에는 레이더와 유사하게 거리를 측정하는 센서이지만 도플러 효과를 센싱할 수 없으므로 측정된 지점들의 데이터를 베이시안 필터링하여 속도를 계산한다. 즉, 거리는 측정하고 속도는 추정하는 센서로 분류될 수 있다.
실질적으로 현재 사용되고 있는 단안(다기능 전방) 카메라의 경우에는 52도의 시야각(또는 수평시야각)을 가진다. 이를 이용하여 야간에 보행자를 인지하는 경우 인식범위는 헤드램프 조사범위 내 30m까지로 알려져 있다. 반면 거리와 속도는 추정하게 되므로 거리측정 센서에 비해 그 정확도는 다소 낮다.
원적외선 카메라의 경우에는 대상객체가 방사하는 열을 영상화하기 때문에 저조도 또는 극저조도 상황에서도 보행자를 인식할 수 있으며 상대적으로 먼 거리인 50m까지 보행자를 인식할 수 있다는 장점이 있다. 그러나 시야각이 38도로 다소 부족하고 해상도 또한 단안 카메라에 비해 1/10에 불과하므로 거리와 속도의 추정 정확도가 단안 카메라에 비해 상대적으로 낮은 단점을 가진다. 이해를 돕기 위해 도 7에 원적외선 영상의 보행자 인식을 나타낸 예시도가 도시된다.
LEDDAR 센서의 경우에는 16개의 검출기가 수평으로 배열되고 출력도 제한적이기 때문에 보행자를 인식하는 것은 불가능하고 탐지 또한 20m 이내의 상황에 대해서만 가능한 한계가 있다. 도 8에 LEDDAR을 이용한 보행자 탐지를 나타낸 예시도가 도시된다.
3D Lidar 센서의 경우에는 수직방향으로 다수의 레이어(layer)를 가지므로 제한적인 상황에서는 수직/수평방향 정보와 패턴인식 기술을 적용하여 보행자를 인식할 수 있다는 연구가 있다. 연구 결과를 32 레이어를 가지는 센서 출력과 매칭하여 본 결과 15m 이내의 보행자에 대해서 인식이 가능하고 40m 이내의 보행자에 대해서 탐지가 가능함을 확인할 수 있었다. 도 9에 3D Lidar를 이용한 보행자 신호를 나타낸 예시도가 도시되며, 두 명의 보행자에 대해 많은 데이터가 수집된 경우 윤곽선이 드러나는 것을 확인할 수 있으나 거리가 멀어짐에 따라 데이터의 양이 줄어들고 45m 이상에서는 하나의 레이어에 해당하는 데이터만이 나타나게 된다. 이 경우 수직방향과 수평방향 모두의 해상도가 충분하지 못하기 때문에 탐지가 이루어지기 힘들게 된다. 아울러 LEDDAR와 3D Lidar 센서의 경우 근적외선 파장의 신호를 사용하기 때문에 대상 객체의 재질이나 색상에 큰 영향을 받는다는 단점을 공통적으로 가진다.
마지막으로 레이더 센서는 반사되는 전파를 사용하는 센서로 보행자 탐지의 경우 반사 전파의 전력이 낮아 차량보다는 짧은 거리인 40m 이내의 거리에서 보행자 탐지가 가능함을 확인할 수 있다. 탐지 확률에 있어서도 주변환경에 따라 차량보다는 다소 낮게 나타남을 볼 수 있으며, 설명을 돕기 위해 도 10에 레이더를 이용한 보행자 탐지를 나타낸 예시도가 도시된다. 여기에서 가로·세로축의 단위는 m이며 불연속적인 신호가 나타난 부분은 일정시간 동안 보행자가 탐지되지 않아서 나타난 현상에 해당한다.
앞서 살펴본 바와 같이, 단일 센서만으로는 저조도 상황 또는 야간 상황에서 보행자를 AEB 적용에 적합한 수준으로 인지하는 것이 불가능하다. 단안 카메라의 경우 인지거리가 다소 부족하고 원적외선 카메라의 경우 시야각과 거리정확도가 미흡하며 LEDDAR 및 레이더 센서의 경우 인식이 불가능하여 그 적용이 용이하지 않고 3D Lidar 센서의 경우에도 인식거리가 제한적이기 때문에 단일 센서로는 AEB 시스템 구동을 위한 센싱 솔루션을 충족시키기 어렵다.
따라서 위와 같은 문제점을 해소하고 인지거리 40m와 수평시야각 44도를 충족시킴으로써 저조도 상황 또는 야간 상황에도 보다 정확하게 보행자를 인식하기 위한 본 발명은 AEB(Autonomous Emergency Braking)의 보행자 인식 시스템에 있어서, 반사되는 전파를 이용해 물체를 탐지하여 레이더 탐지정보를 생성하는 레이더 센서(100), 물체가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 원적외선 카메라 센서(200) 및 상기 레이더 탐지정보 및 원적외선 인식정보를 융합하는 정보융합부(300)를 포함하여 구성되는 특징을 가지며, 도 11에 본 발명의 일실시예에 따른 AEB 센서융합 시스템의 구성도가 도시된다.
앞서 설명한 바와 같이, 본 발명의 레이더 센서(100)는 수평시야각 90도, 탐지거리 약 40m, 인식불가, 거리와 속도 추정의 특징을 가지며, 원적외선 카메라 센서(200)는 수평시야각 38도, 탐지/인식거리 약 50m, 낮은 정확도의 거리 추정의 특징을 가진다.
최대 인지거리는 탐지거리와 인식거리 중 짧은 거리가 되지만, 최초 인식 후에는 두 개의 센서 중 하나의 센서에서만 결과가 출력되어도 보행자 정보가 유지될 수 있기 때문에 인지각도는 인식각도와 탐지각도 중 넓은 수평시야각이 된다. 즉, 본 발명의 레이더 센서(100)와 원적외선 카메라 센서(200)는 인지거리 40m와 수평시야각 44도를 충족시키는 조합이 된다.
상이한 특성을 가지는 두 개의 센서가 출력한 결과를 융합하기 위해서는 두 결과가 하나의 객체로부터 기인하였다는 것을 판단하여야 하는데, 본 발명의 정보융합부(300)가 레이더 센서(100)가 생성한 레이더 탐지정보와 원적외선 카메라 센서(200)가 생성한 원적외선 인식정보를 융합한다.
상기 레이더 탐지정보와 원적외선 인식정보를 융합하여도 무방하지만, 보다 효율적인 융합을 위해 본 발명은 각 정보의 융합에 앞서 상기 레이더 탐지정보 중 보행자가 아닌 결과를 원적외선 인식정보와 융합 전 제거하는 레이더 탐지정보 후처리부(110)를 더 포함할 수 있다.
보행자의 경우 전파 반사가 상대적으로 적기 때문에 레이더에 의한 탐지가 제한적으로 나타나는 특징이 있다. 이는 보행자 탐지 실험을 통해 일정 거리와 각도 이하의 경우에 대해서만 탐지가 이루어지고 레이더 출력정보 중 반사전력과 너비 등의 수치가 낮게 나타남을 확인할 수 있다.
따라서, 상기 레이더 탐지정보 후처리부(110)는 실험적 데이터를 바탕으로 탐지거리, 각도, 너비, 반사전력 등을 조건으로 하여 보행자가 아닌 탐지결과를 미리 제거한다.
도 12는 본 발명의 일실시예에 따른 레이더 탐지정보 후처리부(110)의 레이더 탐지정보 후처리 과정을 나타낸 예시도이며, 레이더 센서(100) 장착 차량이 정지된 상태에서 횡방향으로 이동하는 보행자를 탐지한 결과를 후처리한 결과이다.
그래프에 표시한 값은 시간에 따른 각 트랙의 각도값이며, (a)는 초기 입력값으로 64개 트랙의 정보를 모두 포함하고 있어 일정한 값을 관찰하기가 매우 어렵다. 그러나 유효한 상태만을 남긴 (b)의 경우에는 일정한 값들이 나타남을 확인할 수 있으며 그래프가 시간에 따른 각도값을 표시한 것이므로 가로로 평행한 직선들에 해당하는 트랙은 시간이 지남에도 정지하고 있는 객체로 간주할 수 있고 대각선 방향으로 나타나는 직선의 경우 시간에 따라 각도가 변화하는 횡방향으로 이동하는 보행자에 대한 신호로 볼 수 있다. (c)는 (b)를 거리와 각도에 대한 조건으로 제거한 후의 결과이며 많은 데이터들이 감소한 것을 확인할 수 있고, (d)는 (c)의 신호들을 반사전력과 탐지 너비에 대한 조건으로 제거한 후의 결과이다. 대각선으로 나타나는 보행자에 대한 데이터와 일부 걸러지지 못한 기타 객체들에 대한 정보가 남아있으며, 이와 같은 과정을 통해 레이더 센서(100) 전체 출력 중 90% 이상이 제거됨으로써 이후 단계들에서 수행되는 정보 융합(결합) 오류를 감소시킬 수 있다.
상기 레이더 탐지정보 후처리부(110)의 후처리 후(또는 후처리가 없는 경우도 포함된다) 정보융합부(300)가 레이더 탐지정보와 원적외선 인식정보를 융합하는데, 상기 정보융합부는 상기 레이더 탐지정보와 원적외선 인식정보 간의 상관관계를 계산하여 행렬(특히 이진행렬)을 구성하는 정합성 판단부(310), 상기 정합성 판단부에서 구성한 행렬을 이용해 측정치를 생성하고, 상기 측정치와 이전 시점의 트랙 추적정보 간의 상태변수 영역에서의 유사도를 계산하는 유사도 계산부(320), 상기 측정치와 상태변수를 이용해 필터링(Filtering)(칼만 필터링 또는 베이시안 필터링)을 수행하여 각 추적정보를 갱신하는 상태변수 갱신부(330) 및 상기 트랙의 병합, 생성 및 삭제를 수행하는 추적정보 관리부(340)를 포함하여 구성되며, 각 구성에 대한 설명은 다음과 같다.
구체적으로 예를 들면, 상기 정합성 판단부(310)는 최대 64개의 레이더 탐지정보와 최대 8개의 원적외선 인식정보 간의 상관관계를 계산하여 8 x 64 크기의 이진행렬을 구성한다. 각 센서의 출력에서 각도와 거리가 조건에 따라 구성된 3단계의 임계값 이하의 차이를 나타내면 두 결과는 같은 물체로부터 기인했을 확률이 높다고 판단하여 행렬의 값을 1로 설정하고 그렇지 않은 경우에는 0으로 설정한다. 이렇게 판단된 결과는 이후 추적정보와 측정치 간의 유사도를 계산하는 단계로 전달되는 일종의 후보군 역할을 한다.
그리고 상기 유사도 계산부(320)는 위 행렬에서 그 값이 1인 센서의 출력을 융합하여 필터에 사용될 측정치를 생성하며, 하나의 센서 출력만으로도 필터링 결과가 생성될 수 있도록 행과 열을 하나씩 추가하여 단일 센서의 결과로 생성된 측정치 또한 계산하여 사용할 수도 있다.
도 13에 본 발명의 일실시예에 따른 유사도 계산부(320)의 측정치 생성을 나타낸 예시도가 도시되며, 생성된 측정치와 이전 시점의 모든 트랙 추적정보에 대한 상태변수 영역에서의 유사도를 계산하여 최대 유사도를 가지는 측정치와 이전 트랙 추적정도를 연결하고 전체 트랙-측정치 쌍의 유사도를 확보하기 위하여 GNN을 사용한 매칭을 수행한다.
이 때, 측정치 트랙정보의 유사도를 계산하기 위해서는 생성되는 측정치가 상태변수와 비교할 수 있는 변수인 종/횡방향 상대위치로 출력되어야 하고, 이러한 상대위치는 레이더 탐지정보와 원적외선 인식정보에 포함된 값이므로 이 두 결과를 융합하여야 한다.
본 발명에서는 종/횡방향 상대위치 융합을 직교좌표계가 아닌 극좌표계를 사용하여 수행하는데, 이에 대한 설명을 돕기 위해 도 14에 본 발명의 일실시예에 따른 레이더 탐지정보와 원적외선 인식정보의 종/횡방향 상대위치 융합을 직교좌표계 사용과 극좌표계 사용으로 비교하여 나타낸 예시도가 도시된다.
먼저 (a)는 직교좌표계를 이용하여 종/횡방향 상대위치를 융합하는 경우이며, 반영되는 오차 관점에서 살펴보면 붉은색 타원으로 표시한 레이더 센서(100)의 오차영역에 대하여 종방향으로 발생하는 오차와 푸른색 타원으로 표시한 원적외선 카메라 센서(200)의 오차영역에 대하여 횡방향으로 발생하는 오차가 융합 결과에 반영된다. 이 상황에서는 대상 객체가 차량의 정면에 존재하는 경우에는 비교적 작은 오차를 생성하게 되지만 측면에 존재하는 경우에는 타원의 대각선 방향의 오차가 발생하게 되어 큰 오차를 생성하는 결과를 가져온다.
이와 비교하여 (b)는 극좌표계를 이용하여 종/횡방향 상대위치를 융합하는 경우이며, 대상 객체가 정면에 있는 경우나 측면에 있는 경우 모두에 대하여 작은 오차가 발생하는 것을 확인할 수 있다. 극좌표계로 융합된 각도와 거리는 간단한 삼각함수 연산을 통해 직교좌표계로 변환할 수 있으므로 최종 측정치 출력단계에서는 이와 같이 변환하여 융합하는 것이 더욱 작은 오차를 발생시키는 방법이 된다.
또한, 상기 상태변수 갱신부(330)는 융합된 측정치와 상태변수를 이용하여 필터링(칼만 필터링 또는 베이시안 필터링)을 수행함으로써 각 트랙 추적정보를 갱신할 수 있다. 본 발명에서는 원적외선 카메라 센서(200) 출력이 발생하는 시간이 후보군의 개수에 따라 매 번 달라질 수 있다는 점을 고려하여 상태변수 천이행렬의 원소 값이 매번 달라지도록 구성하는 확장 칼만 필터(Extended Kalman Filter)를 적용할 수도 있다.
그리고 상기 추적정보 관리부(340)는 트랙의 병합, 생성 및 삭제를 수행한다.
트랙 병합의 경우에는 두 트랙의 위치와 속도가 일정한 유사성을 가지면 나중에 생성된 트랙이 먼저 생성된 트랙으로 병합되도록 구성한다.
트랙 생성의 경우에는 원적외선 카메라 센서(200)의 출력 가운데 트랙의 측정치로 적용되지 않은 결과가 있는지를 관찰하여 해당 트랙과 레이더 센서(100)의 레이더 탐지정보를 동일하게 극좌표계에서 융합하여 생성되도록 하고, 만약 대응되는 레이더 탐지정보를 찾을 수 없으면서 원적외선 인식정보의 신뢰도가 높은 경우에는 단독으로 트랙이 생성될 수 있도록 구성한다.
그리고 트랙 삭제의 경우에는 일정시간 동안 측정치가 할당되지 않아 예측치만으로 트랙이 유지된 경우에 대하여 삭제가 이루어지도록 하며, 예외적으로 5m 이내에 근접한 상황에 대해서는 센서의 출력이 발생하기 어렵다는 점을 고려하여 기억추적(Coast Tracking)이 더 긴 시간 동안 유지되도록 설정한다. 다른 예외 상황으로 측정치가 매번 할당되었더라도 융합 결과가 아닌 하나의 센서의 결과만으로 지속적으로 할당이 이루어지는 경우 비정상 상황으로 판단하여 삭제하도록 하며, 상태변수 상의 종/횡방향 속도 성분이 15kph를 초과하는 경우에 대해서도 해당 객체가 보행자가 아닌 것으로 간주하여 삭제하도록 한다.
위 특정 조건들은 구현하고자 하는 시스템의 특성과 목적에 따라 변경될 수 있음은 물론이다.
최종적으로 도 15에 본 발명의 일실시예에 따른 AEB 센서융합 시스템의 출력 결과를 나타낸 예시도가 도시된다.
도 15의 (a), (c), (e)에서 흰색 점은 레이더 탐지정보를 나타내고 붉은 점은 원적외선 인식정보를, 하늘색 원은 정보융합 결과를 나타낸다.
(b), (d), (f)는 융합 시점의 원적외선 카메라 센서(200)가 영상화한 정보를 나타낸다.
결과적으로 보행자 상대위치의 융합 결과가 정상적으로 출력되는 것을 확인할 수 있으며, 융합 결과와 제동제어를 통합하여 AEB 시스템을 통해 실제 차량이 제동되도록 한다.
결국, 본 발명은 차량에 적용된 자동 긴급 제동 시스템의 보행자 인식 시스템이 레이더 센서(100)와 원적외선 카메라 센서(200)를 포함하고 그 결과를 극좌표계를 이용해 융합하여 이용함으로써 저조도 상황 또는 야간 상황에도 보다 정확하게 차량과 보행자 간의 상대위치 및 상대속도를 계산할 수 있는 장점을 가진다.
이상 본 발명의 구체적 실시형태와 관련하여 본 발명을 설명하였으나, 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 범위를 벗어나지 않고 설명된 실시형태를 변경 또는 변형할 수 있으며, 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능하다.
100: 레이더 센서
110: 레이더 탐지정보 후처리부
200: 원적외선 카메라 센서
300: 정보융합부
310: 정합성 판단부
320: 유사도 계산부
330: 상태변수 갱신부
340: 추적정보 관리부

Claims (7)

  1. AEB(Autonomous Emergency Braking)의 보행자 인식 시스템에 있어서,
    반사되는 전파를 이용해 물체를 탐지하여 레이더 탐지정보를 생성하는 레이더 센서;
    물체가 방사하는 열을 영상화하여 원적외선 인식정보를 생성하는 원적외선 카메라 센서; 및
    상기 레이더 탐지정보 및 원적외선 인식정보를 융합하는 정보융합부; 를 포함하는 AEB 센서융합 시스템.
  2. 제 1항에 있어서 상기 정보융합부는,
    상기 레이더 탐지정보와 원적외선 인식정보 간의 상관관계를 계산하여 행렬을 구성하는 정합성 판단부;
    상기 정합성 판단부에서 구성한 행렬을 이용해 측정치를 생성하고, 상기 측정치와 이전 시점의 트랙 추적정보 간의 상태변수 영역에서의 유사도를 계산하는 유사도 계산부;
    상기 측정치와 상태변수를 이용해 필터링(Filtering)을 수행하여 각 추적정보를 갱신하는 상태변수 갱신부; 및
    상기 트랙의 병합, 생성 및 삭제를 수행하는 추적정보 관리부; 를 포함하는 것을 특징으로 하는 AEB 센서융합 시스템.
  3. 제 2항에 있어서,
    상기 유사도 계산부는 상기 레이더 탐지정보와 원적외선 인식정보의 종/횡방향 상대위치를 극좌표계를 이용해 표현함으로써 상기 측정치를 생성하는 것을 특징으로 하는 AEB 센서융합 시스템.
  4. 제 2항에 있어서,
    상기 상태변수 갱신부는 베이시안 필터를 적용하여 필터링을 수행하는 것을 특징으로 하는 AEB 센서융합 시스템.
  5. 제 1항에 있어서,
    상기 레이더 탐지정보 중 보행자가 아닌 결과를 원적외선 인식정보와 융합 전 제거하는 레이더 탐지정보 후처리부를 더 포함하는 것을 특징으로 하는 AEB 센서융합 시스템.
  6. 제 1항에 있어서,
    상기 레이더 탐지정보는 64개 이하의 수로 생성되는 것을 특징으로 하는 AEB 센서융합 시스템.
  7. 제 1항에 있어서,
    상기 원적외선 인식정보는 8개 이하의 수로 생성되는 것을 특징으로 하는 AEB 센서융합 시스템.
KR1020160046712A 2016-04-18 2016-04-18 Aeb 센서융합 시스템 KR20170119059A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160046712A KR20170119059A (ko) 2016-04-18 2016-04-18 Aeb 센서융합 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160046712A KR20170119059A (ko) 2016-04-18 2016-04-18 Aeb 센서융합 시스템

Publications (1)

Publication Number Publication Date
KR20170119059A true KR20170119059A (ko) 2017-10-26

Family

ID=60300673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160046712A KR20170119059A (ko) 2016-04-18 2016-04-18 Aeb 센서융합 시스템

Country Status (1)

Country Link
KR (1) KR20170119059A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019150012A1 (fr) * 2018-02-05 2019-08-08 Psa Automobiles Sa Procédé et dispositif d'analyse de l'environnement d'un véhicule par discrimination d'objets différents détectés par plusieurs moyens d'acquisition
KR20200034118A (ko) * 2018-09-21 2020-03-31 한국전자통신연구원 센서 융합 기반 물체 검출장치 및 검출방법
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
CN114619986A (zh) * 2022-03-07 2022-06-14 金龙联合汽车工业（苏州）有限公司 一种用于客车的aeb与lka融合控制系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019150012A1 (fr) * 2018-02-05 2019-08-08 Psa Automobiles Sa Procédé et dispositif d'analyse de l'environnement d'un véhicule par discrimination d'objets différents détectés par plusieurs moyens d'acquisition
FR3077550A1 (fr) * 2018-02-05 2019-08-09 Psa Automobiles Sa Procede et dispositif d’analyse de l’environnement d’un vehicule par discrimination d’objets differents detectes par plusieurs moyens d’acquisition.
KR20200034118A (ko) * 2018-09-21 2020-03-31 한국전자통신연구원 센서 융합 기반 물체 검출장치 및 검출방법
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
CN114619986A (zh) * 2022-03-07 2022-06-14 金龙联合汽车工业（苏州）有限公司 一种用于客车的aeb与lka融合控制系统

Similar Documents

Publication Publication Date Title
US11584340B2 (en) Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
CN108263278B (zh) 基于传感器整合的行人检测和行人防碰撞装置及方法
Ziebinski et al. Review of advanced driver assistance systems (ADAS)
JP7197571B2 (ja) 低レイテンシ動作計画更新を有するインテリジェントｌａｄａｒシステム
US10627228B2 (en) Object detection device
US9223311B2 (en) Vehicle driving support control apparatus
CN103455144B (zh) 车载人机交互系统及方法
CN111708016B (zh) 一种毫米波雷达与激光雷达融合的车辆前碰撞预警方法
CN107609522A (zh) 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN105128836A (zh) 自主紧急制动系统及其中识别行人的方法
CN112149460A (zh) 一种障碍物检测方法及装置
US10752223B2 (en) Autonomous emergency braking system and method for vehicle at crossroad
US20220390612A1 (en) Determination of atmospheric visibility in autonomous vehicle applications
CN108021899A (zh) 基于双目相机的车载智能前车防撞预警方法
KR20170119059A (ko) Aeb 센서융합 시스템
Lim et al. Real-time forward collision warning system using nested Kalman filter for monocular camera
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统
KR102017958B1 (ko) 철도차량용 증강현실 헤드업 디스플레이 시스템
JP2021064056A (ja) ゼブラゾーン認識装置、車両制御装置、ゼブラゾーン認識方法、およびプログラム
CN116953724A (zh) 一种车辆轨迹追踪方法、系统及存储介质
Lai et al. Sensor fusion of camera and MMW radar based on machine learning for vehicles
Enayati et al. A novel triple radar arrangement for level 2 ADAS detection system in autonomous vehicles
CN116118720A (zh) 一种基于车辆工况可变控制策略的aeb-p系统
RU2806452C1 (ru) Устройство и способ для определения объектов

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160418

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170529

Patent event code: PE09021S01D

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171101

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180208

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20171101

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

Patent event date: 20170529

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I