KR101930884B1 - 전방 차량 검출 장치 및 그 검출 방법 - Google Patents

전방 차량 검출 장치 및 그 검출 방법 Download PDF

Info

Publication number
KR101930884B1
KR101930884B1 KR1020170128221A KR20170128221A KR101930884B1 KR 101930884 B1 KR101930884 B1 KR 101930884B1 KR 1020170128221 A KR1020170128221 A KR 1020170128221A KR 20170128221 A KR20170128221 A KR 20170128221A KR 101930884 B1 KR101930884 B1 KR 101930884B1
Authority
KR
South Korea
Prior art keywords
vehicle
unit
detection
candidate
mask
Prior art date
Application number
KR1020170128221A
Other languages
English (en)
Inventor
기석철
이재설
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020170128221A priority Critical patent/KR101930884B1/ko
Application granted granted Critical
Publication of KR101930884B1 publication Critical patent/KR101930884B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B60W2550/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 실시예는, 차량용 AVM 시스템의 카메라를 이용하여 전방 차량을 정확하게 검출하기 위하여, 원거리 차량 학습 및 검출과 근거리 차량 학습 및 검출을 각각 수행하는 전방 차량 검출 장치 및 그 검출 방법을 제공한다.

Description

전방 차량 검출 장치 및 그 검출 방법{FORWARD VEHICLE DETECTION APPARATUS AND OPERATION METHOD THEREOF}
본 발명은 전방 차량 검출 장치 및 그 검출 방법에 관한 것으로, 보다 구체적으로는 AVM 카메라 환경에서 원거리 및 근거리의 전방 차량을 정확하게 검출할 수 있는 전방 차량 검출 장치 및 그 검출 방법에 관한 것이다.
오늘날 스마트카(smart car) 분야는, 능동적 교통안전 장치에 대한 요청 강화, 단순한 운송수단에서 생활공간으로의 차량에 대한 인식 변화 및 IT 기술 발전에 따라 급속히 성장하고 있다. 이에 따라, 스마트카 관련 기술도 급속히 발전하고 있으며, 그 예로 크루즈 컨트롤 시스템(cruise control system), AVM 시스템(Around View Monitoring system) 등이 있다.
AVM 시스템은, 차량 주위에 설치된 복수의 카메라를 통해 촬영된 영상을 조합하여, 운전자에게 차량 주변 360도 영상을 제공하는 시스템이다. AVM 시스템은, 차량의 사각지대를 해소함으로써, 운전자의 안전 및 편의를 증대시키는데 크게 기여하고 있다.
그러나, 현재 AVM 시스템은, 버즈아이 뷰(bird's eye view)를 생성하거나, 주차시 차량의 후방을 확인하는 용도로만 사용되고 있다. 따라서, 현재 AVM 시스템 하에서, 전방 차량을 검출하기 위해서는 별도의 전방 카메라를 설치할 필요가 있다.
본 실시예는, 차량용 AVM 시스템 환경에서, 별도의 전방 카메라를 설치하지 않고도, 전방 차량을 정확하게 검출할 수 있는 장치 및 그 동작방법을 제공하고자 한다. 특히, 본 실시예는, 정차 지역 내에서 검출된 전방 차량의 출발 여부를 알려주는, FVSA(Forward Vehicle Start Alarm) 기능에 적용될 수 있다.
본 실시예의 일 측면에 의하면, 촬영된 전방 영상에서 전방 차량을 검출하는 장치에 있어서, 상기 전방 영상에서 원거리 전방 차량을 검출하는 원거리 검출부; 상기 전방 영상에서 근거리 전방 차량을 검출하는 근거리 검출부; 및 상기 원거리 검출부의 검출 결과와 상기 근거리 검출부의 검출 결과가 동일한 차량에 대해 중복되는 경우, 상기 각각의 검출 결과를 하나로 병합하여 출력하는 병합부를 포함하되, 상기 원거리 검출부 및 상기 근거리 검출부 각각은, 차량 이격거리 별 전방 차량의 특징 정보를 포함하는 제 1 학습 데이터를 이용하여, 전방 차량 후보를 검출하는 후보 검출부; 소형차 마스크의 차량 너비 정보 값 및 대형차 마스크의 차량 너비 정보 값을 이용하여, 상기 전방 차량 후보에서 비차량을 제외하는 1차 필터부; 상기 소형차 마스크의 주행 차선 정보 및 상기 대형차 마스크의 주행 차선 정보를 이용하여, 1차 필터링된 전방 차량 후보에서 주행 차선 이외 영역에 존재하는 차량을 제외하는 2차 필터부; 및 차량 이격거리 별 전방 차량의 HOG(Histogram of Oriented Gradients) 특징 정보를 포함하는 제 2 학습 데이터를 이용하여, 2차 필터링된 전방 차량 후보에서 차량 만을 선별하여 출력하는 검증부를 포함하는 전방 차량 검출 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 촬영된 전방 영상에서 전방 차량을 검출하는 방법에 있어서, 차량 이격거리 별 전방 차량의 특징 정보를 포함하는 제 1 학습 데이터를 이용하여, 전방 차량 후보를 검출하는 후보 검출 과정; 소형차 마스크의 차량 너비 정보 값 및 대형차 마스크의 차량 너비 정보 값을 이용하여, 상기 전방 차량 후보에서 비차량을 제외하는 1차 필터링 과정; 상기 소형차 마스크의 주행 차선 정보 및 상기 대형차 마스크의 주행 차선 정보를 이용하여, 1차 필터링된 전방 차량 후보에서, 주행 차선 이외 영역에 존재하는 차량을 제외하는 2차 필터링 과정; 및 차량 이격거리 별 전방 차량의 HOG(Histogram of Oriented Gradients) 특징 정보를 포함하는 제 2 학습 데이터를 이용하여, 2차 필터링된 전방 차량 후보에서 차량 만을 선별하여 출력하는 검증 과정을 포함하되, 상기 후보 검출 과정 내지 상기 검증 과정을, 원거리 구간 및 근거리 구간 각각에 대해 일정한 탐색 범위 내에서 구분하여 수행하는 전방 차량 검출 방법을 제공한다.
본 실시예에 따른 전방 차량 검출 방법에 따르면, 기존 차량용 AVM 시스템의 카메라를 이용하여 전방 차량을 검출함으로써, 별도의 전방 카메라 설치로 인한 비용 발생을 방지할 수 있다. 특히, 본 실시예는, 정차 지역 내에서 검출된 전방 차량의 출발 여부를 알려주는, FVSA(Forward Vehicle Start Alarm) 기능에 적용될 수 있다.
나아가, 본 실시예에 따른 전방 차량 검출 방법에 따르면, 원거리 및 근거리 전방 차량을, 각각의 차량 특징이 학습된 데이터를 이용하여 구분 검출함으로써, 검출 정확도를 향상시킬 수 있다.
도 1a는 AVM 시스템을 개략적으로 나타내는 도면이다.
도 1b는 전방 영상 속 전방 차량의 형태를 이격거리 별로 나타내는 도면이다.
도 2는 본 실시예에 따른 전방 차량 검출 장치의 구성을 나타내는 도면이다.
도 3은 본 실시예에 따른 원거리 탐색 영역 및 근거리 탐색 영역이 설정된 전방 영상을 도시한 도면이다.
도 4는 본 실시예에 따른 원거리 전방 차량 및 근거리 전방 차량에 대한 각각의 학습 범위를 나타내는 도면이다.
도 5a는 본 실시예에 따른 원거리 전방 차량 후보가 검출된 결과를 나타내는 도면이다.
도 5b는 본 실시예에 따른 근거리 전방 차량 후보가 검출된 결과를 나타내는 도면이다.
도 6은 본 실시예에 따른 소형차 마스크 및 대형차 마스크를 나타내는 도면이다.
도 7은 본 실시예에 따른 소형차 마스크 및 대형차 마스크를 이용한 1차 필터링 동작을 나타내는 도면이다.
도 8은 본 실시예에 따른 소형차 마스크 및 대형차 마스크를 이용한 2차 필터링 동작을 나타내는 도면이다.
도 9는 본 실시예에 따른 원거리 검출 결과 및 근거리 검출 결과의 병합 과정을 나타내는 도면이다.
도 10은 본 실시예에 따른 전방 차량 검출 방법을 나타내는 흐름도이다.
도 11은 본 실시예에 따른 전방 차량 검출 장치의 성능 평가 결과표를 나타내는 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부,' '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예들에 대해서 보다 상세하게 설명하기로 한다.
도 1a는 AVM 시스템을 개략적으로 나타내는 도면이고, 도 1b는 촬영 영상 속 전방 차량의 형태를 이격거리 별로 나타내는 도면이다. 이하, 도 1a 및 도 1b를 참조하여, AVM 시스템 환경 및 어안렌즈 카메라로 촬영된 전방 영상의 특이점을 설명하기로 한다.
AVM 시스템은, 차량 주위에 설치된 복수의 카메라를 통해 촬영된 영상을 조합하여, 운전자에게 차량 주변 360도 영상을 제공하는 시스템이다. 구체적으로, 도 1a를 참조하면, AVM 시스템에서는, 일반적으로 차량(100)의 전/후방면 및 좌/우측면 각각에 카메라(110-1 내지 110-4)가 설치된다. 그리고 AVM 시스템은, 상기 카메라(110)를 통해 촬영된 차량(100)의 전/후방 및 좌/우측 각각의 영상을 조합하여, 차량을 위에서 내려다보는 형태의 영상(bird's eye view)을 차량(100) 내부의 디스플레이 장치를 통해 출력하게 된다.
이와 같은 AVM 시스템은, 차량 사각지대를 제거하여 운전자의 시야를 확보하는 수단 등 다양한 용도로 이용될 수 있으며, 본 실시예의 일 측면에 따르면 전방 차량을 검출하는 수단으로 이용될 수 있다.
한편 AVM 시스템은, 총 4대의 카메라(110)를 이용하여 차량 주변 360도 영상을 촬영해야 하므로, 각각의 카메라(110)의 화각(field of view)은 이론적으로 180도가 되어야 한다. 따라서 AVM 시스템에서는, 일반적으로 초광각의 어안렌즈(fish-eye lens) 카메라가 사용된다.
어안렌즈는, 초점거리가 짧고 화각이 180도 이상인 렌즈로서, 물고기 눈과 같이 볼록한 형태를 가지므로, 촬영된 영상의 가장자리에서 왜곡(radial distortion)이 발생한다. 따라서 AVM 시스템에서, 어안렌즈 카메라를 통해 촬영된 전방 차량의 형태(즉, 크기 및 범위)는, 차량간 이격거리(즉, AVM 시스템이 탑재된 기준 차량의 최전방면 및 전방 차량의 최후방면 사이의 최단거리를 말하며, 이하 같음)에 따라 달라질 수 있다.
구체적으로 도 1b를 참조하면, 차량간 이격거리가 가까운 경우(즉, 도 1b에서 근거리), 촬영 영상 속 전방 차량의 형태는, 최하단(즉, 차량 바퀴와 도로면의 접촉면)부터 후미등 최상단까지의 범위에서, 최대 너비 540 픽셀 및 최대 높이 324 픽셀(즉, 너비:높이=5:3) 크기로 나타난다. 반대로 차량간 이격거리가 먼 경우(즉, 도 1b에서 원거리), 촬영 영상 속 전방 차량의 형태는, 최하단부터 지붕면까지의 범위에서, 최대 너비 300 픽셀 및 최대 높이 300 픽셀(즉, 너비:높이=1:1) 크기로 나타난다.
전방 차량을 정확하게 검출하기 위하여, 이와 같은 차량 형태의 변화를 고려할 필요가 있으므로, 본 실시예에서는 전방 차량을 차량 이격거리 구간 별로 구분하여 검출하고자 한다.
한편, 본 명세서에서 기술되는 차량은, 내연기관 차량, 하이브리드 차량 및 전기 차량 등을 모두 포함하는 것으로서, 설명의 편의를 위해 4륜 자동차로 가정하기로 한다.
이하에서는, 도 2를 참조하여, 본 실시예에 따른 전방 차량 검출 장치의 구성 및 그 동작 내용을 상세하게 설명하기로 한다.
도 2는 본 실시예에 따른 전방 차량 검출 장치의 구성을 나타내는 도면이다.
도 2에 따르면, 본 실시예의 일 측면에 따른 전방 차량 검출 장치(200)는 촬영부(210), 원거리 검출부(230), 근거리 검출부(250), 병합부(270) 및 추적부(290)를 포함할 수 있다.
촬영부(210)
촬영부(210)는, 기준 차량의 전방 영상, 즉 기준 차량의 진행 방향을 기준으로 소정의 범위 내에 존재하는 전방 차량들의 후방면 영상을 촬영할 수 있다.
촬영부(210)는, 차량의 전방을 향해 배치되는, 적어도 하나 이상의 어안렌즈 카메라 장치(미도시)로 구현될 수 있다. 예를 들어, AVM 시스템에서 촬영부(210)는, 차량의 전방면/후방면 및 좌측면/우측면, 총 4개의 어안렌즈 카메라 장치로 구현될 수 있다. 어안렌즈 카메라 장치는, 정지 영상 및 동영상 중 어느 하나의 촬영이 가능한 디지털 카메라 장치 또는 캠코더 장치 등을 포함할 수 있다.
촬영부(210)는, 촬영된 전방 영상을 원거리 검출부(230) 및 근거리 검출부(250)로 각각 전달할 수 있다.
원거리 검출부(230)
원거리 검출부(230)는, 촬영된 전방 영상에서, 원거리 구간에 존재하는 전방 차량(이하, 원거리 전방 차량이라고 칭함)을 검출할 수 있다. 여기서, 원거리 구간은, 미리 설정된 구간으로, 본 실시예의 일 측면에 따르면 기준 차량과 전방 차량과의 최단거리(이하, 차량 이격거리라고 칭함)가 2.5 m 이상에서 20 m 이하인 구간일 수 있다. 검출 정확도를 높이기 위하여, 원거리 구간은 후술할 근거리 구간과 일부 중첩되도록 설정될 수 있다.
원거리 검출부(230)는, 원거리 전방 차량을 검출하기 위해 필요한 구성요소로서, 탐색 영역 설정부(231), 제 1 학습부(232), 후보 검출부(233), 마스크 생성부(234), 1차 필터부(235), 2차 필터부(236), 제 2 학습부(237) 및 검증부(238)를 포함할 수 있다. 다만, 이는 설명의 편의를 위하여 원거리 검출부(230)가 수행하는 '전방 차량 검출 동작'을 구성요소로서 도시한 것일 뿐이다. 따라서, 도면에 직접적으로 도시되진 않았지만, 원거리 검출부(230)에는 검출 동작을 제어하기 위하여 필요한 구성요소들이 더 포함될 수 있다.
탐색 영역 설정부(231)는, 촬영된 전방 영상에서, 일정한 범위 내에 존재하는 원거리 전방 차량 만을 검출하기 위하여, 원거리 탐색 영역을 설정할 수 있다. 이하, 도 3을 참조하여, 탐색 영역 설정부(231)가 원거리 탐색 영역을 설정하는 과정을 구체적으로 살펴보기로 한다.
도 3은 본 실시예에 따른 원거리 탐색 영역 및 근거리 탐색 영역이 설정된 전방 영상을 도시한 도면이다.
도 3을 참조하면, 탐색 영역 설정부(231)는, 기준 차량의 진행 방향을 기준으로, 일정한 도로 너비를 갖는 가상의 주행 차선을 설정할 수 있다. 여기서, 도로 너비는 우리나라 도로 사정을 고려하여 3.5 m로 설정될 수 있다. 탐색 영역 설정부(221)는, 가상의 주행 차선과 직교하는 수평선 및 수직선을 이용하여, 일정한 크기의 탐색 영역을 설정할 수 있다. 여기서, 탐색 영역의 크기는, 수평선 너비 300 픽셀 및 수직선 높이 300 픽셀(즉, 수평선 너비:수직선 높이=1:1)로 미리 설정될 수 있다. 다만, 이는 설명의 편의를 위한 것이므로, 도로 너비 및 탐색 영역의 크기는 이와 달라질 수 있다.
결과적으로, 탐색 영역 설정부(231)는, 도 3의 (a)에 도시된 바와 같이 원거리 탐색 영역(ROI1)을 설정할 수 있다. 이 때, 원거리 탐색 영역(ROI1)의 좌측 상단의 좌표를 (0,0) 기준 좌표로 하면, 좌측 하단의 좌표는 (300,0), 우측 하단의 좌표는 (300,300) 및 우측 상단의 좌표는 (0,300)이 될 수 있다.
다시 도 2를 참조하면, 제 1 학습부(232)는, 탐색 영역 설정부(231)에 의해 설정된 탐색 영역에서 원거리 전방 차량을 검출하기 위하여, 원거리 전방 차량의 후방면에 대한 제 1 학습 데이터를 생성할 수 있다. 제 1 학습부(232)는, 촬영부(210)로부터 전달된 전방 영상에서, 원거리 전방 차량의 후방면 영상을 획득할 수 있다. 또한, 제 1 학습부(232)는, 외부로부터 전달된 전방 영상에서, 원거리 전방 차량의 후방면 영상을 획득할 수 있다. 이하, 도 4를 참조하여, 제 1 학습부(232)가 제 1 학습 데이터를 생성하는 과정을 구체적으로 살펴보기로 한다.
도 4는 본 실시예에 따른 원거리 전방 차량 및 근거리 전방 차량에 대한 각각의 학습 범위를 나타내는 도면이다.
도 4의 (a)를 참조하면, 원거리 전방 차량에 대한 학습 범위는, 바퀴와 도로의 접촉면부터 지붕면까지의 범위일 수 있다.
원거리 전방 차량에 대한 학습 특징은, 원거리 전방 차량의 검출을 위해 이용될 수 있는 부분, 예를 들어 원거리 전방 차량의 좌우 경계면, 브레이크등, 번호판, 유리창 영상 등에 대한 하알 유사(Haar-like) 특징, 웨이블릿(Wavelet) 특징일 수 있다. 다만, 이는 예시적인 것이고, 본 발명의 실시예가 이에 한정되는 것은 아니다.
제 1 학습부(232)에 의해 생성된 제 1 학습 데이터는, 후술할 후보 검출부(233)가 원거리 전방 차량 후보를 검출하는데 이용될 수 있으며, 메모리 장치(미도시)에 저장될 수 있다.
다시 도 2를 참조하면, 후보 검출부(233)는, 1개 이상의 스캔 박스를 이용하여 전방 영상의 탐색 영역을 단계적으로 스캔함으로써, 원거리 전방 차량 후보를 검출할 수 있다.
구체적으로, 후보 검출부(233)는, 1개 이상의 스캔 박스를, 탐색 영역의 좌측 상단에서부터 일정한 방향으로 이동시키면서, 탐색 영역 전체를 스캔할 수 있다. 후보 검출부(233)는, 원거리 전방 차량의 후방면 특징 정보를 포함하는 제 1 학습 데이터를 이용하여, 차량과 비차량(즉, 차량 이외의 물체)을 구별하는 임계 값을 생성하고, 생성된 임계 값을 기준으로 스캔 박스 내 영상에서 원거리 전방 차량 후보를 검출할 수 있다. 이하, 도 5a를 참조하여, 후보 검출부(233)가 원거리 전방 차량 후보를 검출한 결과를 상세하게 살펴보기로 한다.
도 5a는 본 실시예에 따른 원거리 전방 차량 후보가 검출된 결과를 나타내는 도면이다.
도 5a를 참조하면, 후보 검출부(233)에 의해 총 5개의 원거리 전방 차량 후보(V1 내지 V5)가 검출되었음을 확인할 수 있다.
총 5개의 후보(V1 내지 V5)는, 제 1 차량(T1)에 대한 2개 검출 결과(V1 및 V2), 제 2 차량(T2)에 대한 1개 검출 결과(V3), 제 3 차량(T3)에 대한 1개 검출 결과(V4) 및 비차량(F1)에 대한 1개 검출 결과(V5)를 포함한다. 여기서, 제 1 차량(T1)에 대한 2개 후보는(V1 및 V2)는, 제 1 차량(T1)의 좌/우 흔들림에 의해 발생된 것으로서, 후술할 검증부(238)에 의해 어느 하나(V1 또는 V2)로 선택될 수 있다. 제 2 차량(T2)에 대한 1개 후보(V3)는 정상검출 결과(True Positive:TP)이다. 제 3 차량(T3)에 대한 1개 후보(V4)는, 기준 차량의 주행 차로 이외의 영역에 존재하는 차량에 대한 것이므로, 후술할 2차 필터부(227)에 의해 필터링될 수 있다. 비차량(F1)에 대한 1개 후보(V5)는, 오검출 결과(False Positive:FP)로서, 후술할 검증부(238)에 의해 제거될 수 있다.
다시 도 2를 참조하면, 마스크 생성부(234)는, 후보 검출부(233)에 의해 검출된 전방 차량 후보군에서, 비차량 및 주행 차로 이외 영역의 차량을 필터링하는 데 이용되는, 소형차 마스크 및 대형차 마스크를 생성할 수 있다.
소형차 마스크는 소형차의 크기를 기초로 생성될 수 있고, 대형차 마스크는 대형차의 크기를 기초로 생성될 수 있다. 여기서, 소형차 및 대형차는, 차량의 너비를 기준으로 분류될 수 있다. 예를 들어, 소형차는 차량 너비가 1 m 이상 및 1.7 m 미만인 차량, 대형차는 차량 너비가 1.7 m 이상 및 2.5 m 미만인 차량으로 분류될 수 있다. 다만, 이는 설명의 편의를 위한 것이므로, 마스크 생성부(234)는 소형차 마스크, 중형차 마스크 및 대형차 마스크를 생성할 수도 있으며, 각각의 차량 너비 기준도 달라질 수 있다. 이하, 도 6을 참조하여, 마스크 생성부(234)가 소형차 마스크 및 대형차 마스크를 생성하는 과정을 구체적으로 살펴보기로 한다.
도 6은 본 실시예에 따른 소형차 마스크 및 대형차 마스크를 나타내는 도면이다.
도 6을 참조하면, 마스크 생성부(234)는, 기준 차량의 주행 방향을 따라 일정한 도로 너비를 갖는, 주행 차선 영역을 생성할 수 있다. 본 실시예의 일 측면에 따르면, 도로 너비는 우리나라 도로 사정을 고려하여 3.5 m로 설정될 수 있다. 도 6의 (a)를 참조하면, 소형차 마스크에서 생성된 주행 차선 영역은, 직선 x1 및 직선 x2의 사이 영역임을 확인할 수 있다. 도 6의 (b)를 참조하면, 대형차 마스크에서 생성된 주행 차선 영역은, 직선 y1 및 직선 y2의 사이 영역임을 확인할 수 있다. 그리고, 소형차 마스크 및 대형차 마스크에서 각각 생성된 주행 차선 영역은 서로 일치할 수 있다.
다음으로, 마스크 생성부(234)는, 주행 차선 영역에, 차량 이격거리 간격으로 구분되는 복수의 구간 영역을 생성할 수 있다. 여기서, 각 구간의 차량 이격거리 간격은 모두 같거나, 각각 서로 다를 수 있다. 본 실시예의 일 측면에 따르면, 마스크 생성부(234)는, 주행 차선 영역에, 차량 이격거리 3.5 m 간격으로 일정하게 구분되는 5개의 구간 영역을 생성할 수 있으며, 이하 이를 전제로 설명하기로 한다. 다만, 이는 설명의 편의를 위한 것이므로, 본 발명의 실시예는 이에 한정되지 않음에 유의하여야 한다.
마스크 생성부(225)는, 5개 구간 영역 각각에, 전방 차량의 너비 정보 값을 매핑할 수 있다.
도 6의 (a)를 참조하면, 소형차 마스크에서 생성된 5개 구간 영역은 a1, a2, a3, a4 및 a5임을 확인할 수 있다. a1 구간 영역은, 차량 이격거리 2.5 m 이상에서 6 m 미만인 구간으로서, 36 픽셀의 너비 정보 값이 매핑될 수 있다. a2 구간 영역은, 차량 이격거리 6 m 이상에서 9.5 m 미만인 구간으로서, 235 픽셀의 너비 정보 값이 매핑될 수 있다. a3 구간 영역은, 차량 이격거리 6 m 이상에서 13 m 미만인 구간으로서, 434 픽셀의 너비 정보 값이 매핑될 수 있다. a4 구간 영역은, 차량 이격거리 13 m 이상에서 16.5 m 미만인 구간으로서, 633 픽셀의 너비 정보 값이 매핑될 수 있다. a5 구간 영역은, 차량 이격거리 16.5 m 이상에서 20 m 미만인 구간으로서, 832 픽셀의 너비 정보 값이 매핑될 수 있다. 이상을 정리하면, 아래 표 1과 같다.
소형차 구간 영역
(차량 이격거리)
 a1
(2.5 ~ 6m)		 a2
(6 ~ 9.5m)		 a3
(9.5 ~ 13m)		 a4
(13 ~ 16.5m)		 a5
(16.5 ~ 20m)
차량 너비 정보
 36 픽셀 235 픽셀 434 픽셀 633 픽셀 832 픽셀
소형차 마스크에서 구간 별 매핑된 너비 정보 값은, 테이블 형태로 메모리 장치(미도시)에 저장될 수 있다.
도 6의 (b)를 참조하면, 대형차 마스크에서 생성된 5개 구간 영역은 b1, b2, b3, b4 및 b5임을 확인할 수 있다. b1 구간 영역은, 차량 이격거리 2.5 m 이상에서 6 m 미만인 구간으로서, 57 픽셀의 너비 정보 값이 매핑될 수 있다. b2 구간 영역은, 차량 이격거리 6 m 이상에서 9.5 m 미만인 구간으로서, 294 픽셀의 너비 정보 값이 매핑될 수 있다. b3 구간 영역은, 차량 이격거리 6 m 이상에서 13 m 미만인 구간으로서, 531 픽셀의 너비 정보 값이 매핑될 수 있다. b4 구간 영역은, 차량 이격거리 13 m 이상에서 16.5 m 미만인 구간으로서, 768 픽셀의 너비 정보 값이 매핑될 수 있다. b5 구간 영역은, 차량 이격거리 16.5 m 이상에서 20 m 미만인 구간으로서, 1,005 픽셀의 너비 정보 값이 매핑될 수 있다. 이상을 정리하면, 아래 표 2와 같다.
대형차 구간 영역
(차량 이격거리)		 b1
(2.5 ~ 6m)
 b2
(6 ~ 9.5m)		 b3
(9.5 ~ 13m)		 b4
(13 ~ 16.5m)		 b5
(16.5 ~ 20m)
차량 너비 정보 57 픽셀
 294 픽셀 531 픽셀 768 픽셀 1,005 픽셀
대형차 마스크에서 구간 별 매핑된 너비 정보 값은, 테이블 형태로 메모리 장치(미도시)에 저장될 수 있다.
이상의 소형차 마스크 및 대형차 마스크는, 후술할 1차 필터부(235) 및 2차 필터부(236)가, 비차량 및 주행 차로 이외 영역의 차량을, 원거리 차량 후보군에서 제외하는 데 이용될 수 있다.
다시 도 2를 참조하면, 1차 필터부(235)는, 소형차 마스크 및 대형차 마스크 각각의 구간 별 너비 정보 값을 이용하여, 후보 검출부(233)에 의해 검출된 후보군에서 비차량을 제외하는, 1차 필터링을 수행할 수 있다.
구체적으로, 1차 필터부(235)는, 검출된 후보군을 포함하는 전방 영상에, 마스크 생성부(234)에 의해 생성된, 소형차 마스크 및 대형차 마스크를 정의할 수 있다.
1차 필터부(235)는, 소형차 마스크 및 대형차 마스크가 정의된 전방 영상에서, 검출된 후보의 박스 하단 중심이 속하는 구간 영역을 각각 확인할 수 있다.
1차 필터부(235)는, 확인된 각각의 구간 영역에 매핑된 너비 정보 값을 이용하여, 중심 좌표 위치에서 전방 차량이 가질 수 있는 너비 범위를 산출할 수 있다.
너비 범위는, 중심 좌표 위치에서, 소형차 마스크의 너비 정보 값(min)에서 마진 값(margin)을 뺀 값 및, 대형차 마스크의 너비 정보 값(max)에 마진 값을 더한 값 사이의 범위일 수 있다. 그리고, 마진 값은, 중심 좌표 위치에서, 대형차 마스크의 너비 정보 값(max)에서 소형차 마스크의 너비 정보 값(min)을 뺀 값에, 미리 설정된 실수를 곱하여 산출될 수 있다. 본 실시예의 일 측면에 따르면, 미리 설정된 실수는 0.3일 수 있다. 다만, 이는 설명의 편의를 위한 것으로, 미리 설정된 실수는, 전방 차량에 대한 최적의 검출 정확도를 갖도록 실험적으로 정해진, 0 이상 및 1 미만의 값일 수 있다.
1차 필터부(235)는, 검출된 후보의 박스 하단 너비가, 중심 좌표 위치에서 전방 차량이 가질 수 있는 너비 범위에 속하지 않는 경우, 해당 후보를 전방 차량 후보군에서 제외할 수 있다. 이하, 도 7을 참조하여, 1차 필터부(235)가 1차 필터링 동작을 수행하는 과정을 구체적으로 살펴보기로 한다.
도 7은 본 실시예에 따른 소형차 마스크 및 대형차 마스크를 이용한 1차 필터링 동작을 나타내는 도면이다.
도 7의 (a)를 참조하면, 후보 검출부(233)에 의해 검출된 원거리 전방 차량 후보(V3)의, 박스 하단 너비는 290 픽셀이고, 박스 하단 중심 좌표는 (150,200) 임을 확인할 수 있다.
그리고 도 7의 (b)를 참조하면, (150,200)의 중심 좌표 위치는, 소형차 마스크에서 a3 구간 영역에 속하고, 대형차 마스크에서 b2 구간 영역에 속함을 확인할 수 있다. 소형차 마스크에서 a3 구간의 너비 정보 값(min)은 434 픽셀이고, 대형차 마스크에서 b2 구간의 너비 정보 값(max)은 294 픽셀이다. 따라서, 마진 값(margin)은,
Figure 112017096397219-pat00001
의 계산에 따라, 42가 된다.
결과적으로, (150,200)의 중심 좌표 위치에서, 전방 차량이 가질 수 있는 너비 범위는, 252 픽셀(
Figure 112017096397219-pat00002
) 이상 및 392 픽셀(
Figure 112017096397219-pat00003
) 이하의 범위가 될 수 있다. 검출된 후보(V3)의 박스 하단 너비는, 290 픽셀로서 (150,200)의 중심 좌표 위치에서의 너비 범위를 충족한다. 따라서, 해당 후보(V3)는 전방 차량 후보군에서 제외되지 않는다.
다시 도 2를 참조하면, 2차 필터부(236)는, 소형차 마스크 및/또는 대형차 마스크의 주행 차선 영역 정보를 이용하여, 1차 필터링이 수행된 후보군에서, 주행 차선 이외 영역의 차량을 제외하는 2차 필터링을 수행할 수 있다.
도 6을 참조하여 전술한 바와 같이, 소형차 마스크 및 대형차 마스크에서 각각의 주행 차선 영역은, 기준 차량의 진행 방향을 따라 도로 너비인 3.5 m 폭으로 생성될 수 있다. 그리고, 소형차 마스크 및 대형차 마스크에서 생성된, 각각의 주행 차선 영역은 일치할 수 있다. 따라서, 이하, 소형차 마스크의 주행 차선 영역 정보 만을 이용한 2차 필터링에 대해서 설명하기로 한다.
2차 필터부(236)는, 1차 필터링된 전방 영상에, 소형차 마스크의 주행 차선 영역을 정의하고, 탐색 영역 설정부(231)에 의해 설정된 원거리 탐색 영역과 정합할 수 있다.
2차 필터부(236)는, 정합된 전방 영상에서, 검출된 후보의 박스 하단 중심의 y 좌표가 원거리 탐색 영역의 y 좌표 범위를 벗어나는 경우, 해당 후보를 전방 차량 후보군에서 제외할 수 있다. 이하, 도 8을 참조하여, 2차 필터부(236)가 2차 필터링 동작을 수행하는 과정을 구체적으로 살펴보기로 한다.
도 8은 본 실시예에 따른 소형차 마스크 및 대형차 마스크를 이용한 2차 필터링 동작을 나타내는 도면이다.
도 8을 참조하면, 후보 검출부(224)에 의해 검출된 제 1 후보(V1)의, 박스 하단 중심의 y 좌표는 10이다. 제 1 후보(V1)의 y 좌표 10은, 정합된 원거리 탐색 영역의 y 좌표 범위(0 이상 및 300 이하)에 속하므로, 제 1 후보(V1)는 전방 차량 후보군에서 제외되지 않는다.
후보 검출부(233)에 의해 검출된 제 2 후보(V2)의, 박스 하단 중심의 y 좌표는 135이다. 제 2 후보(V2)의 y 좌표 135는, 정합된 원거리 탐색 영역의 y 좌표 범위(0 이상 및 300 이하)에 속하므로, 제 2 후보(V2)는 전방 차량 후보군에서 제외되지 않는다.
후보 검출부(233)에 의해 검출된 제 3 후보(V3)의, 박스 하단 중심의 y 좌표는 310이다. 제 3 후보(V3)의 y 좌표 310은, 정합된 원거리 탐색 영역의 y 좌표 범위(0 이상 및 300 이하)에 속하지 않으므로, 제 3 후보(V3)는 전방 차량 후보군에서 제외될 수 있다.
다시 도 2를 참조하면, 제 2 학습부(237)는, 2차 필터링된 전방 영상에서 차량 만을 검출하기 위하여, 차량 후방면의 기하학적 구조에 기초한 제 2 학습 데이터를 생성할 수 있다.
구체적으로, 제 2 학습부(237)는, SVM(Support Vector Machine)을 사용하여, 원거리 차량 후방면 영상의 HOG(Histogram of Gradient) 특징 벡터를 추출할 수 있다. 제 2 학습부(237)는, 추출된 HOG 특징 벡터를 포함하는 제 2 학습 데이터를 생성할 수 있다.
참고로, HOG는, 영상을 바둑판 모양의 사각형 그리드(grid)로 나누고, 각각의 그리드 내의 방향(Orientation)에 대한 로컬 히스토그램을 계산하는 알고리즘을 말한다. HOG 특징 벡터는, 복수의 픽셀을 포함하는 셀에서 에지(edge) 픽셀들의 방향에 대한 히스토그램을 구한 후, 이들 히스토그램을 각도 별로 나누어 일렬로 연결한 벡터를 말한다.
제 2 학습부(237)는, 제 2 필터부(236)로부터 전달된 전방 영상에서, 원거리 전방 차량의 후방면 영상을 획득할 수 있다. 또한, 제 2 학습부(237)는, 외부로부터 전달된 전방 영상에서, 원거리 전방 차량의 후방면 영상을 획득할 수 있다. 원거리 전방 차량에 대한 학습 범위는, 도 4의 (a)를 참조하여 전술한 바와 같이, 바퀴와 도로의 접촉면부터 지붕면까지의 범위일 수 있다.
제 2 학습부(237)에 의해 생성된 제 2 학습 데이터는, 후술할 검증부(238)에 의한 차량 선별 과정에 이용될 수 있다.
다시 도 2를 참조하면, 검증부(238)는, 제 2 학습 데이터를 이용하여, 2차 필터링된 전방 영상에 포함되는 후보군으로부터 차량 만을 선별할 수 있다.
구체적으로, 검증부(238)는, 제 2 학습 데이터에 포함된 차량의 HOG 특징 벡터를 벡터 공간에 표현한, 평면 방정식(Optimal Hyper Plane)을 기준으로 하여, 전방 영상의 후보군으로부터 차량 만을 선별할 수 있다.
다음으로, 검증부(238)는, 제 2 학습 데이터를 이용하여 선별된 전방 영상의 후보군에서 박스가 중첩되는 후보들이 존재하는 경우, 중첩 정도에 따라 후보 선택 동작을 수행할 수 있다. 즉, 검증부(238)는, 후보군 박스들의 중첩 정도가, 상대적으로 작은 박스의 면적을 기준으로 미리 설정된 비율 이상이 되는 경우, 택일적인 후보 선택 동작을 수행할 수 있다. 본 실시예의 일 측면에 따르면, 미리 설정된 비율은 70 %일 수 있으며, 이하 이를 전제로 설명하기로 한다.
검증부(238)는, 제 2 학습 데이터에 포함되는 차량 후방면 영상의 HOG 특징 벡터와 후보군 영상의 HOG 특징 벡터를 내적하여 SVM 점수를 산출할 수 있다. 이 때, SVM 점수는, 차량 후방면 영상의 HOG 특징과 후보군 영상의 HOG 특징 간의 유사 정도를 판단하는 척도가 될 수 있다. 즉, 후보군 영상의 HOG 특징과 차량 후방면 영상의 HOG 특징 간의 유사 정도가 높을수록, SVM 점수는 높게 산출된다. 검증부(238)는, 박스가 중첩되는 후보들 중에서, SVM(Support Vector Machine) 점수가 높은 1개의 후보를 후보군으로 선택할 수 있다.
결과적으로, 전방 영상의 후보군에서, 검증부(238)에 의해 선별 및 선택된 후보들은, 원거리 검출부(230)의 검출 결과로서, 병합부(270)로 전달될 수 있다.
근거리 검출부(250)
근거리 검출부(250)는, 촬영된 전방 영상에서, 근거리 구간에 존재하는 전방 차량(이하, 근거리 전방 차량이라고 칭함)을 검출할 수 있다. 여기서, 근거리 구간은, 미리 설정된 구간으로, 본 실시예의 일 측면에 따르면 기준 차량과 전방 차량과의 최단거리(이하, 차량 이격거리라고 칭함)가 1.7 m 이상에서 5 m 이하인 구간일 수 있다. 검출 정확도를 높이기 위하여, 근거리 구간은 전술한 원거리 구간과 일부 중첩되도록 설정될 수 있다.
근거리 검출부(250)는, 근거리 전방 차량을 검출하기 위해 필요한 구성요소로서, 탐색 영역 설정부(251), 제 1 학습부(252), 후보 검출부(253), 마스크 생성부(254), 1차 필터부(255), 2차 필터부(256), 제 2 학습부(257) 및 검증부(258)를 포함할 수 있다. 다만, 이는 설명의 편의를 위하여 근거리 검출부(250)가 수행하는 '전방 차량 검출 동작'을 구성요소로서 도시한 것일 뿐이다. 따라서, 도면에 직접적으로 도시되진 않았지만, 근거리 검출부(250)에는 검출 동작을 제어하기 위하여 필요한 구성요소들이 더 포함될 수 있다.
탐색 영역 설정부(251)는, 촬영된 전방 영상에서, 일정한 범위 내에 존재하는 근거리 전방 차량 만을 검출하기 위하여, 근거리 탐색 영역을 설정할 수 있다. 이하, 도 3을 참조하여, 탐색 영역 설정부(251)가 근거리 탐색 영역을 설정하는 과정을 구체적으로 살펴보기로 한다.
도 3은 본 실시예에 따른 원거리 탐색 영역 및 근거리 탐색 영역이 설정된 전방 영상을 도시한 도면이다.
도 3을 참조하면, 탐색 영역 설정부(251)는, 기준 차량의 진행 방향을 기준으로, 일정한 도로 너비를 갖는 가상의 주행 차선을 설정할 수 있다. 여기서, 도로 너비는 우리나라 도로 사정을 고려하여 3.5 m로 설정될 수 있다. 탐색 영역 설정부(251)는, 가상의 주행 차선과 직교하는 수평선 및 수직선을 이용하여, 일정한 크기의 탐색 영역을 설정할 수 있다. 여기서, 탐색 영역의 크기는, 수평선 너비 540 픽셀 및 수직선 높이 324 픽셀(즉, 수평선 너비:수직선 높이=5:3)로 미리 설정될 수 있다. 다만, 이는 설명의 편의를 위한 것이므로, 도로 너비 및 탐색 영역의 크기는 이와 달라질 수 있다.
결과적으로, 탐색 영역 설정부(251)는, 도 3의 (b)에 도시된 바와 같이 근거리 탐색 영역(ROI2)을 설정할 수 있다. 이 경우, 근거리 탐색 영역(ROI2)의 좌측 상단의 좌표를 (0,0) 기준 좌표로 하면, 좌측 하단의 좌표는 (324,0), 우측 하단의 좌표는 (324,540) 및 우측 상단의 좌표는 (0,540)이 될 수 있다.
다시 도 2를 참조하면, 제 1 학습부(252)는, 탐색 영역 설정부(251)에 의해 설정된 탐색 영역에서 근거리 전방 차량을 검출하기 위하여, 근거리 전방 차량의 후방면에 대한 제 1 학습 데이터를 생성할 수 있다. 제 1 학습부(252)는, 촬영부(210)로부터 전달된 전방 영상에서, 근거리 전방 차량의 후방면 영상을 획득할 수 있다. 또한, 제 1 학습부(252)는, 외부로부터 전달된 전방 영상에서, 근거리 전방 차량의 후방면 영상을 획득할 수 있다. 이하, 도 4를 참조하여, 제 1 학습부(252)가 제 1 학습 데이터를 생성하는 과정을 구체적으로 살펴보기로 한다.
도 4는 본 실시예에 따른 원거리 전방 차량 및 근거리 전방 차량에 대한 각각의 학습 범위를 나타내는 도면이다.
도 4의 (b)를 참조하면, 근거리 전방 차량에 대한 학습 범위는, 바퀴와 도로의 접촉면부터 후미등의 상단면까지의 범위일 수 있다.
근거리 전방 차량에 대한 학습 특징은, 근거리 전방 차량의 검출을 위해 이용될 수 있는 부분, 예를 들어 근거리 전방 차량의 좌우 경계면, 브레이크등, 번호판 등에 대한 하알 유사(Haar-like) 특징, 웨이블릿(Wavelet) 특징일 수 있다. 다만, 이는 예시적인 것이고, 본 발명의 실시예가 이에 한정되는 것은 아니다.
제 1 학습부(252)에 의해 생성된 제 1 학습 데이터는, 후술할 후보 검출부(253)가 근거리 전방 차량 후보를 검출하는데 이용될 수 있으며, 메모리 장치(미도시)에 저장될 수 있다.
다시 도 2를 참조하면, 후보 검출부(253)는, 1개 이상의 스캔 박스를 이용하여 전방 영상의 탐색 영역을 단계적으로 스캔함으로써, 근거리 전방 차량 후보를 검출할 수 있다.
구체적으로, 후보 검출부(253)는, 1개 이상의 스캔 박스를, 탐색 영역의 좌측 상단에서부터 일정한 방향으로 이동시키면서, 탐색 영역 전체를 스캔할 수 있다. 후보 검출부(253)는, 근거리 전방 차량의 후방면 특징 정보를 포함하는 제 1 학습 데이터를 이용하여, 차량과 비차량을 구별하는 임계 값을 생성하고, 생성된 임계 값을 기준으로 스캔 박스 내 영상에서 근거리 전방 차량 후보를 검출할 수 있다. 이하, 도 5b를 참조하여, 후보 검출부(253)가 근거리 전방 차량 후보를 검출한 결과를 상세하게 살펴보기로 한다.
도 5b는 본 실시예에 따른 근거리 전방 차량 후보가 검출된 결과를 나타내는 도면이다.
도 5b를 참조하면, 후보 검출부(253)에 의해 총 2개의 근거리 전방 차량 후보(V6 및 V7)가 검출되었음을 확인할 수 있다.
총 2개의 후보(V6 및 V7)는, 제 4 차량(T4)에 대한 2개 검출 결과(V6 및 V7)를 포함한다. 여기서, 제 4 차량(T4)에 대한 2개 후보(V6 및 V7)는, 제 4 차량(T4)의 좌/우 흔들림에 의해 발생된 것으로서, 후술할 검증부(259)에 의해 어느 하나(V6 또는 V7)로 선택될 수 있다.
다시 도 2를 참조하면, 마스크 생성부(254)는, 후보 검출부(253)에 의해 검출된 전방 차량 후보군에서, 비차량 및 주행 차로 이외 영역의 차량을 필터링하는 데 이용되는, 소형차 마스크 및 대형차 마스크를 생성할 수 있다.
구체적으로, 마스크 생성부(254)가 소형차 마스크 및 대형차 마스크를 생성하는 과정은, 도 6을 참조하여 전술한 바와 같다.
소형차 마스크 및 대형차 마스크는, 후술할 1차 필터부(255) 및 2차 필터부(256)가, 비차량 및 주행 차로 이외 영역의 차량을, 근거리 차량 후보군에서 제외하는 데 이용될 수 있다.
1차 필터부(255)는, 소형차 마스크 및 대형차 마스크 각각의 구간 별 너비 정보 값을 이용하여, 후보 검출부(253)에 의해 검출된 후보군에서 비차량을 제외하는, 1차 필터링을 수행할 수 있다.
1차 필터부(255)의 구체적인 내용은, 원거리 검출부(230)에 있어서, 도 7을 참조하여 전술한 바와 같다.
2차 필터부(256)는, 소형차 마스크 및/또는 대형차 마스크의 주행 차선 영역 정보를 이용하여, 1차 필터링이 수행된 후보군에서 주행 차선 이외 영역의 차량을 제외하는, 2차 필터링을 수행할 수 있다.
2차 필터부(256)의 구체적인 내용은, 원거리 검출부(230)에 있어서, 도 8을 참조하여 전술한 바와 같다.
제 2 학습부(257)는, 2차 필터링된 전방 영상에서 차량 만을 검출하기 위하여, 차량 후방면의 기하학적 구조에 기초한 제 2 학습 데이터를 생성할 수 있다.
구체적으로, 제 2 학습부(257)는, SVM(Support Vector Machine)을 사용하여, 근거리 차량 후방면 영상의 HOG(Histogram of Gradient) 특징 벡터를 추출할 수 있다. 제 2 학습부(257)는, 추출된 HOG 특징 벡터를 포함하는 제 2 학습 데이터를 생성할 수 있다.
참고로, HOG는, 영상을 바둑판 모양의 사각형 그리드(grid)로 나누고, 각각의 그리드 내의 방향(Orientation)에 대한 로컬 히스토그램을 계산하는 알고리즘을 말한다. HOG 특징 벡터는, 복수의 픽셀을 포함하는 셀에서 에지(edge) 픽셀들의 방향에 대한 히스토그램을 구한 후, 이들 히스토그램을 각도 별로 나누어 일렬로 연결한 벡터를 말한다.
제 2 학습부(257)는, 제 2 필터부(256)로부터 전달된 전방 영상에서, 근거리 전방 차량의 후방면 영상을 획득할 수 있다. 또한, 제 2 학습부(257)는, 외부로부터 전달된 전방 영상에서, 근거리 전방 차량의 후방면 영상을 획득할 수 있다. 근거리 전방 차량에 대한 학습 범위는, 도 4의 (b)를 참조하여 전술한 바와 같이, 바퀴와 도로의 접촉면부터 후미등 상단면까지의 범위일 수 있다.
제 2 학습부(257)에 의해 생성된 제 2 학습 데이터는, 후술할 검증부(258)에 의한 차량 선별 과정에 이용될 수 있다.
검증부(258)는, 제 2 학습 데이터를 이용하여, 2차 필터링된 전방 영상에 포함되는 후보군으로부터 차량 만을 선별할 수 있다.
검증부(258)의 구체적인 내용은, 원거리 검출부(230)의 검증부(238)에서 전술한 바와 같다.
결과적으로, 전방 영상의 후보군에서, 검증부(258)에 의해 선별 및 선택된 후보들은, 근거리 검출부(250)의 검출 결과로서, 병합부(270)로 전달될 수 있다.
병합부(270)
병합부(270)는, 원거리 검출부(230)의 검출 결과(이하 원거리 검출 결과)와 근거리 검출부(250)의 검출 결과(이하 근거리 검출 결과)가 동일한 전방 차량에 대해 중복되는 경우, 각각의 결과를 하나로 병합할 수 있다.
구체적으로, 병합부(270)는, 원거리 검출 결과 박스 및 근거리 검출 결과 박스의 IoU(Intersection over Union)가 미리 설정된 병합 기준 값 이상인 경우, 각각의 검출 결과가 동일한 차량에 대해 중복되는 것으로 판단할 수 있다. IOU는 복수의 검출 결과가 중첩되는 정도를 나타내는 지표를 의미하며, 수학식 1의 계산에 의해 산출될 수 있다.
Figure 112017096397219-pat00004
여기서,
Figure 112017096397219-pat00005
는 복수의 검출 결과 박스가 중첩되는 영역의 면적(Area of Overlap)을 나타내고,
Figure 112017096397219-pat00006
는 복수의 검출 결과 박스를 결합한 영역의 면적(Area of Union)을 나타낸다.
다만, 이는 예시적인 것이고, 원거리 검출 결과 및 근거리 검출 결과의 중복 기준은 다양하게 설정될 수 있음에, 유의하여야 한다.
미리 설정된 병합 기준 값은, 전방 차량에 대한 최적의 검출 정확도를 갖도록 실험적으로 정해진 0 초과 및 1 미만의 실수일 수 있다. 본 실시예의 일 측면에 따르면 0.6일 수 있으며, 이하 이를 전제로 설명하기로 한다.
병합부(270)는, 원거리 검출 결과와 근거리 검출 결과가 동일한 차량에 대해 중복된다고 판단한 경우, 각각의 검출 결과를 하나로 병합할 수 있다.
이하, 도 9를 참조하여, 병합부(270)가 원거리 검출 결과 및 근거리 검출 결과를 병합하는 과정을 구체적으로 살펴보기로 한다.
도 9는 본 실시예에 따른 원거리 검출 결과 및 근거리 검출 결과의 병합 과정을 나타내는 도면이다.
도 9를 참조하면, 원거리 검출 결과 박스(RA)와 근거리 검출 결과 박스(RB)가 중첩되는 것을 확인할 수 있다. 그리고, 원거리 검출 결과 박스(RA) 및 근거리 검출 결과 박스(RB)의 IoU는 0.8로서, 병합 기준 값인 0.6을 초과한다. 따라서, 병합부(270)는, 원거리 검출 결과(RA) 및 근거리 검출 결과(RB)의 병합을 결정할 수 있다.
이 경우, 병합부(270)는, 원거리 검출 결과 박스(RA)의 중심 좌표 위치(A)와 근거리 검출 결과 박스(RB)의 중심 좌표 위치(B)를 산술 평균(
Figure 112017096397219-pat00007
)하여, 중간 좌표 위치(C)를 산출할 수 있다.
병합부(270)는, 산출된 중간 좌표 위치(C)가 속하는 소형차 마스크의 구간 영역에 매핑된, 전방 차량의 너비 정보 값(W1)을 획득할 수 있다. 병합부(270)는, 산출된 중간 좌표 위치(C)가 속하는 대형차 마스크의 구간 영역에 매핑된, 전방 차량의 너비 정보 값(W2)을 획득할 수 있다.
병합부(270)는, 산출된 중간 좌표 위치(C)를 중심 좌표 위치로 하고, 획득된 너비 정보 값들(W1 및 W2)의 산술 평균 값(
Figure 112017096397219-pat00008
)을 박스 하단 너비로 하여, 다른 하나의 검출 결과 박스(RC)를 생성할 수 있다. 즉, 병합부(270)는, 원거리 검출 결과(RA) 및 근거리 검출 결과(RB)를 병합하여, 하나의 검출 결과(RC)를 생성할 수 있다.
결과적으로, 병합부(270)는, 병합으로 생성된 검출 결과와, 중복되지 않는 원거리 검출 결과 및 근거리 검출 결과를 출력할 수 있다.
추적부(290)
추적부(290)는, 병합부(270)로부터 입력된 검출 결과로부터, 전방 차량을 추적할 수 있다. 즉, 추적부(290)는, 정지된 하나의 전방 영상 속에서 검출된 전방 차량이, 연속된 복수의 전방 영상 속에서 이동하는 방향 및 속도 등을 추정할 수 있다.
구체적으로, 추적부(290)는, 전방 차량 검출 결과를 포함하는 전방 영상을 병합부(270)로부터 연속적으로 입력받고, 각각의 전방 영상에 상관성을 부여하는 데이터 어소시에이션(Data Association)을 수행할 수 있다. 이 때, 추적부(290)는, 병합부(270)에서 전술한 IOU 지표를 이용하여, 입력된 전방 영상 속에서 새롭게 검출된 전방 차량의 존재 여부를 확인할 수 있다. 추적부(290)는, 검출 차량 리스트 및 추적 차량 리스트를 생성하여 관리함으로써, 검출된 전방 차량을 연속적으로 추적할 수 있다.
추적부(290)는, 칼만 필터(Kalman Filter)를 이용하여, 검출된 전방 차량을 추적할 수 있다. 예를 들어, 추적부(290)는, 칼만 필터의 상태 값을 현재 검출된 전방 차량의 위치로 초기화할 수 있다. 추적부(290)는, 칼만 필터를 이용하여, 현재 검출된 전방 차량이, 연속된 다음 전방 영상 속에서 존재할 수 있는 위치를 예측할 수 있다. 추적부(290)는, 예측된 위치 및, 현재 검출된 전방 차량이 연속된 다음 전방 영상 속에서 실제 검출된 위치를 추적에 반영하여, 현재 검출된 전방 차량의 이동 방향 및 속도 등의 상태 정보를 보정할 수 있다.
이하, 도 10을 참조하여, 본 실시예에 따른 전방 차량 검출 과정을 다시 간략하게 살펴보기로 한다.
도 10은 본 실시예에 따른 전방 차량 검출 방법을 나타내는 흐름도이다.
전방 영상 촬영 과정
전술한 도 2 및 도 10을 참조하면, 과정 S1010에서, 촬영부(210)는, 기준 차량의 전방 영상을 촬영하여, 원거리 검출부(230) 및 근거리 검출부(250)로 각각 전달할 수 있다.
원거리 전방 차량 검출 과정
과정 S1021에서, 탐색 영역 설정부(231)는, 촬영된 전방 영상에서, 일정한 범위의 원거리 탐색 영역을 설정할 수 있다. 후보 검출부(233)는, 제 1 학습부(232)에 의해 생성된 제 1 학습 데이터를 이용하여, 원거리 전방 차량 후보군을 검출할 수 있다. 이 때, 제 1 학습 데이터는, 바퀴와 도로의 접촉면부터 지붕면까지의 범위에서 원거리 전방 차량의 후방면 특징 정보를 포함할 수 있다.
과정 S1031에서, 마스크 생성부(234)는, 과정 S1021에서 후보 검출부(233)에 의해 검출된 후보군에서, 비차량 및 주행 차로 이외 영역의 차량을 제외하는 데 이용되는, 소형차 마스크 및 대형차 마스크를 생성할 수 있다.
과정 S1031에서, 1차 필터부(235)는, 소형차 마스크 및 대형차 마스크 각각의 구간에 매핑된 차량 너비 정보 값을 이용하여, 과정 S1021에서 후보 검출부(233)에 의해 검출된 후보군에서, 비차량을 제외하는 1차 필터링을 수행할 수 있다.
과정 S1031에서, 2차 필터부(236)는, 소형차 마스크 및/또는 대형차 마스크의 주행 차선 영역 정보를 이용하여, 1차 필터링이 수행된 후보군에서, 주행 차선 이외 영역의 차량을 제외하는 2차 필터링을 수행할 수 있다.
과정 S1041에서, 제 2 학습부(237)는, 과정 S1031에서 2차 필터부(236)에 의해 2차 필터링된 후보군에서, 차량 만을 검출하기 위하여, 원거리 차량 후방면 영상의 HOG(Histogram of Gradient) 특징 벡터를 추출하여 제 2 학습 데이터를 생성할 수 있다.
과정 S1041에서, 검증부(238)는, 제 2 학습 데이터에 포함된 차량의 HOG 특징을 이용하여, 2차 필터링된 전방 영상에 포함되는 후보군으로부터 차량 만을 선별할 수 있다.
과정 S1041에서, 검증부(238)는, 선별된 전방 영상의 후보군에서, 박스 면적이 70% 이상으로 중첩되는 후보들이 존재하는 경우, 택일적인 후보 선택 동작을 수행할 수 있다. 그리고 이 경우, 검증부(238)는, SVM(Support Vector Machine) 점수가 높은 1개의 후보를 후보군으로 선택할 수 있다.
과정 S1041에서, 검증부(238)에 의해 선별 및 선택된 후보들은, 원거리 검출부(230)의 검출 결과로서, 병합부(270)로 전달될 수 있다.
근거리 전방 차량 검출 과정
과정 S1023에서, 탐색 영역 설정부(251)는, 촬영된 전방 영상에서, 일정한 범위의 근거리 탐색 영역을 설정할 수 있다. 후보 검출부(253)는, 제 1 학습부(252)에 의해 생성된 제 1 학습 데이터를 이용하여, 근거리 전방 차량 후보군을 검출할 수 있다. 이 때, 제 1 학습 데이터는, 바퀴와 도로의 접촉면부터 지붕면까지의 범위에서 근거리 전방 차량의 후방면 특징 정보를 포함할 수 있다.
과정 S1033에서, 마스크 생성부(254)는, 과정 S1023에서 후보 검출부(253)에 의해 검출된 후보군에서, 비차량 및 주행 차로 이외 영역의 차량을 제외하는 데 이용되는, 소형차 마스크 및 대형차 마스크를 생성할 수 있다.
과정 S1033에서, 1차 필터부(255)는, 소형차 마스크 및 대형차 마스크 각각의 구간에 매핑된 차량 너비 정보 값을 이용하여, 과정 S1023에서 후보 검출부(233)에 의해 검출된 후보군에서, 비차량을 제외하는 1차 필터링을 수행할 수 있다.
과정 S1033에서, 2차 필터부(256)는, 소형차 마스크 및/또는 대형차 마스크의 주행 차선 영역 정보를 이용하여, 1차 필터링이 수행된 후보군에서, 주행 차선 이외 영역의 차량을 제외하는 2차 필터링을 수행할 수 있다.
과정 S1043에서, 제 2 학습부(257)는, 과정 S1033에서 2차 필터부(256)에 의해 2차 필터링된 후보군에서, 차량 만을 검출하기 위하여, 원거리 차량 후방면 영상의 HOG(Histogram of Gradient) 특징 벡터를 추출하여 제 2 학습 데이터를 생성할 수 있다.
과정 S1043에서, 검증부(258)는, 제 2 학습 데이터에 포함된 차량의 HOG 특징을 이용하여, 2차 필터링된 전방 영상에 포함되는 후보군으로부터 차량 만을 선별할 수 있다.
과정 S1043에서, 검증부(258)는, 선별된 전방 영상의 후보군에서, 박스 면적이 70% 이상으로 중첩되는 후보들이 존재하는 경우, 택일적인 후보 선택 동작을 수행할 수 있다. 그리고 이 경우, 검증부(258)는, SVM(Support Vector Machine) 점수가 높은 1개의 후보를 후보군으로 선택할 수 있다.
과정 S1043에서, 검증부(258)에 의해 선별 및 선택된 후보들은, 근거리 검출부(250)의 검출 결과로서, 병합부(270)로 전달될 수 있다.
병합 과정
과정 S1050에서, 병합부(270)는, 원거리 검출부(230)의 검출 결과(이하 원거리 검출 결과)와 근거리 검출부(250)의 검출 결과(근거리 검출 결과)가 동일한 전방 차량에 대해 중복되는 경우, 각 결과들을 하나로 병합할 수 있다.
본 실시예의 일 측면에 따르면, 병합부(270)는, 원거리 검출 결과 박스 및 근거리 검출 결과 박스의 IoU가 0.6 이상인 경우, 각 검출 결과가 동일한 차량에 대해 중복된 것이라 판단하여 하나로 병합할 것을 결정할 수 있다.
병합부(270)는, 중복되는 각각의 검출 결과 박스의 중심 좌표 위치를 산술 평균한 지점을 새로운 중심 좌표 위치로 할 수 있다.
병합부(270)는, 새로운 중심 좌표 위치에서, 소형차 마스크의 차량 너비 정보 값 및 대형차 마스크의 차량 너비 정보 값의 산술 평균을 너비 값으로 갖는 새로운 검출 결과 박스를 생성할 수 있다. 즉, 병합부(270)는, 동일한 차량에 대해 중복되는, 원거리 검출 결과 및 근거리 검출 결과를 병합하여, 하나의 검출 결과를 생성할 수 있다.
결과적으로, 병합부(270)는, 병합으로 생성된 검출 결과와, 중복되지 않는 원거리 검출 결과 및 근거리 검출 결과를 출력할 수 있다.
추적 과정
과정 S1060에서, 추적부(290)는, 병합부(270)로부터 입력된 검출 결과로부터, 전방 차량을 추적할 수 있다. 즉, 추적부(290)는, 데이터 어소시에이션 방식 및 칼만 필터를 이용하여, 검출된 전방 영상 속 전방 차량의 이동 방향 및 속도 등을 추정할 수 있다.
이상 도 10에서는, 복수의 과정을 순차적으로 수행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서, 도 10에 기재된 순서를 변경하여 수행하거나 상기 복수의 과정 중 일부를 병렬적으로 수행하는 것으로 다양하게 수정 및 변경하여 적용 가능할 것이므로, 도 10은 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 10에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이하, 도 11을 참조하여, 본 실시예에 따른 전방 차량 검출 장치의 성능을 살펴보기로 한다.
도 11은 본 실시예에 따른 전방 차량 검출 장치의 성능 평가 결과표를 나타내는 도면이다.
도 11의 전방 차량 검출 장치의 성능 평가는, SVM(Support Vector Machine)을 이용한 HOG(Histogram of Oriented Gradients) 기반의 객체 검출 실행을 전제로 수행되었다.
성능 평가 결과표의 세로축에서, (1) 'GT_Total'은 전방 물체(General Target)의 총 개수를 나타내고, (2) 'Best_TP'는 최적의 정검출 결과(True Positive)의 총 개수를 나타내고, (3) 'FP'는 오검출 결과(False Positive)의 총 개수를 나타내고, (4) 'TP'는 정검출 결과(True Positive)의 총 개수를 나타내고, (5) 'Recall'은 실제 전방 차량의 총 개수에서 정검출 결과의 총 개수의 비율, 즉 검출율을 나타내며, (5) 'Precision'은 검출된 전방 차량의 총 개수에서 정검출 결과의 총 개수의 비율, 즉 검출 정확도를 나타낸다.
검출 성능은 주로, 검출 정확도(Precision) 및 검출율(Recall rate)에 의해 결정될 수 있다. 즉, 검출 정확도 및 검출율이 높을수록, 전방 검출 장치의 검출 성능이 향상될 수 있다.
검출 정확도 및 검출율은 일반적으로 트레이드 오프(trade off) 관계에 있으며, 어플리케이션 유형에 따라 검출 성능에 미치는 영향은 차이가 날 수 있다. 예를 들어, 전면 주차 보조 어플리케이션에 있어서는 검출율이 검출 정확도보다 검출 성능에 미치는 영향이 크다. 이에 반해, 전방 장애물 감지 어플리케이션에 있어서는 검출 정확도가 검출율보다 검출 성능에 미치는 영향이 크다. 이하, 설명의 편의를 위하여, 전방 장애물 감지 어플리케이션 환경임을 전제로 성능 평가 결과표를 분석하기로 한다.
성능 평가 결과표의 가로축에서, '(a1) 검출기'는, 본 실시예에 따른 전방 차량 검출 과정에서, 주행 차로 영역 외의 검출 후보를 제외하는 1차 필터링 및 차량 이격거리 별 차량 너비 정보에 따른 2차 필터링이 모두 수행되지 않은, 검출 결과를 나타낸다. 도 11을 참조하면, (a1)의 경우, 정확도는 0.62이고, 검출율은 0.98임을 확인할 수 있다.
성능 평가 결과
성능 평가 결과표의 가로축에서, '(a2) 주행차로'는, 본 실시예에 따른 전방 차량 검출 과정에서, 1차 필터링은 수행되지 않고 2차 필터링은 수행된, 검출 결과를 나타낸다. 도 11을 참조하면, (a2)의 경우, 정확도는 0.93이고, 검출율은 0.98임을 확인할 수 있다.
성능 평가 결과표의 가로축에서, '(a3) 거리별 필터'는, 본 실시예에 따른 전방 차량 검출 과정에서, 1차 필터링은 수행되고 2차 필터링은 수행되지 않은, 검출 결과를 나타낸다. 도 11을 참조하면, (a3)의 경우, 정확도는 0.77이고, 검출율은 0.97임을 확인할 수 있다.
성능 평가 결과표의 가로축에서, '(a4) 주행차로+거리별 필터'는, 본 실시예에 따른 전방 차량 검출 과정에서, 1차 필터링 및 2차 필터링 모두가 수행된, 검출 결과를 나타낸다. 도 11을 참조하면, (a4)의 경우, 정확도는 0.97이고, 검출율은 0.97임을 확인할 수 있다.
결과 분석
(a1) 결과의 경우, (a1) 내지 (a4) 결과 중에서, 검출율은 0.98로 가장 높으나, 정확도가 0.62로 가장 낮다. 정확도가 검출 성능 향상에 미치는 영향이 가장 큰 점을 고려할 때, (a1) 결과는 가장 낮은 검출 성능을 갖는다고 평가될 수 있다.
(a2) 결과의 경우, (a1) 내지 (a4) 결과 중에서, 검출율은 0.98로 가장 높고, 정확도는 0.93으로 두번째로 높다. 정확도가 검출 성능 향상에 미치는 영향이 가장 큰 점을 고려할 때, (a1) 결과는 후술할 (a4) 결과에 이어 두번째로 높은 검출 성능을 갖는다고 평가될 수 있다.
(a3) 결과의 경우, (a1) 내지 (a4) 결과 중에서, 검출율은 0.97로 두번째로 높으나, 정확도가 0.77로 두번째로 낮다. 정확도가 검출 성능 향상에 미치는 영향이 가장 큰 점을 고려할 때, (a3) 결과는 두번째로 낮은 검출 성능을 갖는다고 평가될 수 있다.
(a4) 결과의 경우, (a1) 내지 (a4) 결과 중에서, 검출율은 0.97로 두번째로 높고, 정확도는 0.97로 가장 높다. 정확도가 검출 성능 향상에 미치는 영향이 가장 큰 점을 고려할 때, (a4) 결과는 가장 높은 검출 성능을 갖는다고 평가될 수 있다.
이상을 정리하면,
첫 째, '(a4),(a2),(a3)>(a1)'의 검출 성능 관계를 통해, 1차 필터링 및/또는 2차 필터링을 수행하는 경우, 검출 성능이 높아지는 것을 확인할 수 있다.
둘 째, '(a2)>(a3)'의 검출 성능 관계를 통해, 2차 필터링이 1차 필터링보다 검출 성능 향상에 미치는 영향이 크다는 것을 확인할 수 있다.
셋 째, '(a4)>(a2)>(a3)>(a1)'의 검출 성능 관계를 통해, 1차 필터링 및 2차 필터링을 모두 수행하는 본 실시예가, 가장 높은 검출 성능을 갖는다는 것을 확인할 수 있다.
상술한 바와 같은 본 실시예에 따른 전방 차량 검출 방법에 따르면, 기존 차량용 AVM 시스템의 카메라를 이용하여 전방 차량을 검출함으로써, 별도의 전방 카메라 설치로 인한 비용 발생을 방지할 수 있다. 나아가, 본 실시예에 따른 전방 차량 검출 방법에 따르면, 원거리 및 근거리 전방 차량을, 각각의 차량 특징이 학습된 데이터를 이용하여 구분 검출함으로써, 검출 정확도를 향상시킬 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (17)

  1. 촬영된 전방 영상에서 전방 차량을 검출하는 장치에 있어서,
    상기 전방 영상에서 원거리 전방 차량을 검출하는 원거리 검출부;
    상기 전방 영상에서 근거리 전방 차량을 검출하는 근거리 검출부; 및
    상기 원거리 검출부의 검출 결과와 상기 근거리 검출부의 검출 결과가 동일한 차량에 대해 중복되는 경우, 상기 각각의 검출 결과를 하나로 병합하여 출력하는 병합부를 포함하되,
    상기 원거리 검출부 및 상기 근거리 검출부 각각은,
    차량 이격거리 별 전방 차량의 특징 정보를 포함하는 제 1 학습 데이터를 이용하여, 전방 차량 후보를 검출하는 후보 검출부;
    소형차 마스크의 차량 너비 정보 값 및 대형차 마스크의 차량 너비 정보 값을 이용하여, 상기 전방 차량 후보에서 비차량을 제외하는 1차 필터부;
    상기 소형차 마스크의 주행 차선 정보 및 상기 대형차 마스크의 주행 차선 정보를 이용하여, 1차 필터링된 전방 차량 후보에서 주행 차선 이외 영역에 존재하는 차량을 제외하는 2차 필터부; 및
    차량 이격거리 별 전방 차량의 HOG(Histogram of Oriented Gradients) 특징 정보를 포함하는 제 2 학습 데이터를 이용하여, 2차 필터링된 전방 차량 후보에서 차량 만을 선별하여 출력하는 검증부를 포함하는
    전방 차량 검출 장치.
  2. 제 1 항에 있어서,
    상기 원거리 검출부 및 상기 근거리 검출부는,
    각각 일정한 탐색 범위 내에서 전방 차량을 검출하는
    전방 차량 검출 장치.
  3. 제 1 항에 있어서,
    상기 병합부는,
    상기 각각의 검출 결과의 IoU(Intersection over Union)가 미리 설정된 병합 기준 값 이상인 경우, 동일한 차량에 대해 중복되는 것으로 판단하는
    전방 차량 검출 장치.
  4. 제 1 항에 있어서,
    상기 제 1 학습 데이터는,
    상기 원거리 검출부의 경우, 차량 바퀴와 도로면의 접촉면부터 지붕면까지의 범위를 갖는 차량 후면 영상을 이용하여 생성되고,
    상기 근거리 검출부의 경우, 차량 바퀴와 도로면의 접촉면부터 후미등 상단면까지의 범위를 갖는 차량 후면 영상을 이용하여 생성되는
    전방 차량 검출 장치.
  5. 제 1 항에 있어서,
    상기 차량 너비 정보 값은,
    상기 소형차 마스크 및 상기 대형차 마스크에 생성된 복수의 구간 영역에, 각각 다른 값으로 설정되어 매핑되는
    전방 차량 검출 장치.
  6. 제 1 항에 있어서,
    상기 검증부는,
    상기 2차 필터링된 전방 차량 후보가 동일한 차량에 대해 중복되어 선별된 경우, 상기 중복된 전방 차량 후보 중 어느 하나를 택일적으로 선택하여 출력하는
    전방 차량 검출 장치.
  7. 제 6 항에 있어서,
    상기 검증부는,
    상기 2차 필터링된 전방 차량 후보의 박스 면적이 미리 설정된 비율 이상으로 중첩되는 경우, 동일한 차량에 대해 중복되는 것으로 판단하는
    전방 차량 검출 장치.
  8. 제 1 항에 있어서,
    데이터 어소시에이션 방식 및 칼만 필터를 이용하여, 상기 전방 영상 속 검출된 전방 차량을 추적하는 추적부를
    더 포함하는
    전방 차량 검출 장치.
  9. 촬영된 전방 영상에서 전방 차량을 검출하는 방법에 있어서,
    차량 이격거리 별 전방 차량의 특징 정보를 포함하는 제 1 학습 데이터를 이용하여, 전방 차량 후보를 검출하는 후보 검출 과정;
    소형차 마스크의 차량 너비 정보 값 및 대형차 마스크의 차량 너비 정보 값을 이용하여, 상기 전방 차량 후보에서 비차량을 제외하는 1차 필터링 과정;
    상기 소형차 마스크의 주행 차선 정보 및 상기 대형차 마스크의 주행 차선 정보를 이용하여, 1차 필터링된 전방 차량 후보에서, 주행 차선 이외 영역에 존재하는 차량을 제외하는 2차 필터링 과정; 및
    차량 이격거리 별 전방 차량의 HOG(Histogram of Oriented Gradients) 특징 정보를 포함하는 제 2 학습 데이터를 이용하여, 2차 필터링된 전방 차량 후보에서 차량 만을 선별하여 출력하는 검증 과정을 포함하되,
    상기 후보 검출 과정 내지 상기 검증 과정을, 원거리 구간 및 근거리 구간 각각에 대해 일정한 탐색 범위 내에서 구분하여 수행하는
    전방 차량 검출 방법.
  10. 제 9 항에 있어서,
    상기 원거리 구간 및 상기 근거리 구간은 차량 이격거리를 기준으로 미리 설정되는
    전방 차량 검출 방법.
  11. 제 9 항에 있어서,
    상기 원거리 구간 및 상기 근거리 구간에 대해, 상기 후보 검출 과정 내지 상기 검증 과정을 구분하여 수행한 각각의 결과가, 동일 차량에 대해 중복되는 경우, 상기 각각의 결과를 하나로 병합하여 출력하는 병합 과정을
    더 포함하는
    전방 차량 검출 방법.
  12. 제 11 항에 있어서,
    상기 병합 과정은,
    상기 각각의 결과의 IoU(Intersection over Union)가 미리 설정된 병합 기준 값 이상인 경우, 동일한 차량에 대해 중복되는 것으로 판단하는
    전방 차량 검출 방법.
  13. 제 9 항에 있어서,
    상기 제 1 학습 데이터는,
    상기 원거리 구간의 경우, 차량 바퀴와 도로면의 접촉면부터 지붕면까지의 범위를 갖는 차량 후면 영상을 이용하여 생성되고,
    상기 근거리 구간의 경우, 차량 바퀴와 도로면의 접촉면부터 후미등 상단면까지의 범위를 갖는 차량 후면 영상을 이용하여 생성되는
    전방 차량 검출 방법.
  14. 제 9 항에 있어서,
    상기 차량 너비 정보 값은,
    상기 소형차 마스크 및 상기 대형차 마스크에 생성된 복수의 구간 영역에, 각각 다른 값으로 설정되어 매핑되는
    전방 차량 검출 방법.
  15. 제 9 항에 있어서,
    상기 검증 과정은,
    상기 2차 필터링된 전방 차량 후보가 동일한 차량에 대해 중복되어 선별된 경우, 상기 중복된 전방 차량 후보 중 어느 하나를 택일적으로 선택하여 출력하는
    전방 차량 검출 방법.
  16. 제 15 항에 있어서,
    상기 검증 과정은,
    상기 2차 필터링된 전방 차량 후보의 박스 면적이 미리 설정된 비율 이상으로 중첩되는 경우, 동일한 차량에 대해 중복되는 것으로 판단하는
    전방 차량 검출 방법.
  17. 제 9 항에 있어서,
    데이터 어소시에이션 방식 및 칼만 필터를 이용하여, 상기 전방 영상 속 검출된 전방 차량을 추적하는 추적 과정을
    더 포함하는
    전방 차량 검출 방법.
KR1020170128221A 2017-09-29 2017-09-29 전방 차량 검출 장치 및 그 검출 방법 KR101930884B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170128221A KR101930884B1 (ko) 2017-09-29 2017-09-29 전방 차량 검출 장치 및 그 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170128221A KR101930884B1 (ko) 2017-09-29 2017-09-29 전방 차량 검출 장치 및 그 검출 방법

Publications (1)

Publication Number Publication Date
KR101930884B1 true KR101930884B1 (ko) 2019-03-11

Family

ID=65758668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170128221A KR101930884B1 (ko) 2017-09-29 2017-09-29 전방 차량 검출 장치 및 그 검출 방법

Country Status (1)

Country Link
KR (1) KR101930884B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286873A (ja) * 2006-04-17 2007-11-01 Alpine Electronics Inc 車載周辺他車検出装置
JP2011243010A (ja) * 2010-05-19 2011-12-01 Fujitsu General Ltd 運転支援装置
KR101180621B1 (ko) * 2006-07-06 2012-09-06 포항공과대학교 산학협력단 차량 검출 방법 및 장치
JP2013141876A (ja) * 2012-01-10 2013-07-22 Denso Corp 車両周辺監視装置
JP2016031576A (ja) * 2014-07-28 2016-03-07 クラリオン株式会社 物体検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286873A (ja) * 2006-04-17 2007-11-01 Alpine Electronics Inc 車載周辺他車検出装置
KR101180621B1 (ko) * 2006-07-06 2012-09-06 포항공과대학교 산학협력단 차량 검출 방법 및 장치
JP2011243010A (ja) * 2010-05-19 2011-12-01 Fujitsu General Ltd 運転支援装置
JP2013141876A (ja) * 2012-01-10 2013-07-22 Denso Corp 車両周辺監視装置
JP2016031576A (ja) * 2014-07-28 2016-03-07 クラリオン株式会社 物体検出装置

Similar Documents

Publication Publication Date Title
US20200356790A1 (en) Vehicle image verification
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
US9467645B2 (en) System and method for recognizing parking space line markings for vehicle
US9042639B2 (en) Method for representing surroundings
WO2017130639A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US9076047B2 (en) System and method for recognizing parking space line markings for vehicle
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
JP2008219063A (ja) 車両周辺監視装置及び方法
CN111028534B (zh) 一种泊车位检测方法及装置
US10748014B2 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
EP3545464A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
CN107886729B (zh) 车辆识别方法、装置及车辆
US20220171975A1 (en) Method for Determining a Semantic Free Space
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统
JP2018092605A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
CN111301407B (zh) 一种危险车辆确定方法、装置、电子设备及可读存储介质
KR101930884B1 (ko) 전방 차량 검출 장치 및 그 검출 방법
Suganuma et al. Fast dynamic object extraction using stereovision based on occupancy grid maps and optical flow
JP2020126304A (ja) 車外物体検出装置
JP6611334B2 (ja) 区画線認識装置
US20220410942A1 (en) Apparatus and method for determining lane change of surrounding objects
US20130147983A1 (en) Apparatus and method for providing location information
EP3540643A1 (en) Image processing apparatus and image processing method
WO2024042607A1 (ja) 外界認識装置及び外界認識方法