KR101501360B1 - 테일라이트 검출방법에 기반한 다중 차량 추적 시스템 - Google Patents

테일라이트 검출방법에 기반한 다중 차량 추적 시스템 Download PDF

Info

Publication number
KR101501360B1
KR101501360B1 KR1020130083183A KR20130083183A KR101501360B1 KR 101501360 B1 KR101501360 B1 KR 101501360B1 KR 1020130083183 A KR1020130083183 A KR 1020130083183A KR 20130083183 A KR20130083183 A KR 20130083183A KR 101501360 B1 KR101501360 B1 KR 101501360B1
Authority
KR
South Korea
Prior art keywords
vehicle
target vehicle
frame
color information
information
Prior art date
Application number
KR1020130083183A
Other languages
English (en)
Other versions
KR20150008780A (ko
Inventor
조강현
경명
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020130083183A priority Critical patent/KR101501360B1/ko
Publication of KR20150008780A publication Critical patent/KR20150008780A/ko
Application granted granted Critical
Publication of KR101501360B1 publication Critical patent/KR101501360B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/165—Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B60Y2300/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60Y2300/165—Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"

Abstract

본 발명은 다중 차량 추적 시스템에 있어서, 차량의 테일라이트를 이용하여 다중 차량 존재시 타겟 차량을 추출하는 방법에 대한 것으로, 보다 구체적으로는 차량 내 두 개의 테일라이트 사이 간격을 측정하여 타겟 차량 후보를 생성한 후, 차량의 색상 정보를 통해 상기 차량 후보가 타겟 차량인지 여부를 확인하여 타겟 차량 검색을 수행하고, 상기 검색된 타겟 차량의 색상 정보를 지속적으로 업데이트를 하여 연속적인 프레임에서 상기 타겟 차량의 색상 정보와 매칭되는 차량을 확인함에 따라 차량을 지속적으로 추적할 수 있도록 하는 시스템에 관한 것이다.

Description

테일라이트 검출방법에 기반한 다중 차량 추적 시스템{Multiple-Vehicle Tracking System using Tail Light Detection}
본 발명은 다중 차량 추적 시스템에 있어서, 차량의 테일라이트를 이용하여 다중 차량 존재시 타겟 차량을 추출하는 방법에 대한 것으로, 보다 구체적으로 차량 내 두 개의 테일라이트 사이 간격을 측정하여 타겟 차량 후보를 생성한 후, 차량의 색상 정보를 통해 상기 차량 후보가 타겟 차량인지 여부를 확인하여 타겟 차량 검색을 수행하고, 상기 검색된 타겟 차량의 색상 정보를 지속적으로 업데이트를 하여 연속적인 프레임에서 상기 타겟 차량의 색상 정보와 매칭되는 차량을 확인함에 따라 차량을 지속적으로 추적할 수 있도록 하는 시스템에 관한 것이다.
차량 추적 시스템은 차량 주행 중에 차량을 자동으로 인지하고 이를 추적하는 시스템에 대한 것으로, 도로에서 차량을 주행하거나, 타겟 차량을 검색하고 추적하기 위해 사용되는 시스템을 의미한다.
기존에는 차량 주행자의 판단을 통해 도로 상황을 판단하거나, 타겟 차량을 추적하였지만, 차량 사용이 급증하면서 많은 차량이 존재하는 환경에서 주행해야 할 상황들이 늘어나 차량 사고가 증가하였으며, 차량 주행자의 판단으로 이러한 사고를 방지하는데 한계가 있었다.
최근에는 차량 주행자의 판단을 돕고 차량 주행 효율을 증가시키기 위한 차량 추적 시스템에 대한 연구가 활발하게 진행되고 있으며, 센싱 시스템(sensing system) 및 드라이버 어시스턴스 시스템(driver assistance system)의 발전과 함께 차량 추적 시스템에 대한 기술 개발이 활발하게 진행됨에 따라 차량 추적 시스템의 성능이 향상되고 있다. 특히, 비전 센서 (vision sensor) 기술과 더불어 비전 센서(vision sensor)를 이용한 드라이브 어시스턴스 시스템(driver assistance system)을 통해 차량을 추적하는 시스템이 많이 등장하고 있다. 보다 구체적으로 차량에 설치된 비전 센서(vision sensor)를 통해 도로 상황 및 주변 차량 정보들을 인지하고, 인지된 상기 정보들을 드라이브 어시스턴스 시스템(driver assistance system)에 전달함에 따라 차량 주행시 주행자의 판단을 돕거나 타겟 차량에 대한 추적이 가능하게 되었다.
그러나, 기존의 비전 센서는 차량 정면에 부착된 카메라를 통해 차량 정면에서 인지될 수 있는 차량만을 인지하여 차량을 추적할 뿐, 다중 차량이 존재하는 환경에서 타겟 차량을 인지하고 검색하는데 한계가 있었다. 또한 기존의 차량 추적 시스템은 다중 차량이 존재하는 환경에서 타겟 차량이 다른 차량에 부분적으로 가려지거나, 타겟 차량이 일시적으로 화면 상에서 사라지는 경우에 타겟 차량을 인지할 수 없게 되어 차량 추적을 실패하게 되는 문제점이 존재하였다.
미국 공개 특허 2008-0215241 한국 공개 특허 2013-0045664
본 발명은 차량 내의 두 개의 테일라이트 간격 정보 및 차량의 색상 정보를 이용하여 타겟 차량에 대한 정보를 저장하여 타겟 차량을 검색 및 추적하도록 함에따라, 다중 차량 존재시 타겟 차량이 다른 차량에 일부 가려지거나, 일시적으로 화면상에서 사라지는 경우에도 차량을 지속적으로 검색하고 추적할 수 있는 차량 추적 시스템을 제공하는데 있다.
테일라이트 검출 방법에 기반한 다중 차량 추적 시스템은 1 프레임에서 차량 후보군들의 두 개의 테일라이트 간격을 비교하여 제 1 타겟 차량을 검색하는 차량 검색부; 상기 차량 검색부에서 검색된 상기 제 1 타겟 차량의 색상 정보로 제 2 프레임내의 상기 제 2 타겟 차량의 위치를 추적하는 차량 추적부; 및 상기 제 1 타겟 차량의 상기 색상 정보를 상기 제 2 프레임내의 상기 제 2 타겟 차량의 상기 색상 정보와 비교하여 상기 정보 처리부의 기설정된 타겟 차량의 색상 정보를 업데이트하는 정보 처리부;를 포함한다.
이때, 상기 차량 검색부는, 상기 제 1 프레임에서 상기 차량 후보군들의 두 개의 테일라이트 쌍의 간격을 측정하여 후보군 차량을 검색하는 차량 후보 생성부; 및 연속 프레임으로부터 가보 필터를 적용하여 생성된 역전파 신경망 회로를 통해 상기 기설정된 타겟 차량의 색상 정보를 추출하여 상기 후보군 차량이 상기 기설정된 타겟 차량인지 여부를 확인하는 차량 후보 증명부;를 포함할 수 있고, 상기 차량 후보 생성부는, 상기 차량 후보군들의 상기 두 개의 테일라이트 쌍의 수평거리를 동일한 수평선상에서 측정하여, 상기 기설정된 타겟 차량의 상기 테일라이트 쌍의 수평거리와 매칭되는지 여부를 통해 상기 후보군 차량을 검색할 수 있으며, 상기 역전파 신경망 회로의 상기 가보 필터는 8개 방향 및 5개 크기 정보로 구성되어 상기 기설정된 타겟 차량의 방향 및 크기 정보를 확인하여 상기 기설정된 타겟 차량의 색상 정보를 추출할 수 있다.
또한, 상기 차량 추적부는, 상기 차량 검색부를 통해 검색된 상기 제 1 타겟 차량의 상기 색상 정보로 상기 컬러 히스토그램 모델을 형성한 후, 상기 컬러 히스토그램 모델에 대한 색상 밀도 함수를 이용하여 상기 제 1 타겟 차량의 상기 중심 색상 정보를 추출하는 색상 추출부; 파티클 필터로 상기 제 1 프레임에서 추출된 상기 제 1 타겟 차량과 상기 제 2 프레임의 상기 차량 후보군들의 위치 변화를 측정한 후, 제 1 프레임에서 추출된 상기 제 1 타겟 차량의 상기 중심 색상 정보를 상기 제 2 프레임의 상기 차량 후보군들에 대한 상기 중심 색상 정보와 매칭하여 제 2 타겟 차량의 위치 변화를 검출하는 차량 검출부; 및 상기 제 1 프레임의 상기 제 1 타겟 차량의 두 개의 테일라이트 쌍에 대한 수평 거리 정보와 상기 제 2프레임의 상기 제 2 타겟 차량의 두 개의 테일라이트 쌍에 대한 수평 거리 정보를 매칭하여 상기 제 2 타겟 차량에 대한 크기를 조절하는 차량 크기 조절부;를 포함할 수 있다.
또한, 상기 정보 처리부는, 상기 제 1 프레임의 상기 제 1 타겟 차량의 상기 색상 정보 및 상기 제 2 프레임의 상기 제 2 타겟 차량의 상기 색상 정보가 일치하면, 상기 제 2 프레임의 상기 제 2 타겟 차량의 상기 색상 정보로 상기 정보 처리부의 상기 기설정된 타겟 차량의 상기 색상 정보를 업데이트한 후 제 3 프레임으로 이동하고, 상기 제 2 프레임에서 상기 제 1 프레임의 상기 제 1 타겟 차량의 상기 색상 정보와 일치하는 상기 차량 후보군들의 상기 색상 정보가 존재하지 않으면, 제 1 프레임의 상기 제 1 타겟 차량의 상기 색상 정보로 상기 정보처리부의 상기 기설정된 타겟 차량의 상기 색상 정보를 유지한 상태로 상기 제 3 프레임으로 이동할 수 있다.
본 발명은 차량내의 두 개의 테일라이트 간격 정보 및 차량의 색상 정보를 이용하여 타겟 차량을 지속적으로 추적할 수 있도록 함에 따라, 타겟 차량이 다른 차량으로 가려지거나 일시적으로 화면상에서 사라지는 경우에도 차량을 추적할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차량 추적 시스템의 구성을 도시한 블록도,
도 2는 본 발명의 일 실시예에 따라 차량 검색부의 구성을 개략적으로 도시한 블록도,
도 3은 본 발명의 일 실시예에 따라 차량의 테일라이트를 개략적으로 나타낸 도면,
도 4는 본 발명의 바람직한 일 실시예로서 차량을 검색하는 과정에 대한 개력적인 도면,
도 5는 본 발명의 바람직한 일 실시예로서 차량 추적부의 구성을 개략적으로 나타낸 도면,
도 6은 본 발명의 일 실시예에 따라 칼라 히스토그램 모델을 개략적으로 나타낸 도면,
도 7은 본 발명의 바람직한 일 실시예에 따라 차량의 중심 색상 정보를 나타낸 도면이다.
이하에서는 도면을 참조하여 본 발명의 일 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 차량 추적 시스템의 구성을 도시한 블록도를 나타낸 도면이다.
도 1을 참조하면, 차량 추적 시스템은 타겟 차량을 인지하고 검색하는 차량 검색부(200), 상기 인지된 타겟 차량을 지속적으로 추적할 수 있도록 하는 차량 추적부(300), 및 상기 타겟 차량에 대한 정보를 지속적으로 업데이트하여 정보를 저장 및 관리하는 정보 처리부(400)로 구성되어 있다. 상기 차량 검색부(200)는 연속되는 프레임에 있어서 각 프레임들에 대해서 개별적으로 연결되어 있으며, 상기 각 프레임들은 상기 차량 검색부(200)을 통해서 상기 타겟 차량을 검색하게 된다. 상기 차량 추적부(300)는 상기 각 프레임에서 상기 차량 검색부(200)를 통해 검색된 상기 타겟 차량에 대한 중심 색상 정보를 이용하여 위치를 추적하게 되며, 이때 상기 차량 추적부(300)는 이전 프레임의 상기 차량 추적부(300)에 의해 수행된 상기 타겟 차량에 대한 상기 중심 색상 정보와의 비교를 통해 상기 타겟 차량에 대한 위치 추적을 수행하게 된다. 상기 정보 처리부(400)는 상기 각 프레임별로 상기 차량 검색부(200)에서 검색된 상기 타겟 차량에 대한 상기 중심 색상 정보를 저장하며, 저장된 상기 타겟 차량에 대한 상기 중심 색상 정보를 이전 프레임에 대한 상기 중심 색상 정보와 비교하여 상기 타겟 차량에 대한 상기 중심 색상 정보를 업데이트하여 다음 프레임에 대한 상기 중심 색상 정보와 비교하게 된다.
보다 구체적으로, 제 1 프레임(101)에서 상기 차량 검색부(200)를 통해 기설정된 타겟 차량과 동일한 제 1타겟 차량을 검색하게 되고, 상기 검색된 제 1 타겟 차량에 대한 상기 중심 색상 정보를 추출하여 상기 제 1 프레임(101)에서 상기 제 1 타겟 차량에 대한 위치를 추적하게 된다. 이때 상기 정보 처리부(400)은 상기 제 1 프레임에서의 상기 제 1 타겟 차량에 대한 상기 중심 색상 정보를 상기 기설정된 타겟 차량의 중심 색상 정보로 저장하며 이를 다음 프레임의 상기 중심 색상 정보와 비교하게 된다.
제 2 프레임(102)은 상기 제 1프레임(101)에서와 마찬가지로, 상기 차량 검색부(200)를 통해 제 2 타겟 차량을 검색하게 되며, 상기 검색된 제 2 타겟 차량에 대한 중심 색상 정보를 추출하게 된다. 상기 제 2프레임(102)의 상기 제 2 타겟 차량에 대해 추출된 상기 중심 색상 정보는 상기 제 1 프레임(101)에서 추출되어 상기 정보 처리부(400)에 저장된 상기 기설정된 타겟 차량의 상기 중심 색상 정보와 비교되며, 상기 제 2프레임(102)에서 추출된 상기 제 2 타겟 차량에 대한 상기 중심 색상 정보가 상기 정보 처리부(400)에 저장된 상기 기설정된 타겟 차량의 상기 중심 색상 정보와 일치하게 되면 상기 제 2프레임(102)에서 상기 제 2 타겟 차량을 상기 기설정된 타겟으로 인식하고 추적하게 된다. 이때, 상기 정보 처리부(400)의 상기 기설정된 타겟 차량에 대한 상기 중심 색상 정보는 상기 제 1 타겟의 상기 중심 색상 정보에서 상기 제 2 프레임(102)의 상기 제 2 타겟 차량에 대한 상기 중심 색상 정보로 업데이트된 후 다음 프레임의 중심 색상 정보와 비교하게 된다.
그러나, 상기 제 1 프레임(101)에서 추출되어 상기 정보 처리부(400)에 저장된 상기 기설정된 타겟 차량의 상기 중심 색상 정보와 상기 제 2프레임(102)에서 추출된 상기 제 2 타겟 차량에 대한 상기 중심 색상 정보가 일치하지 않으면 상기 제 2 프레임(102) 내에서는 추적하고자 하는 상기 기설정된 타겟 차량이 존재하지 않은 것으로 판단하게 되어, 위치 추적을 수행하지 않고 다음 프레임으로 이동하게 된다. 이때 상기 정보 처리부(400)에서 저장되어 있던 상기 제 1 프레임(101)의 상기 제 1타겟에 대한 상기 중심 색상 정보는 업데이트 되지 않고 다음 프레임으로 이동하게 된다.
제 3 프레임(103)에 대해서 역시 제 1, 2 프레임(101, 102)와 마찬가지로 상기 차량 검색부(200) 및 차량 추적부(300)를 통해 타겟 차량을 검색하고 추적하게 되며, 이때 제 3 프레임(103)의 제 3 타겟 차량에 대한 중심 색상 정보를 상기 정보 처리부(400)에 저장된 상기 기설정된 타겟 차량의 상기 중심 색상 정보와 비교하게 되어 일치하는 경우에는 상기 제 3 타겟 차량의 상기 중심 색상 정보로 상기 정보 처리부(400)의 상기 타겟 차량의 상기 중심 색상 정보를 업데이트한 후, 상기 제 3프레임(103)에서의 위치 추적을 수행하게 되며, 상기 정보 처리부(400)에 저장된 상기 기설정된 타겟 차량의 상기 중심 색상 정보와 비교하게 되어 일치되는 상기 차량의 중심 색상 정보가 존재하지 않으면, 업데이트하지 않고 위치 추적을 수행하지 않은 상태로 다음 프레임으로 이동하게 된다.
상기와 같은 과정을 제 n 프레임(104)까지 적용하며, 연속되는 프레임에서 상기 기설정된 타겟 차량의 상기 중심 색상 정보와 일치하는 차량이 존재하지 않으면 다음 프레임으로 이동하는 구성을 통해 상기 타겟 차량이 일시적으로 다른 차량으로 가려지거나, 일시적으로 화면에 사라지는 경우에도 지속적으로 차량을 추적하도록 할 수 있다.
도 2는 본 발명의 일 실시예에 따라 상기 차량 검색부(200)의 구성을 개략적으로 도시한 블록도이고, 도 3은 본 발명의 일 실시예에 따라 차량의 테일라이트를 개략적으로 나타낸 도면이다.
도 2를 참조하면, 상기 차량 검색부(200)는 차량 후보 생성부(201) 및 차량 후보 증명부(202)로 구성된다. 상기 차량 검색부(200)는 상기 타겟 차량을 검색하는 단계로서, 상기 차량 후보 생성부(201)는 도 3을 참조하면, 상기 기설정된 타겟 차량에서 두 개의 테일라이트의 사이의 간격을 측정하여 상기 차량 후보를 생성하게 된다. 이때, 제 1 테일라이트(301) 및 제 2 테일라이트(302)는 동일한 수평선상에 위치하게 되며, 상기 기설정된 타겟 차량의 제 1 테일라이트(301)와 상기 제 2 테일라이트(302) 사이의 간격을 측정한 값과 검색하고자 하는 차량의 두 개의 테일라이트 사이의 거리를 측정하여 상기 기설정된 타겟 차량인지 여부를 확정하게 된다.
보다 구체적으로, 상기 차량 후보의 제 1 테일라이트(301) 및 상기 제 2 테일라이트(302) 사이의 거리를
Figure 112013063692880-pat00001
라 할때, 상기
Figure 112013063692880-pat00002
이 하기의 [식 1]처럼 일정 범위 내에 존재하는 경우 상기 차량 후보를 상기 기설정된 타겟 차량으로 인지하게 된다.
Figure 112013063692880-pat00003
본 발명의 바람직한 일 실시예에 있어서, 상기
Figure 112013063692880-pat00004
은 5pixel,
Figure 112013063692880-pat00005
는 100pixel 길이일 수 있으며, 이는 각 프레임의 이미지 사이즈에 따라 달라질 수 있다. 또한, 상기
Figure 112013063692880-pat00006
측정 과정에서 수평이 맞지 않으면 상기 제 1 테일라이트(301) 및 상기 제 2 테일라이트(302) 사이의 거리가 다르게 측정될 수 있는바, 수평을 유지한 채로 상기 테일라이트 간의 거리를 측정하게 된다. 수평 측정 여부를 확인하기 위해 상기 제 1 테일라이트(301)의 높이를
Figure 112013063692880-pat00007
, 상기 제 2 테일라이트(302)의 높이를
Figure 112013063692880-pat00008
라하면 상기
Figure 112013063692880-pat00009
및
Figure 112013063692880-pat00010
의 차가 일정 값 내에 존재하는 경우에 수평으로 인지하여 측정하게 된다.
Figure 112013063692880-pat00011
본 발명의 바람직한 일실시예에 있어서 상기 [식 2]에서 d 값은 일정한 상수이며, 각 프레임의 이미지 사이즈에 따라 그 값이 변경될 수 있다.
상기 차량 후보 생성부(201)을 통해 차량 후보군을 생성하고 나면, 상기 차량 후보군이 기설정된 타겟 차량인지를 상기 차량 후보 증명부(202)에서 검토하게 된다. 상기 차량 후보 증명부(202)는 연속 프레임으로부터 가보 필터를 적용하여 생성된 역전파 신경망 회로(Back propagation neural network, 이하 BPNN)를 통해 상기 기설정된 타겟 차량의 특징을 추출하게 되며, 상기 차량 후보군 생성부에서 검색된 상기 후보군 차량이 상기 기설정된 타겟 차량인지 여부를 확인하여 차량 검색을 수행하게 된다.
보다 구체적으로 상기 가보 필터는 하기와 같은 식으로 표현되어 8개의 방향 및 5개의 크기 정보를 통해 데이터베이스를 구성하게 되며, 이를 상기 역전파 신경망 회로(BPNN)에 적용하여 상기 기설정된 타겟 차량의 특징을 추출하게 된다.
Figure 112013063692880-pat00012
상기의 [식 3]를 상기 역전파 신경망 회로(BPNN)에 적용하여 상기 기설정된 타겟 차량의 특징을 추출함에 따라 상기 차량 후보 생성부(201)에서 생성된 상기 후보군 차량이 타겟 차량인지 여부를 확인하게 된다.
도 4는 본 발명의 바람직한 일 실시예로서 차량을 검색하는 과정에 대한 개력적인 도면이다.
도 4를 참조하여 상기 차량 검색부(200)에서 상기 타겟 차량을 검색하는 과정을 살펴보면, 연속 프레임 생성 단계(401)에서 연속 프레임에 대한 정보를 획득한 후, 이를 가보 필터 적용 단계(402)에서 상기 가보 필터를 적용하며, 연속 프레임으로부터 가보 필터를 적용하여 역전파 신경망 회로(BPNN) 생성 단계(403)을 통해 상기 역전파 신경망 회로(BPNN)을 생성하여 상기 타겟 차량 특징 추출 단계(404)를 통해 상기 기설정된 타겟 차량에 대한 특징을 추출하게 된다. 상기와 같이 추출된 상기 타겟 차량에 대한 특징 정보는 프레임 적용 단계(405) 및 차량 후보군 생성 단계(406)을 통해 생성된 상기 후보군 차량이 기설정된 타겟 차량이 맞는지 여부를 확인하기 위해 이용된다. 차량 후보군 증명 단계(407)는 상기 추출된 상기 타겟 차량의 특징 정보 및 상기 차량 후보군들의 정보를 매칭하여 최종적으로 검색 결과 확인 단계(408)에서 차량 검색을 완료하게 되어 상기 타겟 차량을 검출하게 된다.
도 5는 본 발명의 바람직한 일 실시예로서 차량 추적부의 구성을 개략적으로 나타낸 도면이다.
도 5를 참조하면 상기 차량 추적부(300)는 색상 추출부(501), 차량 검출부(502) 및 차량 크기 조절부(503)로 구성되어 있다. 상기 차량 추적부(300)는 상기 차량 검색부(200)에서 검색된 상기 타겟 차량에서 상기 중심 색상 정보를 추출하여 차량 추적을 하게 되며, 상기 색상 추출부(501)는 상기 타겟 차량에서 상기 중심 색상 정보를 추출하게 된다.
도 6은 본 발명의 일 실시예에 따라 칼라 히스토그램 모델을 개략적으로 나타낸 도면이며, 도 7은 본 발명의 바람직한 일 실시예에 따라 차량의 중심 색상 정보를 나타낸 도면이다.
보다 구체적으로, 도6 및 도7을 참조하면, 상기 색상 추출부(501)에서는 상기 타겟 차량에 대한 칼라 히스토그램 모델(601)을 형성하게 된다. 본 발명의 바람직한 일실시예에 있어서, 상기 칼라 히스토그램 모델(601)은 HSV 칼라 모델로, 상기 타겟 차량에 대한 색상 정보를 HSV 칼라 모델로 표현하게 된다.
또한, 상기 색상 추출부(501)는 상기 칼라 히스토그램 모델(601)에서 색상 밀도 함수(color probability density function, 이하 CPDF)를 통해 상기 타겟 차량에서 중심 색상 정보를 추출하게 된다. 하기의 [식 4]는 상기 색상 밀도 함수에 대한 식으로 상기 타겟 차량에 대해서 가장 많은 색상 분포 정보를 의미한다.
Figure 112013063692880-pat00013
도 7을 참조하면, 상기의 [식 4]에 의해서 상기 타겟 차량의 상기 중심 색상 정보를 추출하게 되며, 이러한 상기 중심 색상 정보는 차량의 특성에 따라 달라질 수 있는바, 식별력이 존재하여 상기 차량을 구별할 수 있다.
상기 색상 추출부(501)을 통해 상기 타겟 차량에 대한 상기 중심 색상 정보가 추출되고 나면 상기 차량 검출부(502)에서 상기 타겟 차량을 파티클로 인식하여 다음 프레임에서 파티클 필터를 통해 상기 파티클의 위치 변화를 측정함에 따라 상기 타겟 차량의 상기 중심 색상 정보와 매칭하여 타겟 차량의 변화 여부를 검토하게 된다.
보다 구체적으로, 하기의 [식 5]을 통해 상기 후보군 차량들의 위치 변화를 판단하게 된다.
Figure 112013063692880-pat00014
상기 [식 5]에서
Figure 112013063692880-pat00015
는 이전 프레임의 상기 타겟 차량의 위치 정보로 하나의 파티클로 인식되고,
Figure 112013063692880-pat00016
은 현재 프레임에서의 상기 후보군 차량들의 위치 정보를 나타내며,
Figure 112013063692880-pat00017
는 0을 평균으로 하는 가우시안 랜덤 분포(Gaussian random value)로,
Figure 112013063692880-pat00018
는 가우시안 변수(Gaussian variable)로서 상기 값은 상기 프레임 사이즈에 따라 달라지게 된다. 상기 [식 5]에서 살펴보면, 상기 현재 프레임의 상기 후보군 차량들의 위치 정보는 상기 이전 프레임의 상기 타겟 차량의 위치 정보와 비교되게 되며 상기 현재 프레임 내에 다중 차량이 존재하는 경우에는 상기의 위치 정보는 다수가 존재하게 된다. 상기의 다수 차량에 대한 위치 정보 중 상기 현재 프레임에서 상기 타겟 차량을 검출하기 위해 상기 차량 후보들의 상기 중심 색상 정보에 대해서 가중치를 부여하고, 가중치를 통해 상기 현재 프레임에서의 상기 타겟 차량을 추적하게 되며 식은 하기와 같다.
Figure 112013063692880-pat00019
Figure 112013063692880-pat00020
상기 [식 6]에서
Figure 112013063692880-pat00021
는 상기 현재 프레임 내의 i 차량 후보에 대한 가중치이며, C는 일반화 변수,
Figure 112013063692880-pat00022
는 i 차량 후보에 대한 상기 중심 색상 정보와 상기 이전 프레임의 상기 타겟 차량의 상기 색상 정보의 유사도를 의미한다. 또한 [식 7]에서 q는 상기 이전 프레임의 상기 타겟 차량에 대한 상기 중심 색상 정보,
Figure 112013063692880-pat00023
는 상기 칼라 히스토그램 모델의 i 차량 후보의 색상 정보이며,
Figure 112013063692880-pat00024
는 상기 [식 6]에서와 마찬가지로 상기 이전 프레임의 상기 타겟 차량의 상기 중심 색상 정보와 상기 i 차량 후보의 색상 정보의 유사도를 의미 한다. 상기의 식을 통해 확보된 상기 가중치 정보 및 상기 유사도 정보를 이용하게 하기 [식 8]의 평균값을 계산하여 상기 현재 프레임에서 상기 타겟 차량을 검출하게 된다.
Figure 112013063692880-pat00025
상기 [식 8]에 의해 상기 현재 프레임에서의 상기 타겟 차량이 검출되면, 상기 위치 변화를 확인하여 차량을 추적하게 된다.
본 발명의 바람직한 일 실시예에 있어서, 상기 제 1 프레임의 상기 제 1 타겟 차량의 위치 정보를 기준으로 상기 [식 5]에 따라 상기 제 2 프레임의 상기 차량 후보들을 하나의 파티클로 인식하여 위치 변화 정보를 획득한 후, 상기 제 2 프레임의 상기 차량 후보들의 상기 중심 색상 정보와 상기 제 1 프레임의 상기 타겟 차량의 상기 중심 색상 정보를 [식 6], [식 7]을 통해 비교하여 상기 유사도 및 상기 가중치 정보를 획득한 후, [식 8]을 통해 상기 제 2 프레임에서 상기 제 2 타겟 차량을 검출한 후 위치 변화를 인식하여 차량을 추적하게 된다.
또한, 상기 차량 추적부(300)의 상기 차량 크기 조절부(503)은 상기 두 개의 테일라이트쌍의 수평 거리를 측정하여 상기 타겟 차량의 크기를 조절하게 된다. 보다 구체적으로, 연속되는 프레임에서 상기 제 1 테일라이트(301)의 넓이 변화 및 상기 제 2 테일라이트(302)의 넓이 변화값, 상기 제 1 테일라이트(301)의 위치 변화량 및 상기 제 2 테일라이트(302)의 위치 변화량을 비교함에 따라, 차량 크기를 조절하게 되며 식은 하기와 같다.
Figure 112013063692880-pat00026
Figure 112013063692880-pat00027
상기 [식 9]는 상기 제 1, 2 테일라이트(301, 302)의 넓이를 비교한 것이고, 상기 [식 10]은 상기 제 1, 2 테일라이트(301, 302)의 위치 변화를 비교한 것이며, 상기 [식 9], [식 10]을 만족하면 크기 조절을 수행하지 않는다. 그러나 상기 값이 일치하지 않으면, 상기 차량 크기 조절부(503)을 통해 차량의 크기가 조절되며, 조절되는 식은 하기와 같다.
Figure 112013063692880-pat00028
상기 [식 11]에서
Figure 112013063692880-pat00029
는 상기 이전 프레임에서의 상기 테일라이트 쌍의 거리,
Figure 112013063692880-pat00030
는 상기 이전 프레임의 상기 프레임의 크기이고,
Figure 112013063692880-pat00031
는 상기 현재 프레임의 상기 테일라이트 쌍의 거리,
Figure 112013063692880-pat00032
는 상기 현재 프레임의 크기로, 현재 프레임의 크기를 조절하여 차량 추적을 수행하도록 조절한다.
본 발명의 바람직한 일 실시예에 있어서, 상기 제 1 프레임의 상기 제 1 타겟 차량의 두 개의 테일라이트 쌍에 대한 수평 거리 정보와 상기 제 2프레임의 상기 제 2 타겟 차량의 두 개의 테일라이트 쌍에 대한 수평 거리 정보를 매칭하여 상기 수평 거리 정보가 다른 경우에는 상기 [식 11]을 통해 상기 제 2 프레임의 크기를 조절함에 따라 차량 추적을 수행하도록 할 수 있다.
101 : 제 1 프레임 102 : 제 2 프레임
103 : 제 3 프레임 104 : 제 n 프레임
200 : 차량 검색부 300 : 차량 추적부
400 : 정보 처리부 201 : 차량 후보 생성부
202 : 차량 후보 증명부 301 : 제 1 테일라이트
302 : 제 2 테일라이트 401 : 연속 프레임 생성 단계
402 : 가보 필터 적용 단계 403 : 역전파 신경망 회로 생성 단계
404 : 타겟 차량 특징 추출 단계 405 : 프레임 적용 단계
406 : 차량 후보군 생성 단계 407 : 차량 후보군 증명 단계
408 : 검색 결과 확인 단계 501 : 색상 추출부
502 : 차량 검출부 503 : 차량 크기 조절부
601 : 칼라 히스토그램 모델

Claims (7)

  1. 제 1 프레임에서 차량 후보군들의 두 개의 테일라이트 간격을 비교하여 제 1 타겟 차량을 검색하는 차량 검색부;
    상기 차량 검색부에서 검색된 상기 제 1 타겟 차량의 색상 정보로 제 2 프레임내의 상기 제 2 타겟 차량의 위치를 추적하는 차량 추적부; 및
    상기 제 1 타겟 차량의 상기 색상 정보를 상기 제 2 프레임내의 상기 제 2 타겟 차량의 상기 색상 정보와 비교하여 상기 정보 처리부의 기설정된 타겟 차량의 색상 정보를 업데이트하는 정보 처리부;를 포함하되,
    상기 차량 검색부는, 상기 제 1 프레임에서 상기 차량 후보군들의 두개의 테일라이트 쌍의 간격을 측정하여 후보군 차량을 검색하는 차량 후보 생성부; 및
    연속 프레임으로부터 가보 필터를 적용하여 생성된 역전파 신경망 회로를 통해 상기 기설정된 타겟 차량의 색상 정보를 추출하여 상기 후보군 차량이 상기 기설정된 타겟 차량인지 여부를 확인하는 차량 후보 증명부;를 포함하는 것을 특징으로 하는 다중 차량 추적 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 차량 후보 생성부는, 상기 차량 후보군들의 상기 두 개의 테일라이트 쌍의 수평거리를 동일한 수평선상에서 측정하여, 상기 기설정된 타겟 차량의 상기 테일라이트 쌍의 수평거리와 매칭되는지 여부를 통해 상기 후보군 차량을 검색하는 것을 특징으로 하는 다중 차량 추적 시스템.
  4. 제 1항에 있어서,
    상기 역전파 신경망 회로의 상기 가보 필터는 8개 방향 및 5개 크기 정보로 구성되어 상기 기설정된 타겟 차량의 방향 및 크기 정보를 확인하여 상기 기설정된 타겟 차량의 색상 정보를 추출하는 다중 차량 추적 시스템.
  5. 제 1항에 있어서,
    상기 차량 추적부는, 상기 차량 검색부를 통해 검색된 상기 제 1 타겟 차량의 상기 색상 정보로 컬러 히스토그램 모델을 형성한 후, 상기 컬러 히스토그램 모델에 대한 색상 밀도 함수를 이용하여 상기 제 1 타겟 차량의 중심 색상 정보를 추출하는 색상 추출부;
    파티클 필터로 상기 제 1 프레임에서 추출된 상기 제 1 타겟 차량과 상기 제 2 프레임의 상기 차량 후보군들의 위치 변화를 측정한 후, 제 1 프레임에서 추출된 상기 제 1 타겟 차량의 상기 중심 색상 정보를 상기 제 2 프레임의 상기 차량 후보군들에 대한 상기 중심 색상 정보와 매칭하여 제 2 타겟 차량의 위치 변화를 검출하는 차량 검출부; 및
    상기 제 1 프레임의 상기 제 1 타겟 차량의 두 개의 테일라이트 쌍에 대한 수평 거리 정보와 상기 제 2프레임의 상기 제 2 타겟 차량의 두 개의 테일라이트 쌍에 대한 수평 거리 정보를 매칭하여 상기 제 2 타겟 차량에 대한 크기를 조절하는 차량 크기 조절부;를 포함하는 것을 특징으로 하는 다중 차량 추적 시스템.
  6. 제 1항에 있어서,
    상기 정보 처리부는, 상기 제 1 프레임의 상기 제 1 타겟 차량의 상기 색상 정보 및 상기 제 2 프레임의 상기 제 2 타겟 차량의 상기 색상 정보가 일치하면, 상기 제 2 프레임의 상기 제 2 타겟 차량의 상기 색상 정보로 상기 정보 처리부의 상기 기설정된 타겟 차량의 상기 색상 정보를 업데이트한 후 제 3 프레임으로 이동하는 것을 특징으로 하는 다중 차량 추적 시스템.
  7. 제 1항에 있어서,
    상기 정보 처리부는, 상기 제 2 프레임에서 상기 제 1 프레임의 상기 제 1 타겟 차량의 상기 색상 정보와 일치하는 상기 차량 후보군들의 상기 색상 정보가 존재하지 않으면, 제 1 프레임의 상기 제 1 타겟 차량의 상기 색상 정보로 상기 정보처리부의 상기 기설정된 타겟 차량의 상기 색상 정보를 유지한 상태로 상기 제 3 프레임으로 이동하는 것을 특징으로 하는 다중 차량 추적 시스템.
KR1020130083183A 2013-07-15 2013-07-15 테일라이트 검출방법에 기반한 다중 차량 추적 시스템 KR101501360B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130083183A KR101501360B1 (ko) 2013-07-15 2013-07-15 테일라이트 검출방법에 기반한 다중 차량 추적 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130083183A KR101501360B1 (ko) 2013-07-15 2013-07-15 테일라이트 검출방법에 기반한 다중 차량 추적 시스템

Publications (2)

Publication Number Publication Date
KR20150008780A KR20150008780A (ko) 2015-01-23
KR101501360B1 true KR101501360B1 (ko) 2015-03-18

Family

ID=52572261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130083183A KR101501360B1 (ko) 2013-07-15 2013-07-15 테일라이트 검출방법에 기반한 다중 차량 추적 시스템

Country Status (1)

Country Link
KR (1) KR101501360B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102469836B1 (ko) * 2020-07-28 2022-11-22 숭실대학교산학협력단 가려짐을 고려한 차량 추적 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080215241A1 (en) * 2006-12-26 2008-09-04 Yamaha Corporation Inter-vehicular distance measurement system and method
KR20100056883A (ko) * 2008-11-20 2010-05-28 현대자동차주식회사 끼어드는 차량을 인식하는 감응식 순항 제어 시스템
KR20110046607A (ko) * 2009-10-29 2011-05-06 조재수 차선검출방법 및 이를 이용한 차선이탈검출시스템
KR101104833B1 (ko) 2008-12-30 2012-01-16 이경태 안전운전정보제공장치 및 안전운전정보제공방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080215241A1 (en) * 2006-12-26 2008-09-04 Yamaha Corporation Inter-vehicular distance measurement system and method
KR20100056883A (ko) * 2008-11-20 2010-05-28 현대자동차주식회사 끼어드는 차량을 인식하는 감응식 순항 제어 시스템
KR101104833B1 (ko) 2008-12-30 2012-01-16 이경태 안전운전정보제공장치 및 안전운전정보제공방법
KR20110046607A (ko) * 2009-10-29 2011-05-06 조재수 차선검출방법 및 이를 이용한 차선이탈검출시스템

Also Published As

Publication number Publication date
KR20150008780A (ko) 2015-01-23

Similar Documents

Publication Publication Date Title
US9953245B2 (en) Multi-camera vehicle identification system
CN110992683B (zh) 一种基于动态图像感知的交叉口盲区预警方法及系统
US10081308B2 (en) Image-based vehicle detection and distance measuring method and apparatus
Huang et al. On-board vision system for lane recognition and front-vehicle detection to enhance driver's awareness
US9047518B2 (en) Method for the detection and tracking of lane markings
US8452103B2 (en) Scene matching reference data generation system and position measurement system
US9349057B2 (en) Three-dimensional object detection device
US8643723B2 (en) Lane-marker recognition system with improved recognition-performance
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
JP5178276B2 (ja) 画像認識装置
Wu et al. Adaptive vehicle detector approach for complex environments
JP2013228259A (ja) 物体識別装置及び物体識別方法
JP2013537661A (ja) ステレオビジョン技術を使用することによる移動物体の自動検出
JP4937844B2 (ja) 歩行者検出装置
KR20150022076A (ko) 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치
US11748593B2 (en) Sensor fusion target prediction device and method for vehicles and vehicle including the device
KR20170085752A (ko) 자율 주행 차량의 차선 인지 방법 및 장치
US10706296B2 (en) Vehicle safety determination apparatus, method, and computer-readable storage medium
CN111062971A (zh) 一种基于深度学习多模态的跨摄像头泥头车追踪方法
CN105320928A (zh) 对象物识别装置
KR101501360B1 (ko) 테일라이트 검출방법에 기반한 다중 차량 추적 시스템
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置
JP2005114588A (ja) 追尾装置
KR20160118633A (ko) 차량 주변의 객체 판별 시스템 및 방법
CN113223276B (zh) 一种基于视频识别的行人跨栏行为警报方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200213

Year of fee payment: 6