KR101382873B1 - 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법 - Google Patents

전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법 Download PDF

Info

Publication number
KR101382873B1
KR101382873B1 KR1020120071226A KR20120071226A KR101382873B1 KR 101382873 B1 KR101382873 B1 KR 101382873B1 KR 1020120071226 A KR1020120071226 A KR 1020120071226A KR 20120071226 A KR20120071226 A KR 20120071226A KR 101382873 B1 KR101382873 B1 KR 101382873B1
Authority
KR
South Korea
Prior art keywords
vehicle
unit
candidate
collision
image data
Prior art date
Application number
KR1020120071226A
Other languages
English (en)
Other versions
KR20140004291A (ko
Inventor
김준철
김기대
레디 야람 나레쉬
케이 에스 크리쉬나
브이 안가디 만쥬나스
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020120071226A priority Critical patent/KR101382873B1/ko
Priority to US13/932,203 priority patent/US20140002657A1/en
Publication of KR20140004291A publication Critical patent/KR20140004291A/ko
Application granted granted Critical
Publication of KR101382873B1 publication Critical patent/KR101382873B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 실시예는 본 차량의 전방에 부착되어 상기 차량의 전방을 촬영하는 영상 촬영부, 상기 영상 촬영부로부터 영상 데이터를 수신하여 소정의 마스크에 의해 상기 영상 데이터를 분류하여 전방의 후보 차량을 찾고, 상기 후보 차량을 필터링하여 실제 차량인 대상물을 확정하고, 복수의 프레임에 대한 상기 대상물을 트래킹하여 놓친 대상물을 추가하고, 상기 대상물과 상기 본 차량의 거리에 따라 충돌시간을 연산하여 상기 충돌시간에 따라 경고 발생 신호를 생성하는 구동부, 그리고 상기 경고 발생 신호를 받아 전방차량 충돌 경고 신호를 발생하는 경고부를 포함하는 전방차량 충돌 경고 시스템을 제공한다. 따라서, 차량 탐지 및 추적 기능을 제안하여 도입함으로써 간단하게 전방 차량과의 충돌을 경고할 수 있다. 또한, 차량 탐지 시에 수정된 Haar 분류법을 적용하여 후보 차량을 판단하고, 다시 필터링으로 검증함으로써 차량과 차량 이외의 주변 환경을 구분하여 신뢰성이 향상된다.

Description

전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법{Forward Collision Warning System and Forward Collision Warning Method}
본 발명은 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법에 대한 것이다.
일반적으로, 교통 사고 예방 기술은 차량간 충돌 예방 기술이 주를 이룬다.
차량의 단독 기술은 각종 센서를 이용하여 상기 센서에서 감지된 정보를 이용하여 차량 충돌을 예상한다.
또한, 차량 간 협력기술은 DSRC와 같은 통신 기술을 이용하여, 주변 차량이나 인프라로부터 다양한 정보를 수집하여 차량의 충돌을 감지한다.
그러나, 종래의 교통 사고 예방 기술은 차량의 시스템과 연계하여 차량의 위치, 속도 및 방향 정보를 가지고 교통 사고를 예측하거나, 통신 기술을 이용하여 주변 차량이나 인프라로부터 교통 정보를 수신한다.
따라서, 경고 시스템과 차량 사이에 연동 시스템이 요구되며 일부 시스템의 오작동으로 데이터가 오염될 수 있는 위험이 있다.
실시예는 차량 시스템과의 연동 없이 단일 시스템 내에서 전방 차량과의 거리를 연산하여 전방 차량과의 충돌을 경고함으로써 사고를 예방할 수 있는 경고 시스템을 제공한다.
실시예는 본 차량의 전방에 부착되어 상기 차량의 전방을 촬영하는 영상 촬영부, 상기 영상 촬영부로부터 영상 데이터를 수신하여 소정의 마스크에 의해 상기 영상 데이터를 분류하여 전방의 후보 차량을 찾고, 상기 후보 차량을 필터링하여 실제 차량인 대상물을 확정하고, 복수의 프레임에 대한 상기 대상물을 트래킹하여 놓친 대상물을 추가하고, 상기 대상물과 상기 본 차량의 거리에 따라 충돌시간을 연산하여 상기 충돌시간에 따라 경고 발생 신호를 생성하는 구동부, 그리고 상기 경고 발생 신호를 받아 전방차량 충돌 경고 신호를 발생하는 경고부를 포함하는 전방차량 충돌 경고 시스템을 제공한다.
상기 구동부는 상기 영상 데이터를 수신하여 소정의 상기 마스크에 의해 상기 영상 데이터를 분류하여 전방의 후보 차량을 찾고, 상기 후보 차량을 필터링하여 실제 차량인 대상물을 확정하는 차량 탐색부, 상기 차량 탐색부로부터 대상물을 수신하고, 복수의 프레임에 대한 상기 대상물을 트래킹하여 놓친 대상물을 추가하는 후처리부, 그리고 상기 충돌시간을 연산하여 상기 충돌시간에 따라 상기 경고 발생 신호를 생성하는 경고 발생부를 포함한다.
상기 구동부는 이전 영상 데이터의 상기 대상물을 기준으로 현재 대상물을 추적하는 차량 추적부를 더 포함한다.
상기 차량 탐색부와 상기 차량 추적부는 선택적으로 구동한다.
상기 차량 탐색부 및 상기 차량 추적부는 관심 영역을 분할하여 복수의 상기 마스크에 대하여 각각의 연산 값을 가지고 기준 차량의 연산 값과 분할된 상기 관심 영역의 연산 값을 비교하여 상기 후보 차량을 추출한다.
상기 복수의 마스크는 서로 다른 형상을 가질 수 있다.
상기 차량 탐색부 및 상기 차량 추적부는 수정된 Haar 분류법을 이용하여 상기 후보 차량을 추출할 수 있다.
상기 차량 탐색부 및 상기 차량 추적부는 후보 차량을 HOG and SVM 분류법을 이용하여 필터링하여 실제 차량이 아닌 영역이 제외된 상기 대상물을 확정할 수 있다.
상기 차량 탐색부 및 상기 차량 추적부는 현재 프레임의 상기 대상물과 이전 프레임의 상기 대상물을 오버랩하여 히스토리를 체크할 수 있다.
상기 후처리부는 대상물의 경계를 확대 또는 축소하여 보상할 수 있다.
한편, 실시예는 본 차량의 전방을 촬영하여 영상 데이터를 생성하는 단계, n번째 프레임마다 상기 영상 데이터 전체에 대하여 소정의 마스크에 의해 상기 영상 데이터를 분류하여 전방의 후보 차량을 찾고, 상기 후보 차량을 필터링하여 실제 차량인 대상물을 확정하는 단계, n번째 이외의 프레임에서 이전 프레임에 확정된 대상물의 데이터에 대하여 전방의 상기 후보 차량을 찾고, 상기 후보 차량을 필터링하여 실제 차량인 상기 대상물을 확정하는 단계, 복수의 프레임에 대한 상기 대상물을 트래킹하여 놓친 대상물을 추가하는 단계, 그리고 상기 대상물과 상기 본 차량의 거리에 따라 충돌시간을 연산하여 상기 충돌시간에 따라 경고 발생 신호를 생성하는 단계를 포함하는 전방차량 충돌 경고 방법을 제공한다.
상기 후보 차량을 찾는 단계는, 수정된 Haar 분류법을 이용하여 영상 데이터를 분류할 수 있다.
후보 차량을 HOG and SVM 분류법을 이용하여 필터링하여 실제 차량이 아닌 영역이 제외된 상기 대상물을 확정할 수 있다.
상기 대상물 확정 후에 현재 프레임의 상기 대상물과 이전 프레임의 상기 대상물을 오버랩하여 히스토리를 체크하는 단계를 더 포함할 수 있다.
상기 히스토리 체크 단계는, 현재 프레임의 상기 대상물과 이전 프레임의 상기 대상물이 0.7 이상 오버랩되면 동일한 대상물로 판단할 수 있다.
상기 대상물 확정 후에 상기 대상물의 경계를 확대 또는 축소하여 보상하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 차량 탐지 및 추적 기능을 제안하여 도입함으로써 간단하게 전방 차량과의 충돌을 경고할 수 있다.
또한, 차량 탐지 시에 수정된 Haar 분류법을 적용하여 후보 차량을 판단하고, 다시 필터링으로 검증함으로써 차량과 차량 이외의 주변 환경을 구분하여 신뢰성이 향상된다.
도 1은 본 발명의 실시예에 따른 시스템 구성도이다.
도 2는 도 1의 시스템의 동작을 설명하는 순서도이다.
도 3은 도 2의 차량 탐색 단계를 나타내는 순서도이다.
도 4는 도 3의 수정 Haar 분류법을 나타내는 마스크의 구성도이다.
도 5a 및 도 5b는 수정 Haar 분류법에 의해 수득한 후보 차량을 나타내는 사진이다.
도 6a 및 도 6b는 필터링 검증에 의해 수득한 검증 후보 차량을 나타내는 사진이다.
도 7은 도 3의 히스토리 체크 단계를 나타내는 상세 순서도이다.
도 8a 및 도 8b는 후처리의 관심 영역을 나타내는 영상이다.
도 9는 다중 추적 단계를 나타내는 상세 순서도이다.
도 10a 및 도 10b는 도 9의 다중 추적에 의해 탐색된 대상물을 나타내는 사진이다.
도 11은 경계 보상을 진행한 사진이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 차량에 부착되어 이동하는 차량의 갑작스러운 차량이탈을 경고할 수 있는 시스템을 제공한다.
이하에서는 도 1 및 도 2를 참고하여 본 발명의 실시예에 따른 전방차량 충돌 경고 시스템을 설명한다.
도 1은 본 발명의 실시예에 따른 시스템 구성도이고, 도 2는 도 1의 시스템의 동작을 설명하는 순서도이다.
도 1을 참고하면, 전방차량 충돌 경고 시스템(100)은 영상촬영부(150), 경고부(160) 및 구동부(110)를 포함한다.
영상촬영부(150)는 소정의 주파수로 촬영되는 카메라를 포함하며, 카메라는 차량의 전방을 촬영하여 촬영된 영상을 구동부(110)로 전달한다.
이때, 영상촬영부(150)는 야간에도 동작이 가능한 적외선 카메라를 포함할 수 있으며, 외부 환경에 따라 라이트가 제어되어 동작할 수 있다.
경고부(160)는 구동부(110)로부터 경고 발생 신호를 수신하여 운전자에게 전방차량 충돌 경고 신호를 발생한다.
이때, 경고 신호는 알람과 같이 청각적 신호를 이용할 수 있으나, 이와 달리 차량의 네비게이션과 연동하여 시각적 신호로서 보여줄 수도 있다.
구동부(110)는 영상촬영부(150)로부터 촬영된 영상 데이터를 프레임 단위로 수신하고(S100), 수신된 영상 데이터로부터 전방차량을 판독하고, 전방차량과 본차량 사이의 거리를 연산하여 연산된 거리로부터 충돌까지의 시간을 연산하여 상기 시간이 소정 범위 내인 경우, 경고 발생 신호를 생성한다.
상기 구동부(110)는 도 1과 같이 차량 탐색부(101), 차량 추적부(103), 후처리부(105) 및 경고 발생부(107)로 구성될 수 있다.
차량 탐색부(101)는 영상촬영부(150)로부터 해당 프레임이 nk(n은 임의의 정수, k=1, 2, 3, m)번째일 때마다(S200) 영상 데이터를 수신하고(S100), 상기 영상 데이터로부터 전방 차량을 탐색한다(S300).
그리고, 차량 추적부(103)는 해당 프레임이 nk(n은 임의의 정수, k=1, 2, 3, m)번째가 아닐 때마다(S200) 영상촬영부(150)로부터 영상 데이터를 수신하고, 이전 프레임의 후보 차량과 비교하여 전방 차량을 추적한다(S400).
한편, 후처리부(105)는 차량 탐색부(101) 또는 차량 추적부(103)로부터 후보 차량을 수득하면, 이전 프레임의 차량 대상물과 현재 프레임의 후보 차량을 오버랩하여 현재 프레임의 후보 차량의 대상물을 정의하는 다중 추적을 진행하고(S500), 각 대상물의 경계를 보상하여 처리 데이터를 줄인다(S600).
후처리부(105)로부터 현재 프레임의 대상물이 확정되면, 상기 대상물로부터 본 차량까지의 거리를 영상 데이터로부터 연산하고(S700), 상기 대상물과 본 차량의 속도와 연산하여 충돌 시간을 연산한다.
상기 경고 발생부(107)는 상기 충돌시간이 소정 범위 내이면 경고 발생 신호를 출력한다(S800).
이하에서는 각 단계에 대하여, 도 3 내지 도 11을 참고하여 더욱 상세히 설명한다.
먼저, 도 3과 같이 영상촬영부(150)로부터 차량 전방의 영상이 촬영되면 해당 프레임이 nk(n은 임의의 정수, k=1, 2, 3,m)번째인지 여부에 따라 차량 탐색부(101) 또는 차량 추적부(103)가 선택적으로 동작한다.
즉, n번째의 프레임마다 차량 탐색부(101)가 동작하여 기준이 되는 전방 차량 대상물을 정의한다.
차량 탐색부(101)는 영상 데이터를 수신하여 수정된 Haar 분류법을 이용하여 후보 차량을 탐색한다(S310).
수정된 Haar 분류법의 경우, 도 4와 같이 서로 다른 형태의 마스크를 이용하여 스캐닝한다.
즉, 도 4의 각각의 마스크로 영상 데이터를 스캐닝하면서 검은 영역의 화소 데이터에 -1을 곱하고, 백색 영역의 화소 데이터에 +1을 곱하여 마스킹된 영역의 값을 더한다.
상기와 같은 연산을 도 4의 8개의 타입의 마스크를 가지고 영상 데이터에 대하여 전부 진행하면, 영상 데이터의 마스킹되는 각각의 분할 영역에 대하여 8개의 마스크에 대한 특징벡터가 구해진다.
각각의 분할 영역에 대하여 특징 벡터를 구한 뒤, 저장되어 있는 차량에 대한 복수의 기준 특징 벡터와 각 영역의 특징 벡터를 cascade adaboost 알고리즘을 통하여 비교하여 차량으로 판단할 수 있는 영역을 후보 차량으로 선택한다.
이때, 도 4의 마스크의 모양 및 수효는 이에 한정되지 않고 다양하게 구현될 수 있다. 또한, 각 마스크의 크기도 이에 한정되지 않으며, 영상 데이터에 대하여 특정 방향에 따라 마스크의 크기를 확장할 수 있다.
이와 같은 분류를 진행하면, 도 5a과 같은 영상 데이터에서 도 5b와 같이 박스로 지정되는 후보 차량이 선택된다.
다음으로 도 6과 같이 필터링을 진행하여 후보 차량 중 차량 대상물만을 필터링한다(S320).
즉, 도 5b와 같이 후보 차량 중 실제 차량이 아닌 영역이 포함되는데, 이러한 허수를 제거하는 필터링을 진행한다.
이러한 필터링 동작은 HOG(Histogram of Oriented Gradients) 및 SVM Cascade 분류법을 적용하여 진행할 수 있다.
Cascaded HOG AND SVM 분류법은 수정 Haar 분류 단계에서 추출된 후보 차량을 관심 영역으로 정의하고, 각 영역의 이미지의 수평 및 수직의 기울기를 연산한다.
다음으로, 관심 영역을 더 작은 사이즈의 셀로 펼치고 해당 기울기에 대한 히스토그램을 형성한다. 다음으로, 히스토그램을 정규화한 뒤 이를 소정 단위로 그루핑한다.
다음으로, 선형 SVM(Linear support vector machine) 모델을 이용하여 관심 영역 중 실제 차량에 해당하는 것과 실제 차량에 해당하지 않는 것으로 분류한다.
따라서, 도 6a와 같이 후보 차량 중 실제 차량이 아닌 주변 영역이 도 6b와 같이 필터링으로 제거되어 대상물로 수득한다.
다음으로, 대상물의 히스토리 체크를 진행하여 해당 대상물의 아이디를 이전 프레임의 대상물 리스트에서 찾는다(S330).
히스토리 체크가 시작되면, 현재 대상물의 데이터를 입력하고(S331), 이전 프레임의 대상물의 데이터를 입력한다(S333).
상기 현재 대상물과 이전 프레임의 대상물의 오버랩을 진행하여 오버랩 정도를 측정한다(S335).
이때, 오버랩이 n 이상인 경우(S337), 현재 대상물을 이전 프레임의 대상물과 동일한 것으로 판단하여 아이디를 정하고(S339), m 이하인 경우 이전 프레임의 대상물과 다른 것으로 판단하여 히스토리에서 제외한다(S338).
이전 프레임의 대상물 중 어느 것과도 매칭되지 않는 경우, 새로운 것으로 판단하여 새로운 아이디를 부가하여 프레임의 대상물 리스트에 추가한다.
상기 m 값은 임의로 산정할 수 있으며, 0.7 이상일 수 있다.
한편, 차량 탐색부(101)가 구동하지 않는 동안 차량 추적부(103)가 구동된다.
차량 추적부(103)는 차량 탐색부의 동작과 동일하게 수정된 Haar 분류법에 의해 후보 차량을 선정하고, 필터링하여 대상물을 수득한 뒤 히스토리 체크하여 대상물의 아이디를 확정한다.
이때, 차량 추적부의 동작은 영상 데이터 전체에 대하여 이루어지지 않고, 특정 관심 영역에 대하여 이루어진다.
즉, 도 8a와 같이 이전 프레임의 탐색된 대상물이 정해져 있을 때, 도 8b와 같이 이전 프레임의 대상물을 중심으로 확장된 영역을 관심 영역으로 선정할 수 있다.
이와 같이 영상 데이터 중 일부에 대하여 현재 프레임의 대상물을 추적하므로 연산이 단순화된다.
다음으로, 후처리부(105)의 후처리 동작이 시작된다.
먼저, 후처리부(105)는 다중추적을 수행하여 놓친 전방 차량을 찾는다.
앞서 필터링에서 사용된 특징값을 기초로(S510), 수득한 대상물에 대하여(S521) 복수의 이전 프레임에서의 해당 대상물의 필터링 특징값을 조합하여(S520) 새로운 대상물인 경우, 대상물 리스트에 추가하고(S522), kalman 필터의 초기값을 설정한다(S530).
이때, 새로운 대상물이 아닌 경우, kalman 필터의 파라미터를 업데이트한다(S540).
이때, kalman 필터는 복수의 프레임 사이에서 해당 대상물의 위치를 예측하고 필터링하는데 사용되는 것으로 이에 한정되지 않고 다른 방법으로 놓친 전방 차량을 찾을 수도 있다.
따라서, 도 10a와 같이 전방에서 놓친 차량이 있는 경우에도 복수의 프레임에서 필터링을 수행함으로써 도 10b와 같이 놓친 차량을 대상물로 추가할 수 있다.
다음으로, 도 11과 같이 해당 대상물의 영역을 차량의 경계에 맞추어 축소 또는 확장하는 경계 보상이 진행된다(S600).
경계 보상 단계는 차량의 종류에 따라 다른 비율로 증감될 수 있으며, 상기 경계 보상 단계는 생략 가능하다.
다음으로, 경고 발생부(107)는 전방 차량을 나타내는 각각의 대상물과 본 차량 사이의 거리를 연산하여(S700) 상기 대상물과 본 차량의 속도와 연산하여 충돌 시간을 연산한다.
상기 경고 발생부(107)는 상기 충돌시간이 소정 범위 내이면 경고 발생 신호를 출력한다(S800).
이때, 현재 영상 프레임 내에서 본 차량의 위치를 계산하여 대상물과의 거리를 연산한다. 이때, 적용되는 내부 파라미터는 화소 사이즈, VFOV, HFOV, 영상 면적 등이 있으며, 외부 파라미터는 카메라의 위치 및 카메라의 기울기 등이 있다.
대상물과 본 차량 사이의 거리가 계산되면, 대상물과 본 차량의 속도에 다라 충돌 시간을 연산한다.
이때, 충돌 시간이 임계시간보다 크면 경고 발생 신호를 출력하고, 임계시간보다 작으면 이미 충돌이 발생한 것으로 간주하여 경고를 발생하지 않는다(S740). 상기 임계시간은 차량이 현재 속도로부터 정지할 때까지의 소요시간으로 상기 임계시간은 현재 속도에 따라 가변할 수 있다.
이와 같이 상기 구동부(110)에서 경고 발생 신호를 생성하여 경고부(160)에 전송하면 상기 경고부(160)는 청각적 또는 시각적으로 운전자에게 경고를 발생한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
차량이탈 경고 시스템 100
구동부 110
영상촬영부 150
경고부 160
차량탐색부 101
차량추적부 103
후처리부 105
경고발생부 107

Claims (16)

  1. 본 차량의 전방에 부착되어 상기 차량의 전방을 촬영하는 영상 촬영부,
    상기 영상 촬영부로부터 영상 데이터를 수신하여 소정의 마스크에 의해 상기 영상 데이터를 분류하여 전방의 후보 차량을 찾고, 상기 후보 차량을 필터링하여 실제 차량인 대상물을 확정하고, 복수의 프레임에 대한 상기 대상물을 트래킹하여 놓친 대상물을 추가하고, 현재 프레임의 상기 대상물과 이전 프레임의 상기 대상물을 오버랩하여 히스토리를 체크하고, 상기 체크한 히스토리 결과를 기준으로 상기 대상물과 상기 본 차량의 거리에 따라 충돌시간을 연산하여 상기 충돌시간에 따라 경고 발생 신호를 생성하는 구동부, 그리고
    상기 경고 발생 신호를 받아 전방차량 충돌 경고 신호를 발생하는 경고부
    를 포함하는 전방차량 충돌 경고 시스템.
  2. 제1항에 있어서,
    상기 구동부는
    상기 영상 데이터를 수신하여 소정의 상기 마스크에 의해 상기 영상 데이터를 분류하여 전방의 후보 차량을 찾고, 상기 후보 차량을 필터링하여 실제 차량인 대상물을 확정하는 차량 탐색부,
    상기 차량 탐색부로부터 대상물을 수신하고, 복수의 프레임에 대한 상기 대상물을 트래킹하여 놓친 대상물을 추가하는 후처리부, 그리고
    상기 충돌시간을 연산하여 상기 충돌시간에 따라 상기 경고 발생 신호를 생성하는 경고 발생부를 포함하는 전방차량 충돌 경고 시스템.
  3. 제2항에 있어서,
    상기 구동부는
    이전 영상 데이터의 상기 대상물을 기준으로 현재 대상물을 추적하는 차량 추적부를 더 포함하는 전방차량 충돌 경고 시스템.
  4. 제3항에 있어서,
    상기 차량 탐색부와 상기 차량 추적부는 선택적으로 구동하는 전방차량 충돌 경고 시스템.
  5. 제4항에 있어서,
    상기 차량 탐색부 및 상기 차량 추적부는
    관심 영역을 분할하여 복수의 상기 마스크에 대하여 각각의 연산 값을 가지고 기준 차량의 연산 값과 분할된 상기 관심 영역의 연산 값을 비교하여 상기 후보 차량을 추출하는 전방차량 충돌 경고 시스템.
  6. 제5항에 있어서,
    상기 복수의 마스크는 서로 다른 형상을 가지는 전방차량 충돌 경고 시스템.
  7. 제4항에 있어서,
    상기 차량 탐색부 및 상기 차량 추적부는
    수정된 Haar 분류법을 이용하여 상기 후보 차량을 추출하는 전방차량 충돌 경고 시스템.
  8. 제7항에 있어서,
    상기 차량 탐색부 및 상기 차량 추적부는
    후보 차량을 HOG and SVM 분류법을 이용하여 필터링하여 실제 차량이 아닌 영역이 제외된 상기 대상물을 확정하는 전방차량 충돌 경고 시스템.
  9. 제8항에 있어서,
    상기 히스토리 체크는 상기 차량 탐색부 및 상기 차량 추적부에서 수행되는 전방차량 충돌 경고 시스템.
  10. 제4항에 있어서,
    상기 후처리부는 대상물의 경계를 확대 또는 축소하여 보상하는 전방차량 충돌 경고 시스템.
  11. 본 차량의 전방을 촬영하여 영상 데이터를 생성하는 단계,
    n번째 프레임마다 상기 영상 데이터 전체에 대하여 소정의 마스크에 의해 상기 영상 데이터를 분류하여 전방의 후보 차량을 찾고, 상기 후보 차량을 필터링하여 실제 차량인 대상물을 확정하는 단계,
    n번째 이외의 프레임에서 이전 프레임에 확정된 대상물의 데이터에 대하여 전방의 상기 후보 차량을 찾고, 상기 후보 차량을 필터링하여 실제 차량인 상기 대상물을 확정하는 단계,
    복수의 프레임에 대한 상기 대상물을 트래킹하여 놓친 대상물을 추가하는 단계,
    상기 대상물이 확정되면, 현재 프레임의 상기 대상물과 이전 프레임의 상기 대상물을 오버랩하여 히스토리를 체크하는 단계, 그리고
    상기 히스토리 체크 결과에 따라 상기 대상물과 상기 본 차량의 거리에 따른 충돌시간을 연산하여 상기 충돌시간에 따라 경고 발생 신호를 생성하는 단계
    를 포함하는 전방차량 충돌 경고 방법.
  12. 제11항에 있어서,
    상기 후보 차량을 찾는 단계는,
    수정된 Haar 분류법을 이용하여 영상 데이터를 분류하는 전방차량 충돌 경고 방법.
  13. 제12항에 있어서,
    후보 차량을 HOG and SVM 분류법을 이용하여 필터링하여 실제 차량이 아닌 영역이 제외된 상기 대상물을 확정하는 전방차량 충돌 경고 방법.
  14. 삭제
  15. 제13항에 있어서,
    상기 히스토리 체크 단계는,
    현재 프레임의 상기 대상물과 이전 프레임의 상기 대상물이 0.7 이상 오버랩되면 동일한 대상물로 판단하는 전방차량 충돌 경고 방법.
  16. 제13항에 있어서,
    상기 대상물 확정 후에 상기 대상물의 경계를 확대 또는 축소하여 보상하는 단계를 더 포함하는 전방차량 충돌 경고 방법.
KR1020120071226A 2012-06-29 2012-06-29 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법 KR101382873B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120071226A KR101382873B1 (ko) 2012-06-29 2012-06-29 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법
US13/932,203 US20140002657A1 (en) 2012-06-29 2013-07-01 Forward collision warning system and forward collision warning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120071226A KR101382873B1 (ko) 2012-06-29 2012-06-29 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법

Publications (2)

Publication Number Publication Date
KR20140004291A KR20140004291A (ko) 2014-01-13
KR101382873B1 true KR101382873B1 (ko) 2014-04-08

Family

ID=49777753

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120071226A KR101382873B1 (ko) 2012-06-29 2012-06-29 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법

Country Status (2)

Country Link
US (1) US20140002657A1 (ko)
KR (1) KR101382873B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160143303A (ko) 2015-06-05 2016-12-14 영 식 박 차량 위험 경보 송수신 장치
KR20220097603A (ko) 2020-12-30 2022-07-08 주식회사 비트센싱 전방 충돌 경고 장치, 방법 및 컴퓨터 프로그램
KR20240049782A (ko) * 2020-12-30 2024-04-17 인하대학교 산학협력단 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102277018B1 (ko) * 2014-11-11 2021-07-14 현대모비스 주식회사 차량 주행 보조 장치 및 차량 주행 보조 방법
KR101604447B1 (ko) * 2015-05-26 2016-03-28 주식회사 피엘케이 테크놀로지 선행차량 추돌 경보 장치 및 방법
JP6775285B2 (ja) * 2015-09-24 2020-10-28 アルパイン株式会社 後側方車両検知警報装置
KR102391174B1 (ko) 2015-10-13 2022-04-27 주식회사 에이치엘클레무브 차량의 경고 제어 장치 및 방법
US9937860B1 (en) 2016-09-26 2018-04-10 Hyundai America Technical Center, Inc. Method for detecting forward collision
KR20180041525A (ko) * 2016-10-14 2018-04-24 주식회사 만도 차량의 물체 트래킹 시스템 및 그 제어 방법
CN107886043B (zh) * 2017-07-20 2022-04-01 吉林大学 视觉感知的汽车前视车辆和行人防碰撞预警系统及方法
CN110060280B (zh) * 2019-04-28 2021-03-30 东华大学 基于外观自适应空间正则化相关滤波器的目标跟踪方法
CN110588510B (zh) * 2019-08-26 2021-09-07 华为技术有限公司 一种对本车的预警方法及装置
CN112668363B (zh) * 2019-10-15 2024-06-14 北京地平线机器人技术研发有限公司 报警准确度确定方法、装置及计算机可读存储介质
TWI809401B (zh) * 2021-05-24 2023-07-21 宏佳騰動力科技股份有限公司 車輛後視警示系統
CN117774963B (zh) * 2024-02-27 2024-05-24 山东云海国创云计算装备产业创新中心有限公司 前向碰撞预警方法、装置、电子设备及智能驾驶车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002260149A (ja) * 2001-02-28 2002-09-13 Gen Tec:Kk 交通事故検出システム
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置
KR20090112420A (ko) * 2008-04-24 2009-10-28 현대자동차주식회사 운전자 안전 시스템
KR20110073917A (ko) * 2009-12-24 2011-06-30 중앙대학교 산학협력단 Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4104233B2 (ja) * 1998-12-03 2008-06-18 株式会社日立製作所 走行環境認識装置
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
JP3966461B2 (ja) * 2002-08-09 2007-08-29 株式会社リコー 電子カメラ装置
US7541743B2 (en) * 2002-12-13 2009-06-02 Ford Global Technologies, Llc Adaptive vehicle communication controlled lighting system
US7764808B2 (en) * 2003-03-24 2010-07-27 Siemens Corporation System and method for vehicle detection and tracking
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7545956B2 (en) * 2005-08-12 2009-06-09 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
US8581982B1 (en) * 2007-07-30 2013-11-12 Flir Systems, Inc. Infrared camera vehicle integration systems and methods
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8232872B2 (en) * 2009-12-03 2012-07-31 GM Global Technology Operations LLC Cross traffic collision alert system
US8620026B2 (en) * 2011-04-13 2013-12-31 International Business Machines Corporation Video-based detection of multiple object types under varying poses
US8768007B2 (en) * 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002260149A (ja) * 2001-02-28 2002-09-13 Gen Tec:Kk 交通事故検出システム
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置
KR20090112420A (ko) * 2008-04-24 2009-10-28 현대자동차주식회사 운전자 안전 시스템
KR20110073917A (ko) * 2009-12-24 2011-06-30 중앙대학교 산학협력단 Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160143303A (ko) 2015-06-05 2016-12-14 영 식 박 차량 위험 경보 송수신 장치
KR20220097603A (ko) 2020-12-30 2022-07-08 주식회사 비트센싱 전방 충돌 경고 장치, 방법 및 컴퓨터 프로그램
KR20230069895A (ko) 2020-12-30 2023-05-19 주식회사 비트센싱 전방 충돌 경고 장치, 방법 및 컴퓨터 프로그램
KR20240049782A (ko) * 2020-12-30 2024-04-17 인하대학교 산학협력단 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템
KR102669061B1 (ko) * 2020-12-30 2024-05-29 인하대학교 산학협력단 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템

Also Published As

Publication number Publication date
US20140002657A1 (en) 2014-01-02
KR20140004291A (ko) 2014-01-13

Similar Documents

Publication Publication Date Title
KR101382873B1 (ko) 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법
JP7025912B2 (ja) 車載環境認識装置
KR101326943B1 (ko) 추월차량 경고 시스템 및 추월차량 경고 방법
US6956469B2 (en) Method and apparatus for pedestrian detection
US7263209B2 (en) Vehicular vision system
JP5944781B2 (ja) 移動体認識システム、移動体認識プログラム、及び移動体認識方法
CN106611512B (zh) 前车起步的处理方法、装置和系统
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
US9659497B2 (en) Lane departure warning system and lane departure warning method
KR101382902B1 (ko) 차선이탈 경고 시스템 및 차선이탈 경고 방법
US10194059B2 (en) Image processing apparatus and image processing method
JP2009064410A (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
CN108162858B (zh) 车载监控装置及其方法
CN102792314A (zh) 交叉通行碰撞警报系统
US20130057688A1 (en) Vehicle periphery monitoring device, vehicle periphery monitoring method and vehicle device
Pena-Gonzalez et al. Computer vision based real-time vehicle tracking and classification system
JP7161981B2 (ja) 対象追跡手段の切り替えが可能な対象追跡プログラム、装置及び方法
JP2009070344A (ja) 画像認識装置、画像認識方法および電子制御装置
JP2010079582A (ja) 物体を検出する装置、方法及びプログラム
JP2008310440A (ja) 歩行者検出装置
KR20120067890A (ko) 영상분석장치 및 그 방법
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
KR20220098677A (ko) 교통사고 예측 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170307

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190313

Year of fee payment: 6