KR102270677B1 - 차량 안전 주행 장치 - Google Patents

차량 안전 주행 장치 Download PDF

Info

Publication number
KR102270677B1
KR102270677B1 KR1020150006393A KR20150006393A KR102270677B1 KR 102270677 B1 KR102270677 B1 KR 102270677B1 KR 1020150006393 A KR1020150006393 A KR 1020150006393A KR 20150006393 A KR20150006393 A KR 20150006393A KR 102270677 B1 KR102270677 B1 KR 102270677B1
Authority
KR
South Korea
Prior art keywords
vehicle
lane
image
detection unit
unit
Prior art date
Application number
KR1020150006393A
Other languages
English (en)
Other versions
KR20160087273A (ko
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020150006393A priority Critical patent/KR102270677B1/ko
Priority to DE102016100030.2A priority patent/DE102016100030A1/de
Priority to US14/993,663 priority patent/US10121379B2/en
Priority to CN201610021227.3A priority patent/CN105787431B/zh
Publication of KR20160087273A publication Critical patent/KR20160087273A/ko
Priority to KR1020200069306A priority patent/KR102270678B1/ko
Application granted granted Critical
Publication of KR102270677B1 publication Critical patent/KR102270677B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B60W2050/14—

Abstract

본 발명은 차량의 주변을 촬영하여 상기 차량의 일 방향 영상을 출력하는 카메라부, 상기 차량의 일 방향 영상을 합성하고 상기 차량의 탑뷰 영상을 출력하는 탑뷰 영상 출력부, 상기 탑뷰 영상에서 차선 특징을 고려하여 상기 차량 일 측의 차선을 출력하는 차선 검출부, 상기 카메라부가 출력한 차량 일 측방의 영상에서 바퀴 모양 특징을 검출하여 타 차량을 인식하는 측면 차량 검출부, 상기 검출된 타 차량의 바퀴 모양 특징을 고려하여 상기 타 차량의 존재 영역을 추정하는 타 차량 영역 추정부, 상기 차량이 상기 타 차량 존재 영역에 진입할 때 경고 신호를 출력하는 경고 신호 출력부 및 상기 경고 신호를 수신하고, 운전자에게 위험을 알리는 경고부를 포함하는 차량 안전 주행 장치에 관한 것이다.

Description

차량 안전 주행 장치 {Apparatus for safety-driving of vehicle}
본 발명은 차량 안전 주행 장치에 관한 것으로, 보다 상세하게는 차량 주변을 촬영한 영상을 합성하여 탑뷰 영상을 출력하고, 탑뷰 영상에서 차선을 검출하여 출력하고, 차량 일 측방 영상에서 바퀴 모양 특징을 검출하여 타 차량의 존재 영역을 추정하고, 차량이 타 차량의 존재 영역에 진입할 때 경고 신호를 출력하여 운전자에게 위험을 알리는 차량 안전 주행 장치에 관한 것이다.
차량 간의 충돌을 막기 위한 기술로서 초음파 센서 등의 센서를 이용하여 획득한 다양한 정보를 이용하여 차량 간의 거리를 모니터링하고, 차량 간의 거리가 설정된 거리값 보다 작아질 때 운전자에게 경고하는 기술이 많은 차량에 채택되고 있다. 그러나 센서에만 의존하여 차량 간의 충돌을 방지하는 것은 다양한 운전 환경에서 차량 간의 거리를 측정하는데 어려움이 있으며, 그에 따라 부정확한 결과가 측정될 수도 있다.
최근에는 센서 이외에 다양한 방법으로 운행 중인 차량 주변상황에 대한 정보를 획득하고, 이를 바탕으로 차량 간의 거리가 가까울 때 운전자에게 경고하여주는 기술이 연구 중에 있다.
본 발명이 해결하고자 하는 과제는 차량 주변을 촬영한 영상을 합성하여 탑뷰 영상을 출력하고, 탑뷰 영상에서 차선을 검출하여 출력하고, 차량 일 측방 영상에서 바퀴 모양 특징을 검출하여 타 차량의 존재 영역을 추정하고, 차량이 타 차량의 존재 영역에 진입할 때 경고신호를 출력하여 운전자에게 위험을 알리는 차량 안전 주행 장치를 제공함에 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시례에 따른 차량 안전 주행 장치는, 차량의 주변을 촬영하여 상기 차량의 일 방향 영상을 출력하는 카메라부, 상기 차량의 일 방향 영상을 합성하고 상기 차량의 탑뷰 영상을 출력하는 탑뷰 영상 출력부, 상기 탑뷰 영상에서 차선 특징을 고려하여 상기 차량 일 측의 차선을 출력하는 차선 검출부, 상기 카메라부가 출력한 차량 일 측방의 영상에서 바퀴 모양 특징을 검출하여 타 차량을 인식하는 측면 차량 검출부, 상기 검출된 타 차량의 바퀴 모양 특징을 고려하여 상기 타 차량의 존재 영역을 추정하는 타 차량 영역 추정부, 상기 차량이 상기 타 차량 존재 영역에 진입할 때 경고 신호를 출력하는 경고 신호 출력부 및 상기 경고 신호를 수신하고, 운전자에게 위험을 알리는 경고부를 포함한다.
상기 차선 검출부는 상기 탑뷰 영상의 그레이스케일 영상에서 좌에서 우 방향으로 탑햇 필터를 적용하고, 최대값을 산출하여 차선 중심점을 검출한다.
상기 차선 검출부는 상기 중심점을 기준으로 상기 중심점의 좌측 경계 및 상기 중심점 의 우측 경계에 대해 최대값을 산출하여 상기 차선 좌측 특징점 및 상기 차선 우측 특징점을 산출한다.
상기 차선 검출부는 상기 차선 좌측 특징점 및 상기 차선 우측 특징점을 기준으로 전 방사 방향으로 탐색하여 선 성분을 추출한다.
상기 측면 차량 검출부는 하라이크(haar-like) 특징을 이용하여 상기 차량 일 측방 영상에서 상기 바퀴 모양 특징을 검출한다.
상기 측면 차량 검출부는 아다부스트(Adaboost) 알고리즘을 이용하여 상기 차량 일 측방의 영상에서 약한 분류기(weak classifier)를 검출 및 저장한다.
상기 측면 차량 검출부는 아다부스트 알고리즘을 이용하여 상기 차량 일 측방의 영상에서 강한 분류기(strong classifier)를 검출 및 저장한다.
상기 측면 차량 검출부는 아다부스트 알고리즘을 이용하여 상기 차량 일 측방의 영상에서 강한 분류기를 검출하여 기 저장된 강한 분류기와 일치할 때 상기 일치하는 부분을 바퀴 모양 특징으로 인식한다.
상기 타 차량 영역 추정부는 상기 타 차량의 상기 바퀴 모양 특징의 위치를 기준으로 설정된 장방형을 상기 타 차량 존재 영역으로 추정한다.
기타 실시례들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 차량 안전 주행 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째,　차량 일 측방의 영상에서 바퀴 모양 특징을 검출함으로써 타 차량을 인식하는 장점이 있다.
둘째,　하라이크 특징을 이용하여 검출된 타 차량의 바퀴 모양 특징을 고려하고, 이에 더하여 아다부스트 알고리즘을 적용함으로써 타 차량을 정확하게 인식하는 장점도 있다.
셋째,　탑뷰 영상에서 타 차량의 존재 영역을 추정하고, 차량이 타 차량 존재 영역에 진입할 때 운전자에게 경고함으로써 운전자에게 화면을 보여주는 등의 정확한 경고를 하는 장점도 있다. 운전자는 화면으로 차량이 타 차량과 얼마나 가까이 있는지 인지하여 차량의 안전 운행에 크게 기여한다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시례에 따른 안전 주행 장치의 구성을 도시한 구성도이다.
도 2는 도 2는 도 1에 도시한 일실시례에 따른 차선 검출부가 탑햇 필터(top-hat filter)를 이용하여 특징점을 산출하는 모습을 도시한 예시도이다.
도 3은 도 1에 도시한 차선 검출부가 산출한 특징점에서 선 성분을 추출하는 모습을 도시한 예시도이다.
도 4는 측면 차량 검출부가 차량 일 측방 영상에서 바퀴 모양 특징을 검출하는 것으로서, 아다부스트 알고리즘에 의해 출력된 약한 분류기(weak classifier) 및 강한 분류기(strong classifier)를 도시한 것이다.
도 5은 타 차량 영역 추정부가 차량과 일 측방의 차량 간의 거리를 구하기 위한 가상의 삼각형을 도시한 것이다.
도 6은 타 차량 영역 추정부가 타 차량 영역을 추정한 모습을 도시한 탑뷰 영상도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시례들에 의하여 안전 주행 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일실시례에 따른 안전 주행 장치의 구성을 도시한 구성도이다. 본 발명의 일실시례에 따른 안전 주행 장치는 카메라부(100), 탑뷰 영상 출력부(200), 차선 검출부(300), 측면 차량 검출부(400), 타 차량 영역 추정부(500), 경고 신호 출력부(600) 및 경고부(700)를 포함한다.
카메라부(100)는 차량의 주변을 촬영하여 차량의 일 방향 영상을 출력한다. 카메라부(100)는 차량 일 측방에 설치된다. 카메라부(100)는 차량 일 측방을 방해 없이 촬영할 수 있는 위치에 설치된다. 카메라부(100)는 차량 주행 시 구동될 수 있다. 카메라부(100)는 별도의 스위치에 조작에 의해 구동될 수도 있다. 카메라부(100)는 차량 일 측방의 영상을 측면 차량 검출부(400)에 출력한다.
탑뷰 영상 출력부(200)는 차량의 일 방향 영상을 합성하고 차량의 탑뷰 영상을 출력한다. 탑뷰 영상 출력부(200)는 차량의 주변을 위에서 아래로 보는 방향의 탑뷰 영상을 출력한다. 탑뷰 영상 출력부(200)는 AVM(Around View Monitoring) 시스템일 수 있다. 탑뷰 영상 출력부(200)는 차량의 전후측방 중 적어도 한 곳에 카메라를 구비한다. 탑뷰 영상 출력부(200)는 차량의 전후측방에 구비된 카메라가 차량 주변의 영상을 출력한다. 탑뷰 영상 출력부(200)는 차량 주변의 영상을 하나의 영상으로 합성하여 탑뷰 영상을 출력한다.
차선 검출부(300)는 탑뷰 영상에서 차선 특징을 고려하여 차량 일 측방의 차선을 검출한다. 차선 검출부(300)는 탑뷰 영상에서 탑햇 필터를 이용하여 차량의 좌측 및 차량의 우측에서 차선 특징을 검출한다. 차선 검출부(300)는 탑뷰 영상의 그레이스케일 영상에서 좌에서 우 방향으로 탑햇 필터를 적용하고, 최대값을 산출하여 차선 중심점을 검출한다.
차선 검출부(300)는 중심점을 기준으로 중심점의 좌측 경계 및 중심점의 우측 경계에 대해 최대값을 산출하여 차선의 좌측 특징점(LP) 및 우측의 특징점(RP)을 산출한다. 차선 검출부(300)가 탑햇 필터를 이용하여 특징점을 산출하는 과정은 도 2에서 추후 설명한다.
차선 검출부(300)는 차선 좌측 특징점 및 차선 우측의 특징점을 기준으로 전 방사 방향으로 탐색하여 선 성분을 추출한다. 차선 검출부(300)는 차선 좌측 특징점 및 차선 우측의 특징점을 기준으로 360도 방향으로 탐색하여 선 성분을 추출할 수 있다. 차선 검출부(300)가 산출한 특징점에서 선 성분을 추출하는 것은 도 3에서 추후 설명한다.
도 2는 도 1에 도시한 일실시례에 따른 차선 검출부(300)가 탑햇 필터를 이용하여 특징점을 산출하는 모습을 도시한 예시도이다. 차선 검출부(200)는 탑뷰 영상에서 탑햇 필터를 이용하여 차량의 좌측 및 차량의 우측에서 차선을 검출한다. 차선 검출부(200)는 탑뷰 영상의 그레이스케일 영상에서 좌에서 우 방향으로 탑햇 필터를 적용하고, 최대값을 산출하여 차선 중심점을 검출한다. 차선 검출부(300)는 탑뷰 영상을 그레이스케일(grayscale) 영상으로 변환한다. 차선 검출부(300)는 그레이스케일 영상에서 수평방향으로 탑햇 필터를 적용한다. 차선 검출부(300) 국부 영역에서 최대값을 검출하여 차선의 중심점(CP)을 검출한다. 차선 검출부(300)는 중심점(CP)을 기준으로 차선 좌측 및 차선 우측 경계에 대해 국부 영역에서의 최대값을 검출하여 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)을 산출한다. 차선 검출부(300)가 산출하는 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)은 어두운 부분(D)과 밝은 부분(B) 사이의 경계(P)에 위치한다.
도 3은 도 1에 도시한 일실시례에 따른 차선 검출부(300)가 산출한 특징점에서 선 성분을 추출하는 모습을 도시한 예시도이다. 차선 검출부(300)는 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)을 기준으로 전 방사 방향으로 탐색하여 선 성분을 추출한다. 차선 검출부(300)는 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)을 기준으로 360도 방향으로 탐색하여 선 성분을 추출할 수 있다. 일실시례에 따 차선 검출부(300)는 도 3에서 차선 우측 특징점(RP)을 기준으로 시계 방향으로 탐색할 수도 있고, 차선 좌측 특징점(LP) 부분과 같이 차선 좌측 특징점(LP)을 기준으로 반시계 방향으로 탐색할 수도 있다. 차선 검출부(300)는 차선 우측 특징점(RP)을 기준으로 반시계 방향으로 탐색할 수도 있고, 차선 좌측 특징점(LP)을 기준으로 시계 방향으로 탐색할 수도 있다.
차선 검출부(300)는 추출한 선 성분의 각도 오차를 비교하여 선 성분의 유효성을 검사한다. 일실시례에 따른 차선 검출부(300)가 고려하는 각도 오차는 설정된 값이며, 5도 이내로 설정될 수 있다. 차선 검출부(300)는 선 성분의 유효성이 만족되면 차선의 중심점(CP)을 기준으로 차선 후보군을 저장한다.
도 4는 측면 차량 검출부(400)가 차량 일 측방 영상에서 바퀴 모양 특징(TF)을 검출하는 것으로서, 아다부스트 알고리즘에 의해 출력된 약한 분류기(weak classifier) 및 강한 분류기(strong classifier)를 도시한 것이다.
측면 차량 검출부(400)는 차량 일 측방의 영상에서 바퀴 모양 특징(TF)을 검출하여 측면에 존재하는 타 차량의 바퀴를 인식한다. 측면 차량 검출부(400)는 카메라부(100)가 출력한 차량 일 측방의 영상을 수신한다. 측면 차량 검출부(400)는 하라이크(haar-like) 특징을 이용하여 차량 일 측방의 영상에서 바퀴 모양 특징(TF)을 검출한다. 측면 차량 검출부(400)가 이용하는 하라이크 특징은 윤곽선의 특징인 에지특징(Edge feature), 중심을 둘러싼 센터서라운드특징(Center-surround feature) 및 선의 모양을 한 라인특징(Line-feature)을 포함할 수 있다. 측면 차량 검출부(400)는 검출한 바퀴 모양 특징(TF)을 저장한다. 측면 차량 검출부(400)가 검출하려는 바퀴 모양 특징(TF)은 원형일 수 있다.
측면 차량 검출부(400)는 아다부스트(Adaboost) 알고리즘을 이용하여 차량 일 측방의 영상에서 약한 분류기(weak classifier, WC)를 검출하고 저장한다. 측면 차량 검출부(400)가 약한 분류기(WC)를 검출하는 것은 도 4(a)에 도시하였다.
측면 차량 검출부(400)는 아다부스트 알고리즘을 이용하여 차량 일 측방의 영상에서 강한 분류기(strong classifier, SC)를 검출 및 저장한다.
측면 차량 검출부(400)는 아다부스트 알고리즘을 이용하여 차량 일 측방의 영상에서 강한 분류기(SC)를 검출하여 기 저장된 강한 분류기(SC)와 일치할 때 일치하는 부분을 바퀴 모양 특징(TF)으로 검출한다.
측면 차량 검출부(400)는 차량 일 측방의 영상에서 바퀴 모양 특징(TF)을 인식한다. 측면 차량 검출부(400)는 터널 진입 상황에서 바퀴 모양 특징(TF)을 검출하면 바퀴 모양 특징(TF)의 평균 밝기값을 산출한다. 측면 차량 검출부(400)는 바퀴 모양 특징(TF)을 검출하면 비 바퀴 모양 특징(NTF)의 평균 밝기값을 산출한다. 측면 차량 검출부(400)는 바퀴 모양 특징(TF)의 평균 밝기값에서 비 바퀴 모양 특징(NTF)의 평균 밝기값을 뺀 값이 설정된 임계치를 초과하면 검출된 바퀴 모양 특징(TF)을 차량 일 측방에 존재하는 차량의 바퀴로 인식한다.
도 5은 타 차량 영역 추정부(500)가 차량과 일 측방의 차량(LC) 간의 거리를 구하기 위한 가상의 삼각형을 도시한 것이다. 타 차량 영역 추정부(500)는 검출된 타 차량의 바퀴 모양 특징(TF)을 고려하여 타 차량의 존재 영역을 추정한다. 카메라부(100)는 지면에서 높이(H)에 설치된다. 카메라부(100)가 설치되는 높이(H)는 차량에 따라 변할 수 있다. 카메라부(100)가 설치되는 높이(H)는 기 설정된 값이다. 카메라부(100)와 일 측방의 차량(LC) 아래 부분의 중앙과의 각도인 카메라각도(C)는 차량 및 설정에 따라 변할 수 있다. 카메라부(100)의 수직화각(VFOV)은 카메라의 성능에 따라 변할 수 있으며, 설정에 따른 일정한 값이다.
타 차량 영역 추정부(500)는 카메라부(100)의 카메라 파라미터를 이용하여 바퀴 모양 특징(TF)의 좌표를 산출한다. 타 차량 영역 추정부(500)는 카메라부의 조사 각도(C)와 카메라부(100)의 수직화각(VFOV)을 이용하여 일 측방의 차량(LC)의 아래 부분의 중앙을 포함하는 일 측방의 차량(LC) 아래 부분 그리고 카메라부(100)와 바퀴 모양 특징(TF)의 아래 부분이 이루는 선이 형성하는 각도(S)를 산출할 수 있다. 타 차량 영역 추정부(500)는 차량과 일 측방의 차량(LC) 사이의 거리(d)를 산출할 수 있다. 타 차량 영역 추정부(500)는 (수학식 1)에 의해 카메라부(100)와 검출된 번호판을 포함하는 사각형의 아래 부분과의 거리(Z)를 산출할 수 있다.
Figure 112015003527568-pat00001
타 차량 영역 추정부(500)는 차량 일 측방의 영상에서 점 P(x, y)의 좌표를 계산한다. 타 차량 영역 추정부(500)가 계산하는 점 P(x, y)는 일 측방의 차량(LC)을 포함하는 사각형에서 지면과 닿는 부분의 중앙의 좌표이다. 타 차량 영역 추정부(500)는 카메라부(100)가 촬영한 영상의 좌표계에서 XY면에 평행한 면에 X'Y' 좌표계를 설정한다. 타 차량 영역 추정부(500)는 좌표를 계산하여 검출된 바퀴 모양 특징(TF)의 좌표를 산출한다.
도 6은 타 차량 영역 추정부가 타 차량 영역(LCA)을 추정한 모습을 도시한 탑뷰 영상도이다. 타 차량 영역 추정부(500)는 탑뷰 영상에서 바퀴 모양 특징(TF)의 좌표를 산출한다. 타 차량 영역 추정부(500)는 탑뷰 영상에서 산출된 바퀴 모양 특징(TF)의 좌표를 중심으로 포함하는 장 방형을 타 차량 영역(LCA)으로 추정한다. 타 차량 영역 추정부(500)는 바퀴 모양 특징(TF)에서 차량이 존재하는 방향으로 설정된 길이의 가로 및 세로의 장 방형을 타 차량 영역(LCA)으로 추정할 수 있다.
일반적으로 소형 차량, 중형 차량 및 대형 차량으로 될수록 바퀴 사이의 길이가 증가하므로, 일실시례에 따른 타 차량 영역 추정부(500)는 검출된 두 바퀴 모양 특징(TF)의 길이를 산출하여 장방형의 가로 길이 및 세로 길이를 설정할 수 있다. 타 차량 영역 추정부(500)는 바퀴 모양 특징(TF) 간의 거리값을 고려함으로써 타 차량 영역(LCA)을 정확하게 추정할 수 있다.
경고 신호 출력부(600)는 차량이 타 차량 존재 영역에 진입할 때 경고 신호를 경고부(700)에 출력한다. 경고 신호 출력부(600)는 탑뷰 영상에서 차량이 장 방형 안에 들어볼 때 경고 신호를 경고부(700)에 출력한다.
경고부(700)는 경고 신호를 수신하고, 운전자에게 위험을 알린다. 경고부(700)는 탑뷰 영상에서 경고 화면을 출력하여 운전자에게 위험을 알릴 수 있다.
이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : 카메라부
200 : 탑뷰 영상 출력부
300 : 차선 검출부
400 : 측면 차량 검출부
500 : 타 차량 영역 추정부
600 : 경고 신호 출력부
700 : 경고부

Claims (9)

  1. 차량의 주변을 촬영하여 상기 차량의 일 방향 영상을 출력하는 카메라부;
    상기 차량의 일 방향 영상을 합성하고 상기 차량의 탑뷰 영상을 출력하는 탑뷰 영상 출력부;
    상기 탑뷰 영상에서 차선 특징을 고려하여 상기 차량 일 측의 차선을 출력하는 차선 검출부;
    상기 카메라부가 출력한 차량 일 측방의 영상에서 바퀴 모양 특징을 검출하여 타 차량을 인식하는 측면 차량 검출부;
    상기 검출된 타 차량의 바퀴 모양 특징을 고려하여 상기 타 차량의 존재 영역을 추정하는 타 차량 영역 추정부;
    상기 차량이 상기 타 차량 존재 영역에 진입할 때 경고 신호를 출력하는 경고 신호 출력부; 및
    상기 경고 신호를 수신하고, 운전자에게 위험을 알리는 경고부; 를 포함하고,
    상기 차선 검출부는 상기 탑뷰 영상의 그레이스케일 영상에서 좌에서 우 방향으로 탑햇 필터를 적용하고, 최대값을 산출하여 차선 중심점을 검출하며,
    상기 차선 검출부는 상기 중심점을 기준으로 상기 중심점의 좌측 경계 및 상기 중심점의 우측 경계에 대해 최대값을 산출하여 상기 차선 좌측 특징점 및 상기 차선 우측 특징점을 산출하는 차량 안전 주행 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서
    상기 차선 검출부는 상기 차선 좌측 특징점 및 상기 차선 우측 특징점을 기준으로 전 방사 방향으로 탐색하여 선 성분을 추출하는 차량 안전 주행 장치.
  5. 제 1 항에 있어서
    상기 측면 차량 검출부는 하라이크(haar-like) 특징을 이용하여 상기 차량 일 측방 영상에서 상기 바퀴 모양 특징을 검출하는 차량 안전 주행 장치.
  6. 제 1 항에 있어서
    상기 측면 차량 검출부는 아다부스트(Adaboost) 알고리즘을 이용하여 상기 차량 일 측방의 영상에서 약한 분류기(weak classifier)를 검출 및 저장하는 차량 안전 주행 장치.
  7. 제 1 항에 있어서
    상기 측면 차량 검출부는 아다부스트 알고리즘을 이용하여 상기 차량 일 측방의 영상에서 강한 분류기(strong classifier)를 검출 및 저장하는 차량 안전 주행 장치.
  8. 제 1 항에 있어서
    상기 측면 차량 검출부는 아다부스트 알고리즘을 이용하여 상기 차량 일 측방의 영상에서 강한 분류기를 검출하여 기 저장된 강한 분류기와 일치할 때 상기 일치하는 부분을 바퀴 모양 특징으로 인식하는 차량 안전 주행 장치.
  9. 제 1 항에 있어서
    상기 타 차량 영역 추정부는 상기 타 차량의 상기 바퀴 모양 특징의 위치를 기준으로 설정된 장방형을 상기 타 차량 존재 영역으로 추정하는 차량 안전 주행 장치.
KR1020150006393A 2015-01-13 2015-01-13 차량 안전 주행 장치 KR102270677B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150006393A KR102270677B1 (ko) 2015-01-13 2015-01-13 차량 안전 주행 장치
DE102016100030.2A DE102016100030A1 (de) 2015-01-13 2016-01-04 Gerät zum sicheren führen eines fahrzeugs
US14/993,663 US10121379B2 (en) 2015-01-13 2016-01-12 Apparatus for safety-driving of vehicle
CN201610021227.3A CN105787431B (zh) 2015-01-13 2016-01-13 用于车辆安全驾驶的装置
KR1020200069306A KR102270678B1 (ko) 2015-01-13 2020-06-08 차량 안전 주행 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150006393A KR102270677B1 (ko) 2015-01-13 2015-01-13 차량 안전 주행 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200069306A Division KR102270678B1 (ko) 2015-01-13 2020-06-08 차량 안전 주행 장치

Publications (2)

Publication Number Publication Date
KR20160087273A KR20160087273A (ko) 2016-07-21
KR102270677B1 true KR102270677B1 (ko) 2021-06-29

Family

ID=56233926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150006393A KR102270677B1 (ko) 2015-01-13 2015-01-13 차량 안전 주행 장치

Country Status (4)

Country Link
US (1) US10121379B2 (ko)
KR (1) KR102270677B1 (ko)
CN (1) CN105787431B (ko)
DE (1) DE102016100030A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016106486A1 (de) 2016-04-08 2017-10-12 Wilhelm Layher Verwaltungs-Gmbh Modularer Fachwerkträger
CN107665327B (zh) * 2016-07-29 2020-03-13 高德软件有限公司 一种车道线检测方法及装置
US10788840B2 (en) * 2016-12-27 2020-09-29 Panasonic Intellectual Property Corporation Of America Information processing apparatus, information processing method, and recording medium
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
US10586456B2 (en) 2018-04-27 2020-03-10 TuSimple System and method for determining car to lane distance
CN108647670A (zh) * 2018-05-22 2018-10-12 哈尔滨理工大学 一种基于支持向量机的侧向车辆图像的特征识别方法
CN110659548B (zh) * 2018-06-29 2023-08-11 比亚迪股份有限公司 车辆及其目标检测方法、装置
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
KR102569438B1 (ko) * 2018-10-05 2023-08-24 현대모비스 주식회사 경보 발생 장치 및 방법
CN111222521B (zh) * 2018-11-23 2023-12-22 汕尾比亚迪汽车有限公司 汽车及用于其的车轮受困判断方法及装置
KR102570056B1 (ko) * 2018-12-17 2023-08-23 현대자동차주식회사 차량 및 그 제어방법
CN110077399B (zh) * 2019-04-09 2020-11-06 魔视智能科技(上海)有限公司 一种基于道路标线、车轮检测融合的车辆防碰撞方法
CN110065494B (zh) * 2019-04-09 2020-07-31 魔视智能科技(上海)有限公司 一种基于车轮检测的车辆防碰撞方法
KR20210030523A (ko) * 2019-09-09 2021-03-18 현대자동차주식회사 차량 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012527681A (ja) * 2009-05-19 2012-11-08 イメージネクスト シーオー エルティディ 車両周辺映像を用いた車線離脱感知方法および装置
KR101288374B1 (ko) * 2012-05-18 2013-07-22 (주)베라시스 외차선 도로에서의 차선 설정장치 및 그 방법
JP2013174998A (ja) * 2012-02-24 2013-09-05 Nissan Motor Co Ltd 車両検出装置及び車両検出方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
US6577334B1 (en) * 1998-02-18 2003-06-10 Kabushikikaisha Equos Research Vehicle control
JP4437714B2 (ja) * 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
EP2313863A1 (en) * 2008-07-14 2011-04-27 National ICT Australia Limited Detection of vehicles in images of a night time scene
TWM353849U (en) * 2008-09-17 2009-04-01 Jyh-Chiang Liou Integrated driving assistance apparatus
JP4780534B2 (ja) * 2009-01-23 2011-09-28 トヨタ自動車株式会社 道路区画線検出装置
JP4988786B2 (ja) * 2009-04-09 2012-08-01 株式会社日本自動車部品総合研究所 境界線認識装置
EP2437494B1 (en) * 2009-05-25 2017-10-11 Panasonic Intellectual Property Management Co., Ltd. Device for monitoring area around vehicle
TWI401175B (zh) * 2010-06-08 2013-07-11 Automotive Res & Testing Ct Dual vision front vehicle safety warning device and method thereof
KR20130020151A (ko) * 2011-08-19 2013-02-27 주식회사 만도 차량 검출 장치 및 방법
US8565486B2 (en) * 2012-01-05 2013-10-22 Gentex Corporation Bayesian classifier system using a non-linear probability function and method thereof
TWI493513B (zh) * 2013-01-08 2015-07-21 Pixart Imaging Inc 車道偏離警示系統與車道辨識裝置以及相關方法
KR102062923B1 (ko) * 2013-06-12 2020-01-06 현대모비스 주식회사 주차지원시스템
KR20150002038A (ko) * 2013-06-28 2015-01-07 (주) 세인 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법
JP6174975B2 (ja) * 2013-11-14 2017-08-02 クラリオン株式会社 周囲環境認識装置
CN103950410A (zh) * 2014-04-29 2014-07-30 深圳前向启创数码技术有限公司 全景式辅助驾驶方法及系统
JP6362442B2 (ja) * 2014-06-13 2018-07-25 富士通株式会社 車線境界線抽出装置、車線境界線抽出方法、及びプログラム
KR20150006393A (ko) 2014-11-03 2015-01-16 김상원 로스톨

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012527681A (ja) * 2009-05-19 2012-11-08 イメージネクスト シーオー エルティディ 車両周辺映像を用いた車線離脱感知方法および装置
JP2013174998A (ja) * 2012-02-24 2013-09-05 Nissan Motor Co Ltd 車両検出装置及び車両検出方法
KR101288374B1 (ko) * 2012-05-18 2013-07-22 (주)베라시스 외차선 도로에서의 차선 설정장치 및 그 방법

Also Published As

Publication number Publication date
US10121379B2 (en) 2018-11-06
US20160203720A1 (en) 2016-07-14
CN105787431A (zh) 2016-07-20
CN105787431B (zh) 2019-03-19
KR20160087273A (ko) 2016-07-21
DE102016100030A1 (de) 2016-07-14

Similar Documents

Publication Publication Date Title
KR102270677B1 (ko) 차량 안전 주행 장치
KR102441085B1 (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
KR101362324B1 (ko) 차선 이탈 경보 시스템 및 방법
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
EP3258214B1 (en) Object detection device
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
KR101392850B1 (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
US11024051B2 (en) Object detection device
KR101176693B1 (ko) 거리센서를 이용한 차선인식 방법 및 그 시스템
CN106096512B (zh) 利用深度摄像头对车辆或行人进行识别的检测装置及方法
JP6087858B2 (ja) 走行区画線認識装置及び走行区画線認識プログラム
US11236991B2 (en) Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle
US20150169980A1 (en) Object recognition device
US20180075749A1 (en) Forward collision warning system and method
US20140002658A1 (en) Overtaking vehicle warning system and overtaking vehicle warning method
KR20120086577A (ko) 카메라를 이용한 측면차량 검출 장치 및 방법
JP2014146267A (ja) 歩行者検出装置、運転支援装置
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
KR102270678B1 (ko) 차량 안전 주행 장치
JP2011103058A (ja) 誤認識防止装置
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
KR101499455B1 (ko) 차량의 차선 이탈 경보 장치 및 방법
KR101352662B1 (ko) 차선 인식을 이용한 패싱 차량 검출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant