KR100716338B1 - Rear Side Approach Vehicle Warning Method and System using Image Recognition - Google Patents

Rear Side Approach Vehicle Warning Method and System using Image Recognition Download PDF

Info

Publication number
KR100716338B1
KR100716338B1 KR1020050059789A KR20050059789A KR100716338B1 KR 100716338 B1 KR100716338 B1 KR 100716338B1 KR 1020050059789 A KR1020050059789 A KR 1020050059789A KR 20050059789 A KR20050059789 A KR 20050059789A KR 100716338 B1 KR100716338 B1 KR 100716338B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
recognition
mode
signal input
Prior art date
Application number
KR1020050059789A
Other languages
Korean (ko)
Other versions
KR20070004300A (en
Inventor
정호철
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020050059789A priority Critical patent/KR100716338B1/en
Publication of KR20070004300A publication Critical patent/KR20070004300A/en
Application granted granted Critical
Publication of KR100716338B1 publication Critical patent/KR100716338B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention

Abstract

본 발명은 차량의 일측에 설치된 하나 이상의 촬영장치로부터 좌우측 후방의 영상이미지를 입력받는 단계와, 상기 차량의 주행보조장치로부터 외부환경에 따른 차량의 주행정보를 입력받는 단계와, 상기 차량의 주행정보를 분석하여, 상기 입력된 영상이미지의 인식모드를 선택하는 단계와, 상기 선택된 인식모드에 따라 상기 영상이미지를 분석하여 차량의 이미지를 검출하는 단계와, 상기 검출된 차량의 이미지에 따른 후방정보데이터와 해당 인식모드에 따른 경보조건을 비교하는 단계 및 상기 후방정보데이터가 경보조건을 만족할 경우, 해당 경보장치를 작동시키는 단계로 이루어진 영상인식을 이용한 후측방 접근 차량 경보 방법과, 그에 따른 후측방 접근 차량 경보 시스템에 관한 것이다.The present invention comprises the steps of receiving an image image of the left and right rear from one or more photographing apparatus installed on one side of the vehicle, receiving the driving information of the vehicle according to the external environment from the driving aid of the vehicle, and the driving information of the vehicle Selecting a recognition mode of the input image image; analyzing the image image according to the selected recognition mode; detecting an image of the vehicle; and rear information data according to the detected image of the vehicle. And an alarm condition according to the corresponding recognition mode, and when the rear information data satisfies an alarm condition, operating the corresponding alarm device. The rear side approach vehicle warning method using image recognition, and the rear side approach accordingly. A vehicle alarm system.

따라서 차량이 주행하는 외부환경의 날씨변화 및 환경변화에 따라 영상처리 알고리즘을 주간과 야간 및 우천시로 구분하여 후측방의 차량을 명확히 감지하고, 이를 운전자에게 알려줌으로써, 운전자의 안전운전을 보장할 수 있도록 한 것이다.Therefore, the image processing algorithm is classified into daytime, nighttime and rainy weather according to the weather change and environmental change of the external environment in which the vehicle is driven, so that the vehicle in the rear side can be clearly detected and informed to the driver, thus ensuring the driver's safe driving. It would be.

따라서 사용상의 편리성이 개선되어 보다 상품성이 향상되는 등의 매우 유용한 발명인 것이다.Therefore, it is a very useful invention such that the convenience in use is improved and the merchandise is more improved.

영상인식, 영상이미지, 인버스변환, 이진영상변환, 모델링, 블럽 레이블링, 에지, 차량인식 Image Recognition, Image Image, Inverse Transformation, Binary Image Transformation, Modeling, Blub Labeling, Edge, Vehicle Recognition

Description

영상인식을 이용한 후측방 접근 차량 경보 방법 및 시스템{Rear Side Approach Vehicle Warning Method and System using Image Recognition}Rear Side Approach Vehicle Warning Method and System using Image Recognition}

도 1은 본 발명에 의한 영상인식을 이용한 후측방 접근 차량 경보 방법의 흐름도.1 is a flowchart of a rear side approach vehicle warning method using image recognition according to the present invention.

도 2는 본 발명에 의한 영상인식모드 선택방법을 나타낸 순서도.2 is a flowchart illustrating a method of selecting an image recognition mode according to the present invention.

도 3a 및 도 3b는 본 발명에 의한 주간의 후측방 접근 차량 경보 방법을 나타낸 순서도 및 그에 따른 그림.Figure 3a and Figure 3b is a flow chart and a diagram showing a daytime rear approach vehicle warning method according to the present invention.

도 4a 및 도 4b는 본 발명에 의한 야간의 후측방 접근 차량 경보 방법을 나타낸 순서도 및 그에 따른 그림.Figures 4a and 4b is a flow chart and a figure showing a night rear approach vehicle warning method according to the present invention.

도 5a 내지 도 5c는 본 발명에 의한 우천시의 후측방 접근 차량 경보 방법을 나타낸 순서도 및 그에 따른 그림.Figures 5a to 5c is a flow chart showing the rear side approach vehicle warning method in rainy weather according to the present invention and a diagram thereof.

도 6은 본 발명에 의한 영상인식을 이용한 후측방 접근 차량 경보 시스템의 블록도.6 is a block diagram of a rear side approach vehicle warning system using image recognition according to the present invention.

* 도면의 주요부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

10 : 영상신호 입력수단 11 : 좌측 카메라10: video signal input means 11: the left camera

12 : 우측 카메라 20 : 차량 인식수단12: right camera 20: vehicle recognition means

21 : 이미지 선택부 22 : 프레임 추출부21: image selection unit 22: frame extraction unit

23 : 데이터 저장부 24 : 처리부23: data storage unit 24: processing unit

30 : 차량신호 입력수단 31 : 헤드램프 스위치30: vehicle signal input means 31: headlamp switch

32 : 와이퍼 스위치 33 : 주행속도 감지센서32: Wiper switch 33: Travel speed sensor

34 : 지시등 스위치 40 : 제어수단34: indicator light switch 40: control means

50 : 경고수단 51 : 엘이디50: warning means 51: LED

52 : 스피커52: speaker

본 발명은 영상인식을 이용한 후측방 접근 차량 경보 방법 및 시스템에 관한 것으로, 더욱 상세하게는 차량에 설치된 와이퍼, 헤드램프, 차속센서 등의 주행보조장치의 동작신호에 의해 차량이 주행하는 외부환경의 조건을 판별하고, 영상처리 알고리즘을 주간과 야간 및 우천시로 구분하여 적용함으로써, 상기 외부환경의 날씨변화 및 환경변화에 즉각적으로 대응하여 후측방의 차량을 감지하고 이를 운전자에게 알려줄 수 있도록 한 것이다.The present invention relates to a rear side approach vehicle warning method and system using image recognition, and more particularly, to an external environment in which a vehicle travels by an operation signal of a driving aid such as a wiper, a head lamp, and a vehicle speed sensor installed in a vehicle. By determining the conditions and applying image processing algorithms by dividing day, night and rainy weather, the vehicle of the rear side can be detected and notified to the driver by immediately responding to weather changes and environmental changes of the external environment.

일반적으로, 자동차(이하, 차량과 혼용함)라 함은 원동기를 사용하여 궤조 또는 가선에 의하지 않고 운전되는 운송기계로서, 그 구성으로는 엔진, 연료공급장 치, 동력전달장치, 현가 및 조향장치, 제동장치, 배출장치, 공조장치, 냉각 및 윤활장치 등이 있으며, 주로 승객이나 화물의 운송을 위해 사용되고 있다.In general, a vehicle (hereinafter referred to as a vehicle) is a transport machine that is driven by a motor and not driven by rails or wires, and includes an engine, a fuel supply device, a power transmission device, a suspension device, and a steering device. There is a brake, a discharge device, an air conditioner, a cooling and a lubrication device, and is mainly used for the transportation of passengers or cargo.

상기와 같은 차량의 주행 시 가장 중요한 것은 안전주행 및 교통사고의 예방이며, 이를 위해 차량의 자세제어, 차량구성장치들의 기능제어 등을 수행하는 다양한 보조장치 및 안전벨트, 에어백 등의 안전장치가 차량에 장착되어 있다.The most important thing when driving such a vehicle is the safety driving and the prevention of traffic accidents. To this end, various auxiliary devices and safety devices such as seat belts and airbags that perform vehicle attitude control and function control of vehicle components are provided. It is mounted on.

특히, 차량의 주행 중 차선 변경 시, 후방으로부터 접근하는 차량에 대한 거리 및 상대속도 등에 대한 인식의 부족으로 인하여 사고를 유발시키게 되는 바, 차량의 후방으로부터 접근하는 다른 차량을 감지하여 알려주는 후측방 경보 장치가 설치되어 있다.In particular, when changing lanes while the vehicle is running, an accident may be caused by a lack of awareness of the distance and relative speed of the vehicle approaching from the rear, and the rear side detecting and informing another vehicle approaching from the rear of the vehicle. An alarm device is installed.

또한, 상기 후측방 경보 장치는 운전자가 사이드 미러를 통해서 관찰이 불가능한 사각지대에서 주행하는 다른 차량을 카메라로 촬영하고, 이를 영상인식 알고리즘을 통해 분석하여 차량을 감지하며, 차선 변경 시 상기와 같은 다른 차량의 존재를 운전자에게 알려주는 것이다.In addition, the rear-side warning device photographs another vehicle running in a blind spot where the driver cannot observe through a side mirror with a camera, and analyzes it through an image recognition algorithm to detect the vehicle, and when changing lanes, It is to inform the driver of the existence of the vehicle.

그러나 종래의 카메라 영상에 기반한 후측방 차량 경보 장치는 대칭성 이론이나 패턴인식과 같은 통계적인 인식 방법을 통해 후측방으로 접근하는 차량을 인식하도록 하고 있으나, 후측방으로 차량이 접근하게 되면 접근하는 차량의 대칭성 등이 깨져버리기 때문에, 상기 대칭성 이론이나 패턴인식과 같은 통계적인 인식 방법은 후측방 경보 장치의 영상처리 알고리즘으로 부적절하였다.However, the rear-vehicle vehicle warning system based on the conventional camera image allows the vehicle to approach the rear side through statistical recognition methods such as symmetry theory or pattern recognition, but when the vehicle approaches the rear side, Since symmetry and the like are broken, statistical recognition methods such as the symmetry theory and pattern recognition are inappropriate as image processing algorithms of the rear-side warning device.

또한, 상기 카메라 영상의 인식방법을 일괄적으로 적용하고 있는 바, 상기 카메라 영상은 날씨변화 및 환경변화 등의 외부환경(주간, 야간 및 우천)에 의해 민감하게 변화됨에도 불구하고, 상기 카메라 영상을 인식하기 위한 영상처리 알고리즘이 즉각적으로 대응하지 못하는 문제점이 있었다.In addition, the method of recognizing the camera image is collectively applied, and although the camera image is sensitively changed by external environment (day, night and rainy weather) such as weather change and environment change, There was a problem that the image processing algorithm for recognition does not respond immediately.

따라서 본 발명의 목적은 상기와 같은 종래의 문제점들을 해결하기 위한 것으로, 차량에 설치된 와이퍼, 헤드램프, 차속센서 등의 주행보조장치의 동작신호에 의해 차량이 주행하는 외부환경의 조건을 판별하고, 영상처리 알고리즘을 주간과 야간 및 우천시로 구분하여 적용함으로써, 상기 외부환경의 날씨변화 및 환경변화에 즉각적으로 대응하여 후측방의 차량을 감지할 수 있는 영상인식을 이용한 후측방 접근 경보 방법 및 시스템을 제공함에 있다.Accordingly, an object of the present invention is to solve the conventional problems as described above, by determining the conditions of the external environment in which the vehicle is driven by the operation signal of the driving assistance device such as a wiper, a headlamp, a vehicle speed sensor installed in the vehicle, By applying the image processing algorithm into daytime, nighttime and rainy weather, the rear side approach alarm method and system using image recognition that can detect the rear side vehicle immediately in response to the weather change and the environment change of the external environment. In providing.

또한, 본 발명의 다른 목적은 상기 영상처리 알고리즘에 의해 차량이 감지되면 이를 운전자에게 알려주며, 차량의 차선변경(좌우 지시등의 점등)시 좌측 또는 우측 후방으로부터의 접근차량이 있을 경우 이를 운전자에게 보다 적극적으로 경보함으로써, 운전자의 안전운전을 보장할 수 있도록 한 영상인식을 이용한 후측방 접근 경보 방법 및 시스템을 제공함에 있다.In addition, another object of the present invention is to notify the driver when the vehicle is detected by the image processing algorithm, and more aggressively to the driver when there is an approach vehicle from the left or right rear when the vehicle lane change (lighting of the left and right indicator lights) The present invention provides a method and a system for rearward approaching alarm using image recognition to ensure a safe driving of a driver.

본 발명의 다른 목적은 사용상의 편리성이 개선되어 보다 상품성이 향상되도록 한 영상인식을 이용한 후측방 접근 경보 방법 및 시스템을 제공함에 있다.Another object of the present invention is to provide a method and system for rearward access warning using image recognition, which improves the convenience of use and improves the merchandise.

상기 목적을 달성하기 위한 본 발명에 따른 영상인식을 이용한 후측방 접근 경보 방법은, 차량의 일측에 설치된 하나 이상의 촬영장치로부터 좌우측 후방의 영상이미지를 입력받는 단계와, 상기 차량의 주행보조장치로부터 외부환경에 따른 차량의 주행정보를 입력받는 단계와, 상기 차량의 주행정보를 분석하여, 상기 입력된 영상이미지의 인식모드를 선택하는 단계와, 상기 선택된 인식모드에 따라 상기 영상이미지를 분석하여 차량의 이미지를 검출하는 단계와, 상기 검출된 차량의 이미지에 따른 후방정보데이터와 해당 인식모드에 따른 경보조건을 비교하는 단계 및 상기 후방정보데이터가 경보조건을 만족할 경우, 해당 경보장치를 작동시키는 단계로 이루어진 것을 특징으로 한다.In order to achieve the above object, the rear-side approach warning method using the image recognition according to the present invention comprises the steps of receiving the image image of the left and right rear from one or more photographing apparatus installed on one side of the vehicle, the external from the driving aid of the vehicle Receiving driving information of a vehicle according to an environment; analyzing driving information of the vehicle; selecting a recognition mode of the input image image; and analyzing the image image according to the selected recognition mode; Detecting an image; comparing the rear information data according to the detected image of the vehicle with an alarm condition according to the corresponding recognition mode; and if the rear information data satisfies the alarm condition, operating the corresponding alarm device. Characterized in that made.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 영상인식을 이용한 후측방 접근 경보 시스템은, 차량의 일측에 설치되어 차량의 좌우측 후방의 영상을 촬영하여 영상이미지를 출력하는 영상신호입력수단과, 상기 영상신호입력수단에서 출력된 영상이미지를 외부환경에 따른 인식모드에 의해 분석하여 차량의 이미지를 추출하며, 상기 차량에 대한 후방정보데이터를 산출하는 차량인식수단과, 외부환경에 따른 차량의 주행정보를 입력받는 차량신호입력수단과, 상기 차량신호입력수단으로부터 입력된 주행정보에 의해 영상이미지 인식모드를 선택하고, 상기 선택된 인식모드를 상기 차량인식수단으로 전송하며, 상기 차량인식수단에 의해 산출된 후방정보데이터와 경보조건을 비교한 후 그 결과에 따른 제어신호를 출력하는 제어수단 및 상기 제어수단으로부터 출력된 제어신호에 의해 작동되는 경고수단으로 구성된 것을 특징으로 한다.In addition, the rear-side approach warning system using the image recognition according to the present invention for achieving the above object is installed on one side of the vehicle image signal input means for outputting a video image by taking an image of the left and right rear of the vehicle, and Vehicle recognition means for extracting the image of the vehicle by analyzing the image image output from the image signal input means by the recognition mode according to the external environment, and calculating the rear information data for the vehicle, and driving information of the vehicle according to the external environment Selects an image image recognition mode based on the vehicle signal input means receiving the signal and driving information input from the vehicle signal input means, transmits the selected recognition mode to the vehicle recognition means, and calculates the vehicle recognition means calculated by the vehicle recognition means; Control means for comparing the rear information data and the alarm condition and outputs a control signal according to the result and the control A warning means which is operated by a control signal output from the stage characterized in that configured.

따라서 외부환경의 날씨변화 및 환경변화에 즉각적으로 대응하여 후측방의 차량을 감지하고 이를 운전자에게 알려줌으로써, 운전자의 안전운전을 보장할 수 있는 것이다.Therefore, in response to weather changes and environmental changes in the external environment, the driver of the rear side can be detected and notified to the driver, thereby ensuring the driver's safe driving.

또, 사용상의 편리성이 개선되어 보다 상품성이 향상되는 것이다.In addition, the ease of use is improved, and the merchandise is more improved.

이하에서 상기한 본 발명의 바람직한 실시 예를 첨부된 도면을 참고하여 상세히 설명하도록 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 의한 영상인식을 이용한 후측방 접근 차량 경보 방법의 흐름도로서, 차량이 도로를 주행하게 되면, 상기 차량의 일측에 설치된 하나 이상의 촬영장치로부터 촬영된 좌측 또는 우측 후방의 영상이미지를 입력(S101)받는다.1 is a flowchart of a rearward approach vehicle warning method using image recognition according to the present invention. When the vehicle travels on a road, an image image of the left or right rear image captured by one or more photographing apparatuses installed on one side of the vehicle is shown. It receives an input (S101).

여기서, 상기 촬영장치는 상기 차량의 좌우측 사이드미러 일측에 설치되는 것이 바람직하나 이에 한정하는 것은 아니며, 상기 촬영장치의 크기 및 성능은 당업자의 요구에 따라 다양하게 적용될 수 있다.Here, the photographing apparatus is preferably installed on one side of the left and right side mirrors of the vehicle, but is not limited thereto. The size and performance of the photographing apparatus may be variously applied according to the needs of those skilled in the art.

또한, 상기 차량에는 방향지시등, 헤드램프, 와이퍼, 차속감지센서 등의 다양한 주행보조장치가 설치되어 있는 바, 상기 차량의 주행보조장치로부터 외부환경에 따른 차량의 주행정보를 입력(S102)받게 된다.In addition, the vehicle is provided with various driving aids such as a direction indicator, a headlamp, a wiper, and a speed sensor, and receives driving information of the vehicle according to an external environment from the driving aid of the vehicle (S102). .

예를 들어, 헤드램프가 점등되면 야간주행으로 판단하고, 와이퍼가 작동되면 우천시 주행으로 판단하게 되며, 좌우측방향지시등의 점등에 의해 좌우측으로의 차선변경을 감지할 수 있게 되는 것이다.For example, when the headlamp is turned on, it is determined as night driving, and when the wiper is operated, it is determined as driving in the rain, and lane changes to the left and right sides can be detected by turning on the left and right turn indicators.

상기와 같은 방법에 의해 차량의 주행정보를 분석하여, 현재 외부환경의 날씨변화 및 환경변화에 대하여 주간, 야간 또는 우천시임을 판단하여, 상기 입력된 영상이미지를 인식하기 위한 영상처리 알고리즘을 선택(S103)하고, 상기 선택된 인 식모드에 따라 상기 영상이미지를 분석하여 차량의 이미지를 검출(S104)한다.By analyzing the driving information of the vehicle by the above method, it is determined that the daytime, nighttime or rainy weather against the weather change and the environmental change of the current external environment, and selects an image processing algorithm for recognizing the input image image (S103). In step S104, the image of the vehicle is detected by analyzing the image according to the selected recognition mode.

여기서, 상기 주간, 야간 또는 우천시에 따라 상기 영상이미지를 분석하기 위한 영상처리 알고리즘은 당업자의 요구에 따라 다양하게 적용될 수 있으며, 바람직한 일예를 하기에서 보다 자세히 설명하기로 한다.Here, the image processing algorithm for analyzing the image image according to the day, night or rainy weather can be variously applied according to the needs of those skilled in the art, a preferred example will be described in more detail below.

상기 검출된 차량의 이미지에 의해 후방차량의 상대속도 및 접근거리 등의 후방정보데이터를 산출하고, 해당 인식모드에 따른 경보조건(주간, 야간 및 우천시 안전거리 및 제한속도 등)을 비교(S105)하며, 상기 후방정보데이터가 경보조건을 만족(안전거리 미확보, 제한속도 초과 등)할 경우, 해당 경보장치를 작동(S106)시켜 운전자에게 알려주게 되는 것이다.The rear information data such as the relative speed and the approach distance of the rear vehicle are calculated based on the detected image of the vehicle, and the alarm conditions (day, night and rainy days, safety distance and speed limit, etc.) according to the recognition mode are compared (S105). And, if the rear information data satisfies the alarm condition (unsafe distance, exceeding the speed limit, etc.), the corresponding alarm device is operated (S106) to inform the driver.

도 2는 본 발명에 의한 영상인식모드 선택방법을 나타낸 순서도로서, 상기한 바와 같이 차량의 주행보조장치인 헤드램프 및 와이퍼의 작동여부에 대한 정보를 수신(S201)받게 된다.2 is a flowchart illustrating a method for selecting an image recognition mode according to the present invention, and as described above, information on whether the headlamp and the wiper, which are driving aids of the vehicle, is operated is received (S201).

상기 헤드램프가 오프일 경우(S202), 상기 와이퍼가 작동되지 않으면(S203) 주간 모드로 판단(204)하고, 상기 와이퍼가 작동되면(S203) 주간 우천 모드로 판단(S205)한다.When the headlamp is turned off (S202), if the wiper is not operated (S203), it is determined as a day mode (204), and when the wiper is operated (S203), it is determined as a weekly rain mode (S205).

또한, 상기 헤드램프가 온일 경우(S202), 상기 와이퍼가 작동되지 않으면(S206) 야간 모드로 판단(207)하고, 상기 와이퍼가 작동되면(S206) 야간 우천 모드로 판단(S208)하며, 상기 판단된 모드를 전송(S209)하게 된다.In addition, when the headlamp is on (S202), if the wiper is not operated (S206) is determined in the night mode (207), if the wiper is operated (S206) is determined in night rain mode (S208), the determination The transmitted mode is transmitted (S209).

도 3a는 본 발명에 의한 주간의 후측방 접근 차량 경보 방법을 나타낸 순서도이고, 도 3b는 그에 따른 그림을 나타낸 것으로, 주간에 촬영되는 영상이미지는 차량의 그림자나 타이어와 같은 블랙이미지의 영상 성분을 갖게 된다. FIG. 3A is a flowchart illustrating a method of warning a rear side approach vehicle during the day according to the present invention, and FIG. 3B shows a picture according to the present invention. The image image captured during the day is an image component of a black image such as a vehicle shadow or a tire. Will have

따라서 영상이미지가 수신(S301)되면, 상기 수신된 이미지를 인버스 변환(S302)하고 임계값에 의해 이진화(S303)한다.Accordingly, when the video image is received (S301), the received image is inversely transformed (S302) and binarized (S303) by a threshold value.

그리고 인접 차선 검출에 의한 검색 영역 모델링에 의해 상기 인버스 이진 이미지로부터 검색 영역을 설정(S304)하고, 상기 인버스 이진 이미지의 기하학적 모델링(S305)을 통해 블럽 레이블링(S306) 및 병합(S307)에 의해 박스 영역을 추출하여 차량의 후보를 검출(S308)한다.Then, a search region is set from the inverse binary image by search region modeling by detecting adjacent lanes (S304), and a box is generated by blob labeling (S306) and merging (S307) through geometric modeling (S305) of the inverse binary image. The candidate region of the vehicle is detected by extracting the region (S308).

상기와 같이 검출된 다수의 차량 후보 이미지로부터 에지(Edge)의 체크에 의해 최종적으로 차량을 검출(S309)한다.The vehicle is finally detected by checking the edge from the plurality of vehicle candidate images detected as described above (S309).

상기 수신된 이미지와 검출된 차량의 이미지에 의해 상기 차량까지의 거리 및 상기 차량과의 상대속도로 이루어진 후방정보데이터를 산출(S310)하고, 상기 후방정보데이터가 경보조건을 만족(S311)할 경우, 상기 경보조건이 만족되면 시각정보를 전달하는 표시장치, 예를 들어 엘이디로 구성된 경보장치를 작동(S312)시킨다.When the rear information data consisting of the distance to the vehicle and the relative speed with the vehicle is calculated based on the received image and the detected image of the vehicle (S310), and the rear information data satisfies an alarm condition (S311). When the alarm condition is satisfied, the alarm device configured to transmit visual information, for example, an LED, operates the alarm device (S312).

여기서, 상기 엘이디는 후방차량과의 거리에 따라 녹색(안전), 주황색(접근) 적색(위험) 등으로 구분하여 출력할 수 있다.Here, the LED may be output by dividing the green (safety), orange (approaching) red (danger), etc. according to the distance to the rear vehicle.

이때, 차량의 멀티펑션스위치로부터 방향지시 신호가 입력되면 청각정보를 전달하는 음출력장치, 예를 들어 스피커로 구성된 경보장치를 작동(S312)시켜, 경보음 등을 출력하게 된다.At this time, when a direction indication signal is input from the multi-function switch of the vehicle, a sound output device for transmitting auditory information, for example, an alarm device composed of a speaker is operated (S312), and an alarm sound is output.

도 4a는 본 발명에 의한 야간의 후측방 접근 차량 경보 방법을 나타낸 순서 도이고, 도 4b는 그에 따른 그림을 나타낸 것으로, 야간에 촬영되는 영상이미지는 주간에서의 영상과 달리 차량의 그림자나 타이어와 같은 영상 성분을 찾기가 어렵게 된다.Figure 4a is a flow chart illustrating a method of warning the rear side approach vehicle at night according to the present invention, Figure 4b is a diagram according to that, the image image taken at night is different from the image of the day and the shadow of the vehicle tires and tires The same image component becomes difficult to find.

따라서 야간에서의 영상은 강렬한 광원인 후방차량의 헤드램프 영상 성분에 의해 후방차량을 검출하게 된다.Therefore, the image at night detects the rear vehicle by the headlamp image component of the rear vehicle which is an intense light source.

즉, 영상이미지가 수신(S401)되면, 상기 수신된 이미지를 이진 영상 변환(S402)하고 검색 영역을 설정(S403)한 후, 기하학적 모델링(S404)과 블럽 레이블링(S405) 및 병합(S406)에 의해 차량 후보를 검출(S207)하게 된다.That is, when an image image is received (S401), the received image is converted to binary image (S402) and a search area is set (S403), and then geometrical modeling (S404) and blob labeling (S405) and merging (S406). The vehicle candidate is detected (S207).

상기와 같이 검출된 다수의 차량 후보 이미지로부터 헤드램프 영상의 특징에 의해 최종적으로 차량을 검출(S408)한다.The vehicle is finally detected by the characteristics of the headlamp image from the plurality of vehicle candidate images detected as described above (S408).

상기 수신된 이미지와 검출된 차량의 이미지에 의해 상기 차량까지의 거리 및 상기 차량과의 상대속도를 계산(S409)하고, 상기 계산 결과가 위험으로 판단(S410)되면 경보장치를 작동(S411)시킨다.The distance to the vehicle and the relative speed between the vehicle are calculated based on the received image and the image of the detected vehicle (S409). When the calculation result is determined to be dangerous (S410), an alarm device is activated (S411). .

도 5a 및 도 5b는 본 발명에 의한 우천시의 후측방 접근 차량 경보 방법을 나타낸 순서도이고, 도 5c는 그에 따른 그림을 나타낸 것으로, 우천시에는 인버스영상에 의한 검출 방법과 헤드램프 검출 방법을 혼용한다.5A and 5B are flowcharts illustrating a rear side approach vehicle warning method in rainy weather according to the present invention, and FIG. 5C is a diagram according to the present invention. In rainy weather, a detection method using an inverse image and a headlamp detection method are used.

즉, 영상이미지가 수신(S501)되면, 상기 수신된 이미지를 인버스 변환(S502)하고 임계값에 의해 이진화(S503)한다.That is, when a video image is received (S501), the received image is inversely transformed (S502) and binarized by a threshold value (S503).

그리고 상기 인버스 이진 이미지로부터 검색 영역을 설정(S504)하고, 상기 인버스 이진 이미지의 기하학적 모델링(S505)을 통해 블럽 레이블링(S506) 및 병합 (S507)에 의해 박스 영역을 추출하여 차량의 후보를 검출(S508)한다.Then, a search region is set from the inverse binary image (S504), and a box region is extracted by blob labeling (S506) and merging (S507) through geometric modeling (S505) of the inverse binary image to detect a candidate of the vehicle ( S508).

만약, 상기와 같은 인버스 방법에 의해 차량이 검출되지 못할 경우(S510), 상기 수신된 이미지를 이진 영상 변환(S511)하고 기하학적 모델링(S512)을 한 후, 검색 영역을 추출(S514)한다.If the vehicle is not detected by the inverse method as described above (S510), the received image is binary image transformed (S511), geometrical modeling (S512), and then the search region is extracted (S514).

이때, 우천시에는 차량의 헤드램프가 도로에 반사되는 바, 상기와 같이 추출된 검색 영역에서 헤드램프 쌍 영역을 추출(S515)하여 최종적으로 차량을 검출한다.At this time, in the rain, the headlamp of the vehicle is reflected on the road, and thus, the headlamp pair region is extracted from the extracted search region (S515) and finally the vehicle is detected.

상기 수신된 이미지와 검출된 차량의 이미지에 의해 상기 차량까지의 거리 및 상기 차량과의 상대속도를 계산(S517)하고, 상기 계산 결과가 위험으로 판단(S518)되면 경보장치를 작동(S519)시키게 된다.The distance to the vehicle and the relative speed with the vehicle are calculated based on the received image and the image of the detected vehicle (S517). When the calculation result is determined to be dangerous (S518), the alarm device is activated (S519). do.

도 6은 본 발명에 의한 영상인식을 이용한 후측방 접근 차량 경보 시스템의 블록도로서, 영상신호입력수단(10), 차량인식수단(20), 차량신호입력수단(30), 제어수단(40), 경고수단(50)으로 구성된다.6 is a block diagram of a rear-side approach vehicle warning system using image recognition according to the present invention, wherein image signal input means 10, vehicle recognition means 20, vehicle signal input means 30, and control means 40 are shown. , Warning means (50).

상기 영상신호입력수단(10)은 차량의 일측에 설치되어 차량의 좌우측 후방의 영상을 촬영하여 영상이미지를 출력하는 것으로, 상기 차량의 좌측 후방의 영상을 촬영하고, 상기 촬영된 영상이미지를 상기 차량인식수단(20)으로 전송하는 좌측카메라(11)와, 상기 차량의 우측 후방의 영상을 촬영하고, 상기 촬영된 영상이미지를 상기 차량인식수단(20)으로 전송하는 우측카메라(12)로 구성된다.The video signal input means 10 is installed at one side of the vehicle to output an image image by taking an image of the left and right rear of the vehicle, to take an image of the left rear of the vehicle, and to take the captured image image It consists of a left camera 11 for transmitting to the recognition means 20, and a right camera 12 for taking an image of the right rear of the vehicle, and transmitting the captured image image to the vehicle recognition means 20. .

여기서, 상기 좌측카메라(11) 및 우측카메라(12)의 설치위치는 당업자의 요구에 따라 다양하게 적용될 수 있음은 당연하다.Here, it is obvious that the installation positions of the left camera 11 and the right camera 12 may be variously applied according to the needs of those skilled in the art.

상기 차량인식수단(20)은 상기 영상신호입력수단(10)에서 출력된 영상이미지를 외부환경에 따른 인식모드에 의해 분석하여 차량의 이미지를 추출하며, 상기 차량에 대한 후방정보데이터를 산출하는 것으로, 이미지선택부(21), 프레임추출부(22), 데이터저장부(23), 처리부(24)로 구성된다.The vehicle recognition means 20 extracts an image of the vehicle by analyzing the image image output from the image signal input means 10 in a recognition mode according to an external environment, and calculates rear information data for the vehicle. And an image selector 21, a frame extractor 22, a data storage 23, and a processor 24.

상기 이미지선택부(21)는 상기 영상신호입력수단(10)의 좌측카메라(11) 및 우측카메라(12)에서 출력되는 영상이미지 중 어느 하나를 선택하는 것으로, 상기 제어수단(40)으로부터 전송된 선택제어신호에 의해 해당 영상이미지를 선택하게 된다.The image selecting unit 21 selects any one of the image images output from the left camera 11 and the right camera 12 of the video signal input means 10, and is transmitted from the control means 40. The video image is selected by the selection control signal.

상기 프레임추출부(22)는 상기 이미지선택부(21)에서 선택된 영상이미지로부터 어느 하나의 화면을 추출하는 것으로, 상기 이미지선택부(21)에 의해 선택된 좌측 또는 우측 후방의 영상이미지의 일부를 정지된 이미지로 추출하는 것이다.The frame extractor 22 extracts any one screen from the image image selected by the image selector 21, and stops a part of the image image on the left or right rear side selected by the image selector 21. To extract the image.

상기 데이터저장부(23)는 상기 프레임추출부(22)에서 추출된 화면을 저장하는 것으로, 저장방법 및 저장장치의 구성에 대해서는 특정한 것에 한정하지 않음은 물론이다.The data storage unit 23 stores the screen extracted by the frame extracting unit 22, and the storage method and the configuration of the storage device are not limited thereto.

상기 처리부(24)는 상기 데이터저장부(23)에 저장된 이미지를 인식모드에 의해 분석하여 차량의 이미지를 추출하고, 상기 차량에 대한 후방정보데이터를 산출하는 것으로, 상기 차량의 이미지 추출 및 후방정보데이터의 상출 방법은 상기한 방법에 의해 선택된다.The processor 24 extracts an image of the vehicle by analyzing the image stored in the data storage unit 23 in a recognition mode, and calculates rear information data of the vehicle. The method of extracting data is selected by the above method.

상기 차량신호입력수단(30)은 외부환경에 따른 차량의 주행정보를 입력받는 것으로, 차량에 설치된 다양한 주행보조장치로부터 동작의 여부에 따른 신호를 전 송받는 것이다.The vehicle signal input unit 30 receives driving information of a vehicle according to an external environment, and receives a signal according to whether or not the operation is performed from various driving assistance devices installed in the vehicle.

상기 차량신호입력수단(30)은 바람직하게 차량에 설치된 헤드램프의 점등여부를 감지하는 헤드램프스위치(31)와, 차량에 설치된 와이퍼의 작동여부를 감지하는 와이퍼스위치(32)와, 차량의 주행속도를 감지하는 주행속도감지센서(33) 및 차량의 좌우측에 설치된 방향지시등의 점등여부를 감지하는 지시등스위치(34)를 포함하여 구성된다.The vehicle signal input unit 30 preferably includes a headlamp switch 31 for detecting whether the headlamp installed in the vehicle is turned on, a wiper switch 32 for detecting the operation of the wiper installed in the vehicle, and driving of the vehicle. It comprises a driving speed sensor 33 for detecting the speed and the indicator light switch 34 for detecting whether the direction indicator light is installed on the left and right sides of the vehicle.

상기 제어수단(40)은 상기 차량신호입력수단(30)으로부터 입력된 주행정보에 의해 영상이미지 인식모드를 선택하고, 상기 선택된 인식모드를 상기 차량인식수단(20)으로 전송하며, 상기 차량인식수단(20)에 의해 산출된 후방정보데이터와 경보조건을 비교한 후 그 결과에 따른 제어신호를 출력하는 것이다.The control means 40 selects an image image recognition mode based on the driving information input from the vehicle signal input means 30, transmits the selected recognition mode to the vehicle recognition means 20, and the vehicle recognition means. The rear information data calculated by (20) is compared with the alarm condition, and then a control signal is output according to the result.

여기서 상기 경보조건의 외부환경(주간, 야간, 우천시)에 따른 안전거리 및 제한속도 등을 말하며, 당업자의 요구에 따라 다양하게 적용될 수 있다.Here, it refers to the safety distance and the speed limit according to the external environment (day, night, rainy weather) of the alarm condition, it can be variously applied according to the needs of those skilled in the art.

상기 경고수단(50)은 좌우측 후방으로부터 차량이 접근하고 있음을 운전자에게 알려주기 위한 것으로, 상기 제어수단(40)으로부터 출력된 제어신호에 의해 작동되며, 시각정보를 전달하는 하나 이상의 엘이디(51) 및 상기 경고수단(50)은 청각정보를 전달하는 스피커(52)를 포함하여 구성된다.The warning means 50 is for informing the driver that the vehicle is approaching from the left and right rear, is operated by a control signal output from the control means 40, one or more LEDs 51 for transmitting visual information And the warning means 50 is configured to include a speaker 52 for transmitting auditory information.

상기와 같이 구성된 본 발명에 의한 영상인식을 이용한 후측방 접근 차량 경보 시스템의 작동을 살펴보면, 운전자가 차량을 주행하게 되면, 상기 영상신호입력수단(10)의 좌측카메라(11) 및 우측카메라(12)로부터 좌우측 후방의 영상이미지가 촬영된다.Looking at the operation of the rear-side approach vehicle warning system using the image recognition according to the present invention configured as described above, when the driver is driving the vehicle, the left camera 11 and the right camera 12 of the image signal input means 10 ), The image image of the left and right rear is taken.

또한, 운전자에 의해 조작되는 주행보조장치의 동작여부를 상기 차량신호입력수단(30)이 지속적으로 감지하게 된다.In addition, the vehicle signal input means 30 continuously detects whether the driving assistance device operated by the driver is operated.

상기 제어수단(40)은 상기 차량신호입력수단(30)의 헤드램프스위치(31)로부터 오프신호가 전송되면 주간모드를 선택하고, 상기 차량신호입력수단(30)의 헤드램프스위치(31)로부터 온신호가 전송되면 야간모드를 선택하며, 상기 차량신호입력수단(30)의 와이퍼스위치(32)로부터 온신호가 전송되면 우천모드를 선택하게 된다.The control means 40 selects the day mode when the off signal is transmitted from the head lamp switch 31 of the vehicle signal input means 30, and selects the day mode from the head lamp switch 31 of the vehicle signal input means 30. When the on-signal is transmitted, the night mode is selected. When the on-signal is transmitted from the wiper switch 32 of the vehicle signal input unit 30, the rainy mode is selected.

상기와 같이 선택된 모드는 차량인식수단(20)의 처리부(24)로 전송되며, 상기 처리부(24)의 모드선택부(24a)는 전송된 선택모드에 따른 알고리즘을 로딩하게 된다.The mode selected as described above is transmitted to the processing unit 24 of the vehicle recognition means 20, and the mode selection unit 24a of the processing unit 24 loads an algorithm according to the transmitted selection mode.

이후, 상기 차량인식수단(20)의 처리부(24)는 상기 영상신호 입력수단(10)으로부터 촬영되어 전송된 이미지를 분석함에 있어, 상기 전송받은 인식모드에 따라 영상처리 알고리즘을 수행하게 된다.Subsequently, the processor 24 of the vehicle recognition means 20 performs an image processing algorithm according to the received recognition mode in analyzing the image photographed and transmitted from the image signal input means 10.

또한, 상기 차량인식수단은 상기 영상처리 알고리즘에 의해 검출된 차량의 이미지로부터 상기 차량과의 거리 및 상대속도 등의 후방정보데이터를 산출하게 된다.In addition, the vehicle recognition means calculates rear information data such as distance and relative speed from the vehicle from the image of the vehicle detected by the image processing algorithm.

상기 제어수단(40)은 상기 산출된 후방정보데이터와 경보조건을 비교한 후 그 결과에 따른 제어신호를 출력하며, 특히 상기 후방정보데이터에 포함된 후방차량과의 거리에 따라 서로 다른 제어신호를 출력한다.The control means 40 compares the calculated rear information data with an alarm condition and outputs a control signal according to the result. In particular, the control means 40 provides different control signals according to the distance from the rear vehicle included in the rear information data. Output

상기 제어신호를 전송받은 경고수단(50)은 상기 서로 다른 제어신호에 따라 하나 이상의 엘이디(51)를 점등하게 되며, 상기 후방차량과의 거리가 일정거리 이 상일 경우 녹색엘이디(안전)를 점등하고, 상기 후방차량과의 거리가 근거리일 경우에는 적색엘이디(위험)를 점등하게 되며, 상기와 같은 후방차량과의 거리에 따른 하나 이상의 엘이디(51)의 점등방법은 당업자의 요구에 따라 다양하게 적용될 수 있다.The warning means 50 receiving the control signal turns on one or more LEDs 51 according to the different control signals, and turns on the green LED (safety) when the distance to the rear vehicle is greater than a certain distance. When the distance to the rear vehicle is short, the red LED is turned on. The lighting method of one or more LEDs 51 according to the distance to the rear vehicle may be variously applied according to the needs of those skilled in the art. Can be.

한편, 운전자가 멀티펑션스위치를 조작함에 따라 상기 차량신호입력수단(30)의 지시등스위치(34)로부터 좌측에 설치된 방향지시등 또는 우측에 설치된 방향지시등 중 어느 하나의 온신호가 상기 제어수단(40)으로 전송되면, 상기 제어수단(40)은 온상태로 전환된 방향지시등의 설치위치에 따른 방향제어신호를 상기 차량인식수단(20)의 이미지선택부(21)로 전송한다.On the other hand, as the driver operates the multi-function switch from the indicator light switch 34 of the vehicle signal input means 30, the on signal of any one of the direction indicator lamp provided on the left side or the direction indicator lamp installed on the right side the control means 40 When transmitted to, the control means 40 transmits the direction control signal according to the installation position of the direction indicator light switched to the on state to the image selection unit 21 of the vehicle recognition means 20.

즉, 좌측 지시등이 점등되면 좌측 카메라(11)에서 촬영된 이미지를 선택하기 위한 선태제어신호를 상기 차량인식수단(20)의 이미지선택부(21)로 전송하고, 우측 지시등이 점등되면 우측 카메라(12)에서 촬영된 이미지를 선택하기 위한 선태제어신호를 상기 차량인식수단(20)의 이미지선택부(21)로 전송한다.That is, when the left indicator light is turned on, the selection control signal for selecting an image captured by the left camera 11 is transmitted to the image selecting unit 21 of the vehicle recognition means 20, and when the right indicator light is turned on, the right camera ( A selection control signal for selecting the image photographed at 12 is transmitted to the image selecting unit 21 of the vehicle recognition means 20.

상기 이미지선택부(21)에서 선택된 이미지는 상기와 같은 방법에 의해 영상처리되어 후방 차량과의 거리 및 상대속도가 검출되며, 상기 제어수단(40)은 상기 검출된 정보와 경보조건을 비교하게 된다.The image selected by the image selecting unit 21 is image-processed by the method described above to detect the distance and the relative speed with the rear vehicle, and the control means 40 compares the detected information with an alarm condition. .

만약 검출된 정보가 경보조건을 만족하게 될 경우, 상기 제어수단(40)은 경고수단(50)의 스피커(52)를 작동시키기 위한 제어신호를 출력하며, 상기 스피커(52)는 전송된 제어신호에 따라 경보음을 출력하게 된다.If the detected information satisfies the alarm condition, the control means 40 outputs a control signal for operating the speaker 52 of the warning means 50, and the speaker 52 transmits the transmitted control signal. According to the alarm sound will be output.

즉, 해당 차량이 차선을 유지하며 주행할 경우에는 후방에서 접근하는 차량 의 여부만을 시각적으로 알려주게 되고, 상기 해당 차량이 차선을 변경하게 되면 변경하고자 하는 차선의 후방에서 접근하는 차량이 있을 경우, 위험한 상황임을 청각적으로 알려주게 되는 것이다.That is, when the vehicle keeps the lane, only the vehicle approaching from behind is visually informed. When the vehicle changes the lane, when the vehicle approaches the rear of the lane to be changed, Hearing the situation is dangerous.

상기 본 발명은 당업자의 요구에 따라 기본 개념을 벗어나지 않는 범위 내에서 다양한 변형이 가능하다.The present invention may be modified in various ways without departing from the basic concept according to the needs of those skilled in the art.

상술한 바와 같이 본 발명에 따르면, 차량에 설치된 와이퍼, 헤드램프, 차속센서 등의 주행보조장치의 동작신호에 의해 차량이 주행하는 외부환경의 조건을 판별하고, 영상처리 알고리즘을 주간과 야간 및 우천시로 구분하여 적용함으로써, 후측방 경보 장치의 인식 성능을 향상시켜 실용성 및 효용성을 높일 수 있는 것이다.As described above, according to the present invention, the conditions of the external environment in which the vehicle travels are determined by the operation signals of the driving aids such as the wiper, the headlamp, and the vehicle speed sensor installed in the vehicle, and the image processing algorithm is used during the day, night, and rainy days. By dividing and applying, the recognition performance of the rear side warning device can be improved, thereby increasing the practicality and utility.

따라서 빈번히 발생되는 외부환경의 날씨변화 및 환경변화 등에 대해서도 즉각적으로 대응하여 후측방 차량을 명확히 감지할 수 있는 것이다.Therefore, the rear side vehicle can be clearly detected by immediately responding to frequent weather changes and environmental changes.

또한, 상기 영상처리 알고리즘에 의해 차량이 감지되면 이를 운전자에게 알려주며, 차량의 차선변경(좌우 지시등의 점등)시 좌측 또는 우측 후방으로부터의 접근차량이 있을 경우 이를 운전자에게 보다 적극적으로 경보함으로써, 운전자의 안전운전을 보장할 수 있는 효과가 있다.In addition, when the vehicle is detected by the image processing algorithm, the driver is notified, and when there is an approach vehicle from the left or right rear when the vehicle lane change (lighting of the left and right indicator lights), the driver is alerted more aggressively. It is effective to ensure safe driving.

따라서 사용상의 편리성이 개선되어 보다 상품성이 향상되는 등의 매우 유용한 발명인 것이다.Therefore, it is a very useful invention such that the convenience in use is improved and the merchandise is more improved.

Claims (16)

차량의 일측에 설치된 하나 이상의 촬영장치로부터 좌우측 후방의 영상이미지를 입력받는 단계(S101)와, 상기 차량의 주행보조장치로부터 외부환경에 따른 차량의 주행정보를 입력받는 단계(S102)와, 상기 차량의 주행정보를 분석하여, 상기 입력된 영상이미지의 인식모드를 선택하는 단계(S103)와, 상기 선택된 인식모드에 따라 상기 영상이미지를 분석하여 차량의 이미지를 검출하는 단계(S104)와, 상기 검출된 차량의 이미지에 따른 후방정보데이터와 해당 인식모드에 따른 경보조건을 비교하는 단계(S105) 및 상기 후방정보데이터가 경보조건을 만족할 경우, 해당 경보장치를 작동시키는 단계(S106)로 이루어지는 것에 있어서,Receiving an image image of left and right rear images from at least one photographing apparatus installed at one side of the vehicle (S101), receiving driving information of a vehicle according to an external environment from the driving assistance apparatus of the vehicle (S102), and the vehicle Step S103 of analyzing driving information of an image and selecting a recognition mode of the input image image; detecting the image of the vehicle by analyzing the image image according to the selected recognition mode (S104); Comparing the rear condition information according to the image of the vehicle and the alarm condition according to the recognition mode (S105) and if the rear information data satisfies the alarm condition, the step of operating the corresponding alarm device (S106) , 상기 차량의 주행정보에 따라 영상이미지의 인식모드를 선택하는 단계(S103)는 상기 차량에 설치된 헤드램프가 오프 상태일 경우 주간모드를 선택하고, 상기 헤드램프가 온 상태일 경우 야간모드를 선택하며, 상기 차량에 설치된 와이퍼가 작동될 경우 우천모드를 선택하도록 하는 것과;Selecting a recognition mode of the image image according to the driving information of the vehicle (S103) selects the daytime mode when the headlamp installed in the vehicle is off, and selects the night mode when the headlamp is on Selecting a rain mode when the wiper installed in the vehicle is operated; 상기 선택된 인식모드가 주간모드일 경우에 차량의 이미지를 검출하는 단계(S104)는 수신된 이미지를 인버스 변환하고 임계값에 의해 이진화하는 단계와, 상기 인버스 이진 이미지로부터 검색 영역을 설정하는 단계와, 상기 인버스 이진 이미지를 모델링 하는 단계와, 상기 모델링된 이미지를 블럽 레이블링 및 병합하는 단계 및 에지체크에 의하여 차량이미지를 추출하는 단계로 이루어지는 것과;,Detecting the image of the vehicle when the selected recognition mode is the day mode (S104) includes the steps of inversely converting the received image and binarizing by a threshold value, setting a search region from the inverse binary image, Modeling the inverse binary image, blob labeling and merging the modeled image, and extracting a vehicle image by edge checking; 상기 선택된 인식모드가 야간모드일 경우에 차량의 이미지를 검출하는 단계(S104)는 수신된 이미지를 이진 영상 변환하고 검색 영역을 설정하는 단계와, 상기 이진 영상 이미지를 모델링 하는 단계와, 상기 모델링된 이미지를 블럽 레이블링 및 병합하는 단계 및 헤드램프 영상의 특징에 의해 차량이미지를 추출하는 단계로 이루어지는 것과;The detecting of the image of the vehicle when the selected recognition mode is the night mode (S104) may include converting the received image into a binary image and setting a search region, modeling the binary image image, Blob labeling and merging the images and extracting the vehicle image by the features of the headlamp image; 상기 선택된 인식모드가 우천모드일 경우에 차량의 이미지를 검출하는 단계(S104)는 수신된 이미지를 인버스 변환하고 임계값에 의해 이진화하는 단계와, 상기 인버스 이진 이미지로부터 검색 영역을 설정하는 단계와, 상기 인버스 이진 이미지를 모델링 하는 단계와, 상기 모델링된 이미지를 블럽 레이블링 및 병합하는 단계와, 에지체크에 의하여 차량이미지를 추출하는 단계와, 상기 에지체크에 의해 차량이미지가 추출되지 못할 경우, 상기 수신된 이미지를 이진 영상 변환하고 검색 영역을 설정하는 단계와, 상기 이진 영상 이미지를 모델링 하는 단계와, 상기 모델링된 이미지를 블럽 레이블링에 의해 헤드램프 쌍 영역을 추출하는 단계 및 헤드램프 쌍 영역으로부터 차량이미지를 추출하는 단계로 이루어지는 것을 특징으로 하는 영상인식을 이용한 후측방 접근 차량 경보 방법.Detecting the image of the vehicle when the selected recognition mode is the rainy mode (S104) comprises the steps of inversely transforming the received image and binarization by a threshold value, setting a search region from the inverse binary image, Modeling the inverse binary image, blob labeling and merging the modeled image, extracting a vehicle image by edge checking, and if the vehicle image is not extracted by the edge check, the reception Converting the captured image into a binary image and setting a search region; modeling the binary image image; extracting a headlamp pair region by blob labeling the modeled image; and extracting a vehicle image from the headlamp pair region. Extracting the image using the image recognition, characterized in that Rear side approach vehicle alarm method. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 차량의 일측에 설치되어 차량의 좌우측 후방의 영상을 촬영하여 영상이미지를 출력하는 영상신호입력수단(10)과, 상기 영상신호입력수단(10)에서 출력된 영상이미지를 외부환경에 따른 인식모드에 의해 분석하여 차량의 이미지를 추출하며, 상기 차량에 대한 후방정보데이터를 산출하는 차량인식수단(20)과, 외부환경에 따른 차량의 주행정보를 입력받는 차량신호입력수단(30)과, 상기 차량신호입력수단(30)으로부터 입력된 주행정보에 의해 영상이미지 인식모드를 선택하고, 상기 선택된 인식모드를 상기 차량인식수단(20)으로 전송하며, 상기 차량인식수단(20)에 의해 산출된 후방정보데이터와 경보조건을 비교한 후 그 결과에 따른 제어신호를 출력하는 제어수단(40) 및 상기 제어수단(40)으로부터 출력된 제어신호에 의해 작동되는 경고수단(50)을 구비하는 것에 있어서,It is installed on one side of the vehicle and the image signal input means 10 for taking an image of the left and right rear of the vehicle to output the image image, and the image image output from the image signal input means 10 in the recognition mode according to the external environment A vehicle recognition means 20 for extracting an image of the vehicle by analyzing the vehicle and calculating rear information data for the vehicle, a vehicle signal input means 30 for receiving driving information of the vehicle according to an external environment, and the vehicle The image image recognition mode is selected based on the driving information input from the signal input means 30, the selected recognition mode is transmitted to the vehicle recognition means 20, and the rear information calculated by the vehicle recognition means 20. And a warning means (50) operated by the control signal output from the control means (40) for comparing the data with the alarm condition and outputting the control signal according to the result. In that, 상기 영상신호입력수단(10)은 상기 차량의 좌측 후방의 영상을 촬영하고, 상기 촬영된 영상이미지를 상기 차량인식수단(20)으로 전송하는 좌측카메라(11)와; 상기 차량의 우측 후방의 영상을 촬영하고, 상기 촬영된 영상이미지를 상기 차량인식수단(20)으로 전송하는 우측카메라(12);로 구성되고,The image signal input means 10 includes a left camera 11 for photographing an image of the left rear of the vehicle and transmitting the photographed image image to the vehicle recognition means 20; And a right camera 12 for taking an image of the right rear side of the vehicle and transmitting the captured image image to the vehicle recognition means 20. 상기 차량인식수단(20)은 상기 영상신호입력수단(10)의 좌측카메라(11) 및 우측카메라(12)에서 출력되는 영상이미지 중 어느 하나를 선택하는 이미지선택부(21)와; 상기 이미지선택부(21)에서 선택된 영상이미지로부터 어느 하나의 화면을 추출하는 프레임추출부(22)와; 상기 프레임추출부(22)에서 추출된 화면을 저장하는 데이터저장부(23) 및 상기 데이터저장부(23)에 저장된 이미지를 인식모드에 의해 분석하여 차량의 이미지를 추출하고, 상기 차량에 대한 후방정보데이터를 산출하는 처리부(24);로 구성되며,The vehicle recognition means 20 includes an image selection unit 21 for selecting any one of the image images output from the left camera 11 and the right camera 12 of the video signal input means 10; A frame extractor 22 for extracting any one screen from the image image selected by the image selector 21; The image storage unit 23 storing the screen extracted by the frame extraction unit 22 and the image stored in the data storage unit 23 are analyzed by a recognition mode to extract an image of the vehicle, and the rear of the vehicle. A processing unit 24 for calculating the information data; 상기 차량신호입력수단(30)은 차량에 설치된 헤드램프의 점등여부를 감지하는 헤드램프스위치(31)와; 차량에 설치된 와이퍼의 작동여부를 감지하는 와이퍼스위치(32)와; 차량의 주행속도를 감지하는 주행속도감지센서(33) 및 차량의 좌우측에 설치된 방향지시등의 점등여부를 감지하는 지시등스위치(34);로 구성된 것을 특징으로 하는 영상인식을 이용한 후측방 접근 차량 경보 시스템.The vehicle signal input unit 30 includes a head lamp switch 31 for detecting whether the head lamp installed in the vehicle is turned on; A wiper switch 32 for detecting whether a wiper installed in the vehicle is operated; Rear side approach vehicle warning system using image recognition, comprising: a driving speed sensor 33 for detecting the driving speed of the vehicle and an indicator light switch 34 for detecting whether the direction indicator light is installed on the left and right sides of the vehicle. . 삭제delete 삭제delete 삭제delete 제8항에 있어서, The method of claim 8, 상기 제어수단(40)은 상기 차량신호입력수단(30)의 헤드램프스위치(31)로부터 오프신호가 전송되면 주간모드를 선택하고, 상기 차량신호입력수단(30)의 헤드램프스위치(31)로부터 온신호가 전송되면 야간모드를 선택하며, 상기 차량신호입력수단(30)의 와이퍼스위치(32)로부터 온신호가 전송되면 우천모드를 선택하는 것을 특징으로 하는 영상인식을 이용한 후측방 접근 차량 경보 시스템.The control means 40 selects the day mode when the off signal is transmitted from the head lamp switch 31 of the vehicle signal input means 30, and selects the day mode from the head lamp switch 31 of the vehicle signal input means 30. When the on-signal is transmitted, the night mode is selected, and when the on-signal is transmitted from the wiper switch 32 of the vehicle signal input means 30, the rainy side approach vehicle warning system using image recognition. . 청구항 12에 있어서,The method according to claim 12, 상기 제어수단(40)은 상기 선택된 인식모드를 상기 차량인식수단(20)의 처리 부(24)로 전송하며,The control means 40 transmits the selected recognition mode to the processing unit 24 of the vehicle recognition means 20, 상기 차량인식수단(20)의 처리부(24)는 전송받은 인식모드에 따라 상기 데이터저장부(23)에 저장된 이미지를 분석하여 차량의 이미지를 추출하고, 상기 차량에 대한 후방정보데이터를 산출하도록 하는 것을 특징으로 하는 영상인식을 이용한 후측방 접근 차량 경보 시스템.The processor 24 of the vehicle recognition means 20 extracts an image of the vehicle by analyzing the image stored in the data storage unit 23 according to the received recognition mode, and calculates rear information data of the vehicle. Rear side approach vehicle alarm system using image recognition. 청구항 12 또는 청구항 13에 있어서,The method according to claim 12 or 13, 상기 제어수단(40)은 상기 차량신호입력수단(30)의 지시등스위치(34)로부터 좌측에 설치된 방향지시등 또는 우측에 설치된 방향지시등 중 어느 하나의 온신호가 전송되면, 상기 온신호가 전송된 방향지시등의 설치위치에 따른 방향제어신호를 상기 차량인식수단(20)의 이미지선택부(21)로 전송하며,The control means 40, when the on-signal of any one of the direction indicator light installed on the left or the direction indicator light provided on the right from the indicator light switch 34 of the vehicle signal input means 30, the direction in which the on signal is transmitted The direction control signal according to the installation position of the indicator light is transmitted to the image selection unit 21 of the vehicle recognition means 20, 상기 차량인식수단(20)의 이미지선택부(21)는 전송받은 방향제어신호에 의해 상기 영상신호입력수단(10)의 좌측카메라(11) 및 우측카메라(12)로부터 전송되는 영상이미지 중 어느 하나를 선택하도록 하는 것을 특징으로 하는 영상인식을 이용한 후측방 접근 차량 경보 시스템.The image selecting unit 21 of the vehicle recognition means 20 is any one of the image images transmitted from the left camera 11 and the right camera 12 of the video signal input means 10 by the received direction control signal. Rear side approach vehicle warning system using image recognition, characterized in that to select. 삭제delete 삭제delete
KR1020050059789A 2005-07-04 2005-07-04 Rear Side Approach Vehicle Warning Method and System using Image Recognition KR100716338B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050059789A KR100716338B1 (en) 2005-07-04 2005-07-04 Rear Side Approach Vehicle Warning Method and System using Image Recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050059789A KR100716338B1 (en) 2005-07-04 2005-07-04 Rear Side Approach Vehicle Warning Method and System using Image Recognition

Publications (2)

Publication Number Publication Date
KR20070004300A KR20070004300A (en) 2007-01-09
KR100716338B1 true KR100716338B1 (en) 2007-05-11

Family

ID=37870566

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050059789A KR100716338B1 (en) 2005-07-04 2005-07-04 Rear Side Approach Vehicle Warning Method and System using Image Recognition

Country Status (1)

Country Link
KR (1) KR100716338B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100920283B1 (en) * 2008-07-22 2009-10-08 한국오므론전장주식회사 A camera control system for vehicle and method thereof
KR100934942B1 (en) * 2008-07-08 2010-01-06 신대현 System for recoding emergency condition using avn for automobile
CN106097610A (en) * 2016-06-06 2016-11-09 上海交通大学 Corner early-warning lamp
KR101750201B1 (en) 2016-03-28 2017-06-22 주식회사 와이즈오토모티브 Blind spot detection device using behavior of vehicle

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100868406B1 (en) * 2007-07-20 2008-11-11 현대자동차주식회사 Warning system of operating method for vehicle
KR101782496B1 (en) 2013-08-21 2017-09-27 주식회사 만도 Back-sideways alarming system of vehicle and alarming control method of the same
US20160093215A1 (en) * 2014-09-26 2016-03-31 GM Global Technology Operations LLC Alert systems and methods using a transparent display
JP6644509B2 (en) * 2015-10-01 2020-02-12 アルパイン株式会社 Vehicle detection alarm device and vehicle detection alarm method
JP6644511B2 (en) * 2015-10-05 2020-02-12 アルパイン株式会社 Rear side vehicle warning device, method and program
KR20180078361A (en) * 2016-12-29 2018-07-10 (주)캠시스 Method and apparatus of noticing objects around a vehicle
KR20210005428A (en) * 2019-07-05 2021-01-14 현대모비스 주식회사 System and method for displaying of vehicle driving information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980034003A (en) * 1996-11-04 1998-08-05 김광호 Navigation device that informs the surroundings of the car and its control method
KR19980074792A (en) * 1997-03-27 1998-11-05 이종수 Traffic information detection method and apparatus using image processing
KR19990047365A (en) * 1997-12-04 1999-07-05 심광호 Image detection system
KR20010107655A (en) * 2000-05-23 2001-12-07 마찌다 가쯔히꼬 Surround surveillance system for mobile body, and mobile body, car, and train using the same
JP2004312402A (en) 2003-04-08 2004-11-04 Hitachi Ltd System and apparatus for road monitoring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980034003A (en) * 1996-11-04 1998-08-05 김광호 Navigation device that informs the surroundings of the car and its control method
KR19980074792A (en) * 1997-03-27 1998-11-05 이종수 Traffic information detection method and apparatus using image processing
KR19990047365A (en) * 1997-12-04 1999-07-05 심광호 Image detection system
KR20010107655A (en) * 2000-05-23 2001-12-07 마찌다 가쯔히꼬 Surround surveillance system for mobile body, and mobile body, car, and train using the same
JP2004312402A (en) 2003-04-08 2004-11-04 Hitachi Ltd System and apparatus for road monitoring

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934942B1 (en) * 2008-07-08 2010-01-06 신대현 System for recoding emergency condition using avn for automobile
KR100920283B1 (en) * 2008-07-22 2009-10-08 한국오므론전장주식회사 A camera control system for vehicle and method thereof
KR101750201B1 (en) 2016-03-28 2017-06-22 주식회사 와이즈오토모티브 Blind spot detection device using behavior of vehicle
CN106097610A (en) * 2016-06-06 2016-11-09 上海交通大学 Corner early-warning lamp

Also Published As

Publication number Publication date
KR20070004300A (en) 2007-01-09

Similar Documents

Publication Publication Date Title
KR100716338B1 (en) Rear Side Approach Vehicle Warning Method and System using Image Recognition
US11676400B2 (en) Vehicular control system
KR102089262B1 (en) Vehicle technologies for automated turn signaling
US9589464B2 (en) Vehicular headlight warning system
US8121755B2 (en) Sound-directed-outside-vehicle emitting device
KR101778624B1 (en) Surround camera system for autonomous driving
CN104185588B (en) Vehicle-mounted imaging system and method for determining road width
JP2014515893A (en) Method and apparatus for evaluating an image taken by a camera of a vehicle
JP2002083297A (en) Object recognition method and object recognition device
JP2010113601A (en) Vehicle warning apparatus
JP2012221303A (en) In-vehicle lighting device for driving support and in-vehicle driving support device and driving support system
KR20210092319A (en) Detection of sensor occlusion by compressed image data
JP2008189148A (en) Traveling state detection device
CN112339655A (en) Adaptive control system and method for vehicle tail lamp and vehicle
EP4149809B1 (en) Motor-vehicle driving assistance in low meteorological visibility conditions, in particular with fog
JP2003009140A (en) Pedestrian detector
WO2021161443A1 (en) Visual recognition load value estimation device, visual recognition load value estimation system, visual recognition load value estimation method, and visual recognition load value estimation program
KR20220149102A (en) Movable type smart traffic signal system
JP7461512B2 (en) Light distribution control system and sensing system
KR100916291B1 (en) Apparatus and method for detecting approaching vehicle and outside mirror
JP6785882B2 (en) Camera device
US20230316767A1 (en) Signal information providing device, signal information providing method, and recording medium having program recorded thereon
JP2005044196A (en) Vehicle circumference monitoring device, automobile, vehicle circumference monitoring method, control program, and readable storage medium
JP2022173929A (en) Observation device
CN117079089A (en) Optical sensor activation and fusion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130430

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee