WO2015056890A1 - 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법 - Google Patents

단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법 Download PDF

Info

Publication number
WO2015056890A1
WO2015056890A1 PCT/KR2014/008709 KR2014008709W WO2015056890A1 WO 2015056890 A1 WO2015056890 A1 WO 2015056890A1 KR 2014008709 W KR2014008709 W KR 2014008709W WO 2015056890 A1 WO2015056890 A1 WO 2015056890A1
Authority
WO
WIPO (PCT)
Prior art keywords
blob
exposure frame
blobs
long
candidate
Prior art date
Application number
PCT/KR2014/008709
Other languages
English (en)
French (fr)
Inventor
정호열
이희용
장달현
이승환
박창현
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to US15/029,150 priority Critical patent/US9892330B2/en
Publication of WO2015056890A1 publication Critical patent/WO2015056890A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6016—Conversion to subtractive colour signals
    • H04N1/6022—Generating a fourth subtractive colour signal, e.g. under colour removal, black masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a night front vehicle detection and position measurement system and method that can be effectively applied to an active / intelligent headlight system, and more particularly, to overcome the disadvantages of a method using a single exposure camera that is frequently used in the past.
  • a night front vehicle detection and positioning system and method using a single multiple exposure camera is frequently used in the past.
  • an intelligent headlight system that automatically controls two levels of high and low lights by determining whether there is a vehicle ahead within the range of the high light when the high light is turned on by using a camera mounted on the windshield of the vehicle recently Developed.
  • the present invention is to overcome the above-mentioned problems of the prior art, of the four exposure methods of the multiple exposure camera, using a long exposure (short exposure) and a short exposure frame (short exposure frame) image, the local adaptive threshold
  • a binarization method using a local adaptive threshold value and applying a blob matching method that finds the same candidate blobs (BLOBs) in different exposure frame images it is more precisely forward at night operation.
  • a night front vehicle detection and positioning system and method using a single multiple exposure camera is an automatic, long, middle, and short exposure of a multiple exposure camera.
  • a preprocessing step of selecting a long exposure and a short exposure frame image during the short exposure In order to minimize the binarization of two or more blobs in the long exposure frame image, a candidate region is extracted by labeling and using a local maximum based binarization method, and the short exposure frame is extracted.
  • Blob matching and feature extraction step of extracting feature information on the same candidate blob from the exposure frame image; And a MC_SVM classification step of classifying the blobs into headlights, taillights, reflectors, and illuminators using MC_SVM (Multi-Class SVM) as a feature extracted from the long exposure frame and the short exposure frame, and the headlight in the MC_SVM classification step.
  • a pairing step including a pairing step of comparing blobs classified as tail lights to find similar blobs determined to be the same vehicle by comparing similarities of center coordinates, sizes, and shapes.
  • a long exposure and a short exposure frame image among four exposure methods of a multiple exposure camera are used, and are locally adaptive.
  • various feature information can be extracted through the feature information extraction method for the same candidate blob. It is effective to improve the performance of the front vehicle detection and position measurement more accurately when driving.
  • FIG. 1 is a block diagram showing a schematic configuration of a night front vehicle detection and position measurement system using a single multiple exposure camera according to the present invention.
  • FIG. 2 is a control flowchart illustrating a night front vehicle detection and position measurement method using a single multiple exposure camera according to the present invention.
  • FIG. 3 is a control flow diagram illustrating in detail the preprocessing step according to the present invention.
  • FIG. 4 is a control flow diagram illustrating in detail the candidate blob extraction step according to the present invention.
  • FIG. 5 is a control flow diagram illustrating in more detail the local maximum value based binarization and labeling step of candidate blob extraction step in accordance with the present invention.
  • FIG. 6 is a control flow diagram illustrating in more detail the local mean-based binarization and labeling step of the blob extraction step in accordance with the present invention.
  • FIG. 7 is a control flow diagram illustrating a blob matching and feature extraction step in accordance with the present invention.
  • FIG. 8 is a control flowchart illustrating a classification and pairing step according to the present invention.
  • the present invention may have various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
  • the brightness of the headlight and taillight of the front vehicle to be detected is not constant according to the change of the surrounding lighting environment. Misrecognition occurs.
  • the present invention solves the problem of the single exposure camera as described above using a multiple exposure camera.
  • a frame having a large exposure may be used as a long exposure frame, and a frame having a relatively low exposure may be used as a short exposure frame.
  • Table 1 Video classification Advantage Disadvantage Long exposure frames Possible to extract various features of long-range detectable blobs Blurring phenomenon of moving blobs Two or more blobs are clustered together Many of the head lamps and tail lights saturate and generate various light noises such as reflectors. box Short exposure frame Accurate position measurement of blobs Difficult to detect long-distance blobs Difficult to classify head lamp / rear light and noise due to lack of blob characteristic information
  • the present invention also applies a binarization method suitable for each image.
  • the binarization method using a global constant threshold value has the following problems.
  • a commonly used binarization technique detects headlight and taillight candidate regions of a vehicle by binarizing an image using a single predetermined threshold value for a given image.
  • the present invention applies a binarization method using a locally adaptive threshold.
  • the present invention uses a local maximum based binarization method and labels a candidate region to extract the binarization of two or more blobs in a long exposure frame image to minimize binarization.
  • the candidate region is extracted by using a local mean based binarization method and labeling so that the long head and tail lights of the short exposure frame image can be extracted as candidate regions.
  • the candidate blobs extracted in the long exposure frame and the candidate blobs extracted in the short exposure frame may be regarded as separate objects.
  • the present invention performs blob matching and feature extraction to solve the above problem.
  • a blob matching method for finding the same candidate blobs in different exposure frame images (predicting the blob position using short exposure frame-based blob tracking and converting the blobs closest to the predicted positions in the long exposure frame into the same blob).
  • Derivation method can be applied to the feature information extraction method for the same candidate blob from different exposure frame images, it is possible to extract a variety of feature information, it is possible to improve the detection performance of the headlight / taillight.
  • FIG. 1 is a block diagram illustrating a night front vehicle detection and position measurement system using a single multiple exposure camera according to the present invention.
  • the present invention provides a multi-exposure camera 100 that supports automatic, long, medium, and short exposures; Pre-processing means 200 for selecting and rearranging the long exposure and short exposure frame images among the automatic, long, medium, and short exposures of the multiple exposure camera 100, and converting each image into a gray image; In order to minimize the binarization of two or more blobs in the long exposure frame image, a local maximum value based binarization method is used and labeled to extract a candidate region, and the remote headlight and tail light of the short exposure frame image are candidates.
  • Blob matching and feature extraction means 400 for extracting feature information on the same candidate blob from the exposed frame image; MC_SVM classification step of classifying the blobs into headlights, taillights, reflectors and illuminators using MC_SVM (Multi-Class SVM) as a feature extracted from the long and short exposure frames, and the headlights and taillights in the MC_SVM classification step.
  • the classification and pairing means 500 to find the blobs determined to be the same vehicle by comparing the similarity of the center coordinates, size and shape of the blobs classified as.
  • FIG. 2 is a flowchart illustrating a night front vehicle detection and position measurement method using a single multiple exposure camera according to the present invention.
  • the present invention is a pre-processing step of selecting and rearranging the long exposure and short exposure frame images of the automatic, long, medium, and short exposure of the multiple exposure camera 100, rearranged, and converting each image to a gray image (S102-S103);
  • a local maximum value based binarization method is used and labeled to extract a candidate region, and the remote headlight and tail light of the short exposure frame image are candidates.
  • Blob matching and feature extraction steps (S105 to S107) of extracting feature information on the same candidate blob from the exposed frame image; MC_SVM classification step of classifying the blobs into headlights, taillights, reflectors and illuminators using MC_SVM (Multi-Class SVM) as a feature extracted from the long and short exposure frames, and the headlights and taillights in the MC_SVM classification step.
  • the classification and pairing step (S108 ⁇ S109) to find the blobs determined to be the same vehicle by comparing the similarity of the center coordinates, size and shape of the blobs classified as.
  • the preprocessing step includes a de-multiplexing step S102 and a color to gray conversion step S103.
  • the camera output of the multiple (four) exposure cameras is output differently for each frame, and typically, auto, long, medium and short exposure frames are repeatedly generated sequentially.
  • the long exposure frame and the short exposure frame are selected among the multiple (four) exposure frames, and the output signal is rearranged into the long exposure frame and the short exposure frame in order to apply an appropriate signal processing method according to the exposure characteristics.
  • the long exposure frame and the short exposure frame selection may use a relatively high exposure frame among the four exposures of the camera output stage as a long exposure frame, and a relatively short exposure frame as the short exposure frame.
  • color images of the long exposure frame and the short exposure frame are converted into gray images for detecting the headlight and taillight candidate regions of the vehicle.
  • the gray image is converted into a gray image by a linear combination of R, G, and B.
  • the Y signal is used as the gray image.
  • the original color image may be stored in a separate memory so as to be used as a feature value of the candidate region.
  • candidate blob extraction step S104 includes a local maximum value based binarization and labeling method S210 and a local mean value based binarization and labeling method S220.
  • the local maximum value based binarization and labeling method uses a method of minimizing the binarization of two or more blobs by applying to a long exposure frame image.
  • the entire image is first binarized using a predetermined fixed threshold Th_1 (S211), then labeled (S212), and the maximum brightness value for each label ( p_max) (S213). Based on this value, the new threshold (Th_2) is obtained. Secondly, the corresponding label area is binarized (S214). Thereafter, the labeling information is outputted at each labeled blob (S215).
  • the value of the variable a may be determined experimentally in the range of 0.5 ⁇ a ⁇ 1 when calculating the local maximum value based threshold value, and it is generally preferable to set it to about 0.9.
  • the local mean-based binarization and labeling method (S220) is a combination of the local mean-brightness-based binarization and the conventional global binarization, so that the close headlights and taillights are sufficiently bright, and thus the predetermined fixed threshold value (Th_3). Binarization is achieved by using, and distant headlights and taillights with relatively small size and small brightness value are binarized using local average brightness.
  • step S225 to S226 the average value m (x, y) of the pixels in the window is calculated, and the Th_5 value is calculated as the following equation (1).
  • step S230 the window is slid to the next pixel and the operation starts again from operation S221. This process is repeated until the last pixel in the frame. After that, the labeling is performed in step S231. In this case, the integral image is used to obtain the average value in the window in real time.
  • the blob matching and feature extraction steps S105 to S107 may include a blob matching step S310 between short exposure frames, as shown in FIG. 7; Motion vector extraction step S311; Reflection removal step (S312); Tracking and position prediction step (S313); Blob matching step S314 between the short exposure frame and the long exposure frame; And the feature extraction step (S315).
  • the blob matching step S310 according to the short exposure frame is to find out which blobs of the current frame are the same as those of the previous frame among the candidate blobs extracted from the short exposure frame. Matches with the same blob.
  • the blob t (l, l) and the blob of the previous frame having the smallest moving distance can be matched with the same blob.
  • the center coordinate of each blob uses a value obtained by applying an actual conversion distance.
  • the motion vector extraction step (S311) Using the blob matching result obtained from the short exposure frame, a motion vector m (t, l) for the blob b (t, l) of the current frame is obtained as follows.
  • the center coordinate of each blob is obtained by applying the actual conversion distance to obtain the actual motion vector of the blob.
  • the reflector removing step (S312) Using a motion vector value obtained from a short exposure frame, a blob having a motion vector different from that of a general vehicle headlight or taillight is regarded as a traffic light, a street lamp, a reflector, and the like and is excluded from the candidate blob.
  • the blobs are tracked using a Kalman Filter on the position of each blob obtained at the blob matching stage of the short exposure frame.
  • the measured value is set to the horizontal and vertical distances of the center coordinates of the blob
  • the estimated value is set to the horizontal, vertical distance, speed, and acceleration of the center coordinates of the blob.
  • the blob tracking result of the short exposure frame can be used to predict the position of the same blob in the long exposure frame. At this time, the position of each blob is predicted in consideration of a delay time between the current frame of the short exposure image and the frame of the long exposure image.
  • the blob of the nearest position is determined as the same blob using the predicted position of each blob on the long exposure frame obtained from the blob tracking of the short exposure frame and the position information of the candidate blobs on the long exposure frame obtained from the localized mean based binarization and labeling steps. do.
  • a position compensation of the same blob occurs according to a speed difference of at least 16.6 msec or more and at most 49.9 msec or less, so that a separate compensation algorithm is required.
  • a feature for the same blob obtained from the short exposure frame and the long exposure frame is extracted.
  • the motion vector, etc. are extracted as the blob feature.
  • the blob's color information, morphological and geometrical information (size of the bounding box / center coordinates / aspect ratio, 2-D geometric moment (Hu's moment)), and statistical information (the standard brightness of the blob's average brightness / brightness) ) Is extracted as a characteristic of the blob.
  • the MC_SVM classification step S411 is a feature extracted from a long exposure frame and a short exposure frame, and classifies the blobs into headlights, taillights, reflectors, and emitters using a multi-class SVM (MC_SVM).
  • MC_SVM multi-class SVM
  • the blobs classified as the headlights and the taillights in the MC_SVM classification step (S411) are compared with the similarities of the center coordinates, the size and the shape, and the like, to find the blobs determined to be the same vehicle.
  • the similarity is measured by symmetry to be applied according to the shape of the headlight and taillight.
  • the pair of blobs determined to be the same vehicle takes a bounding box, checks the aspect ratio of the box, and uses the following equation (4) to determine whether the ratio of general vehicle lights is correct. Check it.
  • Equation 4 If the condition of Equation 4 is satisfied, it is determined that the vehicle is of the same type, and otherwise, it is determined as another vehicle.
  • T_1 and T_2 can be obtained experimentally, and in the case of the non-paired blobs, it may be determined as a motorbike instead of a general vehicle.
  • a long exposure and a short exposure frame image among four exposure methods of a multiple exposure camera are used, and are locally adaptive.
  • various feature information can be extracted through the feature information extraction method for the same candidate blob. It is possible to improve the performance of front vehicle detection and position measurement more accurately when driving.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법에 관한 것으로, 다중 노출카메라의 4가지 노출중 긴 노출과 짧은 노출 프레임 영상을 사용하고, 국부 적응적 문턱값을 사용하는 이진화 방법을 적용하고, 서로 다른 노출 프레임 영상에서 동일 후보 블랍을 찾는 블랍 매칭 방법을 적용함으로써, 동일 후보 블랍에 대한 특징 정보 추출 방법을 통하여 다양한 특징 정보를 추출할 수 있으므로, 전방 차량 검출 및 위치 측정을 성능을 향상시킬 수 있다.

Description

단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
본 발명은 능동형/지능형 전조등 시스템에 효과적으로 적용할 수 있는 야간 전방 차량 검출 및 위치 측정 시스템 및 방법에 관한 것으로, 더욱 상세하게는 기존에 자주 사용되던 단일 노출 카메라를 이용하는 방법의 단점을 극복할 수 있는 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법에 관한 것이다.
현재 야간 차량 운행시, 대다수의 운전자는 상향등과 하향등을 수동 조작하여 운전자의 시야를 확보하고 있으나 수동 조작의 어려움으로 상향등의 사용이 매우 제한적이다.
야간에 차량을 고속으로 운행시 전방의 위험 상황을 파악하여 적절히 대응하기 위해서는 상향등을 켜고 운행하는 것이 필요하나, 상향등을 켜고 운행하면 전방차량(대향 차량(마주 오는 차량) 및 전방 진행 차량) 운전자의 눈부심을 유발하여 대형사고의 원인으로 작용할 수 있다.
이를 위해 최근 차량의 전면유리(wind shield)에 장착된 카메라를 이용하여 상향등을 켰을 때 상향등이 닿는 범위 내에 전방차량의 존재 유무를 판단하여 상향등과 하향등 2단계를 자동으로 제어하는 지능형 전조등 시스템이 개발되었다.
최근 HID 및 LED를 이용한 전조등이 개발되면서 상향등/하향등 2단계의 제어가 아니라 전조등을 각도별로 세분화된 빔(beam) 단위로 제어할 수 있게 됨으로써 전방 차들이 존재하는 방향의 빔을 전방차량의 직전 위치까지만 닿는 능동형/지능형 전조등 개발의 필요성이 대두되고 있는 실정이다.
본 발명은 상술한 종래기술의 문제점을 극복하기 위한 것으로서, 다중 노출카메라의 4가지 노출 방법중, 긴 노출(long exposure)과 짧은 노출 프레임(short exposure frame) 영상을 사용하고, 국부 적응적 문턱값(local adaptive threshold value)을 사용하는 이진화 방법을 적용하며, 서로 다른 노출 프레임 영상에서 동일 후보 블랍(BLOB : Binary Large Objects)을 찾는 블랍 매칭(BLOB matching) 방법을 적용함으로써, 야간운행시 더욱 정확하게 전방 차량 검출 및 위치 측정을 가능하게 하는 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법을 제공하는 데에 그 목적이 있다.
상기 목적을 달성하기 위해 본 발명에 따른 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법은, 다중 노출카메라의 자동(auto), 긴(long), 중간(middle), 그리고 짧은 노출(short exposure)중 긴 노출과 짧은 노출 프레임 영상을 선택하는 전처리 단계; 상기 긴 노출 프레임 영상에서 2개 이상의 블랍이 뭉쳐서 이진화되는 현상을 최소화시킬 수 있도록 국부 최대값 기반 이진화 방법(Local maximum based Binarization)을 사용하고 라벨링(labeling)하여 후보 영역을 추출하고, 상기 짧은 노출 프레임 영상에서 원거리의 전조등과 후미등이 후보 영역으로 추출될 수 있도록 국부 평균값 기반 이진화 방법(Local Mean based Binarization)을 사용하고 라벨링하여 후보 영역을 추출하는 후보 블랍 추출 단계; 짧은 노출 프레임 기반 블랍 트래킹을 이용하여 블랍의 위치를 예측하고 긴 노출 프레임에서의 예측된 위치에 가장 가까운 위치의 블랍을 동일 블랍으로 간주하여 서로 다른 노출 프레임 영상에서 동일 후보 블랍을 찾은 후, 서로 다른 노출 프레임 영상으로부터 동일 후보 블랍에 대한 특징 정보를 추출하는 블랍 매칭 및 특징 추출 단계; 및 상기 긴 노출 프레임과 짧은 노출 프레임에서 추출한 특징으로 MC_SVM(Multi-Class SVM)을 이용해 해당 블랍들을 전조등, 후미등, 반사체(reflector) 및 발광체로 분류하는 MC_SVM 분류 단계와, 상기 MC_SVM 분류 단계에서 전조등, 후미등으로 분류된 블랍들을 중심좌표, 사이즈 및 형태의 유사성을 비교해 동일 차량으로 판단되는 블랍을 찾는 페어링 단계를 포함하는 분류 및 페어링 단계를 포함한다.
상기와 같이 구성된 본 발명에 따른 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법에 의하면, 다중 노출카메라의 4가지 노출 방법중 긴 노출과 짧은 노출 프레임 영상을 사용하고, 국부 적응적 문턱값을 사용하는 이진화 방법을 적용하고, 서로 다른 노출 프레임 영상에서 동일 후보 블랍을 찾는 블랍 매칭 방법을 적용함으로써, 동일 후보 블랍에 대한 특징 정보 추출 방법을 통하여 다양한 특징 정보를 추출할 수 있으므로, 야간운행시 더욱 정확하게 전방 차량 검출 및 위치 측정을 성능을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템의 개략적인 구성을 나타낸 블록도.
도 2는 본 발명에 따른 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 방법을 나타낸 제어 흐름도.
도 3은 본 발명에 따른 전처리 단계를 상세히 나타낸 제어 흐름도.
도 4는 본 발명에 따른 후보 블랍 추출 단계를 상세히 나타낸 제어 흐름도.
도 5는 본 발명에 따른 후보 블랍 추출 단계중 국부 최대값 기반 이진화 및 라벨링 단계를 더욱 상세히 나타낸 제어 흐름도.
도 6은 본 발명에 따른 블랍 추출 단계중 국부 평균값 기반 이진화 및 라벨링 단계를 더욱 상세히 나타낸 제어 흐름도.
도 7은 본 발명에 따른 블랍 매칭 및 특징 추출 단계를 나타낸 제어 흐름도.
도 8은 본 발명에 따른 분류 및 페어링 단계를 나타낸 제어 흐름도이다.
본 발명은 다양한 변형 및 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
일반적인 단일 노출 카메라 사용법의 문제점을 살펴보면 다음과 같다.
먼저, 단일 자동-노출(auto-exposure) 카메라 사용시 주변의 조명 환경 변화에 따라 검출 대상인 전방차량의 전조등(headlight)과 후미등(taillight)의 밝기가 일정하지 않고 주변의 다양한 반사체(reflector) 및 발광체를 오인식하는 경우가 발생한다.
또한, 단일 긴 노출 카메라를 사용할 경우 영상에 나타나는 대다수의 전조등과 후미등의 밝기값이 포화(saturation)되고 움직이는 블랍의 경우 블러(blur) 현상 및 2개 이상의 블랍이 뭉쳐서 나타나는 현상이 발생되고, 반사체(reflector) 등 다양한 불빛 잡음의 영향으로 정확한 검출이 힘들고 오인식이 발생한다.
또한, 단일 짧은 노출 카메라를 사용하는 경우 블랍 크기가 작고 밝기값이 크지 않은 원거리의 전조등과 후미등의 검출이 어려우며 블랍의 다양한 특징 정보 추출이 어려워 고성능의 검출을 기대하기 어려운 문제점이 있었다.
본 발명에서는 다중 노출 카메라 사용하여 상기와 같은 단일 노출 카메라의 문제점을 해결하였다.
즉, 단일 노출 카메라를 이용하는 방법의 단점을 극복할 수 있는 다중 노출카메라 사용하되, 4가지 노출, 예로서, 자동(auto), 긴(long), 중간(middle), 그리고 짧은 노출(short exposure)을 지원하는 상용 컬러 카메라를 사용하며 이중 긴 노출과 짧은 노출 프레임 영상을 사용한다. 여기서, 4가지 노출 방법중 상대적으로 노출이 많은 프레임을 긴 노출 프레임으로 상대적으로 노출이 작은 프레임을 짧은 노출 프레임으로 사용할 수도 있다.
상기 두 영상의 장/단점을 살펴보면 다음의 표 1과 같다.
표 1
영상구분 장점(advantage) 단점(disadvantage)
긴 노출 프레임 원거리 블랍 검출가능블랍의 다양한 특징추출 가능 이동 블랍의 블러링(blurring)현상2개 이상의 블랍이 뭉쳐서 나타나는 현상대다수 헤드 램프(head lamp)/후미등 불빛(tail light)의 밝기값이 포화(saturation)되고 반사(reflector)등 다양한 불빛 잡음이 발생함
짧은 노출 프레임 블랍의 정확한 위치 측정 가능 원거리 블랍 검출이 어려움블랍의 각종 특징정보 부족으로 헤드 램프/후미등 불빛과 잡음의 분류가 어려움
또한, 본 발명은 각 영상에 적합한 이진화(Thresholding) 방법을 적용한다.
전역 단일 문턱값(global constant threshold value)을 사용하는 이진화(Binarization) 방법은 다음과 같은 문제점이 있다.
일반적으로 자주 사용하는 이진화 기법은 주어진 영상 전체에 미리 정해진 단일 문턱값(threshold value)을 이용하여 영상을 이진화하여 차량의 전조등 및 후미등 후보 영역을 검출한다.
전역 단일 문턱값을 긴 노출 프레임 영상에 적용할 경우, 반사 등 다양한 불빛 잡음이 후보 영역으로 추출될 뿐만 아니라 2개 이상의 블랍이 뭉쳐져서 후보영역으로 추출되고, 짧은 노출 프레임 영상에 적용할 경우, 원거리의 전조등과 후미등의 블랍 크기가 작고 밝기값이 크지 않아 후보영역으로 검출되지 않을 경우가 발생하여 검출 성능 저하가 발생할 수 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여, 국부 적응적 문턱값을 사용하는 이진화 방법을 적용한다.
즉, 본 발명은 긴 노출 프레임 영상에서 2개 이상의 블랍이 뭉쳐서 이진화되는 현상을 최소화시킬 수 있도록 국부 최대값 기반 이진화 방법(Local maximum based Binarization)을 사용하고 라벨링(labeling)하여 후보 영역을 추출한다.
또한, 짧은 노출 프레임 영상에서 원거리의 전조등과 후미등이 후보 영역으로 추출될 수 있도록 국부 평균값 기반 이진화 방법(Local Mean based Binarization)을 사용하고 라벨링하여 후보 영역을 추출한다.
한편, 다중 노출 카메라로부터 출력된 긴 노출 프레임과 짧은 노출 프레임에는 시간 지연(time delay)이 있어(4가지 노출을 지원하는 초당 60프레임 카메라의 경우 긴 노출 프레임과 짧은 노출 프레임간에 발생하는 지연시간이 16.6 ~ 최대 49.9 msec 임), 대상 객체와의 상대적인 속도에 따라 다르긴 하나 일반적으로 동일 객체라 할지라도 긴 노출 프레임과 짧은 노출 프레임에서의 위치 이동이 발생한다. 따라서, 동일 차량의 전조등(또는 후미등)이라 할지라도 긴 노출 프레임에서 추출된 후보 블랍과 짧은 노출 프레임에서 추출된 후보 블랍이 별도의 객체로 간주될 수 있다.
따라서, 본 발명은 상기의 문제를 해결하기 위하여 블랍 매칭 및 특징 추출을 수행한다.
즉, 서로 다른 노출 프레임 영상에서 동일 후보 블랍을 찾는 블랍 매칭 방법(짧은 노출 프레임 기반 블랍 트래킹을 이용하여 블랍의 위치를 예측하고 긴 노출 프레임에서의 예측된 위치에 가장 가까운 위치의 블랍을 동일 블랍으로 간주하는 방법)을 통해 서로 다른 노출 프레임 영상으로부터 동일 후보 블랍에 대한 특징 정보 추출 방법을 적용할 수 있어, 다양한 특징 정보를 추출할 수 있으므로, 전조등/후미등의 검출 성능을 향상할 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템을 나타낸 블록도이다.
도시된 바와 같이, 본 발명은 자동, 긴, 중간, 그리고 짧은 노출을 지원하는 다중 노출 카메라(100); 다중 노출카메라(100)의 자동, 긴, 중간, 그리고 짧은 노출중 긴 노출과 짧은 노출 프레임 영상을 선택해서 재정렬하여 출력하고, 각 영상을 그레이 영상으로 변환하는 전처리 수단(200); 상기 긴 노출 프레임 영상에서 2개 이상의 블랍이 뭉쳐서 이진화되는 현상을 최소화시킬 수 있도록 국부 최대값 기반 이진화 방법을 사용하고 라벨링하여 후보 영역을 추출하고, 상기 짧은 노출 프레임 영상에서 원거리의 전조등과 후미등이 후보 영역으로 추출될 수 있도록 국부 평균값 기반 이진화 방법을 사용하고 라벨링하여 후보 영역을 추출하는 후보 블랍 추출 수단(300); 짧은 노출 프레임 기반 블랍 트래킹을 이용하여 블랍의 위치를 예측하고 긴 노출 프레임에서의 예측된 위치에 가장 가까운 위치의 블랍을 동일 블랍으로 간주하여 서로 다른 노출 프레임 영상에서 동일 후보 블랍을 찾은 후, 서로 다른 노출 프레임 영상으로부터 동일 후보 블랍에 대한 특징 정보를 추출하는 블랍 매칭 및 특징 추출 수단(400); 상기 긴 노출 프레임과 짧은 노출 프레임에서 추출한 특징으로 MC_SVM(Multi-Class SVM)을 이용해 해당 블랍들을 전조등, 후미등, 반사체(reflector) 및 발광체로 분류하는 MC_SVM 분류 단계와, 상기 MC_SVM 분류 단계에서 전조등, 후미등으로 분류된 블랍들을 중심좌표, 사이즈 및 형태의 유사성을 비교해 동일 차량으로 판단되는 블랍을 찾는 분류 및 페어링 수단(500)을 포함한다.
도 2는 본 발명에 따른 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 방법을 나타낸 순서도이다.
도시된 바와 같이, 본 발명은 다중 노출카메라(100)의 자동, 긴, 중간, 그리고 짧은 노출중 긴 노출과 짧은 노출 프레임 영상을 선택해서 재정렬하여 출력하고, 각 영상을 그레이 영상으로 변환하는 전처리 단계(S102~S103); 상기 긴 노출 프레임 영상에서 2개 이상의 블랍이 뭉쳐서 이진화되는 현상을 최소화시킬 수 있도록 국부 최대값 기반 이진화 방법을 사용하고 라벨링하여 후보 영역을 추출하고, 상기 짧은 노출 프레임 영상에서 원거리의 전조등과 후미등이 후보 영역으로 추출될 수 있도록 국부 평균값 기반 이진화 방법을 사용하고 라벨링하여 후보 영역을 추출하는 후보 블랍 추출 단계(S104); 짧은 노출 프레임 기반 블랍 트래킹을 이용하여 블랍의 위치를 예측하고 긴 노출 프레임에서의 예측된 위치에 가장 가까운 위치의 블랍을 동일 블랍으로 간주하여 서로 다른 노출 프레임 영상에서 동일 후보 블랍을 찾은 후, 서로 다른 노출 프레임 영상으로부터 동일 후보 블랍에 대한 특징 정보를 추출하는 블랍 매칭 및 특징 추출 단계(S105~S107); 상기 긴 노출 프레임과 짧은 노출 프레임에서 추출한 특징으로 MC_SVM(Multi-Class SVM)을 이용해 해당 블랍들을 전조등, 후미등, 반사체(reflector) 및 발광체로 분류하는 MC_SVM 분류 단계와, 상기 MC_SVM 분류 단계에서 전조등, 후미등으로 분류된 블랍들을 중심좌표, 사이즈 및 형태의 유사성을 비교해 동일 차량으로 판단되는 블랍을 찾는 분류 및 페어링 단계(S108~S109)를 포함한다.
이와 같이 구성된 본 발명의 작용을 더욱 상세히 설명하면 다음과 같다.
먼저, 도 2 및 도 3에 도시된 바와 같이, 전처리(Preprocessing)단계는 디-멀티플렉싱(De-multiplexing) 단계(S102)와 컬러-그레이 변환(Color to grey conversion) 단계(S103)로 이루어진다.
디-멀티플렉싱 단계(S102)에서는, 다중(4가지) 노출 카메라 경우의 카메라 출력은 프레임별로 노출이 다르게 출력되며 통상적으로 자동, 긴, 중간 그리고 짧은 노출 프레임이 순차적으로 반복해 생성된다.
디-멀티플렉싱 단계에서는 다중(4가지) 노출 프레임 중 긴 노출 프레임과 짧은 노출 프레임을 선택하고 노출 특성에 따라 적합한 신호처리 방법을 적용하기 위해 긴 노출 프레임과 짧은 노출 프레임으로 재정렬하여 출력한다.
긴 노출 프레임과 짧은 노출 프레임 선택은 카메라 출력단의 4가지 노출중 상대적으로 노출이 많은 프레임을 긴 노출 프레임으로 상대적으로 노출이 작은 프레임을 짧은 노출 프레임으로 사용할 수 있다.
컬러-그레이 변환 단계(S103)에서는, 컬러 카메라를 이용하는 경우 차량의 전조등 및 후미등 후보 영역 검출을 위해 긴 노출 프레임과 짧은 노출 프레임의 컬러 영상을 그레이 영상으로 변환한다.
상기에서, RGB 컬러 영상인 경우 R,G,B의 선형 조합으로 그레이 영상으로 변환하고, YCbCr 컬러 영상인 경우 Y신호를 그레이 영상으로 사용한다.
이때, 후보영역의 특징값으로 사용할 수 있도록 원래의 컬러 영상은 별도의 메모리에 저장해 두는 것이 바람직하다.
다음으로, 도 4에 도시된 바와 같이 후보 블랍 추출(Candidate blob extraction) 단계(S104)는 국부 최대값 기반 이진화 및 라벨링 방법(S210)과 국부 평균값 기반 이진화 및 라벨링 방법(S220)을 포함한다.
여기서 먼저, 국부 최대값 기반 이진화 및 라벨링 방법(S210)은 긴 노출 프레임 영상에 적용하여 2개 이상의 블랍이 뭉쳐서 이진화되는 현상을 최소화하는 방법을 사용한다.
즉, 도 5에 도시된 바와 같이, 먼저 1차적으로 미리 정해진 고정된 문턱값(Th_1)을 이용하여 영상 전체를 이진화하고(S211), 다음으로 라벨링 하고(S212), 각 label 별로 최대 밝기값(p_max)을 찾는다(S213). 이 값을 기준으로 새롭게 구한 문턱값(Th_2) 여기서,
Figure PCTKR2014008709-appb-I000001
을 이용하여 해당 레이블 영역을 2차적으로 이진화한다(S214). 이후, 라벨링 하여 라벨링 된 각 블랍의 정보를 출력한다(S215). 이때, 국부 최대값 기반 문턱값을 계산할 때 변수 a 값은 0.5<a<1 범위에서 실험적으로 정할 수 있으며, 통상 0.9 정도로 정하는 것이 바람직하다.
다음으로, 국부 평균값 기반 이진화 및 라벨링 방법(S220)은, 국부적 평균 밝기값 기준 이진화와 기존 전역 이진화의 조합 기법으로 가까이 있는 전조등과 후미등은 충분히 밝은 값으로 나타나기 때문에 미리 정해진 고정된 문턱값(Th_3)를 이용하여 이진화하고, 상대적으로 크기가 작고 밝기값이 작은 멀리 있는 전조등과 후미등은 국부적 평균 밝기를 이용한 이진화 하는 방법이다.
즉, 도 6에 도시된 바와 같이, 먼저 상대적으로 작은 크기의 2차원 윈도우(window)를 슬라이딩하면서 중심점의 픽셀값 p(x,y)를 미리 정해진 고정된 문턱값 Th_3과 비교하여(S221), p(x,y) > Th_3일 경우 B(x,y)=1로 세팅하고 S230단계로 이동하고(S222), 그렇지 않을 경우 다음의 S223단계로 이동한다.
S223단계에서는 p(x,y)를 미리 정해진 고정된 문턱값 Th_4와 비교하여(S223), p(x,y) < Th_4일 경우, B(x,y)=0으로 세팅하고, S230단계로 이동하고(S224), 그렇지 않을 경우 다음의 S225단계로 이동한다.
S225~S226단계에서는 윈도우내 화소의 평균값(m(x,y))을 계산하고 평균값으로 Th_5값을 다음의 수학식 1과 같이 구한다.
수학식 1
Figure PCTKR2014008709-appb-M000001
다음으로, S227단계에서는 p(x,y)를 Th_5와 비교하여, p(x,y) > Th_5일 경우, B(x,y)=1로 세팅하고(S228), 그렇지 않을 경우, B(x,y)=0을 세팅(S229) 한 후에 S230단계로 이동한다.
S230단계에서는 다음 픽셀로 윈도우 슬라이딩한 후 S221단계부터 다시 시작한다. 이 과정을 프레임 내의 마지막 픽셀까지 반복한다. 그 후에, S231단계에서는 라벨링을 한다. 이때 윈도우내 평균값을 실시간으로 구하기 위해 인티그럴 이미지(integral image)를 사용한다.
다음으로, 트래킹, 매칭, 특징 추출 과정을 포함하는 블랍 매칭 및 특징 추출 단계(S105~S107)를 설명한다.
블랍 매칭 및 특징 추출 단계(S105~S107)는 구체적으로, 도 7에 도시된 바와 같이, 짧은 노출 프레임 사이의 블랍 매칭 단계(S310); 모션 벡터 추출 단계(S311); 반사 제거 단계(S312); 트래킹 및 위치 예측 단계(S313); 짧은 노출 프레임과 긴 노출 프레임 사이의 블랍 매칭 단계(S314); 그리고 특징 추출 단계(S315)로 이루어진다.
짧은 노출 프레임에 따른 블랍 매칭 단계(S310)는, 짧은 노출 프레임으로부터 추출된 후보 블랍들 중 현재 프레임의 임의의 블랍이 이전 프레임의 어느 블랍과 동일한지를 알아내는 단계로 블랍의 이동거리가 최소인 블랍을 동일 블랍으로 매칭시킨다.
이전 프레임의 K개의 블랍들 중 k번째 블랍을 b(t-1,k), (여기서 k=1,2,…,K) 라고 하고, 현재 프레임의 L개의 블랍들 중 임의의 l번째 블랍을 b(t,l), (여기서 l=1,2,..,L)이라고 하고, 현재 프레임의 l번째 블랍 b(t,l)의 중심좌표를 (x_c(t,l), y_c(t,l))이라고 하고, 이전 프레임의 k번째 블랍 b(t-1,k)의 중심좌표를 (x_c(t-1,k), y_c(t-1,k))라고 하면, 현재 프레임의 블랍 b(t,l)와 이동거리가 가장 작은 이전 프레임의 블랍을 동일 블랍으로 매칭할 수 있다.
수학식 2
Figure PCTKR2014008709-appb-M000002
상기에서
Figure PCTKR2014008709-appb-I000002
은 결과값으로 나온 가장 가까운
Figure PCTKR2014008709-appb-I000003
번째 블랍의 값을 의미한다. 이때, 각 블랍의 중심좌표는 실제 환산 거리를 적용하여 구한 값을 사용한다.
또한, 가장 가까운 블랍일지라도 계산된 이동거리가 실험적으로 구한 특정 거리 이상이면 동일 블랍으로 지정하지 않는 것이 바람직하다.
다음으로, 모션 벡터 추출 단계(S311)는; 짧은 노출 프레임으로부터 얻어진 블랍 매칭 결과를 이용하여 현재 프레임의 블랍 b(t,l)에 대한 움직임 벡터(motion vector) m(t,l)을 다음과 같이 구한다.
수학식 3
Figure PCTKR2014008709-appb-M000003
이때, 각 블랍의 중심좌표는 실제 환산 거리를 적용하여 구한 값을 사용함으로써 블랍의 실제 이동 벡터를 구한다.
다음으로, 반사체 제거 단계(S312)는; 짧은 노출 프레임으로부터 구한 이동 벡터값을 이용하여 일반적인 차량의 전조등이나 후미등의 움직임 벡터와는 다른 이동 벡터를 갖는 블랍에 대해서는 신호등, 가로등, 반사체 등으로 간주하여 후보 블랍 대상에서 제외시킨다.
다음으로, 트래킹 및 위치 예측 단계(S313)에서는; 짧은 노출 프레임의 블랍 매칭 단에서 얻어진 각 블랍의 위치를 칼만 필터(Kalman Filter)를 사용하여 블랍들을 트래킹한다. 이때, 측정값은 해당 블랍의 중심좌표의 가로, 세로방향 거리로 설정하며 추정값은 블랍의 중심좌표의 가로, 세로방향 거리, 속도, 가속도로 설정하여 트래킹한다.
짧은 노출 프레임의 블랍 트래킹 결과를 이용하여 긴 노출 프레임에서 동일 블랍의 위치를 예측할 수 있다. 이때, 짧은 노출 영상의 현재 프레임과 긴 노출 영상의 프레임과의 지연 시간(delay time)을 고려하여 각 블랍의 위치를 예측한다.
다음으로, 짧은 노출 프레임과 긴 노출 프레임 사이의 블랍 매칭 단계(S314)에서는; 짧은 노출 프레임의 블랍 트래킹으로부터 얻어진 긴 노출 프레임 상의 각 블랍의 예측된 위치와 국부 평균값 기반 이진화 및 라벨링 단계로부터 구한 긴 노출 프레임상의 후보 블랍의 위치 정보를 이용하여 가장 가까운 위치의 블랍을 동일 블랍으로 판단한다.
이때, 긴 노출 프레임과 짧은 노출 프레임에는 시간지연이 있다. 예로서, 최소 16.6msec 이상에서 최대 49.9msec 이하의 속도 차에 따라 동일 블랍의 위치 이동이 발생하여 별도의 보상 알고리즘이 필요하다.
다음으로, 특징 추출 단계(S315)에서는 짧은 노출 프레임과 긴 노출 프레임으로부터 구해진 동일 블랍에 대한 특징을 추출한다.
짧은 노출 프레임에서는 블랍의 색상정보, 형태적 및 기하학적 정보(bounding box의 크기/중심좌표/가로세로비, 2-D기하모멘트(Hu's moment)), 통계적 정보(블랍의 평균밝기/밝기의 표준편차), 움직임 벡터 등을 블랍의 특징으로 추출한다.
긴 노출 프레임에서는 블랍의 색상정보, 형태적 및 기하학적 정보(bounding box의 크기/중심좌표/가로세로비, 2-D기하모멘트(Hu's moment)), 통계적 정보(블랍의 평균밝기/밝기의 표준편차) 등을 블랍의 특징으로 추출한다.
마지막으로 도 8에 도시된 바와 같이 분류 및 페어링 단계(S108~S109)를 수행한다.
먼저, MC_SVM 분류 단계(S411)는 긴 노출 프레임과 짧은 노출 프레임에서 추출한 특징으로 MC_SVM(Multi-Class SVM)을 이용해 해당 블랍들을 전조등, 후미등, 반사체(reflector) 및 발광체로 분류한다.
이후, 페어링 단계(S412)에서는 상기 MC_SVM 분류 단계(S411)에서 전조등, 후미등으로 분류된 블랍들을 중심좌표, 사이즈 및 형태 등의 유사성을 비교해 동일 차량으로 판단되는 블랍을 찾는다. 이때 전조등과 후미등의 형태에 따라 적용할 수 있도록 대칭시켜 유사성을 측정한다.
따라서, 동일 차량으로 판단된 한 쌍의 블랍은 경계 상자(bounding box)를 취한 후, 박스의 종횡비(aspect ratio)값 체크, 일반적인 차량 라이트(light)의 비율이 맞는지 다음의 수학식 4를 이용하여 확인한다.
수학식 4
Figure PCTKR2014008709-appb-M000004
상기 수학식 4의 조건을 만족할 경우 같은 종류의 차량으로 판단하고 그렇지 않을 경우 다른 종류의 차량으로 판단한다.
여기서, T_1, T_2 는 실험적으로 구할 수 있고, 한 쌍으로 묶이지 않은 블랍의 경우 일반 차량이 아닌 모터바이크(Motorbike) 등으로 판단할 수 있다.
본 명세서에 기재된 본 발명의 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 관한 것이고, 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다. 따라서 본 발명은 상술한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 권리범위 내에 있게 된다.
상기와 같이 구성된 본 발명에 따른 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법에 의하면, 다중 노출카메라의 4가지 노출 방법중 긴 노출과 짧은 노출 프레임 영상을 사용하고, 국부 적응적 문턱값을 사용하는 이진화 방법을 적용하고, 서로 다른 노출 프레임 영상에서 동일 후보 블랍을 찾는 블랍 매칭 방법을 적용함으로써, 동일 후보 블랍에 대한 특징 정보 추출 방법을 통하여 다양한 특징 정보를 추출할 수 있으므로, 야간운행시 더욱 정확하게 전방 차량 검출 및 위치 측정을 성능을 향상시킬 수 있다.

Claims (7)

  1. 다중 노출카메라의 자동(auto), 긴(long), 중간(middle), 그리고 짧은 노출(short exposure)중 긴 노출과 짧은 노출 프레임 영상을 선택하는 전처리 단계;
    상기 긴 노출 프레임 영상에서 2개 이상의 블랍이 뭉쳐서 이진화되는 현상을 최소화시킬 수 있도록 국부 최대값 기반 이진화 방법(Local maximum based Binarization)을 사용하고 라벨링(labeling)하여 후보 영역을 추출하고, 상기 짧은 노출 프레임 영상에서 원거리의 전조등과 후미등이 후보 영역으로 추출될 수 있도록 국부 평균값 기반 이진화 방법(Local Mean based Binarization)을 사용하고 라벨링하여 후보 영역을 추출하는 후보 블랍 추출 단계;
    짧은 노출 프레임 기반 블랍 트래킹을 이용하여 블랍의 위치를 예측하고 긴 노출 프레임에서의 예측된 위치에 가장 가까운 위치의 블랍을 동일 블랍으로 간주하여 서로 다른 노출 프레임 영상에서 동일 후보 블랍을 찾은 후, 서로 다른 노출 프레임 영상으로부터 동일 후보 블랍에 대한 특징 정보를 추출하는 블랍 매칭 및 특징 추출 단계; 및
    상기 긴 노출 프레임과 짧은 노출 프레임에서 추출한 특징으로 MC_SVM(Multi-Class SVM)을 이용해 해당 블랍들을 전조등, 후미등, 반사체(reflector) 및 발광체로 분류하는 MC_SVM 분류 단계와, 상기 MC_SVM 분류 단계에서 전조등, 후미등으로 분류된 블랍들을 중심좌표, 사이즈 및 형태의 유사성을 비교해 동일 차량으로 판단되는 블랍을 찾는 페어링 단계를 포함하는 분류 및 페어링 단계를 포함하는 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 방법.
  2. 제 1항에 있어서,
    상기 전처리 단계는
    4가지의 다중 노출 프레임 중, 긴 노출 프레임과 짧은 노출 프레임을 선택하고 노출 특성에 따라 적합한 신호처리 방법을 적용하기 위해 긴 노출 프레임과 짧은 노출 프레임으로 재정렬하여 출력하는 디-멀티플렉싱(De-multiplexing) 단계와,
    컬러 카메라를 이용하는 경우 차량의 전조등 및 후미등 후보 영역 검출을 위해 긴 노출 프레임과 짧은 노출 프레임의 컬러 영상을 그레이 영상으로 변환하는 컬러-그레이 변환(Color to grey conversion) 단계(S103)로 이루어지는 것을 특징으로 하는 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 방법.
  3. 제 2항에 있어서,
    상기 컬러 영상이 RGB 컬러 영상인 경우 R,G,B의 선형 조합으로 그레이 영상으로 변환하고, YCbCr 컬러 영상인 경우 Y신호를 그레이 영상으로 사용하는 것을 특징으로 하는 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 방법.
  4. 제 1항에 있어서,
    국부 최대값 기반 이진화 및 라벨링 방법은;
    미리 정해진 고정된 문턱값(Th_1)을 이용하여 영상 전체를 이진화하고, 다음으로 라벨링 하고, 각 label 별로 최대 밝기값(p_max)을 찾고, 이 값을 기준으로 새롭게 구한 문턱값(Th_2) 여기서,
    Figure PCTKR2014008709-appb-I000004
    을 이용하여 해당 레이블 영역을 2차적으로 이진화한 후, 라벨링 하여 라벨링 된 각 블랍의 정보를 출력하는 것을 특징으로 하는 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 방법.
  5. 제 1항에 있어서,
    국부 평균값 기반 이진화 및 라벨링 방법은;
    가까이 있는 전조등과 후미등은 미리 정해진 고정된 문턱값(Th_3)를 이용하여 이진화하고, 상대적으로 크기가 작고 밝기값이 작은 멀리 있는 전조등과 후미등은 국부적 평균 밝기를 이용한 이진화 하는 것을 특징으로 하는 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 방법.
  6. 제 1항에 있어서,
    상기 블랍 매칭 및 특징 추출 단계는;
    짧은 노출 프레임으로부터 추출된 후보 블랍들 중 현재 프레임의 임의의 블랍이 이전 프레임의 어느 블랍과 동일한지를 알아내는 단계로 블랍의 이동거리가 최소인 블랍을 동일 블랍으로 매칭시키는 짧은 노출 프레임에 따른 블랍 매칭 단계;
    짧은 노출 프레임으로부터 얻어진 블랍 매칭 결과를 이용하여 현재 프레임의 블랍 b(t,l) 에 대한 움직임 벡터(motion vector) m(t,l)을 구하는 모션 벡터 추출 단계;
    짧은 노출 프레임으로부터 구한 이동 벡터값을 이용하여 일반적인 차량의 전조등이나 후미등의 움직임 벡터와는 다른 이동 벡터를 갖는 블랍에 대해서는 신호등, 가로등, 반사체 등으로 간주하여 후보 블랍 대상에서 제외시키는 반사체 제거 단계;
    짧은 노출 프레임의 블랍 매칭 단에서 얻어진 각 블랍의 위치를 칼만 필터를 사용하여 트래킹하되, 이때 측정값은 해당 블랍의 중심좌표의 가로, 세로방향 거리로 설정하며 추정값은 블랍의 중심좌표의 가로, 세로방향 거리, 속도, 가속도로 설정하여 트래킹하는 트래킹 및 위치 예측 단계;
    짧은 노출 프레임의 블랍 트래킹으로부터 얻어진 긴 노출 프레임상의 각 블랍의 예측된 위치와 국부 평균값 기반 이진화 및 라벨링으로부터 구한 긴 노출 프레임상의 후보 블랍의 위치 정보를 이용하여 가장 가까운 위치의 블랍을 동일 블랍으로 판단하는 짧은 노출 프레임과 긴 노출 프레임 사이의 블랍 매칭 단계;
    짧은 노출 프레임과 긴 노출 프레임으로부터 구해진 동일 블랍에 대한 특징을 추출하되, 상기 짧은 노출 프레임에서는 블랍의 색상정보, 형태적 및 기하학적 정보, 통계적 정보 및 움직임 벡터 중 어느 하나를 블랍의 특징으로 추출하고, 긴 노출 프레임에서는 블랍의 색상정보, 형태적 및 기하학적 정보 및 통계적 정보를 블랍의 특징으로 추출하는 특징 추출 단계;를 포함하는 것을 특징으로 하는 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 방법.
  7. 다중 노출카메라의 자동(auto), 긴(long), 중간(middle), 그리고 짧은 노출(short exposure)중 긴 노출과 짧은 노출 프레임 영상을 선택하는 전처리 수단;
    상기 긴 노출 프레임 영상에서 2개 이상의 블랍이 뭉쳐서 이진화되는 현상을 최소화시킬 수 있도록 국부 최대값 기반 이진화 방법(Local maximum based Binarization)을 사용하고 라벨링(labeling)하여 후보 영역을 추출하고, 상기 짧은 노출 프레임 영상에서 원거리의 전조등과 후미등이 후보 영역으로 추출될 수 있도록 국부 평균값 기반 이진화 방법(Local Mean based Binarization)을 사용하고 라벨링하여 후보 영역을 추출하는 후보 블랍 추출 수단;
    짧은 노출 프레임 기반 블랍 트래킹을 이용하여 블랍의 위치를 예측하고 긴 노출 프레임에서의 예측된 위치에 가장 가까운 위치의 블랍을 동일 블랍으로 간주하여 서로 다른 노출 프레임 영상에서 동일 후보 블랍을 찾은 후, 서로 다른 노출 프레임 영상으로부터 동일 후보 블랍에 대한 특징 정보를 추출하는 블랍 매칭 및 특징 추출 수단; 및
    상기 긴 노출 프레임과 짧은 노출 프레임에서 추출한 특징으로 MC_SVM(Multi-Class SVM)을 이용해 해당 블랍들을 전조등, 후미등, 반사체(reflector) 및 발광체로 분류하는 MC_SVM 분류 단계와, 상기 MC_SVM 분류 단계에서 전조등, 후미등으로 분류된 블랍들을 중심좌표, 사이즈 및 형태의 유사성을 비교해 동일 차량으로 판단되는 블랍을 찾는 페어링 단계를 포함하는 분류 및 페어링 수단을 포함하는 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템.
PCT/KR2014/008709 2013-10-14 2014-09-18 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법 WO2015056890A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/029,150 US9892330B2 (en) 2013-10-14 2014-09-18 Night-time front vehicle detection and location measurement system using single multi-exposure camera and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130122075A KR101511853B1 (ko) 2013-10-14 2013-10-14 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
KR10-2013-0122075 2013-10-14

Publications (1)

Publication Number Publication Date
WO2015056890A1 true WO2015056890A1 (ko) 2015-04-23

Family

ID=52828292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/008709 WO2015056890A1 (ko) 2013-10-14 2014-09-18 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법

Country Status (3)

Country Link
US (1) US9892330B2 (ko)
KR (1) KR101511853B1 (ko)
WO (1) WO2015056890A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644223A (zh) * 2017-08-03 2018-01-30 浙江浩腾电子科技股份有限公司 一种基于车灯匹配验证的夜间车辆检测方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380434B2 (en) * 2014-01-17 2019-08-13 Kpit Technologies Ltd. Vehicle detection system and method
US9934423B2 (en) * 2014-07-29 2018-04-03 Microsoft Technology Licensing, Llc Computerized prominent character recognition in videos
KR101742490B1 (ko) * 2015-05-29 2017-06-01 송민호 끼어들기 위반차량 단속 시스템 및 그 방법
WO2017171659A1 (en) * 2016-03-31 2017-10-05 Agency For Science, Technology And Research Signal light detection
US10148888B2 (en) * 2016-05-18 2018-12-04 Texas Instruments Incorporated Image data processing for multi-exposure wide dynamic range image data
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
US10553092B2 (en) 2016-12-05 2020-02-04 A9.Com, Inc. Passing vehicle filters for audio/video recording and communication devices
US10638052B2 (en) * 2017-04-12 2020-04-28 Samsung Electronics Co., Ltd. Method and apparatus for generating HDR images
US11095829B2 (en) 2019-06-11 2021-08-17 Samsung Electronics Co., Ltd. Apparatus and method for high dynamic range (HDR) image creation of dynamic scenes using graph cut-based labeling
CN110329143A (zh) * 2019-07-30 2019-10-15 火丁智能照明(广东)有限公司 自动控制车前灯照射范围的方法和装置
US11620522B2 (en) * 2019-12-31 2023-04-04 Magna Electronics Inc. Vehicular system for testing performance of headlamp detection systems
TW202143119A (zh) * 2020-05-07 2021-11-16 瑞典商安訊士有限公司 在具有光強度廣泛範圍的場景中利用神經網路之物件偵測

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010075206A (ko) * 1998-09-18 2001-08-09 프레데릭 티. 바우어 연속 가변 헤드램프 제어 방법 및 시스템
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP4218670B2 (ja) * 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990469A (en) 1997-04-02 1999-11-23 Gentex Corporation Control circuit for image array sensors
US6631316B2 (en) 2001-03-05 2003-10-07 Gentex Corporation Image processing system to control vehicle headlamps or other vehicle equipment
US6861809B2 (en) 1998-09-18 2005-03-01 Gentex Corporation Headlamp control to prevent glare
US6611610B1 (en) 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
US6681163B2 (en) 2001-10-04 2004-01-20 Gentex Corporation Moisture sensor and windshield fog detector
US5923027A (en) 1997-09-16 1999-07-13 Gentex Corporation Moisture sensor and windshield fog detector using an image sensor
US6130421A (en) 1998-06-09 2000-10-10 Gentex Corporation Imaging system for vehicle headlamp control
US5837994C1 (en) 1997-04-02 2001-10-16 Gentex Corp Control system to automatically dim vehicle head lamps
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US7653215B2 (en) 1997-04-02 2010-01-26 Gentex Corporation System for controlling exterior vehicle lights
US6774988B2 (en) 2002-07-30 2004-08-10 Gentex Corporation Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing
US7019275B2 (en) 1997-09-16 2006-03-28 Gentex Corporation Moisture sensor and windshield fog detector
KR100488728B1 (ko) * 2003-05-15 2005-05-11 현대자동차주식회사 자동차의 2중 노출 카메라 시스템 및 영상 취득방법
JP4738778B2 (ja) * 2003-10-15 2011-08-03 富士通テン株式会社 画像処理装置、運転支援装置および運転支援システム
JP2006234779A (ja) 2005-02-21 2006-09-07 Sigma Denki Kogyo Kk 夜間におけるヘッドライト及びテールランプ位置検出方法並びに夜間走行車両計測方法
JP4970516B2 (ja) * 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 周囲確認支援装置
JP2012226513A (ja) * 2011-04-19 2012-11-15 Honda Elesys Co Ltd 検知装置、及び検知方法
US9690997B2 (en) * 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
CN103029621B (zh) * 2011-09-30 2016-04-06 株式会社理光 检测前方车辆的方法及设备
JP5680573B2 (ja) * 2012-01-18 2015-03-04 富士重工業株式会社 車両の走行環境認識装置
KR101716928B1 (ko) * 2013-08-22 2017-03-15 주식회사 만도 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치
US10297155B2 (en) * 2013-09-27 2019-05-21 Hitachi Automotive Systems, Ltd. Object detector

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010075206A (ko) * 1998-09-18 2001-08-09 프레데릭 티. 바우어 연속 가변 헤드램프 제어 방법 및 시스템
JP4218670B2 (ja) * 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644223A (zh) * 2017-08-03 2018-01-30 浙江浩腾电子科技股份有限公司 一种基于车灯匹配验证的夜间车辆检测方法
CN107644223B (zh) * 2017-08-03 2020-10-09 浙江浩腾电子科技股份有限公司 一种基于车灯匹配验证的夜间车辆检测方法

Also Published As

Publication number Publication date
US9892330B2 (en) 2018-02-13
KR101511853B1 (ko) 2015-04-13
US20160267333A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
WO2015056890A1 (ko) 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
US7566851B2 (en) Headlight, taillight and streetlight detection
EP1962226B1 (en) Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps
TWI302879B (en) Real-time nighttime vehicle detection and recognition system based on computer vision
EP3588939B1 (en) Bundling night vision and other driver assistance systems (das) using near infra red (nir) illumination and a rolling shutter
López et al. Nighttime vehicle detection for intelligent headlight control
Alcantarilla et al. Automatic LightBeam Controller for driver assistance
Alcantarilla et al. Night time vehicle detection for driving assistance lightbeam controller
CN108357418B (zh) 一种基于尾灯识别的前车驾驶意图分析方法
US8903603B2 (en) Environment recognizing device for a vehicle and vehicle control system using the same
CN110450706B (zh) 一种自适应远光灯控制系统及图像处理算法
WO2013042675A1 (ja) 他の車両のライトを検出する装置及びその検出を行うコンピュータ用プログラム、並びに、車両用ライト制御装置
CN110688907A (zh) 基于夜间道路光源识别物体的方法及装置
JP2012240530A (ja) 画像処理装置
Lin et al. Adaptive IPM-based lane filtering for night forward vehicle detection
CN111046741A (zh) 车道线识别的方法和装置
JP2002083301A (ja) 交通監視装置
JP5353531B2 (ja) 車両灯火認識装置及びプログラム
Chen et al. Robust rear light status recognition using symmetrical surfs
KR100801989B1 (ko) 번호판 인식 시스템，전처리 장치 및 방법
KR101180676B1 (ko) 차량의 영상인식 기반 상향등 자동 제어 방법
Jurić et al. A unified approach for on-road visual night-time vehicle light detection
CN111062231A (zh) 车辆侦测方法、基于光强度动态的夜间车辆侦测方法及其系统
JPWO2019044434A1 (ja) 物体検出システム
JP2019156276A (ja) 車両検出方法及び車両検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14854525

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15029150

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14854525

Country of ref document: EP

Kind code of ref document: A1