KR20130000023A - Method for dectecting front vehicle using scene information of image - Google Patents

Method for dectecting front vehicle using scene information of image Download PDF

Info

Publication number
KR20130000023A
KR20130000023A KR1020110060444A KR20110060444A KR20130000023A KR 20130000023 A KR20130000023 A KR 20130000023A KR 1020110060444 A KR1020110060444 A KR 1020110060444A KR 20110060444 A KR20110060444 A KR 20110060444A KR 20130000023 A KR20130000023 A KR 20130000023A
Authority
KR
South Korea
Prior art keywords
vehicle
image
road
region
area
Prior art date
Application number
KR1020110060444A
Other languages
Korean (ko)
Other versions
KR101224027B1 (en
Inventor
정선태
조성원
전성광
Original Assignee
(주)새하소프트
(주)임베디드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)새하소프트, (주)임베디드비젼 filed Critical (주)새하소프트
Priority to KR1020110060444A priority Critical patent/KR101224027B1/en
Publication of KR20130000023A publication Critical patent/KR20130000023A/en
Application granted granted Critical
Publication of KR101224027B1 publication Critical patent/KR101224027B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40012Conversion of colour to monochrome
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: A front vehicle detecting method using scene information of an image is provided to improve a front vehicle detection speed and detecting performance by utilizing the scene information of a relatively simple image in detecting a vehicle candidate area and indentifying a vehicle. CONSTITUTION: A driving assistance system receives an image obtained from the camera of a running vehicle(S100). The system preprocesses the input image(S200). The system determines a ROI(Region Of Interest) for a vehicle candidate area extraction(S300). The system extracts a road area and a shadow area(S400). The system extracts a vehicle candidate area(S500). The system verifies the presence of a vehicle in the extracted vehicle candidate area(S600). [Reference numerals] (AA) Start; (BB) End; (S100) Inputting an image; (S200) Preprocessing the image; (S300) Determining a region of interest for extracting a vehicle candidate area; (S400) Extracting a road area and a shadow area; (S500) Extracting the vehicle candidate area; (S600) Verifying the vehicle candidate area

Description

영상의 장면 정보를 이용한 전방 차량 검출 방법 {Method for dectecting front vehicle using scene information of image}Method for detecting front vehicle using scene information of image {Method for dectecting front vehicle using scene information of image}

본 발명은 영상의 장면 정보를 이용한 전방 차량 검출 방법에 관한 것으로, 보다 상세하게는 주행 차량에 장착된 카메라로부터 획득한 영상의 장면 정보를 이용하여 주간에 주행 차량의 전방 차량을 검출하는 방법에 관한 것이다.The present invention relates to a method for detecting a front vehicle using scene information of an image, and more particularly, to a method for detecting a front vehicle of a driving vehicle during the day using scene information of an image obtained from a camera mounted on the driving vehicle. will be.

자동차 주행 사고의 예방을 위하여 운전자의 주행을 보조하기 위하여 주행 정보의 획득 및 활용에 대한 연구 개발이 활발하고 이미 고급 승용차의 경우 많은 운전자 주행 보조 시스템이 상용되어 사용되고 있다. 주행 정보의 획득을 위해 다양한 센서가 사용되고 있으나, 카메라를 통하여 획득하는 영상 정보가 다른 센서로부터 획득한 주행 정보 보다 많은 정보량을 제공하기 때문에 영상 처리 기반 운전자 보조 시스템 개발에 대한 연구가 활발하다. Research and development on the acquisition and utilization of driving information is active to assist the driver's driving for the prevention of driving accidents, and many driver driving assistance systems are already being used commercially in high-grade passenger cars. Although various sensors are used to obtain driving information, research on image processing based driver assistance system is actively conducted because image information acquired through a camera provides more information than driving information obtained from other sensors.

운전자 보조 시스템 개발에 있어 반드시 필요한 정보 중 하나는 전방 차량 검출이다. 전방 차량 검출은 '전방 차량 후보 영역 추출'(Hypothesis Generation) 및 후보 영역이 차량을 포함하는 가를 확인하는 '검증'(Hypothesis Verification)의 2단계로 수행되는 것이 보편적이다. One of the pieces of information essential to the development of driver assistance systems is forward vehicle detection. Front vehicle detection is generally performed in two stages: 'Hypothesis Generation' and 'Hypothesis Verification' to confirm whether the candidate region includes a vehicle.

종래 기술에 따르면, 기존 전방 차량 후보 영역 검출의 단서로는 대칭, 색상, 음영, 코너, 수직 및 수평 에지, 텍스처, 차량 신호등 불빛 등이 사용되며, 기존 차량 검증 수단으로는 템플레이트 매칭, 차량 특징 정보 기반 전방 차량 분류기 훈련 및 검증, 추적 정보 기반 매칭 등이 사용된다. 검증 수단으로서의 템플이트 매칭은 정확도가 높지 않고, 특징 정보 기반 분류기 훈련 및 검증은 경우에 따라서 오프라인 훈련이 복잡하고 온라인 검증 알고리즘이 복잡하여 실시간 수행에 부적합하다는 문제점이 있다.According to the prior art, the existing front vehicle candidate area detection includes symmetry, color, shadow, corner, vertical and horizontal edge, texture, vehicle traffic light, etc., and the existing vehicle verification means template matching, vehicle characteristic information. Based forward vehicle classifier training and verification, tracking information based matching, etc. are used. Template matching as a verification means does not have high accuracy, and feature information-based classifier training and verification has a problem in that it is not suitable for real-time execution because the offline training is complicated and the online verification algorithm is complicated in some cases.

위의 종래 기술 뿐만 아니라 다른 종래 기술의 경우 차량 후보 영역을 추출하는 데 있어서 영상 데이터 전체 영역을 탐색하기 때문에 많은 시간이 소요되며, 차량이 존재할 수 없는 영역(도로밖 영역, 음영 등에 의해 차량 후보 영역으로 오인되는 도로 영역 등)에서도 차량 후보 영역을 추출하는 경우가 발생되므로 차량 검출의 정확도가 낮다는 문제점이 있다.
In addition to the above-described prior art, in the case of other conventional techniques, it takes a lot of time because the entire image data is searched for extracting the vehicle candidate region, and a region where a vehicle cannot exist (the vehicle candidate region due to an off-road region, a shadow, etc.). In the case of a road region which is mistaken for a road, etc.), a vehicle candidate region is extracted, which causes a problem of low vehicle detection accuracy.

본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명이 해결하고자 하는 과제는 많은 계산량이 요구되지 않는 영상의 장면 정보를 차량 후보 영역 검출 및 차량 검증에 활용하므로써 전방 차량 검출 수행 속도 및 검출 성능을 개선할 수 있는 영상의 장면 정보를 이용한 전방 차량 검출 방법을 제공하기 위한 것이다.SUMMARY OF THE INVENTION The present invention has been made to overcome the above-mentioned conventional problems, and the problem to be solved by the present invention is the speed and detection of forward vehicle detection by utilizing scene information of an image, which does not require a large amount of calculation, for vehicle candidate region detection and vehicle verification. An object of the present invention is to provide a method for detecting a front vehicle using scene information of an image capable of improving performance.

본 발명의 예시적인 실시예에 따르면, 주행 차량에 탑재된 카메라에서 획득한 영상을 입력하는 단계; 입력된 영상의 잡음을 제거하고 에지 정보를 개선하기 위한 영상 전처리를 수행하는 단계; 차량 후보 영역 추출을 위한 관심 영역 결정 단계; 도로 및 그림자 정보를 추출하여 도로 영역과 그림자 영역을 추출하는 단계; 차량의 수평 및 수직 라인을 검출하고, 검출된 수평 및 수직 라인을 포함하는 차량 후보 영역을 추출하는 단계; 및 추출된 차량 후보 영역에 차량이 존재하는지 검증하는 단계를 포함하는 영상의 장면 정보를 이용한 전방 차량 검출 방법이 제공된다.According to an exemplary embodiment of the present invention, the method includes: inputting an image acquired by a camera mounted on a driving vehicle; Performing image preprocessing to remove noise of an input image and to improve edge information; Determining a region of interest for vehicle candidate region extraction; Extracting road and shadow areas by extracting road and shadow information; Detecting horizontal and vertical lines of the vehicle and extracting a vehicle candidate region including the detected horizontal and vertical lines; And verifying whether a vehicle exists in the extracted vehicle candidate region, a front vehicle detection method using scene information of an image.

상기 영상 전처리를 수행하는 단계는 입력 영상이 컬러인 경우 그레이 레벨 영상 변환을 수행하는 단계; 잡음 개선 및 에지 정보 개선을 위한 필터링하는 단계; 및 소벨 에지 검출기를 이용하여 수평 에지 및 수직 에지 검출하는 단계를 포함한다.The performing of the image preprocessing may include performing gray level image conversion when the input image is color; Filtering for noise improvement and edge information improvement; And detecting a horizontal edge and a vertical edge using a Sobel edge detector.

상기 필터링 하는 단계는 랭크 오더 필터(Rank Order Filter)를 이용하여 필터링을 수행한다.The filtering may be performed by using a rank order filter.

상기 관심 영역 결정 단계는 소실점을 추정하는 단계; 추정된 소실점을 이용하여 수평선을 구하는 단계; 및 차량 후보 영역 추출을 위한 관심 영역을 결정하는 단계;를 포함하며, 상기 관심 영역은 상기 수평선 보다 30 픽셀 높은 선 아래 부분과 전체 영상 데이터 높이의 1/8 이상 사이 공간으로 결정하는 것을 특징으로 한다.The determining a region of interest may include estimating a vanishing point; Obtaining a horizontal line using the estimated vanishing point; And determining a region of interest for vehicle candidate region extraction, wherein the region of interest is determined as a space between a portion below the line 30 pixels higher than the horizontal line and 1/8 or more of the height of the entire image data. .

상기 소실점을 추정하는 단계는 소실점 추정을 위한 영상 전처리 과정을 수행하는 단계; 상기 영상 전처리 과정에서 얻어진 에지들에 대해 허프 변환을 적용하여 허프 라인을 찾아낸 후, 방향이 유사하고 위치가 인접한 유사 허프라인들을 통합하여 소실점 추정에 사용될 후보 허프 라인을 식별하는 허프 라인 식별 단계; 및 상기 후보 허프 라인으로부터 소실점을 추정하는 단계를 포함한다. The estimating the vanishing point may include performing an image preprocessing process for estimating the vanishing point; A huff line identification step of identifying a huff line by applying a hough transform on edges obtained in the image preprocessing, and then integrating similar huff lines having similar directions and adjacent positions; And estimating a vanishing point from the candidate hough line.

상기 도로 영역과 그림자 영역을 추출하는 단계는 도로 영역과 그림자 영역을 추출하기 위한 도로 통계 정보 관심 영역을 결정하는 단계; 상기 결정된 도로 통계 정보 관심 영역에서 도로 통계 정보를 추출하는 단계로서, 상기 관심 영역의 영상 이미지의 그레이 레벨 픽셀값들의 평균(m)과 표준 편차(v)를 구하는 단계; 및 상기 도로 통계 정보를 기초로 도로 영역 및 그림자 영역을 추출하는 단계;를 포함한다.The extracting the road area and the shadow area may include determining a road statistical information ROI for extracting the road area and the shadow area; Extracting road statistics information from the determined road statistical information ROI, comprising: obtaining an average m and a standard deviation v of gray level pixel values of the image image of the ROI; And extracting a road area and a shadow area based on the road statistical information.

상기 도로 영역 및 그림자 영역을 추출하는 단계는 임의의 픽셀 그레이 레벨값(L)이 아래 [식 1]의 범위에 있으면 The extracting of the road area and the shadow area may be performed if any pixel gray level value L is in the range of Equation 1 below.

[식 1][Formula 1]

평균(m)-3*표준편차(v) < L < 평균(m)+3*표준편차(v) Mean (m) -3 * standard deviation (v) <L <mean (m) + 3 * standard deviation (v)

해당 픽셀은 도로 후보 픽셀로 간주하고, 임의의 영역에서 도로 후보 픽셀들의 수가 60%를 넘으면 해당 영역은 도로 영역으로 추출한다.The pixel is regarded as a road candidate pixel, and if the number of road candidate pixels in any area exceeds 60%, the area is extracted as a road area.

상기 도로 영역 및 그림자 영역을 추출하는 단계는 임의의 픽셀 그레이 레벨값(L)이 아래 [식 2]를 만족하면, The extracting of the road area and the shadow area may be performed if any pixel gray level value L satisfies Equation 2 below.

[식 2][Formula 2]

L < 평균(m)-4*표준편차(v) L <mean (m)-4 * standard deviation (v)

그림자 후보 픽셀로 간주하고, 임의의 영역에서 그림자 후보 픽셀이 50% 가 넘으면 해당 영역을 그림자 영역으로 추출한다.It is regarded as a shadow candidate pixel, and if a shadow candidate pixel exceeds 50% in an arbitrary region, the corresponding region is extracted as a shadow region.

상기 차량 후보 영역 추출 단계는 영상 전처리 과정이 이루어진 영상 데이터로부터 수평 및 수직 라인을 검출하는 단계; 및 상기 검출된 수평 및 수직 라인을 이용하여 차량 후보 영역을 추출하는 단계로서, 수평 라인이 존재하고, 수평 라인 하단 부위 또는 상단 부위 근방에 수직 라인이 검출되는 경우, 수평 라인 및 수직 라인을 포함하는 사각형을 차량 후보 영역으로 추출하는 단계를 포함한다.The extracting of the vehicle candidate region may include detecting horizontal and vertical lines from image data in which image preprocessing is performed; And extracting a vehicle candidate region by using the detected horizontal and vertical lines, wherein a horizontal line exists and includes a horizontal line and a vertical line when a vertical line is detected near the lower portion or the upper portion of the horizontal line. Extracting the rectangle as the vehicle candidate region.

상기 수평 및 수직 라인을 검출하는 단계는 소벨 에지 마스크를 적용하여 얻은 에지 영상을 이진화한 에지 이진화 이미지에 대해 허프변환을 적용하여 검출한다. The detecting of the horizontal and vertical lines may be performed by applying a Hough transform on an edge binarized image obtained by binarizing an edge image obtained by applying a Sobel edge mask.

상기 차량 후보 영역 검증 단계는 상기 차량 후보 영역 내에 그림자 영역이 존재하는지 확인하는 단계; 상기 차량 후보 영역 하단 부분에 도로 영역이 존재하는지 확인하는 단계; 추가 검증 조건을 확인하는 단계; 및 각 검증 결과에 가중치를 적용하여 검증 가중치 총합에 따라 차량 후보 영역에 차량이 존재하는지를 검증하는 단계;를 포함한다. The vehicle candidate region verification step may include: checking whether a shadow region exists in the vehicle candidate region; Checking whether a road area exists at a lower portion of the vehicle candidate area; Identifying additional verification conditions; And verifying whether the vehicle exists in the vehicle candidate region according to the verification weight sum by applying a weight to each verification result.

상기 추가 검증 조건은 차량 후보 영역에 바퀴 존재 유무, 대칭성 성립 유무, 수평 에지 분포 및 후미등 존재 유무 중 어느 하나 또는 둘 이상의 조합인 것을 특징으로 한다. The additional verification condition may be any one or a combination of two or more of the presence or absence of wheels, symmetry, horizontal edge distribution, and tail light in the vehicle candidate region.

상기 검증 가중치 총합에 따라 차량 후보 영역에 차량이 존재하는지를 검증하는 단계는 차량 넓이가 넓을수록 상기 검증 가중치 총합 점수를 높게 설정하여 차량이 존재하는지를 검증한다.
In the verifying whether the vehicle exists in the vehicle candidate region according to the verification weight sum, the verification weight sum score is set higher as the vehicle width is wider to verify whether the vehicle exists.

본 발명에서와 같이, 영상 장면의 소실점 및 수평선 등의 장면 기하학적 정보 및 도로 영역 그레이 레벨 정보 등의 장면 외양 정보와 같은 많은 계산량을 요구하지 않은 비교적 간단한 영상의 장면 정보를 차량 후보 영역 검출 및 차량 검증에 활용하므로써 전방 차량 검출 수행 속도 및 검출 성능을 개선하였으며, 본 발명에서 제안한 전방 차량 검출 방법은 개선된 영상 처리 기반 실시간 운전자 보조 시스템 개발을 가능하게 한다.
As in the present invention, vehicle candidate region detection and vehicle verification of scene information of a relatively simple image that does not require a large amount of computation such as scene geometric information such as vanishing point and horizon of the image scene and scene appearance information such as road area gray level information. The speed of the front vehicle detection is improved and the detection performance is improved, and the front vehicle detection method proposed by the present invention enables the development of an improved image processing based real-time driver assistance system.

도 1은 본 발명의 실시예에 따른 영상의 장면 정보를 이용한 전방 차량 검출 방법의 개략적인 흐름도이다.
도 2는 도 1에 도시된 영상 전처리 단계를 수행하기 위한 과정을 나타낸 흐름도이다.
도 3은 영상 전처리 단계를 적용한 이미지 사진이다.
도 4a는 본 실시예에서 수평 에지 검출을 위하여 사용한 수평 에지 마스크이며, 도 4b는 수직 에지 검출을 위하여 사용한 수직 에지 마스크이다.
도 5a 내지 도 5d는 에지 마스크를 적용하고 이진화한 이미지와 필터 적용 후 에지 마스크를 적용하고 이진화한 이미지를 나타낸다.
도 6은 관심 영역 결정 단계를 수행하기 위한 과정을 나타낸 흐름도이다.
도 7은 관심 영역이 결정된 사진을 나타낸 도이다.
도 8은 도 6에 도시된 소실점 추정 과정을 수행하기 위한 세부 과정을 나타낸 흐름도이다.
도 9는 도로 및 그림자 정보 추출 단계를 수행하기 위한 과정을 나타낸 흐름도이다.
도 10a는 도로 통계 정보 관심영역을 결정한 상태를 나타낸 도이며, 도 10b은 도로 영역을 결정한 상태를 나타낸 도이고, 도 10c는 그림자 영역을 결정한 상태를 나타낸 도이다.
도 11은 차량 후보 영역 추출 단계를 수행하기 위한 과정을 나타낸 흐름도이다.
도 12는 수평 라인을 표시한 도이며, 도 13은 수직 라인을 표시한 도이다.
도 14는 수평 라인과 수직 라인을 포함하는 차량 후보 영역을 검출한 도이다.
도 15는 차량 후보 영역 검증 단계를 수행하기 위한 과정을 나타낸 흐름도이다.
도 16은 그림자 영역이 존재하는 경우의 결과 이미지를 나타낸다.
도 17은 도로 영역이 존재하는 경우의 결과 이미지를 나타낸다.
도 18은 본 발명의 실시예에 따른 영상의 장면 정보를 이용한 전방 차량 검출 방법을 이용하여 검출된 전방 차량을 표시한 이미지이다.
1 is a schematic flowchart of a method for detecting a front vehicle using scene information of an image according to an exemplary embodiment of the present invention.
FIG. 2 is a flowchart illustrating a process for performing the image preprocessing step shown in FIG. 1.
3 is an image photograph to which the image preprocessing step is applied.
4A is a horizontal edge mask used for horizontal edge detection in this embodiment, and FIG. 4B is a vertical edge mask used for vertical edge detection.
5A to 5D show an image obtained by applying an edge mask and binarized and an image obtained by applying an edge mask after applying a filter and binarized.
6 is a flowchart illustrating a process for performing a region of interest determination.
7 is a diagram illustrating a photograph in which a region of interest is determined.
8 is a flowchart illustrating a detailed process for performing the vanishing point estimation process illustrated in FIG. 6.
9 is a flowchart illustrating a process for performing a road and shadow information extraction step.
FIG. 10A illustrates a state in which a road statistical information ROI is determined, FIG. 10B illustrates a state in which a road region is determined, and FIG. 10C illustrates a state in which a shadow region is determined.
11 is a flowchart illustrating a process for performing a vehicle candidate region extraction step.
12 is a diagram illustrating a horizontal line, and FIG. 13 is a diagram illustrating a vertical line.
14 is a diagram illustrating a vehicle candidate area including a horizontal line and a vertical line.
15 is a flowchart illustrating a process for performing a vehicle candidate region verification step.
16 shows the resultant image when the shadow area exists.
17 shows the resultant image when the road area exists.
18 is an image showing a front vehicle detected by using a front vehicle detection method using scene information of an image according to an exemplary embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.

도 1은 본 발명의 실시예에 따른 영상의 장면 정보를 이용한 전방 차량 검출 방법의 개략적인 흐름도이다.1 is a schematic flowchart of a method for detecting a front vehicle using scene information of an image according to an exemplary embodiment of the present invention.

도 1을 참조하면, 우선 주행 차량에 탑재된 카메라에서 획득한 영상을 입력하는 과정을 수행한다(S100).Referring to FIG. 1, first, a process of inputting an image acquired by a camera mounted on a driving vehicle is performed (S100).

입력된 영상의 잡음을 제거하고 에지 정보를 개선하기 위한 영상 전처리 단계를 수행한다(S200).An image preprocessing step for removing noise of an input image and improving edge information is performed (S200).

그리고 나서, 차량 후보 영역 추출을 위한 관심 영역을 결정하는 단계를 수행한다(S300). 후보 영역을 추출하기 위하여, 영상 데이터에서 수평 및 수직 에지 검출 방식을 활용한다. 이때, 영상 데이터의 모든 영역에서 수평 에지 및 수직 에지를 검출할 경우 많은 시간이 소요되므로, 본 발명의 실시예서는 관심 영역을 결정하고 관심 영역 내에서 차량 후보 영역을 추출한다. Then, a step of determining a region of interest for vehicle candidate region extraction is performed (S300). In order to extract candidate regions, horizontal and vertical edge detection methods are used in the image data. In this case, since it takes a long time to detect the horizontal edge and the vertical edge in all regions of the image data, the embodiment of the present invention determines the region of interest and extracts the vehicle candidate region within the region of interest.

전방 차량 검출에서 관심 영역은 사실상 도로 영역이 된다. 그러나, 영상 데이터에서 도로 영역만을 정확히 추출하는 것은 어려운 일이며 많은 시간이 소요되므로, 본 발명의 실시예에서는 소실점(vanishing point)을 이용하여 수평선(horizon line)을 구하고, 수평선을 기준으로 관심 영역을 결정한다. 관심 영역을 결정하는 단계는 이하에서 보다 상세히 설명한다.In front vehicle detection, the area of interest is effectively a road area. However, since it is difficult and time consuming to accurately extract only the road area from the image data, in the embodiment of the present invention, a horizontal line is obtained by using vanishing points, and the region of interest is based on the horizontal line. Decide Determining the region of interest is described in more detail below.

그 다음, 영상 데이터에서 도로 및 그림자 정보를 추출하여 도로 영역과 그림자 영역을 추출하는 단계를 수행한다(S400).Then, the road and shadow information is extracted from the image data to extract the road area and the shadow area (S400).

차량의 수평 및 수직 라인을 검출하고, 검출된 수평 및 수직 라인을 포함하는 차량 후보 영역을 추출하는 단계를 수행한다(S500).Detecting horizontal and vertical lines of the vehicle, and extracting a vehicle candidate region including the detected horizontal and vertical lines (S500).

그리고 나서, 추출된 차량 후보 영역에 차량이 존재하는지 검증하는 단계를 수행한다(S600).
Then, a step of verifying whether a vehicle exists in the extracted vehicle candidate region is performed (S600).

도 2는 도 1에 도시된 영상 전처리 단계를 수행하기 위한 과정을 나타낸 흐름도이며, 도 3은 영상 전처리 단계를 적용한 이미지 사진이며, 도 4a는 본 실시예에서 수평 에지 검출을 위하여 사용한 수평 에지 마스크이며, 도 4b는 수직 에지 검출을 위하여 사용한 수직 에지 마스크이고, 도 5a 내지 도 5d는 에지 마스크를 적용하고 이진화한 이미지와 필터 적용 후 에지 마스크를 적용하고 이진화한 이미지를 나타낸다.2 is a flowchart illustrating a process for performing the image preprocessing step shown in FIG. 1, FIG. 3 is an image photograph to which the image preprocessing step is applied, and FIG. 4A is a horizontal edge mask used for horizontal edge detection in the present embodiment. 4B is a vertical edge mask used for vertical edge detection, and FIGS. 5A to 5D show an image obtained by applying an edge mask and binarizing the edge mask, and an image applying the edge mask after applying the filter and binarization.

도 2를 참조하여 영상 전처리 단계(S200)를 살펴보면, 입력 영상이 컬러인 경우 그레이 레벨 영상 변환 과정을 수행한다(S210). 그 다음, 잡음 개선 및 에지 정보 개선을 위한 필터링 과정을 수행한다(S220). 그리고 나서, 소벨 에지 검출기를 이용하여 수평 에지 및 수직 에지 검출 과정을 수행한다(S230).Referring to FIG. 2, the image preprocessing step (S200) will be described. If the input image is color, the gray level image conversion process is performed (S210). Next, a filtering process for noise improvement and edge information improvement is performed (S220). Then, the horizontal edge and vertical edge detection process is performed using the Sobel edge detector (S230).

컬러 입력 영상은 그레이 레벨 영상에 비해 영상 처리에 많은 시간이 소요되므로 실시간 처리에 불리하다. 또한, 컬러 영상 데이터의 경우 야간에는 컬러 정보가 많이 사라지게 되므로, 주야간 동일한 알고리즘 처리를 위하여 그레이 레벨 기반 영상 처리가 바람직하다. The color input image is disadvantageous in real time processing because it takes more time to process the image than the gray level image. In addition, in the case of color image data, since a lot of color information disappears at night, gray level based image processing is preferable for the same algorithm processing day and night.

입력 영상으로부터 얻은 그레이 레벨 영상은 잡음이 있으며 경우에 따라 에지가 선명하지 못하므로, 필터링 과정을 수행한다. 본 발명의 실시예에서는 랭크 오더 필터 (Rank Order Filter)를 구현하여 사용하였다. 도 3a에는 컬러 영상이 도시되며, 도 3b에는 S210과정을 통하여 변환된 그레이 레벨 영상이 도시되며, 도 3c 및 도 3d에는 수평 랭크 오더 필터 및 수직 랭크 오더 필터를 적용한 영상이 도시된다.Since the gray level image obtained from the input image is noisy and the edges are not clear in some cases, the filtering process is performed. In an embodiment of the present invention, a rank order filter was implemented and used. 3A illustrates a color image, and FIG. 3B illustrates a gray level image converted through S210, and FIGS. 3C and 3D show an image to which a horizontal rank order filter and a vertical rank order filter are applied.

본 발명의 실시예에서는 실시간 처리를 위해 계산량이 많은 캐니 에지 검출기보다는 계산량이 적은 소벨 에지 검출기를 이용하였다. 수평 에지 검출을 위해 사용한 소벨(Sobel) 수평 에지 마스크와 수직 에지 마스크는 도 4a 및 도 4b에 각각 도시된다.In the exemplary embodiment of the present invention, a Sobel edge detector having a small amount of calculation is used for a real-time processing rather than a large calculation canny edge detector. Sobel horizontal edge masks and vertical edge masks used for horizontal edge detection are shown in FIGS. 4A and 4B, respectively.

도 5a는 수평 소벨 에지 마스크를 적용하고 이진화한 이미지이며, 도 5b는 수평 랭크 오더 필터 적용후 수평 소벨 에지 마스크를 적용하고 이진화한 이미지이다. 또한, 도 5c는 수직 소벨 에지 마스크를 적용하고 이진화한 이미지이며, 도 5d는 수직 랭크 오더 필터 적용후 수직 소벨 에지 마스크를 적용하고 이진화한 이미지이다. FIG. 5A is a binarized image obtained by applying a horizontal Sobel edge mask, and FIG. 5B is binarized image after applying a horizontal Sobel edge mask after applying a horizontal rank order filter. In addition, FIG. 5C is a binarized image obtained by applying a vertical Sobel edge mask, and FIG. 5D is binarized image after applying a vertical Sobel edge mask after applying a vertical rank order filter.

도 5의 비교 사진에서도 알 수 있듯이 랭크 오더 필터를 적용한 후, 소벨 수평 및 수직 에지 검출이 좀 더 잡음이 없고 더 선명한 에지를 얻는 것을 확인할 수 있다.
As can be seen in the comparison picture of FIG. 5, after applying the rank order filter, it can be seen that the Sobel horizontal and vertical edge detections have more noise and sharper edges.

도 6은 관심 영역 결정 단계를 수행하기 위한 과정을 나타낸 흐름도이고, 도 7은 관심 영역이 결정된 사진을 나타낸 도이고, 도 8은 도 6에 도시된 소실점 추정 과정을 수행하기 위한 세부 과정을 나타낸 흐름도이다.FIG. 6 is a flowchart illustrating a process for performing a region of interest determination, FIG. 7 is a diagram illustrating a photograph in which a region of interest is determined, and FIG. 8 is a flowchart illustrating a detailed process for performing the vanishing point estimation process illustrated in FIG. 6. to be.

도 6 내지 도 8을 참조하여 관심 영역 결정 단계(S300)를 살펴보면, 우선 소실점을 추정하는 과정을 수행한다(S310). Referring to FIGS. 6 to 8, a process of determining a region of interest (S300) is performed. First, a process of estimating a vanishing point is performed (S310).

S310과정을 통하여 추정된 소실점을 이용하여 수평선을 구하는 과정을 수행한다(S320). The process of obtaining a horizontal line using the vanishing point estimated through the process S310 is performed (S320).

그리고 나서, 차량 후보 영역 추출을 위한 관심 영역을 결정하는 과정을 수행한다(S330). 대부분의 도로 영상에서 차량이 영상 데이터 높이의 1/8 이상에서 나타나며, 차량은 수평선 위로 걸쳐 보인다. 따라서, 본 발명의 실시예에서는 도 7에 도시된 바와 같이, 차량 후보 영역 추출을 위한 관심 영역을 수평선 보다 30 픽셀 높은 선 아래 부분과 전체 영상 데이터 높이의 1/8 이상 사이 공간을 관심 영역으로 결정하였다. 이하에서는 관심 영역 내에서만 수평 및 수직 에지를 추출하고 이를 이용하여 차량 후보 영역을 추출하였다.
Thereafter, a process of determining a region of interest for vehicle candidate region extraction is performed (S330). In most road images, vehicles appear above 1/8 of the image data height, and the vehicle is visible over the horizon. Therefore, according to the exemplary embodiment of the present invention, as shown in FIG. 7, the space between the portion below the line 30 pixels higher than the horizontal line and 1/8 or more of the height of the entire image data is determined as the region of interest as the region of interest for vehicle candidate region extraction. It was. Hereinafter, horizontal and vertical edges are extracted only within the region of interest, and vehicle candidate regions are extracted using the same.

도 8을 참조하여 소질점을 추정하는 과정을 보다 상세히 살펴본다.Referring to Figure 8 looks at the process of estimating the material point in more detail.

소실점(vanishing point)은 3D 실세계 평행선이 2D 이미지에 투영되어 교차되는 2D 이미지 점(point)를 말한다. 3D 실세계 도로의 차선은 평행선이므로 도로 주행 2D 이미지에 한 점으로 나타나는 소실점은 차선 정보를 줄 수있으므로 운전자 보조시스템에 매우 유용하게 사용된다. 본 발명의 실시예에서는 수평선을 구하기 위한 선행자료로서 활용된다.Vanishing point refers to a 2D image point where 3D real world parallel lines are projected and intersected on a 2D image. Since the lanes of 3D real-world roads are parallel, vanishing points that appear as a point in the road driving 2D image can give lane information and are very useful for driver assistance systems. In the embodiment of the present invention is used as a prior material for obtaining a horizontal line.

이러한 소실점을 추정하기 위하여, 우선 소실점 추정을 위한 영상 전처리 과정을 수행한다(S311). 전처리 과정은 도로 주행 영상 데이터에서 차선 부분을 명확히 하여 차선으로부터의 에지가 좀 더 분명하게 추출되도록 영상 전처리를 수행하는 과정이다. 먼저, 컬러 영상은 실시간 처리 목적과 주야간 영상 동일 처리 목적을 위해 그레이레벨 영상으로 변환한다. 다음, 도로 영역의 통계를 구하여 도로 영역 통계와 합치되는 부분은 도로 영역으로 간주하고 밝기 강도(intensity)를 0 으로 할당한다. 또한, 에지가 보다 선명히 나타나도록 랭크 오더 필터(rank order filter) 를 적용한다. 이후 에지 검출기를 적용한 후 이진화하여 이진화 에지 영상을 얻는다.In order to estimate the vanishing point, first, an image preprocessing process for estimating the vanishing point is performed (S311). The preprocessing process is a process of performing image preprocessing so that the edge portion from the lane is more clearly extracted by clarifying the lane portion in the road driving image data. First, a color image is converted into a gray level image for the purpose of real-time processing and the same day and night image processing. Next, the area of the road area is calculated, and the portion of the road area that is consistent with the road area statistics is regarded as the road area, and the brightness intensity is assigned to 0. In addition, a rank order filter is applied so that the edges appear more clearly. After applying the edge detector and then binarized to obtain a binarized edge image.

그 다음, 허프 라인 식별과정을 수행한다(S312). 허프 라인 식별 과정은 전처리 과정(S311)에서 얻어진 에지들에 대해 소실점 예측에 필요한 후보 허프 라인을 구하는 과정이다. 에지들에 대해 허프 변환을 적용하여 허프 라인을 찾아낸 후, 방향이 유사하고 위치가 매우 인접한 유사 허프라인들을 통합하여 소실점 추정에 사용될 후보 허프 라인을 식별한다.Then, the Huff line identification process is performed (S312). The huff line identification process is a process of obtaining candidate huff lines necessary for the vanishing point prediction for the edges obtained in the preprocessing process S311. After applying the Hough transform on the edges to find the Hough line, the similar Huff lines with similar directions and very close positions are identified to identify candidate Hough lines to be used for the vanishing point estimation.

그리고 나서, 소실점을 추정하는 과정을 수행한다(S313). 후보 허프 라인으로부터 소실점을 추정하는 과정이다. 추정된 소실점의 신뢰도를 계산하고 신뢰도를 개선하기 위해 과거 소실점 추정치를 이용하여 소실점 추정 값을 개선한다.
Then, a process of estimating the vanishing point is performed (S313). It is a process of estimating a vanishing point from a candidate huff line. In order to calculate the reliability of the estimated vanishing point and improve the reliability, the vanishing point estimate is improved by using the past vanishing point estimate.

도 9는 도로 및 그림자 정보 추출 단계를 수행하기 위한 과정을 나타낸 흐름도이며, 도 10a는 도로 통계 정보 관심영역을 결정한 상태를 나타낸 도이며, 도 10b은 도로 영역을 결정한 상태를 나타낸 도이고, 도 10c는 그림자 영역을 결정한 상태를 나타낸 도이다.FIG. 9 is a flowchart illustrating a process for performing a road and shadow information extraction step, FIG. 10A is a diagram illustrating a state of interest of road statistical information, and FIG. 10B is a diagram of a state of determining a road area, and FIG. 10C. Is a view showing a state in which the shadow area is determined.

도 9를 참조하여 도로 및 그림자 정보 추출 단계를 살펴보면, 우선 도로 영역과 그림자 영역을 추출하기 위한 도로 통계 정보 관심 영역을 결정하는 과정을 수행한다(S410). 먼저, 도로 그레이 레벨의 통계 정보 관심 영역을 결정하기 위하여, 도로 정보가 주로 포함될 도로 통계 정보 관심 영역을 도로 주행 영상 이미지에서 세로는 영상 이미지의 상단부를 기준으로 영상 이미지 높이의 2/3 부터 영상 이미지 높이의 5/6 까지, 가로는 영상 이미지의 좌측부를 기준으로 1/3 부터 2/3 지점까지의 영역을 도로 통계 정보 관심 영역으로 정하였다. 이 영역을 도로 통계 정보 관심 영역으로 잡은 이유는 도로 주행 영상 이미지에서 이 부분은 보통 차량이 검출되지 않고 도로 영역인 경우가 대부분이기 때문이다(도 10a 참조). Referring to FIG. 9, the road and shadow information extraction step is performed. First, a process of determining a road statistical information ROI for extracting a road area and a shadow area is performed (S410). First, in order to determine the ROI of the statistical information of the road gray level, the road statistical information ROI, which is mainly included in the road information, is vertical from the 2/3 of the height of the image image based on the upper end of the image image. Up to 5/6 of the height, the area from the 1/3 to 2/3 point of the left side of the video image is defined as the road statistical information region of interest. The reason why this area is regarded as the road statistical information region of interest is that this part of the road driving image image is usually a road area without a vehicle being detected (see FIG. 10A).

그 다음, 결정된 도로 통계 정보 관심 영역에서 도로 통계 정보를 추출하는 과정을 수행한다(S420). 본 실시예의 경우, 관심 영역의 영상 이미지의 그레이 레벨 픽셀값들의 평균(m)과 표준 편차(v)를 구한다.Next, a process of extracting road statistics information from the determined road statistics information ROI is performed (S420). In the present embodiment, the mean (m) and standard deviation (v) of gray level pixel values of the video image of the ROI are obtained.

그리고 나서, 도로 영역 및 그림자 영역을 추출하는 과정을 수행한다(S430). 본 발명의 실시예에서 임의의 픽셀 그레이 레벨값(L)이 아래 [식 1]의 범위에 있으면 해당 픽셀은 도로 후보 픽셀로 간주하고, 임의의 영역에서 도로 후보 픽셀들의 수가 60%를 넘으면 해당 영역은 도로 영역으로 간주한다. Then, a process of extracting the road area and the shadow area is performed (S430). In an embodiment of the present invention, if any pixel gray level value L is in the range of [Equation 1] below, the pixel is regarded as a road candidate pixel, and if the number of road candidate pixels in any area exceeds 60%, the corresponding area Is regarded as the road area.

[식 1][Formula 1]

평균(m)-3*표준편차(v) < L < 평균(m)+3*표준편차(v) Mean (m) -3 * standard deviation (v) <L <mean (m) + 3 * standard deviation (v)

도 10b는 도 10a의 이미지에 대해 도로 영역 후보 픽셀들을 흰색으로, 그밖의 픽셀들은 검정색으로 처리한 도로 후보 픽셀 영역의 이진화 이미지를 보여준다.FIG. 10B shows a binarized image of the road candidate pixel area with the road area candidate pixels white and other pixels black for the image of FIG. 10A.

또한, 임의의 픽셀 그레이 레벨값(L)이 아래 [식 2]를 만족하면, 그림자 후보 픽셀로 간주하고, 임의의 영역에서 그림자 후보 픽셀이 50% 가 넘으면 해당 영역을 그림자 영역으로 간주하였다. In addition, when an arbitrary pixel gray level value L satisfies the following [Equation 2], it is regarded as a shadow candidate pixel, and when a shadow candidate pixel exceeds 50% in any region, the corresponding area is regarded as a shadow area.

[식 2][Formula 2]

L < 평균(m)-4*표준편차(v) L <mean (m)-4 * standard deviation (v)

도 10c는 도 10a의 이미지에 대해 그림자 영역 후보 픽셀들을 흰색으로, 그밖의 픽셀들은 검정색으로 처리한 그림자 후보 픽셀 영역의 이진화 이미지를 보여준다.
FIG. 10C shows a binarized image of the shadow candidate pixel area in which the shadow area candidate pixels are white and other pixels are black for the image of FIG. 10A.

도 11은 차량 후보 영역 추출 단계를 수행하기 위한 과정을 나타낸 흐름도이며, 도 12는 수평 라인을 표시한 도이며, 도 13은 수직 라인을 표시한 도이고, 도 14는 수평 라인과 수직 라인을 포함하는 차량 후보 영역을 검출한 도이다.11 is a flowchart illustrating a process for performing a vehicle candidate region extraction step, FIG. 12 is a diagram illustrating a horizontal line, FIG. 13 is a diagram illustrating a vertical line, and FIG. 14 includes a horizontal line and a vertical line. It is a figure which detected the vehicle candidate area | region to make.

도 11을 참조하여 차량 후보 영역 추출 단계(S500)를 살펴보면, 우선 전처리 과정이 이루어진 영상 데이터로부터 수평 및 수직 라인을 검출하는 과정을 수행한다(S510). 차량의 각기 전방 차량 뷰 또는 후방 차량 뷰 등 각기 다른 뷰들은 뒤 차의 유리, 범퍼 등 많은 수평 및 수직 구조체를 포함하고 있으며, 이러한 구조체로부터 검출되는 수평 및 수직 에지들은 차량 존재의 강력한 실마리가 된다. 관심 영역 밖에서 검출되는 수평 및 수직 에지는 대상에서 제외되며, 일정 길이를 갖지 않는 수평 에지 및 수직 에지도 제외된다. Referring to FIG. 11, a vehicle candidate region extraction step (S500) is performed. First, a process of detecting horizontal and vertical lines from image data in which a preprocessing process is performed is performed (S510). Different views, such as the front vehicle view or the rear vehicle view of the vehicle, include many horizontal and vertical structures, such as the rear car's glass, bumpers, and the horizontal and vertical edges detected from these structures are powerful clues to the vehicle's presence. Horizontal and vertical edges detected outside the region of interest are excluded from the subject, even horizontal edges and vertical edges that do not have a certain length.

본 발명의 실시예에서는 주행 차량 이미지에서 도로가 평평한 것으로 가정하고 있기 때문에 수평 에지 이미지에서 수평 라인(즉, 수평선과 평행인 라인 세그먼트)만을 고려 대상으로 간주하며, 수직 에지 이미지에서도 일정 길이를 갖는 수직 라인만을 검토한다. In the embodiment of the present invention, since the road is assumed to be flat in the driving vehicle image, only horizontal lines (that is, line segments parallel to the horizontal line) are considered in the horizontal edge image, and the vertical having a constant length in the vertical edge image is considered. Review only the lines.

본 발명의 실시예에서는 에지 검출을 하기 위하여 처리 시간이 적은 3x3 소벨 에지 마스크를 이용하였고 에지 검출을 개선하기 위해 소벨 에지 검출기 적용전에 랭크 오더 필터를 사용하였다(영상 전처리 단계). In the embodiment of the present invention, a 3x3 Sobel edge mask with low processing time was used for edge detection, and a rank order filter was used before application of the Sobel edge detector to improve edge detection (image preprocessing step).

수평 및 수직 라인은 소벨 에지 마스크를 적용하여 얻은 에지 영상을 이진화한 에지 이진화 이미지에 대해 허프변환을 적용하여 추출한다. 본 발명의 실시예에서는 허프변환으로 라인을 찾고, 라인이 수평선과 이루는 각도를 이용하여 이들 라인중에서 수평 라인과 수직 라인을 찾았다.The horizontal and vertical lines are extracted by applying Hough transform on the edge binarized image obtained by binarizing the edge image obtained by applying the Sobel edge mask. In an embodiment of the present invention, lines are found by Hough transform, and horizontal lines and vertical lines are found among these lines by using angles formed by the horizontal lines.

도 12는 원컬러 영상 이미지에 허프 변환을 적용하여 찾은 수평 라인이 도시되며, 도 13은 원컬러 영상 이미지에 허프 변환을 적용하여 찾은 수직 라인이 도시된다.FIG. 12 illustrates horizontal lines found by applying a Hough transform to the one-color video image, and FIG. 13 illustrates vertical lines found by applying the Hough transform to the one-color video image.

S510과정을 통하여 수평 및 수직 라인을 검출한 후, 검출된 수평 및 수직 라인을 이용하여 차량 후보 영역을 추출하는 과정을 수행한다(S520).After detecting the horizontal and vertical lines through the process S510, the process of extracting the vehicle candidate region using the detected horizontal and vertical lines is performed (S520).

도 12 및 도 13을 살펴 보면, 수평 라인이 검출되는 차량의 경우에 수직 라인이 검출 되지 않거나, 수직 라인이 검출 되는 차량의 경우 수평 라인이 검출되지 않는 경우도 존재한다. 본 발명의 실시예에서는 수평 라인이 존재하고, 수평 라인 하단 부위 또는 상단 부위 근방에 수직 라인이 검출되는 경우, 수평 라인 및 수직 라인을 포함하는 사각형을 차량 후보 영역으로 추출하였다. 12 and 13, a vertical line may not be detected in a vehicle in which a horizontal line is detected, or a horizontal line may not be detected in a vehicle in which a vertical line is detected. In the exemplary embodiment of the present invention, when a horizontal line exists and a vertical line is detected near the lower portion of the horizontal line or near the upper portion, a quadrangle including the horizontal line and the vertical line is extracted as the vehicle candidate region.

도 14는 도 12의 검출된 수평 라인에 대해 수직 에지를 점검하기 위해서 선택된 수평라인 주변 조사 사각형 영역의 한 예를 보여 준다.
FIG. 14 shows an example of the irradiation rectangle area around the selected horizontal line to check the vertical edge with respect to the detected horizontal line of FIG. 12.

도 15는 차량 후보 영역 검증 단계를 수행하기 위한 과정을 나타낸 흐름도이며, 도 16은 그림자 영역이 존재하는 경우의 결과 이미지를 나타내며, 도 17은 도로 영역이 존재하는 경우의 결과 이미지를 나타내고, 도 18은 본 발명의 실시예에 따른 영상의 장면 정보를 이용한 전방 차량 검출 방법을 이용하여 검출된 전방 차량을 표시한 이미지이다.FIG. 15 is a flowchart illustrating a process for performing a vehicle candidate region verification step, FIG. 16 illustrates a result image when a shadow region exists, FIG. 17 illustrates a result image when a road region exists, and FIG. 18. Is an image showing the front vehicle detected using the front vehicle detection method using the scene information of the image according to an embodiment of the present invention.

도로 주행 차량은 햇빛, 거리 및 보이는 각도에 따라 영상에서 나타나 보이는 것이 매우 다양하다. 밝은 대낮의 도로 주행 차량에는 햇빛에 의해 차량의 그림자가 차량 아래 부분에 나타난다. 따라서, 그림자는 차량 확인의 강력한 근거가 된다. 하지만 육안으로는 그림자가 분명히 나타나 보이는 데 카메라 획득 영상에서는 분명하게 나타나지 않거나 차량 아래쪽이 아니라 측면에 나타날 때가 있으며, 또한 흐린날, 우천, 저녁 및 야간에는 그림자가 존재하지 않는다. Road-driven vehicles vary in appearance in the image, depending on sunlight, distance, and viewing angle. In bright daylight vehicles, the sun's shadow appears under the car due to sunlight. Thus, shadows are a strong basis for vehicle identification. However, the shadows are clearly visible to the naked eye, which may not be apparent in the camera acquisition image or on the side rather than under the vehicle, and there are no shadows on cloudy days, in the rain, in the evening and at night.

그러므로 차량 확인 단계에서 어떤 한가지 조건으로 차량 존재 유무를 판단하기 보다는 여러 개의 조건을 고려하여 검증하는 것이 필요하다. 본 발명의 실시예에서는 차량 검증에 그림자 정보, 도로 정보, 대칭성 정보 및 차량의 바퀴정보를 이용하였다.Therefore, it is necessary to verify by considering several conditions rather than determining whether a vehicle exists by any one condition in the vehicle identification step. In the exemplary embodiment of the present invention, shadow information, road information, symmetry information, and wheel information of the vehicle are used for vehicle verification.

도 15를 참조하여 차량 후보 영역 검증 단계(S600)를 살펴보면, 우선 그림자 영역이 존재하는지 확인하는 과정을 수행한다(S610). Looking at the vehicle candidate region verification step (S600) with reference to FIG. 15, first, a process of checking whether a shadow region exists is performed (S610).

차량 후보 영역 하단의 그림자 영역 존재 확인은 차량 후보 영역에 차량이 존재함을 나타내는 강력한 실마리가 된다. 그림자를 확인하는 부위는 차량후보의 수평 라인 상하부분에서 차량후보 높이의 1/8정도 되는 부분에서 그림자가 있는지를 확인한다. 도 16은 차량 후보 영역 하단 부분에 그림자 영역이 존재하는 경우의 이미지를 보여준다.The presence of the shadow area under the vehicle candidate area is a strong clue that the vehicle exists in the vehicle candidate area. The area to check the shadow checks whether there is a shadow at about 1/8 of the height of the candidacy above and below the horizontal line of the candidacy. FIG. 16 illustrates an image in a case where a shadow area exists at a lower portion of a vehicle candidate area.

그 다음, 도로 영역을 확인하는 과정을 수행한다(S620). 차량 후보 영역 하단 부분에 도로 영역이 존재하는지를 다음과 같이 확인한다. 본 발명의 실시예에서는 차량후보 아래에서 차량후보 높이의 1/2정도 되는 부분에서 도로 영역이 있는지를 확인한다. 도 17은 차량 후보 영역 하단 부분에 도로 영역이 존재하는 경우의 결과 이미지를 보여준다.Next, a process of checking a road area is performed (S620). It is as follows whether the road area exists in the lower part of the vehicle candidate area. In the embodiment of the present invention, it is checked whether there is a road area at a portion that is about 1/2 of the height of the vehicle candidate under the vehicle candidate. 17 shows an image of the result when the road area exists at the lower portion of the vehicle candidate area.

추가 검증 조건을 확인하는 과정을 수행한다(S630). The process of checking the additional verification condition is performed (S630).

차량의 바퀴부분은 햇빛과 위치의 변화에도 많은 색상변화가 나타나지 않고 대부분 검정색에 가깝다. 그러므로 차량의 확인에서 사용할 수 있는 중요한 정보가 된다. 대부분 차량은 좌우 수평방향으로 대칭성을 유지한다. 이 정보를 이용하여 차량과 비차량을 구분한다. 통상적으로 차량에서는 비교적 많은 수평 에지가 나타난다. 하지만 카메라에서 얻어지는 영상은 차량이 위치한 거리에 따라 확인가능한 수평에지의 수량에서 많은 차이를 보이며, 차량의 색깔에 따라 다르다. 통상적으로 차량에서는 비교적 많은 수평 에지가 나타난다. 하지만 카메라에서 얻어지는 영상은 차량이 위치한 거리에 따라 확인가능한 수평에지의 수량에서 많은 차이를 보이며, 차량의 색깔에 따라 다르다.  The wheels of the vehicle are mostly black, with no change in color due to changes in sunlight or position. Therefore, it is important information that can be used for vehicle identification. Most vehicles maintain symmetry in the horizontal and horizontal directions. This information is used to distinguish between vehicles and non-vehicles. Typically, in vehicles, relatively many horizontal edges appear. However, the image obtained from the camera shows a lot of difference in the number of horizontal edges that can be checked according to the distance of the vehicle, and it depends on the color of the vehicle. Typically, in vehicles, relatively many horizontal edges appear. However, the image obtained from the camera shows a lot of difference in the number of horizontal edges that can be checked according to the distance of the vehicle, and it depends on the color of the vehicle.

따라서, 본 발명의 실시예에서는 추가 검증 조건으로 차량 후보 영역에 바퀴 존재 유무, 대칭성 성립 유무, 수평 에지 분포, 후미등 존재 유무 등을 사용하였다. Therefore, in the exemplary embodiment of the present invention, the presence of wheels, presence of symmetry, horizontal edge distribution, presence of tail lights, and the like are used as additional verification conditions.

그리고 나서, 검증 결과에 가중치를 적용하여 가중치 적용 결과를 기초로 차량 후보 영역에 차량이 존재하는지를 검증하는 과정을 수행한다(S640).Then, a process of verifying whether a vehicle exists in the vehicle candidate region is performed based on the weighted result by applying weights to the verification result (S640).

본 발명의 실시예에서는 검증 방법에 따른 검증 가중치는 다음과 같이 정하였다.In the embodiment of the present invention, the verification weight according to the verification method is determined as follows.

- 그림자 영역 존재: 사실이면 +2Shadow Area Exists: +2 if true

- 도로 영역 존재: 사실이면 +2-Road zone presence: +2 if true

- 그림자 및 도로 영역 모두 존재: 사실이면 +4-Both shadows and road zones exist: +4 if true

- 그림자 및 도로 영역 존재가 모두 없으면 ; -1-Without both shadow and road area presence; -One

- 대칭성 존재 ; 사실이면 +2 -Presence of symmetry; +2 if true

- 수평 에지 분포 ; 수평 에지 수가 n개이면 max{(n-2), 5}-Horizontal edge distribution; Max {(n-2), 5} for n horizontal edges

- 후미등 존재 ; 사실이면 +4-Taillight presence; +4 if true

상기 검증 가중치 총합에 따른 차량 검증은 차량 넓이에 따라 달리 적용하였다. 본 발명에서는 다음의 경우 차량이 존재하는 것으로 규칙을 정하였다. Vehicle verification according to the verification weight sum is applied differently according to the vehicle width. In the present invention, in the following case, a rule is established that a vehicle exists.

- 차량의 너비가 60 픽셀 이상이면, 검증 가중치 총합이 8이상 일때If the vehicle width is 60 pixels or more, then the total verification weight is 8 or more

- 차량의 너비가 40픽셀 이상이면 검증 가중치 총합이 6이상 일때-If the width of the vehicle is more than 40 pixels, then the total verification weight is 6 or more

- 차량의 너비가 25픽셀 이상이면 검증 가중치 총합이 5이상 일때-If the width of the vehicle is 25 pixels or more, then the total verification weight is 5 or more.

- 차량의 너비가 25픽셀 미만에서는 가중치 총합이 4이상 일때-If the vehicle's width is less than 25 pixels, the total weight is 4 or more.

도 18은 본 발명의 실시예에서 제안한 방법에 의해 검출된 전방 차량을 표시한 이미지이다.
18 is an image showing the front vehicle detected by the method proposed in the embodiment of the present invention.

이상에서 설명한 것은 본 발명에 따른 영상의 장면 정보를 이용한 전방 차량 검출 방법의 예시적인 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이, 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
What has been described above is only an exemplary embodiment of a front vehicle detection method using scene information of an image according to the present invention, and the present invention is not limited to the above-described embodiment, as claimed in the following claims, Without departing from the gist of the present invention, anyone of ordinary skill in the art will have the technical spirit of the present invention to the extent that various modifications can be made.

Claims (13)

영상의 장면 정보를 이용한 전방 차량 검출 방법에 있어서,
주행 차량에 탑재된 카메라에서 획득한 영상을 입력하는 단계;
입력된 영상의 잡음을 제거하고 에지 정보를 개선하기 위한 영상 전처리를 수행하는 단계;
차량 후보 영역 추출을 위한 관심 영역 결정 단계;
도로 및 그림자 정보를 추출하여 도로 영역과 그림자 영역을 추출하는 단계;
차량의 수평 및 수직 라인을 검출하고, 검출된 수평 및 수직 라인을 포함하는 차량 후보 영역을 추출하는 단계; 및
추출된 차량 후보 영역에 차량이 존재하는지 검증하는 단계;를 포함하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
In the front vehicle detection method using the scene information of the image,
Inputting an image acquired by a camera mounted on the driving vehicle;
Performing image preprocessing to remove noise of an input image and to improve edge information;
Determining a region of interest for vehicle candidate region extraction;
Extracting road and shadow areas by extracting road and shadow information;
Detecting horizontal and vertical lines of the vehicle and extracting a vehicle candidate region including the detected horizontal and vertical lines; And
Verifying whether a vehicle exists in the extracted vehicle candidate region; and detecting a front vehicle using scene information of an image.
제1항에 있어서,
상기 영상 전처리를 수행하는 단계는,
입력 영상이 컬러인 경우 그레이 레벨 영상 변환을 수행하는 단계;
잡음 개선 및 에지 정보 개선을 위한 필터링하는 단계; 및
소벨 에지 검출기를 이용하여 수평 에지 및 수직 에지 검출하는 단계를 포함하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
The method of claim 1,
The performing of the image preprocessing,
Performing gray level image conversion when the input image is color;
Filtering for noise improvement and edge information improvement; And
And detecting horizontal edges and vertical edges using a Sobel edge detector.
제2항에 있어서,
상기 필터링 하는 단계는 랭크 오더 필터(Rank Order Filter)를 이용하여 필터링을 수행하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
The method of claim 2,
Wherein the filtering step is a front vehicle detection method using the scene information of the image, characterized in that the filtering using a rank order filter (Rank Order Filter).
제1항에 있어서,
상기 관심 영역 결정 단계는,
소실점을 추정하는 단계;
추정된 소실점을 이용하여 수평선을 구하는 단계; 및
차량 후보 영역 추출을 위한 관심 영역을 결정하는 단계;를 포함하며, 상기 관심 영역은 상기 수평선 보다 30 픽셀 높은 선 아래 부분과 전체 영상 데이터 높이의 1/8 이상 사이 공간으로 결정하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
The method of claim 1,
The determining of the region of interest,
Estimating a vanishing point;
Obtaining a horizontal line using the estimated vanishing point; And
Determining a region of interest for vehicle candidate region extraction, wherein the region of interest is determined as a space between a portion below the line 30 pixels higher than the horizontal line and at least 1/8 of the height of the entire image data. Vehicle detection method using the scene information.
제4항에 있어서,
상기 소실점을 추정하는 단계는,
소실점 추정을 위한 영상 전처리 과정을 수행하는 단계;
상기 영상 전처리 과정에서 얻어진 에지들에 대해 허프 변환을 적용하여 허프 라인을 찾아낸 후, 방향이 유사하고 위치가 인접한 유사 허프라인들을 통합하여 소실점 추정에 사용될 후보 허프 라인을 식별하는 허프 라인 식별 단계; 및
상기 후보 허프 라인으로부터 소실점을 추정하는 단계;를 포함하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
5. The method of claim 4,
Estimating the vanishing point,
Performing image preprocessing to estimate vanishing points;
A huff line identification step of identifying a huff line by applying a hough transform on edges obtained in the image preprocessing, and then integrating similar huff lines having similar directions and adjacent positions; And
Estimating a vanishing point from the candidate huff line.
제1항에 있어서,
상기 도로 영역과 그림자 영역을 추출하는 단계는,
도로 영역과 그림자 영역을 추출하기 위한 도로 통계 정보 관심 영역을 결정하는 단계;
상기 결정된 도로 통계 정보 관심 영역에서 도로 통계 정보를 추출하는 단계로서, 상기 관심 영역의 영상 이미지의 그레이 레벨 픽셀값들의 평균(m)과 표준 편차(v)를 구하는 단계; 및
상기 도로 통계 정보를 기초로 도로 영역 및 그림자 영역을 추출하는 단계;를 포함하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
The method of claim 1,
Extracting the road area and the shadow area,
Determining a road statistical information ROI for extracting a road area and a shadow area;
Extracting road statistics information from the determined road statistical information ROI, comprising: obtaining an average m and a standard deviation v of gray level pixel values of the image image of the ROI; And
And extracting a road area and a shadow area based on the road statistics information.
제6항에 있어서,
상기 도로 영역 및 그림자 영역을 추출하는 단계는,
임의의 픽셀 그레이 레벨값(L)이 아래 [식 1]의 범위에 있으면,
[식 1]
평균(m)-3*표준편차(v) < L < 평균(m)+3*표준편차(v)
해당 픽셀은 도로 후보 픽셀로 간주하고, 임의의 영역에서 도로 후보 픽셀들의 수가 60%를 넘으면 해당 영역은 도로 영역으로 추출하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
The method according to claim 6,
Extracting the road area and the shadow area,
If any pixel gray level value (L) is in the range of [Equation 1] below,
[Formula 1]
Mean (m) -3 * standard deviation (v) <L <mean (m) + 3 * standard deviation (v)
The pixel is regarded as a road candidate pixel, and if the number of road candidate pixels in any region exceeds 60%, the corresponding area is extracted as a road region.
제6항에 있어서,
상기 도로 영역 및 그림자 영역을 추출하는 단계는,
임의의 픽셀 그레이 레벨값(L)이 아래 [식 2]를 만족하면,
[식 2]
L < 평균(m)-4*표준편차(v)
그림자 후보 픽셀로 간주하고, 임의의 영역에서 그림자 후보 픽셀이 50% 가 넘으면 해당 영역을 그림자 영역으로 추출하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
The method according to claim 6,
Extracting the road area and the shadow area,
If any pixel gray level value L satisfies [Equation 2] below,
[Formula 2]
L <mean (m)-4 * standard deviation (v)
A method of detecting a front vehicle using scene information of an image, which is regarded as a shadow candidate pixel and extracts a corresponding region as a shadow region when the shadow candidate pixel exceeds 50% in an arbitrary region.
제1항에 있어서,
상기 차량 후보 영역 추출 단계는 영상 전처리 과정이 이루어진 영상 데이터로부터 수평 및 수직 라인을 검출하는 단계; 및
상기 검출된 수평 및 수직 라인을 이용하여 차량 후보 영역을 추출하는 단계로서, 수평 라인이 존재하고, 수평 라인 하단 부위 또는 상단 부위 근방에 수직 라인이 검출되는 경우, 수평 라인 및 수직 라인을 포함하는 사각형을 차량 후보 영역으로 추출하는 단계를 포함하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
The method of claim 1,
The extracting of the vehicle candidate region may include detecting horizontal and vertical lines from image data in which image preprocessing is performed; And
Extracting a vehicle candidate region by using the detected horizontal and vertical lines, wherein when a horizontal line exists and a vertical line is detected near the lower portion or the upper portion of the horizontal line, a quadrangle including the horizontal line and the vertical line And extracting the vehicle candidate region into a vehicle candidate region.
제9항에 있어서,
상기 수평 및 수직 라인을 검출하는 단계는 소벨 에지 마스크를 적용하여 얻은 에지 영상을 이진화한 에지 이진화 이미지에 대해 허프변환을 적용하여 검출하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
10. The method of claim 9,
The detecting of the horizontal and vertical lines may be performed by detecting a edge image obtained by applying a Sobel edge mask by applying a Hough transform on the binarized edge binarized image.
제1항에 있어서,
상기 차량 후보 영역 검증 단계는,
상기 차량 후보 영역 내에 그림자 영역이 존재하는지 확인하는 단계;
상기 차량 후보 영역 하단 부분에 도로 영역이 존재하는지 확인하는 단계;
추가 검증 조건을 확인하는 단계; 및
각 검증 결과에 가중치를 적용하여 검증 가중치 총합에 따라 차량 후보 영역에 차량이 존재하는지를 검증하는 단계;를 포함하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
The method of claim 1,
The vehicle candidate region verification step may include:
Checking whether a shadow area exists within the vehicle candidate area;
Checking whether a road area exists at a lower portion of the vehicle candidate area;
Identifying additional verification conditions; And
And verifying whether the vehicle exists in the vehicle candidate region according to the verification weight sum by applying a weight to each verification result.
제11항에 있어서,
상기 추가 검증 조건은 차량 후보 영역에 바퀴 존재 유무, 대칭성 성립 유무, 수평 에지 분포 및 후미등 존재 유무 중 어느 하나 또는 둘 이상의 조합인 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.
The method of claim 11,
The additional verification condition is any one or a combination of two or more of the presence or absence of wheels in the vehicle candidate region, the presence of symmetry, the horizontal edge distribution and the presence of a tail light, the front vehicle detection method using the scene information of the image.
제11항에 있어서,
상기 검증 가중치 총합에 따라 차량 후보 영역에 차량이 존재하는지를 검증하는 단계는 차량 넓이가 넓을수록 상기 검증 가중치 총합 점수를 높게 설정하여 차량이 존재하는지를 검증하는 것을 특징으로 하는 영상의 장면 정보를 이용한 전방 차량 검출 방법.


The method of claim 11,
The step of verifying whether the vehicle exists in the vehicle candidate region according to the verification weighted sum includes verifying whether the vehicle exists by setting the verification weighted sum total higher as the vehicle width increases, and verifying that the vehicle exists. Detection method.


KR1020110060444A 2011-06-22 2011-06-22 Method for dectecting front vehicle using scene information of image KR101224027B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110060444A KR101224027B1 (en) 2011-06-22 2011-06-22 Method for dectecting front vehicle using scene information of image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110060444A KR101224027B1 (en) 2011-06-22 2011-06-22 Method for dectecting front vehicle using scene information of image

Publications (2)

Publication Number Publication Date
KR20130000023A true KR20130000023A (en) 2013-01-02
KR101224027B1 KR101224027B1 (en) 2013-01-21

Family

ID=47833679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110060444A KR101224027B1 (en) 2011-06-22 2011-06-22 Method for dectecting front vehicle using scene information of image

Country Status (1)

Country Link
KR (1) KR101224027B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014117108A1 (en) * 2013-01-25 2014-07-31 Duke University Segmentation and identification of closed-contour features in images using graph theory and quasi-polar transform
JP2018005337A (en) * 2016-06-28 2018-01-11 キヤノン株式会社 Image processing device, imaging device, image processing method, and program
US9965692B2 (en) 2015-01-28 2018-05-08 Mando Corporation System and method for detecting vehicle
US10238279B2 (en) 2015-02-06 2019-03-26 Duke University Stereoscopic display systems and methods for displaying surgical data and information in a surgical microscope
CN109960977A (en) * 2017-12-25 2019-07-02 大连楼兰科技股份有限公司 Based on image layered conspicuousness preprocess method
US10694939B2 (en) 2016-04-29 2020-06-30 Duke University Whole eye optical coherence tomography(OCT) imaging systems and related methods
WO2020187311A1 (en) * 2019-03-20 2020-09-24 东软睿驰汽车技术(沈阳)有限公司 Image recognition method and device
US10835119B2 (en) 2015-02-05 2020-11-17 Duke University Compact telescope configurations for light scanning systems and methods of using the same

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014117108A1 (en) * 2013-01-25 2014-07-31 Duke University Segmentation and identification of closed-contour features in images using graph theory and quasi-polar transform
US9940722B2 (en) 2013-01-25 2018-04-10 Duke University Segmentation and identification of closed-contour features in images using graph theory and quasi-polar transform
US9965692B2 (en) 2015-01-28 2018-05-08 Mando Corporation System and method for detecting vehicle
US10835119B2 (en) 2015-02-05 2020-11-17 Duke University Compact telescope configurations for light scanning systems and methods of using the same
US10238279B2 (en) 2015-02-06 2019-03-26 Duke University Stereoscopic display systems and methods for displaying surgical data and information in a surgical microscope
US10694939B2 (en) 2016-04-29 2020-06-30 Duke University Whole eye optical coherence tomography(OCT) imaging systems and related methods
JP2018005337A (en) * 2016-06-28 2018-01-11 キヤノン株式会社 Image processing device, imaging device, image processing method, and program
CN109960977A (en) * 2017-12-25 2019-07-02 大连楼兰科技股份有限公司 Based on image layered conspicuousness preprocess method
CN109960977B (en) * 2017-12-25 2023-11-17 大连楼兰科技股份有限公司 Saliency preprocessing method based on image layering
WO2020187311A1 (en) * 2019-03-20 2020-09-24 东软睿驰汽车技术(沈阳)有限公司 Image recognition method and device

Also Published As

Publication number Publication date
KR101224027B1 (en) 2013-01-21

Similar Documents

Publication Publication Date Title
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
KR101224027B1 (en) Method for dectecting front vehicle using scene information of image
CN105981042B (en) Vehicle detection system and method
Siogkas et al. Traffic lights detection in adverse conditions using color, symmetry and spatiotemporal information
CN101030256B (en) Method and apparatus for cutting vehicle image
CN104246821B (en) Three-dimensional body detection device and three-dimensional body detection method
US9591274B2 (en) Three-dimensional object detection device, and three-dimensional object detection method
TWI607901B (en) Image inpainting system area and method using the same
RU2636120C2 (en) Three-dimensional object detecting device
US8385601B2 (en) In-vehicle white line recognition apparatus
EP2928178B1 (en) On-board control device
US9697421B2 (en) Stereoscopic camera apparatus
CN107886034B (en) Driving reminding method and device and vehicle
CN109948552B (en) Method for detecting lane line in complex traffic environment
KR20110001427A (en) High speed road lane detection method based on extraction of roi-lb
CN109919062A (en) A kind of road scene weather recognition methods based on characteristic quantity fusion
CN104156727B (en) Lamplight inverted image detection method based on monocular vision
JP7264428B2 (en) Road sign recognition device and its program
KR101371875B1 (en) A vehicle detection and distance measurement system and method between the vehicles using stereo vision
KR100976142B1 (en) detection method of road vehicles
JP2014067320A (en) Stereo camera device
Talib et al. Comparison of edge detection technique for lane analysis by improved hough transform
KR20180069282A (en) Method of detecting traffic lane for automated driving
JP2022037780A (en) Road obstacle detection apparatus
CN116721248A (en) Target detection method and target detection device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee