KR101526728B1 - Method for detecting forward obstacle when driving at night - Google Patents

Method for detecting forward obstacle when driving at night Download PDF

Info

Publication number
KR101526728B1
KR101526728B1 KR1020130152436A KR20130152436A KR101526728B1 KR 101526728 B1 KR101526728 B1 KR 101526728B1 KR 1020130152436 A KR1020130152436 A KR 1020130152436A KR 20130152436 A KR20130152436 A KR 20130152436A KR 101526728 B1 KR101526728 B1 KR 101526728B1
Authority
KR
South Korea
Prior art keywords
image
obstacle
light pattern
similarity
extracting
Prior art date
Application number
KR1020130152436A
Other languages
Korean (ko)
Inventor
최진혁
윤성원
신동인
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130152436A priority Critical patent/KR101526728B1/en
Application granted granted Critical
Publication of KR101526728B1 publication Critical patent/KR101526728B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method of detecting a forward obstacle in night driving. The method of detecting a forward obstacle in night driving according to the present invention enables to photograph the forward scene of a vehicle in a state where a head lamp of the vehicle is turned on, to extract an image of a region of interest from the photographed image, to extract a light pattern in the image of the region of interest, to calculate a similarity between the extracted light pattern and a reference light pattern, and to determine whether a forward obstacle exists or not, according to the calculated similarity.

Description

야간 주행 시 전방 장애물 검출 방법{METHOD FOR DETECTING FORWARD OBSTACLE WHEN DRIVING AT NIGHT}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for detecting a front obstacle,

본 발명은 차량의 전방 장애물 검출 방법에 관한 것으로, 더욱 상세하게는 야간 주행 시 헤드 램프의 빛에 의해 도로 상에 발생되는 광 패턴을 이용하여 전방 장애물의 존재유무를 판별하는 야간 주행 시 전방 장애물 검출 방법에 관한 것이다.The present invention relates to a method for detecting a front obstacle of a vehicle, and more particularly, to a method of detecting a front obstacle during nighttime driving, which uses a light pattern generated on a road by light of a headlamp during nighttime driving, ≪ / RTI >

일반적으로, 차량용 비전 시스템은 입력되는 전방 영상으로부터 차선 인식, 선행차량의 위치 파악 및 충돌 회피 등의 무인 자율주행 기능을 구현하기 위해 다양하게 활용되고 있다.In general, a vision system for a vehicle is utilized variously to realize an autonomous navigation function such as lane recognition, position detection of a preceding vehicle, and collision avoidance from an input forward image.

종래의 차량용 비전 시스템은 스테레오 카메라나 LiDAR(Light Detection and Ranging), 초음파와 같은 특수 센서를 이용하여 전방의 깊이(depth)를 측정하여 시점을 기준으로 하여 전방 물체의 존재를 판단하게 된다.Conventional vehicle vision systems use a special sensor such as a stereo camera, Light Detection and Ranging (LiDAR), and ultrasonic waves to measure the depth of the front and determine the presence of a forward object based on the viewpoint.

종래에 스테레오 카메라 센서를 이용하는 경우에는 좌우 카메라 영상에 대한 시차맵(disparity map)을 생성하는데 높은 연산처리가 필요하여 실시간 처리가 어렵고 정확도도 떨어진다.Conventionally, when a stereo camera sensor is used, a high-speed processing is required to generate a disparity map for the left and right camera images, so that real-time processing is difficult and accuracy is low.

그리고, 초음파 센서를 이용하는 경우에는 수직/수평에서 방위분해능이 낮아 듬성한 결과를 도출하며 거리분해능도 짧다.When ultrasonic sensors are used, the azimuth resolution is lowered in the vertical / horizontal directions, and the distance resolution is also short.

또한, Lidar 센서는 정확도는 높으나 고가의 장비이며 지형 탐색에 주로 사용된다.In addition, the Lidar sensor has high accuracy but is expensive equipment and is mainly used for terrain search.

KRKR 101032660101032660 B1B1 KRKR 100360850100360850 B1B1

오재석, 김정하. 무인자율주행자동차(CREON) 연구 개발. 로봇학회논문지.한국로봇학회. 2013. 제10권 제2호 3p~10pOh Jae Suk, Kim Jung Ha. Research and development of unmanned autonomous vehicle (CREON). Journal of the Korea Robotics Society. 2013. 10 Volume 2 Issue 3p ~ 10p

본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 야간 주행 시 헤드 램프의 빛에 의해 도로 상에 발생되는 광 패턴을 이용하여 전방 장애물의 존재유무를 판별하는 야간 주행 시 전방 장애물 검출 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been conceived to solve the above problems of the prior art, and it is an object of the present invention to provide a method and apparatus for detecting a front obstacle during nighttime traveling, which discriminates the presence of a front obstacle by using a light pattern generated on the road, The purpose of the method is to provide.

상기한 과제를 해결하기 위하여, 본 발명의 실시예에 따른 야간 주행 시 전방 장애물 검출 방법은 차량의 헤드 램프가 켜진 상태에서 전방 영상을 촬영하는 단계와, 상기 촬영한 영상으로부터 관심영역 영상을 추출하는 단계와, 상기 관심영역 영상 내 광 패턴을 추출하는 단계와, 상기 추출한 광 패턴과 기준 광 패턴의 유사도를 산출하는 단계와, 상기 산출한 유사도에 따라 전방 장애물의 존재유무를 판별하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of detecting a front obstacle during a night driving, comprising: capturing a forward image in a state in which a headlamp of the vehicle is turned on; extracting a ROI image from the captured image; Calculating a degree of similarity between the extracted light pattern and the reference light pattern, and determining whether a front obstacle exists or not according to the calculated degree of similarity, the method comprising the steps of: .

또한, 상기 관심영역 추출 단계는, 상기 촬영한 영상 내 도로면을 관심영역 영상으로 추출하는 단계와, 상기 관심영역 영상의 콘트라스트를 조절하는 단계를 포함하는 것을 특징으로 한다.The ROI extracting step may include extracting a road surface in the photographed image as a ROI image, and adjusting a contrast of the ROI image.

또한, 상기 광 패턴 추출 단계는, 상기 추출한 관심영역 영상에 대한 행별 각 픽셀의 밝기값 및 열별 각 픽셀의 밝기값을 합산하여 행별 픽셀 밝기누적값 및 열별 픽셀 밝기누적값을 산출하는 것을 특징으로 한다.In the light pattern extraction step, the brightness value of each pixel in the row and the brightness value of each pixel in the column are calculated for the extracted ROI image, and the pixel brightness accumulation value and the pixel brightness accumulation value for each column are calculated .

또한, 상기 광 패턴 추출 단계는, 상기 행별 밝기누적값 및 열별 밝기누적값의 변화에 따른 변곡점구간을 추출하는 단계와, 상기 추출한 변곡점구간의 교차점을 장애물의 존재위치로 결정하는 단계를 더 포함하는 것을 특징으로 한다.The light pattern extracting step may further include extracting an inflection point section corresponding to the variation of the brightness cumulative value and the brightness cumulative value for each row, and determining the intersection of the extracted inflection point section as an existing position of the obstacle .

또한, 상기 유사도 산출 단계는, 정규상호상관도(Normalized Cross-correlation: NCC)를 이용하여 상기 관심영역 내 광 패턴과 기준 광 패턴 사이의 유사도를 산출하는 것을 특징으로 한다.The similarity calculating step may calculate the similarity between the light pattern in the region of interest and the reference light pattern using a normalized cross-correlation (NCC).

또한, 상기 장애물의 존재유무 판별 단계는, 상기 산출한 유사도가 임계값 이상이면 장애물 미존재로 결정하는 것을 특징으로 한다.The presence or absence of the obstacle may be determined as a non-existence of the obstacle if the calculated degree of similarity is equal to or greater than a threshold value.

또한, 상기 장애물의 존재유무 판별 단계는, 상기 산출한 유사도가 임계값 미만이면 장애물 존재로 결정하는 것을 특징으로 한다.The presence or absence of the obstacle may be determined as the existence of the obstacle if the calculated degree of similarity is less than the threshold value.

또한, 상기 판별결과, 전방에 장애물이 존재하면 경고데이터를 출력하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include the step of outputting warning data if an obstacle is present in the forward direction as a result of the determination.

본 발명은 야간 주행 시 헤드 램프의 빛에 의해 도로 상에 발생되는 광 패턴을 이용하여 전방 장애물의 존재유무를 판별할 수 있다. 따라서, 가로등이 설치되지 않은 도로를 야간 주행할 때 장애물의 존재유무를 인지하지 못해 발생되는 사고를 미연에 방지할 수 있다.The present invention can discriminate the presence or absence of a front obstacle by using a light pattern generated on the road by the light of the headlamp during night driving. Therefore, it is possible to prevent an accident that may occur due to the inability to recognize the presence or absence of an obstacle when the road without a street light is running at night.

또한, 본 발명은 차량의 전방에 하나의 카메라만 설치하므로 원가 절감이 가능하다.In addition, since only one camera is installed in front of the vehicle, cost reduction is possible.

도 1은 본 발명의 실시예에 따른 야간 주행 시 헤드 램프의 빛을 이용한 전방 장애물 검출 장치를 도시한 블록구성도.
도 2는 본 발명의 실시예와 관련된 관심영역 영상 추출 예를 도시한 예시도.
도 3은 본 발명의 실시예에 따른 야간 주행 시 전방 장애물 검출 방법을 흐름도.
도 4는 본 발명의 실시예에 따른 광 패턴 추출 예를 도시한 예시도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing a forward obstacle detection apparatus using light of a headlamp during night driving according to an embodiment of the present invention; FIG.
2 is an exemplary diagram illustrating an example of extracting a region of interest image associated with an embodiment of the present invention.
3 is a flowchart illustrating a method of detecting a front obstacle during night driving according to an embodiment of the present invention.
4 is an exemplary view showing an example of extracting a light pattern according to an embodiment of the present invention;

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명은 야간 주행 시 헤드 램프의 빛이 도로 상에 조사되어 발생되는 광 패턴을 이용하여 전방 장애물의 존재유무 및 위치(좌측, 중앙, 우측 등)를 검출하는 기술에 관한 것이다.
The present invention relates to a technique for detecting the presence of a front obstacle and the position (left, center, right, etc.) of a front obstacle by using a light pattern generated by irradiating light of a headlamp at night during a night driving.

도 1은 본 발명의 실시예에 따른 야간 주행 시 헤드 램프의 빛을 이용한 전방 장애물 검출 장치를 도시한 블록구성도이고, 도 2는 본 발명의 실시예와 관련된 관심영역 영상 추출 예를 도시한 예시도이다.FIG. 1 is a block diagram illustrating a front obstacle detecting apparatus using light of a headlamp during night driving according to an embodiment of the present invention. FIG. 2 is a block diagram illustrating an example of a ROI image extracting example according to an embodiment of the present invention. .

도 1을 참조하면, 본 발명에 따른 전방 장애물 검출 장치는 카메라(10), 저장부(20), 영상처리부(30), 광 패턴 추출부(40), 분석부(50), 출력부(60), 제어부(70)를 포함한다.1, a front obstacle detecting apparatus according to the present invention includes a camera 10, a storage unit 20, an image processing unit 30, a light pattern extracting unit 40, an analyzing unit 50, an output unit 60 ), And a control unit 70.

카메라(10)는 차량의 전방에 설치되며 하나의 이미지 센서로 구성된다. 카메라(10)는 차량의 전방 영상을 촬영한다.The camera 10 is installed in front of the vehicle and is composed of one image sensor. The camera 10 photographs a forward image of the vehicle.

저장부(20)에는 카메라(10)에 의해 촬영되는 전방 영상 및 기준 광 패턴(reference light pattern)이 저장된다. 여기서, 기준 광 패턴은 야간 주행 시 장애물이 없는 도로 상에 헤드 램프를 켠 상태에서 촬영된 영상으로부터 추출한 광 패턴으로 저장되거나 또는 그 추출한 광 패턴으로부터 도출한 특정 함수(예: 로그 함수) 형태로 저장된다. 본 발명에서 광 패턴은 촬영 영상으로부터 도로면에 해당하는 영역을 관심영역으로 추출하고, 그 추출된 관심영역의 영상에 대한 y축 기준 행별 픽셀의 밝기누적값 및 x축 기준 열별 픽셀의 밝기누적값을 의미한다.The storage unit 20 stores a forward image and a reference light pattern, which are photographed by the camera 10. Here, the reference light pattern is stored as a light pattern extracted from the photographed image in the state that the head lamp is on on the road without any obstacle during the night driving, or stored as a specific function (e.g., log function) derived from the extracted light pattern do. In the present invention, the optical pattern extracts a region corresponding to the road surface from the photographed image as a region of interest, and calculates a brightness cumulative value of a pixel for each y-axis-based row and an accumulated brightness value .

또한, 저장부(20)에는 전방 장애물 검출 장치의 동작을 제어하는 제반 프로그램 및 촬영 영상에 대한 분석을 위한 분석 프로그램이 저장된다.In addition, the storage unit 20 stores an overall program for controlling the operation of the front obstacle detecting device and an analysis program for analyzing the photographed image.

영상처리부(30)는 카메라(10)를 통해 촬영된 영상을 전처리하는 역할을 담당한다. 이러한 영상처리부(30)는 촬영 영상으로부터 관심영역(region of interest: ROI) 영상을 추출한다. 예를 들어, 도 2에 도시된 바와 같이, 영상처리부(30)는 촬영 영상에서 도로면을 관심영역(ROI)으로 설정하고(a), 그 설정된 관심영역에 해당하는 영상을 추출한다(b).The image processor 30 plays a role of preprocessing an image photographed through the camera 10. The image processing unit 30 extracts a region of interest (ROI) image from the photographed image. For example, as shown in FIG. 2, the image processing unit 30 sets a road surface as a ROI in an image and extracts an image corresponding to the ROI, .

또한, 영상처리부(30)는 관심영역으로 추출된 영상에 대해 콘트라스트(contrast)를 조절한다. 영상처리부(30)는 추출된 영상의 각 픽셀의 화소값을 0(최소밝기값) ~ 255(최대밝기값) 단계의 밝기값(음영값)으로 변환한다.In addition, the image processing unit 30 adjusts the contrast of an image extracted as a region of interest. The image processing unit 30 converts the pixel value of each pixel of the extracted image into a brightness value (shade value) of 0 (minimum brightness value) to 255 (maximum brightness value).

광 패턴 추출부(40)는 영상처리부(30)로부터 출력되는 관심영역 내에 나타나는 광 패턴(light pattern)을 추출한다. 다시 말해서, 광 패턴 추출부(40)는 관심영역의 행별 각 픽셀의 밝기값 및 열별 각 픽셀의 밝기값을 각각 합산한 밝기누적값을 산출한다. 즉, 광 패턴 추출부(40)는 추출한 관심영역 영상의 행별 픽셀의 밝기누적값 및 열별 픽셀의 밝기누적값을 산출한다.The light pattern extracting unit 40 extracts a light pattern appearing in the region of interest outputted from the image processing unit 30. [ In other words, the light pattern extracting unit 40 calculates the brightness accumulated value by summing the brightness values of the respective pixels and the brightness values of the respective pixels according to the rows in the row of the ROI. That is, the light pattern extracting unit 40 calculates the brightness accumulated value of the pixels of each row of the extracted ROI image and the accumulated brightness values of the pixels of each row.

분석부(50)는 광 패턴 추출부(40)에 의해 추출된 광 패턴과 기준 광 패턴을 비교하여 유사도를 산출한다. 이때, 분석부(50)는 정규상호상관도(Normalized Cross-Correlation: NCC)와 같은 분석기법을 이용하여 관심영역 영상 내 광 패턴과 기준 광 패턴 사이의 유사도를 산출한다. 여기서, 유사도는 0 ~ 1로 나타낼 수 있다.The analyzer 50 compares the light pattern extracted by the light pattern extractor 40 with the reference light pattern to calculate the similarity. At this time, the analyzer 50 calculates the similarity between the light pattern in the region of interest image and the reference light pattern using an analytical technique such as Normalized Cross-Correlation (NCC). Here, the degree of similarity can be expressed as 0 to 1.

다시 말해서, 분석부(50)는 추출된 관심영역 영상의 행별 픽셀 밝기누적값과 기준 영상의 행별 픽셀 밝기누적값을 비교하여 유사성을 분석한다.In other words, the analyzer 50 compares the cumulative pixel brightness of each extracted region of interest image with the accumulated pixel brightness of each reference image to analyze the similarity.

또한, 분석부(50)는 추출한 관심영역 영상의 행별 픽셀 밝기누적값과 열별 픽셀 밝기누적값을 이용하여 장애물의 위치를 검출한다. 이때, 분석부(50)는 행별 픽셀 밝기누적값과 열별 픽셀 밝기누적값의 변화에서 변곡점이 발생되는 구간을 추출하고 그 추출된 변곡점 발생구간의 교차점을 장애물의 위치(픽셀 좌표)로 결정한다.In addition, the analyzer 50 detects the position of the obstacle using the pixel brightness accumulation value and the pixel brightness accumulation value per row of the extracted ROI image. At this time, the analyzer 50 extracts a section in which the inflection point is generated in the variation of the accumulated pixel brightness for each row and the accumulated pixel brightness for each row, and determines the intersection of the extracted inflection point occurrence interval as the position (pixel coordinate) of the obstacle.

출력부(60)는 전방 장애물 검출 장치의 동작에 따라 발생되는 각종 데이터를 출력하는 것으로, 표시장치(예: 액정 디스플레이, LED(light emitting diode) 디스플레이, 투명디스플레이, 3D 디스플레이 등) 및 오디오 출력장치(예: 스피커) 등을 구비한다.The output unit 60 outputs various kinds of data generated according to the operation of the front obstacle detecting device and includes a display device such as a liquid crystal display, a light emitting diode (LED) display, a transparent display, a 3D display, (E.g., a speaker).

제어부(70)는 전방 장애물 검출 장치를 구성하는 각 구성요소의 동작을 제어한다. 이러한 제어부(70)는 헤드 램프가 켜지거나 또는 조도 센서(미도시)에 의해 측정된 차량의 주변 조도가 일정 값 이하이면 카메라(10)를 동작시켜 차량의 전방 영상을 촬영한다.The controller (70) controls the operation of each component constituting the front obstacle detecting device. The control unit 70 operates the camera 10 to photograph the forward image of the vehicle when the head lamp is turned on or the ambient illuminance of the vehicle measured by the illuminance sensor (not shown) is less than a predetermined value.

제어부(70)는 분석부(50)에 의해 산출된 유사도에 근거하여 전방 장애물 존재여부를 결정한다. 상기 제어부(70)는 산출된 유사도가 임계값(예: 0.8) 이상이면 전방 장애물 미존재로 결정하고, 산출된 유사도가 임계값 미만이면 전방 장애물 존재로 결정한다.The control unit 70 determines whether or not a front obstacle exists based on the similarity calculated by the analyzing unit 50. If the calculated degree of similarity is equal to or greater than the threshold value (e.g., 0.8), the controller 70 determines that the front obstacle does not exist. If the calculated degree of similarity is less than the threshold value, the controller 70 determines that the front obstacle exists.

또한, 제어부(70)는 전방에 장애물이 검출되면 분석부(50)를 통해 전방 장애물의 위치에 검출한다.When an obstacle is detected in front of the controller 70, the controller 70 detects the position of the obstacle ahead through the analyzer 50.

제어부(70)는 전방에 장애물이 존재하면 출력부(60)를 제어하여 장애물의 존재 및 위치를 알리는 경고데이터를 출력한다. 이때, 제어부(70)는 경고 데이터를 메시지 및 이미지 형태로 시각화하여 표시장치에 출력하거나 또는 오디오 신호로 청각화하여 오디오 출력장치로 출력한다.The control unit 70 controls the output unit 60 to output warning data indicating the presence and position of the obstacle if an obstacle exists ahead. At this time, the controller 70 visualizes the warning data in the form of a message and an image, and outputs the warning data to the display device or the audio signal to the audio output device.

도 3은 본 발명의 실시예에 따른 야간 주행 시 전방 장애물 검출 방법을 흐름도이다.3 is a flowchart illustrating a method of detecting a front obstacle during night driving according to an embodiment of the present invention.

먼저, 전방 장애물 검출 장치의 제어부(70)는 야간 주행 시 차량의 헤드 램프가 켜진 상태에서 카메라(10)를 구동시켜 차량의 전방 영상을 촬영한다(S11).First, the controller 70 of the front obstacle detecting apparatus drives the camera 10 in a state in which the headlamp of the vehicle is turned on at night, thereby shooting a forward image of the vehicle (S11).

전방 장애물 검출 장치의 영상처리부(30)는 카메라(10)로부터 출력되는 촬영 영상 내 관심영역 영상을 추출한다(S12). 예를 들어, 영상처리부(30)는 촬영 영상 내 도로면을 관심영역 영상으로 추출한다. 이때, 영상처리부(30)는 추출된 관심영역 영상의 콘트라스트를 조절한다.The image processing unit 30 of the forward obstacle detection device extracts the ROI image from the camera 10 (S12). For example, the image processing unit 30 extracts the road surface in the photographed image as a region of interest image. At this time, the image processing unit 30 adjusts the contrast of the extracted ROI image.

전방 장애물 검출 장치의 광 패턴 추출부(40)는 영상처리부(30)로부터 출력되는 관심영역 영상 내 광 패턴을 추출한다(S13). 즉, 광 패턴 추출부(40)는 영상처리부(30)를 통해 추출한 관심영역 영상에 대한 행별 각 픽셀의 밝기값 및 열별 각 픽셀의 밝기값을 합산하여 행별 픽셀 밝기누적값 및 열별 픽셀 밝기누적값을 산출한다.The light pattern extracting unit 40 of the front obstacle detecting apparatus extracts a light pattern in the ROI image output from the image processing unit 30 (S13). That is, the light pattern extracting unit 40 adds the brightness values of the respective pixels and the brightness values of the respective pixels according to the rows in the row of the ROI extracted through the image processing unit 30 to obtain the accumulated pixel brightness per row and the cumulative pixel brightness .

전방 장애물 검출 장치의 분석부(50)는 상기 추출한 광 패턴과 기준 광 패턴의 유사도를 산출한다(S14). 이때, 분석부(50)는 정규상호상관도(Normalized Cross-correlation: NCC)와 같은 분석기법을 이용하여 상기 관심영역 영상 내 광 패턴과 기준 광 패턴 사이의 유사도를 산출한다.The analysis unit 50 of the front obstacle detection apparatus calculates the degree of similarity between the extracted light pattern and the reference light pattern (S14). At this time, the analyzer 50 calculates the similarity between the light pattern in the ROI image and the reference light pattern using an analytical technique such as normalized cross-correlation (NCC).

제어부(70)는 분석부(50)에 의해 산출된 유사도가 임계값 미만인지를 확인한다(S15). 즉, 제어부(70)는 분석부(50)로부터 출력되는 유사도에 근거하여 전방 장애물의 존재유무를 결정한다.The control unit 70 checks whether the similarity calculated by the analyzing unit 50 is less than the threshold value (S15). That is, the controller 70 determines whether or not a front obstacle exists based on the degree of similarity output from the analyzer 50.

상기 산출된 유사도가 임계값 미만이면 제어부(70)는 전방에 장애물이 존재하는 것으로 판정한다(S16). 이어서, 제어부(70)는 출력부(60)를 통해 전방 장애물의 존재를 알리는 경고데이터를 출력한다. 여기서, 제어부(70)는 경고 메시지를 디스플레이 화면 상에 표시하거나 또는 경고음을 출력한다. 또는, 제어부(70)는 경고 메시지를 디스플레이 화면에 출력하며 스피커를 통해 경고음을 출력할 수도 있다.If the calculated similarity is less than the threshold value, the control unit 70 determines that an obstacle exists ahead (S16). Then, the control unit 70 outputs warning data indicating the presence of the front obstacle through the output unit 60. [ Here, the control unit 70 displays a warning message on the display screen or outputs a warning sound. Alternatively, the control unit 70 may output a warning message to the display screen and output a warning sound through the speaker.

상기 제어부(70)는 전방 장애물이 검출되면 분석부(50)를 제어하여 해당 장애물의 위치를 검출하여 그 검출된 위치를 출력부(50)를 통해 운전자에게 알린다. 상기 분석부(50)는 행별 픽셀 밝기누적값 및 열별 픽셀 밝기누적값의 변화에 따른 변곡점구간을 각각 추출한다. 그리고, 제어부(70)는 행별 픽셀 밝기누적값과 열별 픽셀 밝기누적값의 변화에 대해 각각 추출된 변곡점구간들의 교차점을 통해 장애물의 위치를 검출한다.When the front obstacle is detected, the controller 70 controls the analyzer 50 to detect the position of the obstacle, and notifies the driver of the detected position through the output unit 50. The analyzer 50 extracts an inflection point interval corresponding to a change in the accumulated pixel brightness for each row and the accumulated pixel brightness for each column. The controller 70 detects the position of the obstacle through the intersection of the extracted inflection point sections with respect to the change of the accumulated pixel brightness per row and the cumulative pixel brightness of each row.

한편, 상기 단계(S15)에서 상기 산출된 유사도가 임계값 이상이면 제어부(70)는 전방에 장애물이 존재하지 않는 것으로 판정한다.On the other hand, if the calculated degree of similarity is equal to or greater than the threshold in step S15, the controller 70 determines that there is no obstacle ahead.

도 4는 본 발명의 실시예에 따른 광 패턴 추출 예를 도시한 예시도이다.4 is an exemplary diagram showing an example of extracting a light pattern according to an embodiment of the present invention.

도 4의 (a)는 기준 광 패턴 영상 및 그에 대한 행별 픽셀 밝기누적값을 도시한다. 기준 광 패턴은 장애물이 없는 도로에서 야간 주행 시 촬영된 전방 영상 내 도로면을 관심영역 영상으로 추출하고, 그 추출된 관심영역 영상의 -y축 방향으로 행별 픽셀 밝기누적값을 산출한다. 그래프에 도시된 바와 같이 장애물이 없는 상태에서 광 패턴은 차량에 근접할수록 누적밝기값이 증가하는 특징을 보인다.4 (a) shows a reference light pattern image and a row-by-column pixel brightness accumulation value thereof. In the reference light pattern, the road surface in the front image photographed at night in the road without obstacle is extracted as the region of interest image, and the cumulative pixel brightness value in the -y axis direction of the extracted region of interest image is calculated. As shown in the graph, in the state in which there is no obstacle, the light pattern has a characteristic that the cumulative brightness value increases as the vehicle approaches the obstacle.

도 4의 (b) 및 (c)는 야간 주행 시 촬영된 영상으로부터 추출된 관심영역 영상이며, 그 추출된 관심영역 영상의 광 패턴 특성을 나타내는 그래프이다. 도 4의 (a)에 도시된 그래프와 도 4의 (b) 및 (c)에 도시된 그래프를 각각 비교하면, 도로 상에 장애물이 존재하지 않는 도 4의 (b)에 도시된 그래프는 도 4의 (a)에 도시된 그래프와 유사성이 높다. 한편, 도로 상에 장애물이 존재하는 도 4의 (c)에 도시된 그래프는 도 4의 (a)에 도시된 그래프와 유사성이 낮다.4 (b) and 4 (c) are graphs showing the light pattern characteristics of the extracted ROI images, which are ROI images extracted from the images photographed at nighttime driving. When the graphs shown in FIG. 4A and FIG. 4B are compared with each other, the graph shown in FIG. 4B in which no obstacle is present on the road is also shown in FIG. Similarity to the graph shown in (a) of FIG. 4 is high. On the other hand, the graph shown in FIG. 4 (c) in which an obstacle exists on the road has a low similarity with the graph shown in FIG. 4 (a).

본 발명은 상기한 장애물 존재유무에 따른 헤드 램프에 의한 광 패턴의 특성을 이용하여 차량의 전방에 장애물이 존재하는지 여부를 검출하는 것이다.The present invention detects whether or not an obstacle is present in front of a vehicle by using a characteristic of a light pattern by a headlamp depending on whether the obstacle exists or not.

10: 카메라
20: 저장부
30: 영상처리부
40: 광 패턴 추출부
50: 분석부
60: 출력부
70: 제어부10: Camera
20:
30:
40: Light pattern extracting unit
50: Analysis department
60: Output section
70:

Claims (8)

차량의 헤드 램프가 켜진 상태에서 전방 영상을 촬영하는 단계와,
상기 촬영한 영상으로부터 관심영역 영상을 추출하는 단계와,
상기 관심영역 영상 내 광 패턴을 추출하는 단계와,
상기 추출한 광 패턴과 기준 광 패턴의 유사도를 산출하는 단계와,
상기 산출한 유사도에 따라 전방 장애물의 존재유무를 판별하는 단계를 포함하고,
상기 광 패턴 추출 단계는,
상기 추출한 관심영역 영상에 대한 행별 각 픽셀의 밝기값 및 열별 각 픽셀의 밝기값을 합산하여 행별 픽셀 밝기누적값 및 열별 픽셀 밝기누적값을 산출하는 단계와,
상기 행별 밝기누적값 및 열별 밝기누적값의 변화에 따른 변곡점구간을 추출하는 단계와,
상기 추출한 변곡점구간의 교차점을 장애물의 존재위치로 결정하는 단계를 포함하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.A step of photographing a forward image in a state in which a headlamp of the vehicle is turned on,
Extracting a region of interest image from the photographed image;
Extracting a light pattern in the ROI image;
Calculating a degree of similarity between the extracted light pattern and the reference light pattern,
And determining whether or not a front obstacle is present according to the calculated similarity,
The light pattern extracting step includes:
Calculating a cumulative pixel brightness value and a cumulative pixel brightness value for each column by summing the brightness values of the respective pixels and the brightness values of the respective pixels for each row in the extracted ROI image;
Extracting an inflection point section according to a change in the brightness accumulation value and the brightness accumulation value per row;
And determining an intersection of the extracted inflection point section as an existing position of an obstacle. 제1항에 있어서,
상기 관심영역 영상 추출 단계는,
상기 촬영한 영상 내 도로면을 관심영역 영상으로 추출하는 단계와,
상기 관심영역 영상의 콘트라스트를 조절하는 단계를 포함하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.The method according to claim 1,
The method of claim 1,
Extracting a road surface in the photographed image as a region of interest image;
And adjusting the contrast of the ROI image. 삭제delete 삭제delete 제1항에 있어서,
상기 유사도 산출 단계는,
정규상호상관도(Normalized Cross-correlation: NCC)를 이용하여 상기 관심영역 내 광 패턴과 기준 광 패턴 사이의 유사도를 산출하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.The method according to claim 1,
Wherein the similarity calculating step comprises:
Wherein the degree of similarity between the light pattern in the ROI and the reference light pattern is calculated using a normalized cross-correlation (NCC). 제1항에 있어서,
상기 장애물의 존재유무 판별 단계는,
상기 산출한 유사도가 임계값 이상이면 장애물 미존재로 결정하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.The method according to claim 1,
Wherein the step of determining whether or not the obstacle exists,
If the calculated degree of similarity is greater than or equal to a threshold value, determining that no obstacle is present. 제1항에 있어서,
상기 장애물의 존재유무 판별 단계는,
상기 산출한 유사도가 임계값 미만이면 장애물 존재로 결정하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.The method according to claim 1,
Wherein the step of determining whether or not the obstacle exists,
And if the calculated degree of similarity is less than a threshold value, the presence of an obstacle is determined. 제1항에 있어서,
상기 판별결과, 전방에 장애물이 존재하면 경고데이터를 출력하는 단계를 더 포함하는 것을 특징으로 하는 야간 주행 시 전방 장애물 검출 방법.The method according to claim 1,
Further comprising the step of outputting warning data if an obstacle is present in the front as a result of the discrimination.
KR1020130152436A 2013-12-09 2013-12-09 Method for detecting forward obstacle when driving at night KR101526728B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130152436A KR101526728B1 (en) 2013-12-09 2013-12-09 Method for detecting forward obstacle when driving at night

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130152436A KR101526728B1 (en) 2013-12-09 2013-12-09 Method for detecting forward obstacle when driving at night

Publications (1)

Publication Number Publication Date
KR101526728B1 true KR101526728B1 (en) 2015-06-05

Family

ID=53500167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130152436A KR101526728B1 (en) 2013-12-09 2013-12-09 Method for detecting forward obstacle when driving at night

Country Status (1)

Country Link
KR (1) KR101526728B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180378A (en) * 1998-12-18 2000-06-30 Omron Corp Road surface state detector
JP2005201741A (en) * 2004-01-14 2005-07-28 Denso Corp Road surface reflection detector
JP2013061777A (en) * 2011-09-13 2013-04-04 Honda Motor Co Ltd Vehicle drive support device
JP2013092975A (en) * 2011-10-27 2013-05-16 Ricoh Co Ltd Vehicle recognition device, vehicle recognition method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180378A (en) * 1998-12-18 2000-06-30 Omron Corp Road surface state detector
JP2005201741A (en) * 2004-01-14 2005-07-28 Denso Corp Road surface reflection detector
JP2013061777A (en) * 2011-09-13 2013-04-04 Honda Motor Co Ltd Vehicle drive support device
JP2013092975A (en) * 2011-10-27 2013-05-16 Ricoh Co Ltd Vehicle recognition device, vehicle recognition method, and program

Similar Documents

Publication Publication Date Title
EP2919197B1 (en) Object detection device and object detection method
CN107272021B (en) Object detection using radar and visually defined image detection areas
US10627228B2 (en) Object detection device
JP6407626B2 (en) Object recognition device and vehicle control system
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
US8643723B2 (en) Lane-marker recognition system with improved recognition-performance
US20150169980A1 (en) Object recognition device
RU2013132011A (en) DRIVING ASSISTANCE AND METHOD FOR DETECTING A VEHICLE NEAR HIM
KR20180041524A (en) Pedestrian detecting method in a vehicle and system thereof
KR102428765B1 (en) Autonomous driving vehicle navigation system using the tunnel lighting
KR102051397B1 (en) Apparatus and Method for Assisting Safe Driving
KR20060021922A (en) Two camera based obstacle detection method and device
KR101748780B1 (en) Method for detection of the road sign using stereo camera and apparatus thereof
US20220055618A1 (en) Apparatus, method, and computer program for object detection
KR20150096924A (en) System and method for selecting far forward collision vehicle using lane expansion
KR20180063524A (en) Method and Apparatus for Detecting Risk of Forward Vehicle Using Virtual Lane
US9916672B2 (en) Branching and merging determination apparatus
KR101236234B1 (en) Detection system of road line using both laser sensor and camera
US20120056995A1 (en) Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety
KR101730740B1 (en) Driving assistant apparatus
KR101526728B1 (en) Method for detecting forward obstacle when driving at night
KR102079291B1 (en) Forward vehicle collision warning apparatus and method thereof
KR100844640B1 (en) Method for object recognizing and distance measuring
JP2009193130A (en) Vehicle surrounding monitoring device, vehicle, program for vehicle surrounding monitoring and vehicle surrounding monitoring method
KR102448164B1 (en) Apparatus and method for controlling a vehicle radar

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190528

Year of fee payment: 5