KR20140076418A - System for detecting road-kerb of veichle and method thereof - Google Patents

System for detecting road-kerb of veichle and method thereof Download PDF

Info

Publication number
KR20140076418A
KR20140076418A KR1020120144899A KR20120144899A KR20140076418A KR 20140076418 A KR20140076418 A KR 20140076418A KR 1020120144899 A KR1020120144899 A KR 1020120144899A KR 20120144899 A KR20120144899 A KR 20120144899A KR 20140076418 A KR20140076418 A KR 20140076418A
Authority
KR
South Korea
Prior art keywords
curb
unit
vehicle
image data
lines
Prior art date
Application number
KR1020120144899A
Other languages
Korean (ko)
Other versions
KR101428281B1 (en
Inventor
김재광
민경무
이강훈
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120144899A priority Critical patent/KR101428281B1/en
Publication of KR20140076418A publication Critical patent/KR20140076418A/en
Application granted granted Critical
Publication of KR101428281B1 publication Critical patent/KR101428281B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

A system for detecting curbs according to the present invention includes an image acquisition part which obtains 2D video data having 3D information (X, Y, Z) on the front view of a vehicle; an image transformation part which projects each pixel to a YZ plane using the 3D information (X, Y, Z) of the 2D video data; a line detection unit which detects lines based on the data projected on the YZ plane; a data analysis part which detects curbs by calculating the distance between lines detected by the line detection unit; and a display part which displays the detected curbs on the 3D video data and outputs the curbs.

Description

연석 검출 시스템 및 그 방법{System for detecting road-kerb of veichle and method thereof}FIELD OF THE INVENTION [0001] The present invention relates to a curb detection system,

본 발명은 연석 검출 시스템 및 그 방법에 관한 것으로서, 특히 도로 연석을 정확히 검출하여 차량 전방 영상 데이터 화면에 연석을 표시하도록 하는 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a curb detection system and a method thereof, and more particularly to a technique for accurately detecting a curb and displaying a curb on a vehicle front image data screen.

도로에 형성되어 있는 연석은 차도와 인도의 경계석을 말한다. 이러한 연석은 차량의 주행 방향과 도로의 폭차량 전방 구조를 파악하는데 매우 중요한 표식이 되고, 연석의 위치를 검출하여 차량의 위험 운전 여부파악 및 운전자의 주의 환기를 제공할 수 있다. The curb formed on the road is the boundary between the road and the road. Such a curb is a very important marker for grasping the driving direction of the vehicle and the width of the road, and can detect the dangerous driving of the vehicle by detecting the position of the curb and provide the driver's attention.

이러한 연석의 위치 및 높이를 검출하기 위해 종래에는 카메라를 이용하여 검출하였다. 그러나, 종래의 카메라를 이용한 연석 형태 인식 시스템은 도 1a와 같이 에지 정보를 이용하나 이런 경우 차선과 연석이 라인 형태 특징이 비슷하여 차선과 연석의 구별이 어렵다. 또한, 종래의 카메라를 이용한 연석 형태 시스템은 빛의 조도 및 날씨 등 주변환경에 성능이 크게 좌우되는 단점이 있다. 즉, 종래의 연석 인식 시스템은 주간에 날씨가 좋고 적당한 습도를 유지하는 상황에서만 높은 성능을 기대할 수 있고 도 1b 및 도 1c에 도시된 바와 같이 야간이거나 비 또는 눈이 내리는 경우 원하는 성능을 기대할 수 없는 문제점이 있다.In order to detect the position and height of such a curb, a conventional camera was used. However, in the conventional curled shape recognition system using a camera, edge information is used as shown in FIG. 1A, but in such a case, it is difficult to distinguish a lane from a curb because the lane and curb are similar in line shape. In addition, a conventional curled-type system using a camera has a disadvantage in that performance is largely influenced by the surrounding environment such as light intensity and weather. That is, in the conventional curb recognition system, high performance can be expected only in the daytime when the weather is good and the humidity is maintained moderately. As shown in FIGS. 1B and 1C, when the nighttime, rain or snow falls, There is a problem.

특히 이처럼 영상처리에 기반하여 연석을 검출할 경우 유사한 색 정보와 직선성분 때문에 연석과 차선의 구분이 어려운 경우가 많이 존재한다. 이외에 거리 센서를 이용하여 연석을 검출하는 방법이 있으나, 거리 센서를 이용할 경우에는 운전 차량의 주변에 존재하는 연석만을 찾을 수 있거나 정보의 부족으로 높은 성능의 검출 결과를 기대하기 어렵다는 단점이 있다.Especially, when detecting a curb based on image processing, it is difficult to distinguish a curb and a lane due to similar color information and straight line components. In addition, there is a method of detecting a curb by using a distance sensor. However, when the distance sensor is used, it is difficult to find a curb existing in the vicinity of the driving vehicle or to expect a high performance detection result due to lack of information.

본 발명에서는 카메라를 이용하여 연석의 깊이 정보를 정확히 검출함으로써 운전자의 안전주행에 도움을 줄 수 있도록 하고자 한다.In the present invention, the depth information of the curb is accurately detected by using a camera, so that the driver can safely travel.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 연석 검출 시스템은, 차량 전방에 대한 3차원 정보(X, Y, Z)를 가지는 2차원 영상 데이터를 획득하는 영상 획득부; 상기 2차원 영상 데이터의 3차원 정보(X, Y, Z)를 이용하여 각 화소를 YZ 플랜(plane)으로 투영하는 영상 변환부; 상기 YZ 플랜 내 투영된 데이터를 바탕으로 선을 검출하는 선 검출부; 상기 선 검출부에 의해 검출된 선 사이의 거리를 산출하여 연석을 검출하는 데이터 분석부; 및 상기 검출된 연석을 상기 3차원 영상 데이터에 표시하여 출력하는 디스플레이부를 포함한다.According to an aspect of the present invention, there is provided a curb detection system including: an image obtaining unit obtaining two-dimensional image data having three-dimensional information (X, Y, Z) about a vehicle front; An image converter for projecting each pixel onto a YZ plane using three-dimensional information (X, Y, Z) of the two-dimensional image data; A line detector for detecting a line based on the projected data in the YZ plane; A data analyzing unit for calculating a distance between the lines detected by the line detecting unit and detecting a curb; And a display unit for displaying and outputting the detected curb on the three-dimensional image data.

또한, 상기 영상 획득부는, ToF(Time of Flight) 카메라를 구비하는 것을 특징으로 한다.The image acquiring unit may include a ToF (Time of Flight) camera.

또한, 상기 영상 획득부는, 차량 전방의 장애물에 대해 적외선을 방사하는 발광부; 및 상기 발광부에서 방사된 적외선을 수광하고 상기 적외선이 방사후 돌아오는데 걸린 시간 및 위상차를 분석하여 상기 장애물과의 거리를 산출하는 수광부를 포함하는 것을 특징으로 한다.The image obtaining unit may include: a light emitting unit that emits infrared rays to an obstacle in front of the vehicle; And a light receiving unit for receiving the infrared rays emitted from the light emitting unit and analyzing the time and phase difference taken for returning the infrared rays after the radiation to calculate the distance to the obstacle.

또한, 상기 발광부는 차량 전면 라디에이터 그릴 내 또는 차량 전면 헤드램프 내에 장착하고, 상기 수광부는 차량 전면 윈드쉴드 내부에 장착하는 것을 특징으로 한다.In addition, the light emitting unit is mounted in the vehicle front radiator grille or in the front head lamp of the vehicle, and the light receiving unit is mounted inside the front windshield of the vehicle.

본 발명에 따른 연석 검출 방법은 차량 전방의 3차원 정보를 포함하는 2차원 영상 데이터를 획득하는 과정; 상기 2차원 영상 데이터의 3차원 정보를 이용하여 각 화소를 YZ 플랜(plane)으로 투영하는 과정; 상기 YZ 플랜 내 투영된 데이터를 바탕으로 선을 검출하는 과정; 상기 검출된 선 사이의 거리를 산출하는 과정; 및 상기 선 사이의 거리가 일정 범위 내에 존재하면 상기 선 중 하나가 연석인 것으로 판단하는 과정을 포함하는 것을 특징으로 한다.A method of detecting a curl according to the present invention includes the steps of acquiring two-dimensional image data including three-dimensional information of a vehicle ahead; Projecting each pixel onto a YZ plane using three-dimensional information of the two-dimensional image data; Detecting a line based on the projected data in the YZ plan; Calculating a distance between the detected lines; And determining that one of the lines is a curb when the distance between the lines is within a certain range.

또한, 상기 YZ 플랜으로 투영하는 과정은, 상기 3차원 영상데이터의 3차원 정보(x, y, z)를 이용하여 각 화소를 YZ 플랜으로 투영하여, YZ 플랜의 장애물 및 평면을 점들로 구성되는 선 형태로 표시하는 것을 특징으로 한다.In addition, the process of projecting to the YZ plan may include projecting each pixel onto the YZ plane using the three-dimensional information (x, y, z) of the three-dimensional image data, In a linear form.

또한, 상기 선 사이의 거리를 산출하는 과정은, 선이 1개이면 연석이 없는 도로로 판단하고, 선이 2개 이상인 경우 선 사이의 Y 방향 높이를 산출하는 것을 특징으로 한다.Further, the process of calculating the distance between the lines is determined to be a road without a curb when there is one line, and the height in the Y direction between the lines is calculated when there are two or more lines.

또한, 상기 연석을 차량 전방의 2차원 영상데이터에 표시하여 화면에 출력하는 과정을 더 포함하는 것을 특징으로 한다.The method further includes the step of displaying the curb on the two-dimensional image data in front of the vehicle and outputting the curb on the screen.

또한, 상기 3차원 정보를 포함하는 2차원 영상 데이터를 획득하는 과정은, 상기 차량 전방을 촬영하여 2차원 정보(X, Y)를 획득하는 과정; 및 적외선을 상기 차량 전방의 장애물로 방사한 후, 되돌아오는 적외선을 수광하는 시간 및 위상차를 이용하여 상기 장애물과의 거리를 산출하여 깊이정보(Y)를 획득하는 과정을 포함하는 것을 특징으로 한다.In addition, the step of acquiring the two-dimensional image data including the three-dimensional information includes the steps of capturing the front of the vehicle and acquiring the two-dimensional information (X, Y); And obtaining the depth information (Y) by calculating the distance to the obstacle by using the time and phase difference for receiving the returning infrared ray after radiating the infrared ray as an obstacle in front of the vehicle.

본 기술은 충돌 위험 장애물인 연석에 대한 위치정보를 정확히 파악함으로써 안전운전을 수행할 수 있도록 하는 효과를 제공한다.This technology provides the effect of enabling safe operation by accurately grasping the position information of the curb which is a collision danger obstacle.

도 1a는 일반적인 연석을 도시하는 도면,
도 1b 및 도 1c는 연석이 불명확하지 않은 경우를 나타내는 예시도,
도 2는 본 발명에 따른 연석 검출 시스템의 구성도,
도 3은 도 2의 영상 획득부의 예시도,
도 4는 도 2의 영상 획득부를 차량에 탑재한 예시도,
도 5는 도 2의 영상 획득부에 의해 영상을 획득하는 예시도,
도 6은 본 발명에 따른 연석 검출 방법을 나타내는 순서도,
도 7a 및 도 7c는 본 발명의 실시예에 따른 영상데이터를 YZ 플랜으로 투영하는 과정을 설명하기 위한 도면,
도 8a 및 도 8b는 도 6의 영상데이터로부터 선을 검출하는 과정을 설명하기 위한 도면,
도 9a 내지 도 9e는 본 발명에 따른 연석을 표시한 영상 데이터의 예시도이다.1A is a view showing a general curb,
Figs. 1B and 1C are views showing a case where the curb is not unclear,
2 is a configuration diagram of a curb detection system according to the present invention,
3 is an illustration of an image acquisition unit of FIG. 2,
Fig. 4 is an exemplary view showing the image acquisition unit of Fig. 2 mounted on a vehicle,
FIG. 5 is an exemplary view for acquiring an image by the image acquisition unit of FIG. 2;
6 is a flowchart showing a method of detecting a curb according to the present invention,
FIGS. 7A and 7C are views for explaining a process of projecting image data according to an embodiment of the present invention to a YZ plan; FIG.
8A and 8B are diagrams for explaining a process of detecting a line from the image data of FIG. 6,
Figs. 9A to 9E are diagrams illustrating image data representing a curb according to the present invention. Fig.

이하 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부도면을 참조하여 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order to facilitate a person skilled in the art to easily carry out the technical idea of the present invention.

후술한 본 발명은 도로의 연석의 위치를 정확히 검출하여 화면에 표시해주는 기술로서, 이러한 기술적 원리는 안전주행과 관련된 충돌 예방 시스템, 사용자 편의 시스템, 안전운전 시스템 등을 구비하는 차량에 적용될 수 있다.
The present invention can be applied to a vehicle equipped with a crash prevention system, a user convenience system, a safe driving system, and the like, which are related to safe driving.

이하, 도 2 내지 도 9e를 참조하여, 본 발명의 실시예를 구체적으로 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to Figs. 2 to 9E.

도 2는 본 발명에 따른 연석 검출 시스템의 구성도이다.2 is a configuration diagram of a curb detection system according to the present invention.

본 발명에 다른 연석 검출 시스템은 영상 획득부(100), 연석 검출부(200) 및 디스플레이부(300)를 구비한다.The curb detection system according to the present invention includes an image acquisition unit 100, a curb detection unit 200, and a display unit 300.

영상 획득부(100)는 차량 전방의 2차원 영상데이터(x y 평면)를 획득하되, 발광부에서 방사한 적외선과 반사되어 수광부로 돌아오는 적외선 사이의 위상차 및 시간을 계산하여 깊이 정보(z)를 산출함으로써, 3차원 영상정보(x, y, z)를 가지는 2차원 영상 데이터를 획득한다. 이를 위해, 영상 획득부(100)는 ToF(Time of Flight) 카메라로 구현하는데, ToF 카메라는 적외선을 고속의 펄스로 스위칭하여 적외선이 반사되어 돌아오는 시간을 특수한 이미지센서로 측정하여 3차원 깊이(Depth) 영상을 만드는 장치이다. The image obtaining unit 100 obtains the two-dimensional image data (xy plane) in front of the vehicle, calculates the phase difference and time between the infrared rays radiated from the light emitting unit and the infrared rays reflected back to the light receiving unit, Dimensional image data having the three-dimensional image information (x, y, z). To achieve this, the image acquisition unit 100 is implemented with a time-of-flight (ToF) camera. The ToF camera switches the infrared rays to high-speed pulses and measures the return time of the infrared rays reflected by a special image sensor. Depth) image.

이러한 ToF 카메라는 도 3에 도시된 바와 같이 발광부(Illumination unit;110, 120)와 수광부(130)를 구비한다. 발광부(110, 120)는 100MHz 이상의 속도로 빛을 방사하기 때문에 LED 와 레이저 다이오드(Laser diode)로 구현될 수 있다. 수광부(140)는 적외선을 수광하는 수광렌즈(131)와 이미지 센서(Image sensor;132)를 구비한다. 수광렌즈(131)는 반사되는 빛을 모아서 이미지 센서(132)에 전달하게 되며, 렌즈 밴드 패스 필터(Optical band pass filter)를 구비하여 특정 파장대(발광부에서 송출한 대역)의 적외선만을 통과시키게 되고, 외부 태양광과 같은 외란을 차단하게 된다. 이미지 센서(132)는 각각의 픽셀이 발광된 적외선이 물체에 부딪혀서 돌아오는 시간 및 위상차를 측정하게 된다. The ToF camera includes an illumination unit 110 and a light receiving unit 130 as shown in FIG. Since the light emitting units 110 and 120 emit light at a speed of 100 MHz or more, they can be realized with an LED and a laser diode. The light receiving unit 140 includes a light receiving lens 131 for receiving infrared rays and an image sensor 132. The light receiving lens 131 collects the reflected light and transmits the collected light to the image sensor 132. The light receiving lens 131 includes a lens band pass filter to pass only infrared rays of a specific wavelength band , And disturbance such as external sunlight is blocked. The image sensor 132 measures the time and phase difference when the infrared rays emitted from the respective pixels strike the object and return.

이러한 ToF 카메라는 도 4에 도시된 바와 같이, 발광부(110, 120)와 수광부(130)로 나누어져 차량에 장착될 수 있다. 이때, 발광부(110, 120)는 차량 전면 라디에이터 그릴 내 또는 차량 전면 헤드램프 내에 장착되고, 수광부(130)는 차량 전면 윈드쉴드 내부에 장착된다.The ToF camera may be divided into light emitting units 110 and 120 and a light receiving unit 130, as shown in FIG. At this time, the light emitting units 110 and 120 are mounted in the vehicle front radiator grille or the vehicle front head lamp, and the light receiving unit 130 is mounted inside the vehicle front windshield.

차량의 발광부(110, 120)가 적외선을 방사하면, 방사된 적외선이 전방의 입체적인 물체(장애물)에 부딪힌 후 다시 차량으로 돌아오게 되는데, 차량의 수광부(130)의 수광렌즈(131)가 되돌아온 적외선을 수광하게 된다. 이에, 흡수된 적외선은 이미지 센서(132)로 전달되고 이미지 센서(132)는 방출된 적외선 신호와 반사되어 돌아온 적외선 신호 파장을 분석하여 위상차를 계산하고 계산된 위상차를 근거로 물체와의 거리를 판단하여, 깊이 지도(Depth map)를 생성하게 된다.
When the light emitting units 110 and 120 of the vehicle emit infrared rays, the emitted infrared rays strike a frontal three-dimensional object (obstacle) and return to the vehicle. When the light receiving lens 131 of the vehicle light receiving unit 130 returns And receives infrared rays. The absorbed infrared rays are transmitted to the image sensor 132, the image sensor 132 analyzes the infrared signal wavelength reflected by the emitted infrared signal, calculates the phase difference, and determines the distance to the object based on the calculated phase difference To generate a depth map (Depth map).

연석 검출부(200)는 데이터 저장부(210), 영상 변환부(220), 선 검출부(230), 및 데이터 분석부(240)를 포함한다.The curb detection unit 200 includes a data storage unit 210, an image conversion unit 220, a line detection unit 230, and a data analysis unit 240.

데이터 저장부(210)는 영상 획득부(100)가 획득한 3차원 영상정보를 가지는 2차원 영상데이터를 저장한다. 이때, 3차원 영상정보를 가지는 2차원 영상데이터는 도 7a와 같이 2차원 영상데이터 내에 3차원 좌표를 저장한 데이터를 의미한다.The data storage unit 210 stores two-dimensional image data having three-dimensional image information acquired by the image acquisition unit 100. At this time, the two-dimensional image data having the three-dimensional image information means the three-dimensional coordinate data stored in the two-dimensional image data as shown in FIG.

영상 변환부(220)는 3차원 영상 데이터의 3차원 정보(X, Y, Z)를 이용하여 각 화소를 YZ 플랜(plane) 뷰로 변환한다. 이때, 영상 변환부(220)는 도 7b와 같이 영상 획득부(100)가 획득한 영상데이터의 각 화소의 3차원 정보(영상 내 위치(x, y성분), 깊이정보(z성분))를 이용하여 각 화소를 YZ 플랜으로 투영시킨다. 이에, YZ 플랜으로 투영된 화면이 도 8b와 같이 표현된다. 즉, 도 8a와 같이 실제 영상의 YZ 평면에는 장애물(A, B, C), 인도(D), 차도(E)는 YZ플랜으로 화소를 투영시키면 도 8b와 같이 장애물(A, B, C)이 수직선 형태로 나열되는 점들로 나타나고, 인도(D), 차도(E)는 수평선 형태로 나열되는 점들로 표시된다. 또한, 영상 변환부(220)는 데이터 분석부(240)에서 검출된 연석을 데이터 저장부(210)에 저장한 2차원 영상 데이터에 표시하여 디스플레이부(300)로 출력한다.The image converting unit 220 converts each pixel into a YZ plane view using the three-dimensional information (X, Y, Z) of the three-dimensional image data. At this time, the image transforming unit 220 transforms the three-dimensional information (the position (x, y component) and the depth information (z component) in the image) of each pixel of the image data acquired by the image obtaining unit 100 So that each pixel is projected onto the YZ plane. Thus, a screen projected onto the YZ plan is expressed as shown in FIG. 8B. 8A, the obstacles A, B, C, D, and E are projected on the YZ plane in the YZ plane of the actual image. As shown in FIG. 8B, Are indicated by dots arranged in the form of a vertical line, and indices (D) and roads (E) are indicated by dots arranged in the form of a horizontal line. In addition, the image converting unit 220 displays the curb detected by the data analyzing unit 240 on the two-dimensional image data stored in the data storage unit 210, and outputs the two-dimensional image data to the display unit 300.

선 검출부(230)는 도 8b와 같이 YZ 플랜 내 투영된 데이터를 바탕으로 수평방향의 선(D, E)을 검출한다. 즉, 인도가 도시된 평면과 차도가 표시된 평면이 선의 형태로 검출된다.The line detecting unit 230 detects horizontal lines D and E based on the projected data in the YZ plane as shown in FIG. 8B. That is, the plane in which the lead is shown and the plane in which the difference is indicated is detected in the form of a line.

데이터 분석부(240)는 선 검출부(230)에 의해 검출된 선(D, E 사이의 거리(R)를 산출한다. 이때, 데이터 분석부(240)는 검출된 선이 1개인 경우 하나의 평면이므로 차도만 있어 연석이 없는 것으로 판단한다. 또한, 데이터 분석부(240)는 선 사이의 거리(R)가 일정 범위(교통 법규 등에 의해 정해진 범위)에 속하는 경우 연석으로 판단한다.The data analyzer 240 calculates the distance R between the lines D and E detected by the line detector 230. At this time, the data analyzer 240 analyzes one line The data analyzer 240 judges that the curb is present when the distance R between the lines falls within a certain range (a range defined by a traffic regulation, etc.).

디스플레이부(300)는 연석을 표시한 전방의 영상 데이터를 디스플레이하며, 텔레매틱스 유닛, AVN(Audio, Video, Navigation) 등의 멀티미디어 단말, 클러스터(cluster) 등으로 구현될 수 있다.The display unit 300 displays image data in front of the curb and may be implemented as a multimedia terminal such as a telematics unit, an AVN (Audio, Video, Navigation), a cluster, or the like.

이와 같이, 본 발명에서는 ToF 카메라를 이용하여 얻은 차량 전방의 3차원 정보를 포함하는 2차원 영상 데이터를 분석하여 연석의 후보군을 검출하고, 후보군들의 연석 여부를 파악하여 운전자에게 연석의 위치를 알려주거나 차량의 연석 접근시 경고를 알리는 기능을 수행할 수 있다. 이로 인해 운전자가 전방상황을 정확히 파악하기 어려운 상황에서도 연석을 정확하게 검출하여 안전운전에 크게 도움을 줄 수 있다.
As described above, according to the present invention, the two-dimensional image data including the three-dimensional information of the front of the vehicle obtained using the ToF camera is analyzed to detect candidates of the curb, and the driver is informed of the position of the curb It is possible to perform a function of notifying a warning when approaching the curb of the vehicle. This allows the driver to accurately detect the curb even in situations where it is difficult to accurately grasp the situation ahead, which can greatly contribute to safe driving.

이하, 도 6을 참조하여, 본 발명에 따른 연석 검출 방법을 구체적으로 설명하기로 한다. Hereinafter, with reference to FIG. 6, a method of detecting a curb according to the present invention will be described in detail.

먼저, 영상 획득부(100)는 영상 획득부(100)를 통해 도 7a와 같이 전방의 3차원 정보(X, Y, Z)를 포함한 2차원 영상데이터를 획득하고(S101), 영상 변환부(220)는 도 7b와 같이 획득한 영상데이터의 각 화소의 3차원 정보(영상 내 위치(x, y성분), 깊이 정보(z성분))를 이용하여 각 화소를 YZ 플랜(plane)으로 투영함으로써 원래의 영상 데이터를 YZ 플랜으로 변환한다(S102).First, the image obtaining unit 100 obtains two-dimensional image data including forward three-dimensional information (X, Y, Z) (S101) through the image obtaining unit 100 220 projects each pixel onto the YZ plane using the three-dimensional information (position (x, y component), depth information (z component) in the image) of each pixel of the acquired image data as shown in FIG. 7B The original image data is converted into a YZ plan (S102).

도 7c를 이용하여, YZ 플랜으로 투영하는 기술을 구체적으로 설명하면 아래와 같다. 먼저, 영상 획득부(100)는 세계좌표(world coordinate)의 X, Y 축을 두 개의 축으로 하는 2차원 영상데이터에, 이미지 센서(12)로부터의 거리를 한 개의 축(Z축)으로 하는 3차원 정보를 적용하여 3차원 평면을 정의한다. 즉, 2차원 영상좌표를 3차원 세계좌표로 백프로젝션(back-projection) 시킨다. 이때, 2차원 영상좌표 (u, v)는 일반적인 상황에서 백프로젝션(back-projection)시 센서 중심과 (u, v)를 지나는 직선으로 투영되는데, 거리 정보(Z)를 알면 직선 위의 한 점 (x, y, z)으로 투영이 가능하며, 이는 아래 수학식 1과 같이 표현될 수 있다.The technique of projecting to the YZ plan using FIG. 7C will be described in detail as follows. First, the image acquiring unit 100 acquires three-dimensional image data having two axes on the X and Y axes of the world coordinate and three axes (Z axes) of the distance from the image sensor 12 as one axis Dimensional information is applied to define a three-dimensional plane. That is, the two-dimensional image coordinates are back-projected in three-dimensional world coordinates. At this time, the two-dimensional image coordinate (u, v) is projected on a straight line passing through the center of the sensor (u, v) in the back projection in a general situation. If the distance information (Z) (x, y, z), which can be expressed as Equation 1 below.

Figure pat00001
Figure pat00001

여기서, K는 ToF 카메라의 내부변수행렬(intrinsic matrix)를 의미한다.Here, K denotes an intrinsic matrix of the ToF camera.

아래의 수학식 2는 3차원 좌표 (x, y, z)를 2차원 좌표 (y, z)로 투영하기 위한 3 x 4 매트릭스를 나타낸다. 이때, (x, y, z, 1)과 (y, z, 1)은 연산을 위한 동차표기법(homogeneous notation)이다.Equation 2 below represents a 3 x 4 matrix for projecting the three-dimensional coordinates (x, y, z) into two-dimensional coordinates (y, z). Here, (x, y, z, 1) and (y, z, 1) are homogeneous notations for computation.

Figure pat00002
Figure pat00002

그 후, 선 검출부(230)는 도 8b와 같이 YZ 플랜뷰로 변환된 영상 데이터로부터 선(D, E)을 검출한다(S103). 도 8a의 장애물 A, B, C가 도 8b에 표시되고 인도 및 차도의 평면이 수평방향으로 두 개의 선(D, E)이 검출된 것을 알 수 있다.Thereafter, the line detecting unit 230 detects lines D and E from the image data converted into the YZ plan view as shown in FIG. 8B (S103). It can be seen that the obstacles A, B, and C in FIG. 8A are shown in FIG. 8B, and the two lines D and E are detected in the horizontal direction of the plane of guidance and driveway.

이어서, 데이터 분석부(230)는 검출된 선의 개수를 판단하여(S104), 선이 1개이면 도로가 하나의 평면으로 구성되어 있음을 의미하는 것으로 연석이 존재하지 않음을 의미하고, 선이 2개 이상이면 연석이 존재하는 것으로 판단한다.Then, the data analyzing unit 230 determines the number of detected lines (S104). If there is one line, it means that the road is composed of one plane. That is, there is no curb. It is judged that a curb exists.

이에, 선이 2개 이상인 경우, 데이터 분석부(230)는 선 사이의 거리(도 8b의 R) 즉 평면 사이의 Y 방향 높이(R)를 산출한다(S105).Accordingly, when there are two or more lines, the data analysis unit 230 calculates the distance between the lines (R in FIG. 8B), that is, the height in the Y direction R between the planes (S105).

그 후, 데이터 분석부(230)는 선 사이의 거리가 일정 범위 내에 존재하는 지를 판단한다(S106). 여기서, 일정 범위는 7cm(rmin) < 검출된 연석의 높이(rij) < 30cm(rmzx) 로 설정한다. 즉, 도시계획도로의 계획 및 설계 기준(1988)에 의거하여 연석의 높이를 구획도로에서는 10cm 이하, 주간선도로에서는 20~25cm 로 규정하고 있고, 도로안전시설 설치편람(1989) 에 의거 연석의 높이를 방호책이 설치된 도로를 제외한 대부분의 도로에 20~25cm 로 설치할 것을 규정하고 있어, 본 발명에서는 연석의 높이를 7cm보다 크고 30cm보다 작은 범위로 설정하고 있으나, 이 범위는 언제든지 변경될 수 있다.Thereafter, the data analysis unit 230 determines whether the distance between lines is within a certain range (S106). Here, the predetermined range is set to 7 cm (r min ) <height of the detected curb (r ij ) <30 cm (r mz x ). According to the Planning and Design Criteria (1988) of the Urban Planning Road, the height of the curb is defined as 10 cm or less on the division road and 20 to 25 cm on the daytime road road, and according to the Road Safety Installation Manual (1989) The height of the curb is set in a range of more than 7 cm and less than 30 cm in the present invention, but this range can be changed at any time.

상기 과정 S106의 판단 결과, 검출된 연석의 높이가 미리 정한 범위 내에 존재하는 경우, 영상 변환부(220)는 데이터 저장부(210)에 저장되어 있는 초기 영상 데이터로 변환시킨 후 검출된 연석의 위치 정보에 따라 도 9a 내지 도 9e와 같이 변환된 영상데이터에 연석을 표시하여 디스플레이부(300)에 디스플레이한다(S107). If it is determined in step S106 that the height of the detected curb lies within a predetermined range, the image conversion unit 220 converts the detected curvature into initial image data stored in the data storage unit 210, 9A to 9E, the display unit 300 displays a curb on the converted image data (S107).

한편, 상기 과정 S106의 판단 결과, 검출된 연석의 높이가 미리 정한 범위를 벗어나는 경우, 데이터 분석부(230)는 모든 선 사이의 거리를 파악하였는지를 판단하여(S108), 모든 선 사이의 거리를 파악하지 않은 경우에는 과정 S105로 되돌아가서 남아 있는 선 사이의 거리를 다시 산출하고 모든 선 사이의 거리를 파악한 경우에는 초기 단계(S101)로 돌아간다.On the other hand, if it is determined in step S106 that the height of the detected curb falls outside a predetermined range, the data analysis unit 230 determines whether the distance between all the lines is known (S108) If not, the process returns to step S105 to calculate again the distance between the remaining lines, and returns to the initial step S101 if the distance between all the lines is known.

이와 같이, 본 발명은 ToF 센서 하나만으로 충돌 위험 장애물인 연석에 대한 위치정보를 정확히 파악할 수 있도록 할 뿐만 아니라, 연석 접근 시 경고 또는 연석을 회피 주행할 수 있도록 제어하는 시스템 등에 적용할 수 있다.As described above, the present invention can be applied to a system for precisely grasping positional information on a curb which is a dangerous obstacle of collision with only one ToF sensor, and for controlling a warning or a curb in avoiding a curb approach.

또한, 본 발명은 3차원 정보를 이용한 뷰 변환이 자유로우며, 3차원 정보를 통해 전방 상황을 파악할 수 있어 안전운행을 할 수 있도록 한다.In addition, the present invention is free from view conversion using three-dimensional information, and it is possible to grasp the forward situation through three-dimensional information, thereby enabling safe operation.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas falling within the scope of the same shall be construed as falling within the scope of the present invention.

100 : 영상 획득부 200 : 연석검출부
210 : 데이터 저장부 220 : 영상 변환부
230 : 선 검출부 240 : 데이터 분석부
300 : 디스플레이부100: image acquisition unit 200:
210: Data storage unit 220: Image conversion unit
230: Line detection unit 240: Data analysis unit
300:

Claims (9)

차량 전방에 대한 3차원 정보(X, Y, Z)를 가지는 2차원 영상 데이터를 획득하는 영상 획득부;
상기 2차원 영상 데이터의 3차원 정보(X, Y, Z)를 이용하여 각 화소를 YZ 플랜(plane)으로 투영하는 영상 변환부;
상기 YZ 플랜 내 투영된 데이터를 바탕으로 선을 검출하는 선 검출부;
상기 선 검출부에 의해 검출된 선 사이의 거리를 산출하여 연석을 검출하는 데이터 분석부; 및
상기 검출된 연석을 상기 3차원 영상 데이터에 표시하여 출력하는 디스플레이부
를 포함하는 연석 검출 시스템.An image obtaining unit for obtaining two-dimensional image data having three-dimensional information (X, Y, Z) about the front of the vehicle;
An image converter for projecting each pixel onto a YZ plane using three-dimensional information (X, Y, Z) of the two-dimensional image data;
A line detector for detecting a line based on the projected data in the YZ plane;
A data analyzing unit for calculating a distance between the lines detected by the line detecting unit and detecting a curb; And
A display unit for displaying the detected curb on the three-dimensional image data and outputting the displayed curb;
And a curvature detection system. 청구항 1에 있어서,
상기 영상 획득부는,
ToF(Time of Flight) 카메라를 구비하는 것을 특징으로 하는 연석 검출 시스템.The method according to claim 1,
The image acquiring unit may acquire,
And a ToF (Time of Flight) camera. 청구항 2에 있어서,
상기 영상 획득부는,
차량 전방의 장애물에 대해 적외선을 방사하는 발광부; 및
상기 발광부에서 방사된 적외선을 수광하고 상기 적외선이 방사후 돌아오는데 걸린 시간 및 위상차를 분석하여 상기 장애물과의 거리를 산출하는 수광부
를 포함하는 것을 특징으로 하는 연석 검출 시스템.The method of claim 2,
The image acquiring unit may acquire,
A light emitting unit emitting infrared rays to an obstacle in front of the vehicle; And
A light receiving unit for receiving infrared rays emitted from the light emitting unit and calculating a distance between the infrared ray and the obstacle by analyzing a time and a phase difference required for returning the infrared ray after the irradiation,
Wherein the curb detection system comprises: 청구항 3에 있어서,
상기 발광부는 차량 전면 라디에이터 그릴 내 또는 차량 전면 헤드램프 내에 장착하고, 상기 수광부는 차량 전면 윈드쉴드 내부에 장착하는 것을 특징으로 하는 연석 검출 시스템.The method of claim 3,
Wherein the light emitting portion is mounted in the vehicle front radiator grille or the vehicle front head lamp, and the light receiving portion is mounted inside the vehicle front windshield. 차량 전방의 3차원 정보를 포함하는 2차원 영상 데이터를 획득하는 과정;
상기 2차원 영상 데이터의 3차원 정보를 이용하여 각 화소를 YZ 플랜(plane)으로 투영하는 과정;
상기 YZ 플랜 내 투영된 데이터를 바탕으로 선을 검출하는 과정;
상기 검출된 선 사이의 거리를 산출하는 과정; 및
상기 선 사이의 거리가 일정 범위 내에 존재하면 상기 선 중 하나가 연석인 것으로 판단하는 과정
을 포함하는 것을 특징으로 하는 연석 검출 방법.Acquiring two-dimensional image data including three-dimensional information of the front of the vehicle;
Projecting each pixel onto a YZ plane using three-dimensional information of the two-dimensional image data;
Detecting a line based on the projected data in the YZ plan;
Calculating a distance between the detected lines; And
And determining that one of the lines is a curb when the distance between the lines is within a certain range
Wherein the curb is detected by the detecting means. 청구항 5에 있어서,
상기 YZ 플랜으로 투영하는 과정은,
상기 3차원 영상데이터의 3차원 정보(x, y, z)를 이용하여 각 화소를 YZ 플랜으로 투영하여, YZ 플랜의 장애물 및 평면을 점들로 구성되는 선 형태로 표시하는 것을 특징으로 하는 연석 검출 방법.The method of claim 5,
In the process of projecting to the YZ plan,
Wherein each pixel is projected onto a YZ plane using three-dimensional information (x, y, z) of the three-dimensional image data, and an obstacle and a plane of the YZ plan are displayed in a line form composed of dots Way. 청구항 5에 있어서,
상기 선 사이의 거리를 산출하는 과정은,
선이 1개이면 연석이 없는 도로로 판단하고, 선이 2개 이상인 경우 선 사이의 Y 방향 높이를 산출하는 것을 특징으로 하는 연석 검출 방법.The method of claim 5,
Calculating a distance between the lines,
And when the number of lines is two or more, the height in the Y direction between the lines is calculated. 청구항 5에 있어서,
상기 연석을 차량 전방의 2차원 영상데이터에 표시하여 화면에 출력하는 과정을 더 포함하는 것을 특징으로 하는 연석 검출 방법.The method of claim 5,
And displaying the curb on the two-dimensional image data in front of the vehicle and outputting the curb on the screen. 청구항 5에 있어서,
상기 3차원 정보를 포함하는 2차원 영상 데이터를 획득하는 과정은,
상기 차량 전방을 촬영하여 2차원 정보(X, Y)를 획득하는 과정; 및
적외선을 상기 차량 전방의 장애물로 방사한 후, 되돌아오는 적외선을 수광하는 시간 및 위상차를 이용하여 상기 장애물과의 거리를 산출하여 깊이정보(Y)를 획득하는 과정
을 포함하는 것을 특징으로 하는 연석 검출 방법.






The method of claim 5,
Wherein the step of acquiring the two-dimensional image data including the three-
Capturing the front of the vehicle to obtain two-dimensional information (X, Y); And
A step of calculating depth information Y by calculating the distance to the obstacle by using time and phase difference for receiving infrared rays returned after emitting infrared rays as obstacles in front of the vehicle
Wherein the curb is detected by the detecting means.






KR1020120144899A 2012-12-12 2012-12-12 System for detecting road-kerb of veichle and method thereof KR101428281B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120144899A KR101428281B1 (en) 2012-12-12 2012-12-12 System for detecting road-kerb of veichle and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120144899A KR101428281B1 (en) 2012-12-12 2012-12-12 System for detecting road-kerb of veichle and method thereof

Publications (2)

Publication Number Publication Date
KR20140076418A true KR20140076418A (en) 2014-06-20
KR101428281B1 KR101428281B1 (en) 2014-08-07

Family

ID=51128756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120144899A KR101428281B1 (en) 2012-12-12 2012-12-12 System for detecting road-kerb of veichle and method thereof

Country Status (1)

Country Link
KR (1) KR101428281B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057357A1 (en) * 2022-09-12 2024-03-21 日本電気株式会社 Driving assistance device, driving assistance method, and recording medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019203774A (en) * 2018-05-23 2019-11-28 酒井重工業株式会社 Obstacle detector for construction vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09139936A (en) * 1995-11-16 1997-05-27 Nissan Motor Co Ltd Camera for vehicle
JP2009049943A (en) * 2007-08-22 2009-03-05 Alpine Electronics Inc Top view display unit using range image
KR20110087112A (en) * 2010-01-25 2011-08-02 현대모비스 주식회사 Image display device using tof priciple and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057357A1 (en) * 2022-09-12 2024-03-21 日本電気株式会社 Driving assistance device, driving assistance method, and recording medium

Also Published As

Publication number Publication date
KR101428281B1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
US11609329B2 (en) Camera-gated lidar system
US10222477B2 (en) Optical budget apportionment in LIDAR
US20190005726A1 (en) Display system, information presentation system, method for controlling display system, computer-readable recording medium, and mobile body
EP2721593B1 (en) System and method for traffic side detection and characterization
CN103455144B (en) Vehicle-mounted man-machine interaction system and method
JP2021047204A (en) Method for detecting weather state using on-vehicle sensor, and system therefor
EP2820632B1 (en) System and method for multipurpose traffic detection and characterization
US6911642B2 (en) Object presence detection method and device
JP4715579B2 (en) Potential risk estimation device
US20140156178A1 (en) Road marker recognition device and method
KR20220134754A (en) Lane Detection and Tracking Techniques for Imaging Systems
JP2006184276A (en) All-weather obstacle collision preventing device by visual detection, and method therefor
CN112365741B (en) Safety early warning method and system based on multilane vehicle distance detection
EP2821958A1 (en) Three-dimensional object detection device
WO2019008716A1 (en) Non-visible measurement device and non-visible measurement method
WO2019112514A1 (en) Rain filtering techniques for autonomous vehicle
KR101428281B1 (en) System for detecting road-kerb of veichle and method thereof
CN112562061A (en) Driving vision enhancement system and method based on laser radar image
KR20110139381A (en) Method for detecting vehicle
US20220381913A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
JP7083768B2 (en) Recognition device, vehicle control device, recognition method, and program
US20210323471A1 (en) Method and arrangement for generating a representation of surroundings of a vehicle, and vehicle having such an arrangement
CN109964132B (en) Method, device and system for configuring sensor on moving object
WO2022269995A1 (en) Distance measurement device, method, and program
Nedevschi et al. On-board stereo sensor for intersection driving assistance architecture and specification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180730

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 6