KR20130015978A

KR20130015978A - Apparatus for detecting lane and method thereof

Info

Publication number: KR20130015978A
Application number: KR1020110078353A
Authority: KR
Inventors: 김종헌; 박영경; 이중재; 김현수; 박준오; 안드레아스 박; 디르 산드라 셰이커; 이제훈
Original assignee: 엘지전자 주식회사
Priority date: 2011-08-05
Filing date: 2011-08-05
Publication date: 2013-02-14
Also published as: KR101641251B1; WO2013022159A1

Abstract

PURPOSE: A lane recognition apparatus and a method thereof are provided to exactly detect a lane by detecting the lane based on lane fitness among lane feature points detected from photographed image and lanes detected by different lane equations. CONSTITUTION: A display unit(130) indicates an image photographed by a camera module(110). A control unit(120) detects candidate lanes based on lane fitness, among lane feature points detected from the photographed image and lanes detected by different lane equations. The control unit displays lanes adjacent to a vehicle among the detected candidate lanes on the image, as current driving lanes of the vehicle. [Reference numerals] (110) Camera module; (120) Control unit; (130) Display unit; (140) Storage unit

Description

Lane recognition device and its method {APPARATUS FOR DETECTING LANE AND METHOD THEREOF}

본 명세서는 차선 인식 장치 및 그 방법에 관한 것이다. The present disclosure relates to a lane recognizing apparatus and a method thereof.

일반적으로, 차선 인식 장치는 카메라 등을 통해 입력된 또는 외부 단말로부터 수신된 임의의 영상에 포함된 차선을 인식하는 장치이다. 종래 기술에 따른 차선 인식 장치는 한국 특허 공개 번호 1995-0017509에도 개시되어 있다. In general, the lane recognizing apparatus is a device for recognizing a lane included in any image input through a camera or the like received from an external terminal. A lane detection apparatus according to the prior art is also disclosed in Korean Patent Laid-Open No. 1995-0017509.

본 명세서는 차선을 정확히 인식할 수 있는 차선 인식 장치 및 그 방법을 제공하는 데 목적이 있다.An object of the present specification is to provide a lane recognizing apparatus and a method capable of accurately recognizing a lane.

본 명세서는 카메라 모듈에 의해 촬영된 영상으로부터 검출된 차선 특징점들과 서로 다른 차선 방정식들을 근거로 검출된 차선들 중에서 차선 적합도를 기초로 차선을 검출함으로써 차선을 정확히 검출할 수 있는 차선 인식 장치 및 그 방법을 제공하는 데 목적이 있다.The present specification provides a lane recognizing apparatus capable of accurately detecting a lane by detecting a lane based on lane suitability among lanes detected based on lane feature points and different lane equations detected from an image photographed by a camera module, and a lane recognition device thereof. The purpose is to provide a method.

상기 목적을 달성하기 위한 본 명세서에 따른 차선 인식 장치는, 카메라 모듈과; 상기 카메라 모듈에 의해 촬영된 영상을 표시하는 표시부와; 상기 카메라 모듈에 의해 촬영된 영상으로부터 검출된 차선 특징점들과 서로 다른 차선 방정식들을 근거로 검출된 차선들 중에서 차선 적합도를 기초로 후보 차선들을 검출하고, 상기 검출된 후보 차선들 중에서 차량에 인접한 차선들을 차량의 현재 주행 차선들로서 상기 영상에 표시하는 제어부를 포함할 수 있다.In order to achieve the above object, a lane detecting apparatus according to the present specification includes a camera module; A display unit which displays an image photographed by the camera module; Among the detected lanes based on lane feature points detected from the image captured by the camera module and different lane equations, candidate lanes are detected based on lane fit, and among the detected candidate lanes, lanes adjacent to the vehicle are detected. It may include a control unit to display on the image as the current driving lanes of the vehicle.

본 명세서와 관련된 일 예로서, 상기 차선 적합도는 상기 차선 특징점들을 상기 서로 다른 차선 방정식들에 대입하고, 상기 대입 결과에 따른 차선과 상기 차선 특징점들의 거리 오차의 합을 근거로 미리 결정될 수 있다.As an example related to the present specification, the lane suitability may be predetermined based on the sum of the distance error between the lane and the lane feature points according to the substitution result by substituting the lane feature points into the different lane equations.

본 명세서와 관련된 일 예로서, 상기 차선 적합도는 상기 차선 특징점들의 개수 및 상기 차선 특징점들이 분포된 범위를 더 포함하여 결정될 수 있다.As an example related to the present specification, the lane suitability may be further determined by including the number of the lane feature points and a range in which the lane feature points are distributed.

본 명세서와 관련된 일 예로서, 상기 제어부는 상기 카메라 모듈에 의해 촬영된 영상으로부터 검출된 차선 특징점들과 서로 다른 차선 방정식들을 근거로 검출된 차선들 중에서 상기 차선 특징점들과 상기 검출된 차선들 간의 거리 오차가 상기 임계값 이하인 차선들을 상기 후보 차선들로서 검출할 수 있다.As an example related to the present specification, the control unit may determine a distance between the lane feature points and the detected lanes among the lane features detected from the image photographed by the camera module and lanes detected based on different lane equations. Lanes whose error is less than or equal to the threshold may be detected as the candidate lanes.

본 명세서와 관련된 일 예로서, 상기 제어부는 상기 촬영된 영상에서 차선 특징점들을 검출하고, 상기 검출한 차선 특징점들에 상기 서로 다른 차선 방정식들을 순차적으로 대입시킴으로써 검출된 차선들 중에서 상기 임계값 이하의 차선 오차를 갖는 차선들을 상기 후보 차선들로서 검출할 수 있다.As an example related to the present specification, the control unit detects lane feature points in the captured image and sequentially inserts the different lane equations into the detected lane feature points. Lanes with errors may be detected as the candidate lanes.

본 명세서와 관련된 일 예로서, 상기 제어부는 상기 촬영된 영상에서 차선 특징점들을 검출하고, 상기 차선 특징점들을 월드 좌표로 변환하고, 상기 월드 좌표로 변환된 차선 특징점들 상기 서로 다른 차선 방정식들을 순차적으로 대입시킴으로써 검출된 차선들 중에서 상기 임계값 이하의 차선 오차를 갖는 차선들을 상기 후보 차선들로서 검출할 수 있다.As an example related to the present specification, the controller detects lane feature points in the photographed image, converts the lane feature points into world coordinates, and sequentially inserts the different lane equations into the lane feature points converted into the world coordinates. By doing so, lanes having a lane error less than or equal to the threshold value may be detected as the candidate lanes.

상기 목적을 달성하기 위한 본 명세서에 따른 차선 인식 방법은, 카메라 모듈에 의해 촬영된 영상을 표시부에 표시하는 단계와; 상기 카메라 모듈에 의해 촬영된 영상으로부터 검출된 차선 특징점들과 서로 다른 차선 방정식들을 근거로 검출된 차선들 중에서 차선 적합도를 기초로 후보 차선들을 검출하는 단계와; 상기 검출된 후보 차선들 중에서 차량에 인접한 차선들을 차량의 현재 주행 차선들로서 상기 영상에 표시하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a lane recognition method comprising: displaying an image photographed by a camera module on a display unit; Detecting candidate lanes based on lane suitability among lanes detected based on lane feature points different from lane feature points detected from an image photographed by the camera module; And displaying lanes adjacent to the vehicle among the detected candidate lanes in the image as current driving lanes of the vehicle.

본 발명의 실시예에 따른 차선 인식 장치 및 그 방법은, 카메라 모듈에 의해 촬영된 영상으로부터 검출된 차선 특징점들과 서로 다른 차선 방정식들을 근거로 검출된 차선들 중에서 차선 적합도를 기초로 차선을 검출함으로써 차선을 정확히 검출할 수 있는 효과가 있다.An apparatus and method for recognizing a lane according to an exemplary embodiment of the present invention may include detecting a lane based on lane fit based on lane fit points detected from an image captured by a camera module and lanes detected based on different lane equations. There is an effect that can accurately detect the lane.

도 1은 본 발명의 일 실시예에 따른 차선 인식 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따라 카메라에 의해 촬영된 영상을 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 가이드 라인을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차선 특징점들을 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따라 월드 좌표로 변환된 차선 특징점들을 나타낸
도 6은 본 발명의 일 실시예에 따른 주행 차선들을 나타낸 도이다.
도 7은 본 발명의 일 실시예에 따라 표시부에 표시된 영상 및 차선들을 나타낸 도이다.
도 8은 본 발명의 일 실시예에 따른 차선 인식 방법을 나타낸 흐름도이다.1 is a block diagram illustrating a configuration of a lane recognizing apparatus according to an exemplary embodiment of the present invention.
2 is an exemplary view showing an image captured by a camera according to an embodiment of the present invention.
3 is an exemplary view showing a guideline according to an embodiment of the present invention.
4 is an exemplary view showing lane feature points according to an exemplary embodiment of the present invention.
5 illustrates lane feature points converted to world coordinates according to an embodiment of the present invention.
6 is a diagram illustrating driving lanes according to an exemplary embodiment of the present invention.
7 is a diagram illustrating images and lanes displayed on a display unit according to an exemplary embodiment of the present invention.
8 is a flowchart illustrating a lane recognition method according to an embodiment of the present invention.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다. It is to be noted that the technical terms used herein are merely used to describe particular embodiments, and are not intended to limit the present invention. It is also to be understood that the technical terms used herein are to be interpreted in a sense generally understood by a person skilled in the art to which the present invention belongs, Should not be construed to mean, or be interpreted in an excessively reduced sense. In addition, when the technical terms used herein are incorrect technical terms that do not accurately express the spirit of the present invention, they should be replaced with technical terms that can be understood correctly by those skilled in the art. In addition, the general terms used in the present invention should be interpreted according to a predefined or prior context, and should not be construed as being excessively reduced.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. Also, the singular forms "as used herein include plural referents unless the context clearly dictates otherwise. In the present application, the term "comprising" or "comprising" or the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다. Furthermore, terms including ordinals such as first, second, etc. used in this specification can be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or similar elements throughout the several views, and redundant description thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. It is to be noted that the accompanying drawings are only for the purpose of facilitating understanding of the present invention, and should not be construed as limiting the scope of the present invention with reference to the accompanying drawings.

이하에서는, 본 발명의 실시예에 따른 차선 인식 장치의 구성을 도 1을 참조하여 설명한다. 여기서, 도 1의 차선 인식 장치는, 스탠드 얼론(stand alone)으로 구성될 수 있을 뿐만 아니라, 이동 단말기(Mobile Terminal), 텔레매틱스 단말기(Telematics Terminal), 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 개인 정보 단말기(Personal Digital Assistant : PDA), 휴대용 멀티미디어 플레이어(Portable Multimedia Player : PMP), 태블릿 PC(Tablet PC), 와이브로(Wibro) 단말기, 내비게이션(Navigation) 단말기, AVN(Audio Video Navigation) 단말기 등과 같이 다양한 단말기에 적용될 수 있다.Hereinafter, a configuration of a lane recognition apparatus according to an embodiment of the present invention will be described with reference to FIG. 1. Here, the lane recognition apparatus of FIG. 1 may not only be configured as stand alone, but also a mobile terminal, a telematics terminal, a smart phone, and a portable terminal. ), Personal Digital Assistant (PDA), Portable Multimedia Player (PMP), Tablet PC (Tablet PC), Wibro Terminal, Navigation Terminal, AVN (Audio Video Navigation) Terminal It can be applied to various terminals such as.

도 1은 본 발명의 일 실시예에 따른 차선 인식 장치의 구성을 나타낸 블록도이다. 1 is a block diagram illustrating a configuration of a lane recognizing apparatus according to an exemplary embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 차선 인식 장치(10)는, 카메라 모듈(110)과; 상기 카메라 모듈(110)에 의해 촬영된 영상을 표시하는 표시부(130)와; 상기 카메라 모듈(110)에 의해 촬영된 영상에서 서로 다른 차선 방정식들(또는 커브 방정식)을 대입시킴으로써 검출된 차선들 중에서 차선 적합도를 기초로 후보 차선들을 검출하고, 상기 검출된 후보 차선들 중에서 차량에 인접한 차선들(예를 들면, 차량의 좌측에 인접한 차선 및 차량의 우측에 인접한 차선)을 차량의 현재 주행 차선들로서 상기 영상에 표시하는 제어부(120)로 구성된다. 상기 차선 적합도는 상기 차선 특징점들을 상기 서로 다른 차선 방정식들에 대입하고, 상기 대입 결과에 따른 차선과 상기 차선 특징점들의 거리 오차의 합을 근거로 미리 결정될 수 있다. As shown in FIG. 1, the lane recognizing apparatus 10 according to an exemplary embodiment of the present invention includes a camera module 110; A display unit 130 for displaying an image photographed by the camera module 110; Candidate lanes are detected based on lane suitability among the detected lanes by substituting different lane equations (or curve equations) from the image photographed by the camera module 110, and among the detected candidate lanes. The control unit 120 displays adjacent lanes (for example, a lane adjacent to the left side of the vehicle and a lane adjacent to the right side of the vehicle) as the current driving lanes of the vehicle in the image. The lane fit may be predetermined based on a sum of the distance error between the lane and the lane feature points according to the substitution result by substituting the lane feature points into the different lane equations.

상기 제어부(120)는 상기 카메라 모듈(110)에 의해 촬영된 영상으로부터 검출된 차선 특징점들과 서로 다른 차선 방정식들을 근거로 검출된 차선들 중에서 상기 차선 특징점들과 상기 검출된 차선들 간의 거리 오차가 상기 임계값 이하인 차선들을 상기 후보 차선들로서 검출할 수도 있다. 예를 들면, 상기 제어부(120)는 상기 촬영된 영상에서 차선 특징점들(지지점들)을 검출하고, 그 검출한 차선 특징점들에 차선(직선 및/또는 곡선)을 검출하는 서로 다른 차선 방정식들을 순차적으로(예를 들면, 저차 차선 방정식(1차 차선 방정식)에서 고차 차선 방정식(3차 차선 방정식) 순으로 또는 고차 차선 방정식(3차 차선 방정식)에서 저차 차선 방정식(1차 차선 방정식) 순으로) 대입시킴으로써 검출된 차선들 중에서 임계값 이하의 차선 오차를 갖는 차선들(또는 차선 적합도가 높은(예를 들면, 90% 이상) 차선들)을 후보 차선들로서 검출한다. The controller 120 may determine a distance error between the lane feature points and the detected lanes among the lane feature points detected from the image photographed by the camera module 110 and the lanes detected based on different lane equations. Lanes below the threshold may be detected as the candidate lanes. For example, the controller 120 sequentially detects different lane equations for detecting lane feature points (support points) in the captured image and detecting lanes (straight and / or curved lines) at the detected lane feature points. (For example, from the lower lane equation (primary lane equation) to the higher lane equation (third lane equation) or from the higher lane equation (third lane equation) to the lower lane equation (primary lane equation). Among the lanes detected by substituting, lanes having a lane error below a threshold value (or lanes having high lane fit (eg, 90% or more)) are detected as candidate lanes.

도 1에 도시한 차선 인식 장치(10)의 구성 요소가 모두 필수 구성 요소인 것은 아니며, 도 1에 도시한 구성 요소보다 많은 구성 요소에 의해 차선 인식 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 차선 인식 장치(10)가 구현될 수도 있다.Not all components of the lane recognizing apparatus 10 illustrated in FIG. 1 are essential components, and the lane recognizing apparatus 10 may be implemented by more components than those illustrated in FIG. Lane recognition device 10 may also be implemented by a component.

도 2는 본 발명의 일 실시예에 따라 카메라에 의해 촬영된 영상을 나타낸 예시도이다.2 is an exemplary view showing an image captured by a camera according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 상기 카메라 모듈(110)은 단일 카메라를 통해 촬영된 영상(310)을 수신한다. 예를 들면, 상기 카메라 모듈(110)은 1차로, 2차로, 3차로 등에 대응하는 차선들을 포함하는 영상(210)을 수신할 수 있다. As shown in FIG. 2, the camera module 110 receives an image 310 captured by a single camera. For example, the camera module 110 may receive an image 210 including lanes corresponding to a first lane, a second lane, a third lane, and the like.

상기 제어부(120)는, 상기 카메라 모듈(110)을 통해 상기 영상(210)을 수신하고, 상기 영상(210)에서 지지점들(support points)(예를 들면, 차선 특징점들)을 추출하기 위한 미리 설정된 가이드 라인(guide line)을 근거로 상기 촬영된 영상(210) 내에서 차선의 특징점들을 추출한다. 이때, 상기 가이드 라인은, 도 3에 도시한 바와 같이, 상기 영상(210)의 아래쪽은 월드 좌표(world coordinate)로 변환되면 가까운 영역을 나타내고, 상기 영상(210)의 중간 및 위쪽은 월드 좌표로 변환되면 먼 영역을 나타내므로, 상기 영상(210)의 데이터를 월드 좌표로 변환 시 최대한 균일한 포인트 간격을 얻기 위해서, 상기 영상(210)의 아래쪽은 가이드 라인(310)의 줄간 간격을 넓게 설정하고, 상기 영상(210)의 위쪽으로 갈수록 가이드 라인(310)의 줄간 간격을 점점 좁게 설정한다. 여기서, 가이드 라인(310)의 줄간 간격의 변경폭은, 설계자의 설계에 따라 다양하게 설정할 수 있으며, 또한, 월드 좌표로 변환 시 동일한 줄간 간격을 유지하도록 설정할 수 있다. 상기 가이드 라인은, 실제 상기 영상 상에 표시되는 것이 아니라, 상기 지지점들(특징점들)을 월드 좌표로 변환 시 최대한 균일한 포인트 간격을 얻기 위해 사용되는 가상의 라인을 의미한다.The control unit 120 receives the image 210 through the camera module 110, and previously extracts support points (for example, lane feature points) from the image 210. The feature points of the lanes are extracted from the photographed image 210 based on the set guide line. In this case, as shown in FIG. 3, the lower part of the image 210 indicates a near area when converted into world coordinates, and the middle and upper parts of the image 210 are represented by world coordinates. Since the transformed area represents a distant area, in order to obtain the most uniform point spacing when converting the data of the image 210 into world coordinates, the lower part of the image 210 has a wider space between the guide lines 310. The interval between lines of the guide line 310 is gradually narrowed toward the upper side of the image 210. Here, the change width of the line spacing of the guide line 310 can be variously set according to the design of the designer, and can also be set to maintain the same line spacing when converting to world coordinates. The guide line means a virtual line that is not actually displayed on the image but is used to obtain the most uniform point spacing when converting the support points (feature points) into world coordinates.

상기 제어부(120)는, 도 4에 도시한 바와 같이, 상기 미리 설정된 가이드 라인을 근거로 상기 영상(310) 내에서 차선 특징점들을 추출하고, 표시부(130)를 통해 상기 추출된 복수의 차선 특징점(410)을 이미지 도메인 상에 표시한다. 즉, 상기 제어부(120)는 차선들(401)에 대응하는 차선 특징점들을 이미지 도메인 상에 표시한다. 여기서, 수평축(x축)을 기준으로 상기 차선 특징점들 간의 수직 방향의 간격은 상기 표시부(130)의 수직 방향의 아래쪽에서 수직 방향의 위쪽으로 갈수록 좁아진다.As illustrated in FIG. 4, the controller 120 extracts lane feature points within the image 310 based on the preset guide line, and extracts the plurality of extracted lane feature points through the display unit 130. 410 is displayed on the image domain. That is, the controller 120 displays lane feature points corresponding to the lanes 401 on the image domain. Here, the vertical gap between the lane feature points on the horizontal axis (x-axis) becomes narrower from the lower side of the display unit 130 to the upper side of the vertical direction.

상기 제어부(120)는, 상기 추출된 차선 특징점들을 월드 좌표로 변환한다. 즉, 상기 제어부(120)는 상기 저장부(140)에 미리 저장된 변환 행렬(예를 들어, 호모그래픽 행렬(homographic matrix) 등 포함)을 이용하여 상기 추출된 차선 특징점들을 월드 좌표로 변환할 수 있다.The controller 120 converts the extracted lane feature points into world coordinates. That is, the controller 120 may convert the extracted lane feature points into world coordinates using a transformation matrix (eg, including a homographic matrix) previously stored in the storage 140. .

일 예로, 상기 제어부(120)는, 도 5에 도시한 바와 같이, 상기 저장부(140)에 미리 저장된 호모그래픽 행렬을 근거로 상기 추출된 차선 특징점들을 월드 좌표로 변환하고, 상기 월드 좌표로 변환된 차선 특징점들(510)을 상기 표시부(130)에 표시한다. 여기서, 수평축을 기준으로 상기 월드 좌표로 변환된 복수의 차선 특징점들 간의 수직 방향의 간격은 동일한 간격을 유지하게 된다.For example, as illustrated in FIG. 5, the controller 120 converts the extracted lane feature points into world coordinates and converts them into world coordinates based on a homographic matrix previously stored in the storage 140. Lane feature points 510 are displayed on the display unit 130. Here, the vertical intervals between the plurality of lane feature points converted to the world coordinates based on the horizontal axis maintain the same interval.

상기 제어부(120)는, 상기 월드 좌표로 변환된 차선 특징점들 및 상기 저장부(140)에 미리 저장된 1차, 2차, 3차, n차 방정식들(커브 방정식들)을 근거로 상기 월드 좌표로 변환된 차선 특징점들 중에서 커브에 해당하는 복수의 포인트들을 검출(또는 확인)할 수도 있다. 즉, 상기 제어부(120)는, 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 커브 방정식들에 순차적으로 대입하여, 상기 대입 결과를 근거로 상기 월드 좌표로 변환된 차선 특징점들의 커브 유무를 결정(또는 확인)할 수 있다. 여기서, 상기 커브 방정식은 1차, 2차, 3차, n차의 방정식일 수 있다. The controller 120 may determine the world coordinates based on the lane feature points converted into the world coordinates and the first, second, third and nth equations (curve equations) previously stored in the storage 140. A plurality of points corresponding to the curve may be detected (or confirmed) among the lane feature points converted into. That is, the controller 120 sequentially inserts lane feature points converted into the world coordinates into curve equations stored in the storage 140 in advance, and converts the lane feature points into world coordinates based on the substitution result. It is possible to determine (or check) the presence or absence of curves. Here, the curve equation may be an equation of 1st, 2nd, 3rd, and nth order.

상기 제어부(120)는, 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 1차 차선 방정식(예를 들면, y=c₁x+c₀, 여기서 c₁은 차량의 기울기(또는, 차량의 헤딩 각도), c₀는 차선과 차량간의 옵셋)에 대입하여, c₁=0이면, 직선으로 인식하고, c₁≠0이면, 커브로 인식한다(차선 검출). 즉, 1차 차선 방정식은 일반적인 직선 도로에서의 차선을 검출할 때 사용될 수 있다.The controller 120 may be configured to store lane feature points converted into the world coordinates in the storage unit 140 in advance, for example, y = c ₁ x + c ₀ , where c ₁ is the slope of the vehicle. (Or the heading angle of the vehicle), c ₀ is an offset between the lane and the vehicle, and if c ₁ = 0, it is recognized as a straight line, and if c ₁ ? 0, it is recognized as a curve (lane detection). That is, the primary lane equation can be used when detecting a lane on a general straight road.

상기 제어부(120)는, 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 2차 차선 방정식(예를 들면, y=c₂x²+c₁x+c₀, 여기서 c₂는 차선의 곡률, c₁는 차량의 기울기(또는, 차량의 헤딩 각도), C₀는 차선과 차량간의 옵셋)에 대입하여, c₂=0이면, 직선으로 인식하고, c₂≠0이면, 커브로 인식한다(차선 검출). 즉, 상기 2차 차선 방정식은 차선의 곡률 반경이 크고 곡률 변화가 일정한 곡선 도로에서의 차선을 검출할 때 사용될 수 있다.The controller 120 may store the lane feature points converted into the world coordinates in the storage unit 140 in advance, for example, y = c ₂ x ² + c ₁ x + c ₀ , where c ₂ is the curvature of the lane, c ₁ is the slope of the vehicle (or heading angle of the vehicle), C ₀ is the offset between the lane and the vehicle, and if c ₂ = 0, it is recognized as a straight line, and if c ₂ ≠ 0 , It is recognized as a curve (lane detection). That is, the second lane equation may be used when detecting a lane on a curved road having a large radius of curvature and a constant curvature change.

상기 제어부(120)는, 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 3차 차선 방정식(예를 들어, y=c₃x³+c₂x²+c₁x+c₀, 여기서, c₃는 커브 변화율(curve derivative), c₂는 차선의 곡률, c₁는 차선의 기울기(헤딩 각도), c₀는 차선과 차량간의 옵셋)에 대입하여, 차선(커브) 유무를 확인할 수도 있다(차선 검출). 이때, c₃가 0일 경우, 3차 차선 방정식에서 c₂는 차선의 곡율, c₁는 차량의 헤딩 각도, c₀는 차선과 차량간의 옵셋을 나타내며, c₃와 c₂ 모두 0일 경우는 직선 검출로서, c₁는 차량의 헤딩 각도, c₀는 차선과 차량간의 옵셋을 나타낸다. 즉, 상기 3차 커브 방정식은 차선의 곡률 반경이 작거나 그 곡률 변화가 일정하지 않은 곡선 도로에서의 차선을 검출할 때 사용될 수 있다. 상기 c₁는 차선과 차량 사이의 방향 또는 차량에 대한 차선의 방향일 수도 있다.The controller 120 may store the lane feature points converted into the world coordinates in the storage unit 140 in advance, for example, y = c ₃ x ³ + c ₂ x ² + c ₁ x + c ₀ , where c ₃ is the curve derivative, c ₂ is the curvature of the lane, c ₁ is the slope (heading angle) of the lane, c ₀ is the lane (curve) You can also check the presence or absence (lane detection). In this case, when c ₃ is 0, c ₂ is the curvature of the lane, c ₁ is the heading angle of the vehicle, c ₀ is the offset between the lane and the vehicle, and c ₃ and c ₂ are 0 in the _3rd lane equation. As straight line detection, c ₁ represents the heading angle of the vehicle and c ₀ represents the offset between the lane and the vehicle. That is, the cubic curve equation may be used when detecting a lane on a curved road in which the radius of curvature of the lane is small or whose curvature change is not constant. C ₁ may be the direction between the lane and the vehicle or the direction of the lane with respect to the vehicle.

상기 제어부(120)는 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 1차, 2차 3차 방정식뿐만 아니라 n차 방정식(y=c_nxⁿ+c_n _-1xⁿ ^-1+....+c₃x³+c₂x²+c₁x+c₀)에 대입하여, 커브 유무를 확인할 수도 있다. 즉, n차 방정식은 도로의 차선 형태가 n-1차 곡선 방정식으로 모델링이 어려운 경우의 차선을 검출할 때 사용될 수 있다.The controller 120 may convert the lane feature points converted into the world coordinates into n-th order equations (y = c _n x ⁿ + c _n ₋₁ x as well as first and second cubic equations stored in the storage unit 140 in advance). ⁿ ⁻¹ + .... + c ₃ x ³ + c ₂ x ² + c ₁ x + c ₀ ), and the presence or absence of a curve may be confirmed. That is, the n-th order equation may be used to detect a lane when the lane shape of the road is difficult to model with the n-first-order curve equation.

상기 제어부(120)는, 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 커브 방정식들(예를 들면, 1차 방정식)에 대입하여 차선을 검출할 때 상기 차선 특징점들과 상기 대입 결과에 따른 차선과의 거리 오차가 미리설정된 임계값(기준 거리값 또는 차선 적합도) 미만인지 이상인지를 결정(판단)하고, 상기 차선 특징점들과 상기 대입 결과에 따른 차선과의 거리 오차가 미리설정된 임계값(예를 들면, 1~5cm) 미만이면 상기 1차 방정식에 의해 검출된 차선을 상기 영상에 표시한다. The control unit 120 substitutes the lane feature points converted into the world coordinates into curve equations (for example, first-order equations) previously stored in the storage unit 140 and detects the lane feature points. It is determined (determined) whether or not the distance error between the lane according to the substitution result is less than or equal to a predetermined threshold value (reference distance value or lane suitability), and the distance error between the lane feature points and the lane according to the substitution result is determined. If it is less than a predetermined threshold (for example, 1-5 cm), the lane detected by the first equation is displayed on the image.

상기 제어부(120)는, 상기 차선 특징점들과 상기 대입 결과에 따른 차선과의 거리 오차가 미리설정된 임계값(예를 들면, 5~10cm) 이상이면 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 커브 방정식들(예를 들면, 2차 방정식)에 대입하고, 상기 차선 특징점들과 상기 대입 결과에 따른 차선과의 거리 오차가 미리설정된 임계값(기준 거리값 또는 차선 적합도) 미만인지 이상인지를 결정하고, 상기 차선 특징점들과 상기 대입 결과에 따른 차선과의 거리 오차가 미리설정된 임계값 이하이면 상기 2차 방정식에 의해 검출된 차선을 상기 영상에 표시한다. The storage unit 120 stores the lane feature points converted into the world coordinates when the distance error between the lane feature points and the lane according to the substitution result is equal to or greater than a predetermined threshold value (for example, 5 to 10 cm). Substituting curve equations (e.g., quadratic equations) previously stored in 140, the distance error between the lane feature points and the lane resulting from the substitution result is a predetermined threshold value (reference distance value or lane suitability) If the distance error between the lane feature points and the lane according to the substitution result is less than or equal to a predetermined threshold value, the lane detected by the quadratic equation is displayed on the image.

상기 제어부(120)는, 상기 차선 특징점들과 상기 대입 결과에 따른 차선과의 거리 오차가 미리설정된 임계값 이상이면 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 커브 방정식들(예를 들면, 3차 방정식)에 대입하고, 상기 차선 특징점들과 상기 대입 결과에 따른 차선과의 거리 오차가 미리설정된 임계값(기준 거리값 또는 차선 적합도) 미만인지 이상인지를 결정하고, 상기 차선 특징점들과 상기 대입 결과에 따른 차선과의 거리 오차가 미리설정된 임계값 이하이면 상기 3차 방정식에 의해 검출된 차선을 상기 영상에 표시한다. If the distance error between the lane feature points and the lane according to the substitution result is greater than or equal to a predetermined threshold, the controller 120 previously stores the curve feature points converted into the world coordinates in the storage unit 140. (E.g., cubic equation), determine whether the distance error between the lane feature points and the lane according to the substitution result is less than or equal to a predetermined threshold (reference distance value or lane fit), and If the distance error between the lane feature points and the lane according to the substitution result is less than or equal to a preset threshold, the lane detected by the cubic equation is displayed on the image.

상기 제어부(120)는 상기 차선 특징점들과 상기 대입 결과에 따른 차선(곡선)과의 거리 오차 합으로 미리 구해진 차선 적합도를 근거로 상기 저장부(140)에 미리 저장된 커브 방정식들(예를 들면, 1차. 2차 3차 방정식) 중에서 상기 차선 적합도가 높은 차선을 검출할 수도 있다.The controller 120 may store curve equations (for example, previously stored in the storage unit 140) based on a lane fit that is previously obtained as a sum of distance errors between the lane feature points and the lane (curve) according to the substitution result. 1st, 2nd and 3rd order equations) may detect a high lane fit.

상기 차선 적합도는, 다양한 방법으로 계산될 수 있으며, 아래의 수학식 1에 따른 "sum of squares" 을 통해 계산될 수도 있다.The lane fit may be calculated in various ways, or may be calculated through "sum of squares" according to Equation 1 below.

여기서, 상기 n은 차선 검출에 이용된 차선 특징점의 개수이며, y_i는 i번째 차선 특징점의 y값을 나타내며,

는 i번째 차선 특징점의 x값에 대한 추정된 방정식의 y값을 나타내며,

는 각 차선 특징점들에 대한 가중치를 나타낸다.Here, n is the number of lane feature points used for lane detection, y _i represents the y value of the i-th lane feature point,

Represents the y-value of the estimated equation for the x-value of the i-th lane feature point,

Denotes a weight for each lane feature point.

상기 제어부(120)는 상기 차선 특징점들의 개수 및 상기 차선 특징점들이 분포된 범위 등을 현재 도로에서 모델의 적합도를 판단하기 위해 추가적으로 이용될 수 있다. 상기 제어부(120)는 상기 차선 특징점들의 개수가 미리설정된 기준 개수 이상이고, 상기 차선 특징점들이 분포된 범위가 미리설정된 범위 이상인 차선 특징점들을 상기 서로 다른 차선 방정식들에 대입시킴으로써 상기 후보 차선들을 검출할 수도 있다. 여기서, 상기 미리설정된 기준 개수 및 미리설정된 범위는 설계자에 의해 다양한 개수 및 범위로 정의될 수 있다.The controller 120 may additionally use the number of lane feature points and a range in which the lane feature points are distributed to determine a goodness of fit of the model on the current road. The controller 120 may detect the candidate lanes by substituting lane feature points into the different lane equations in which the number of the lane feature points is greater than or equal to a predetermined reference number and the range in which the lane feature points are distributed is greater than or equal to a predetermined range. have. Here, the predetermined reference number and the predetermined range may be defined by the designer in various numbers and ranges.

상기 제어부(120)는 상기 저장부(140)에 미리 저장된 커브 방정식들(예를 들면, 1차 방정식)에 대입된 차선 특징점들을 추적(tracking)함으로써 차선들을 실시간 검출하고, 그 검출한 차선들을 상기 영상에 표시한다. The controller 120 detects lanes in real time by tracking lane feature points inserted into curve equations (for example, primary equations) stored in the storage 140 in advance, and detects the detected lanes. Mark on video.

상기 제어부(120)는, 상기 검출된 차선(직선 또는 커브)에 해당하는 복수의 포인트들을 근거로 차선의 가상 중앙점을 추종하는 커브 정보를 계산할 수도 있다. 이때, 상기 계산되는 커브 정보는, 카메라의 캘리브레이션 상태의 영향을 최소화하여, 월드 좌표 상에서의 차선 유지 성능을 향상시키는데 이용할 수 있다. 즉, 상기 제어부(120)는, 상기 검출된 커브에 해당하는 복수의 포인트들에 대해서 최소 자승법(least square method), 랜삭(Random Sample Consensus : RANSAC), 일반 허프 변환법(general hough transform method), 스플라인(spline) 보간법 등 중 어느 하나의 방식을 적용하여 차선의 중앙점을 추종하는 커브 정보를 계산할 수도 있다.The controller 120 may calculate curve information following a virtual center point of the lane based on a plurality of points corresponding to the detected lane (straight line or curve). In this case, the calculated curve information may be used to improve the lane keeping performance in world coordinates by minimizing the influence of the calibration state of the camera. That is, the controller 120 may include a least square method, a random sample consensus (RANSAC), a general hough transform method, and a spline for a plurality of points corresponding to the detected curve. The curve information following the center point of the lane may be calculated by applying one of spline interpolation and the like.

상기 제어부(120)는, 상기 계산된 차선의 중앙점을 추종하는 커브 정보, 상기 검출된 커브 등의 정보를 상기 촬영된 영상에 오버랩(overlap)하여 상기 표시부(130)에 표시할 수 있다. 예를 들면, 상기 제어부(120)는, 월드 좌표인 상기 계산된 차선의 중앙점을 추종하는 커브 정보, 상기 검출된 커브 등의 정보를 이미지 도메인 상에서의 좌표로 각각 변환(또는, 매핑(mapping))하고, 상기 변환된 각각의 좌표를 상기 촬영된 영상에 오버랩하여 상기 표시부(130)에 표시한다.The controller 120 may overlap the captured image with information on curve information following the calculated center point of the lane, the detected curve, and the like, and display the information on the display unit 130. For example, the controller 120 converts (or mapping) curve information following the calculated center point of the world coordinates, the detected curves, and the like into coordinates on the image domain, respectively. And overlaps the converted coordinates with the photographed image and displays them on the display unit 130.

도 6은 본 발명의 일 실시예에 따른 주행 차선들을 나타낸 도이다.6 is a diagram illustrating driving lanes according to an exemplary embodiment of the present invention.

도 6에 도시한 바와 같이, 상기 제어부(120)는 상기 검출된 후보 차선들 중에서 차량의 진행 방향을 기준으로 상기 차량의 좌측에 가장 인접한 제1 차선과 상기 차량의 우측에 가장 인접한 제2 차선을 선택하고, 상기 제1 차선 및 제2 차선을 상기 차량의 주행 차선들(610)로서 상기 영상(210)에 표시할 수도 있다. 예를 들면, 상기 제어부(120)는 상기 검출된 제1 차선 및 제2 차선(610)을 상기 이미지 도메인 상에서의 좌표로 각각 변환(또는, 매핑)하고, 상기 변환된 각각의 좌표를 상기 영상(210)에 오버랩시킨다.As illustrated in FIG. 6, the controller 120 may select the first lane closest to the left side of the vehicle and the second lane closest to the right side of the vehicle from the detected candidate lanes based on the traveling direction of the vehicle. The first lane and the second lane may be displayed on the image 210 as driving lanes 610 of the vehicle. For example, the controller 120 converts (or maps) the detected first and second lanes 610 into coordinates on the image domain, and converts each of the converted coordinates into the image ( Overlap 210).

도 7은 본 발명의 일 실시예에 따른 영상에 표시된 주행 차선들을 나타낸 예시도이다.7 is a diagram illustrating driving lanes displayed on an image according to an exemplary embodiment of the present invention.

도 7에 도시한 바와 같이, 상기 제어부(120)는 상기 검출된 후보 차선들 중에서 차량의 진행 방향을 기준으로 상기 차량의 좌측에 가장 인접한 제1 차선과 상기 차량의 우측에 가장 인접한 제2 차선을 선택하고, 상기 제1 차선 및 제2 차선을 상기 차량의 주행 차선들(610)로서 검출하고, 그 주행 차선들(610)을 상기 영상에 오버랩시킨다.As illustrated in FIG. 7, the controller 120 may select the first lane closest to the left side of the vehicle and the second lane closest to the right side of the vehicle from the detected candidate lanes based on the traveling direction of the vehicle. Select the first and second lanes as the driving lanes 610 of the vehicle, and overlap the driving lanes 610 with the image.

상기 카메라 모듈(110)은, 도로의 차선들을 하나의 영상으로 촬영하기 위해 상기 차선 인식 장치(10)의 임의의 동일면 상에 수평 간격으로 이격되어 설치되는 적어도 한 쌍의 카메라(일 예로, 스테레오 카메라(stereo camera) 또는, 스테레오코스픽 카메라(stereoscopic camera)) 또는, 단일 카메라를 포함한다. 이때, 상기 고정된 수평 간격은, 일반적인 사람의 두 눈 간의 거리를 고려하여 설정할 수 있다. 또한, 상기 카메라 모듈(110)은 영상 촬영이 가능한 임의의 모든 카메라 모듈일 수도 있다.The camera module 110 may include at least one pair of cameras (eg, a stereo camera) spaced apart at horizontal intervals on any same surface of the lane recognizing apparatus 10 to capture lanes of a road as one image. (stereo camera) or stereoscopic camera (stereoscopic camera) or a single camera. In this case, the fixed horizontal interval may be set in consideration of the distance between two eyes of a general person. In addition, the camera module 110 may be any camera module capable of capturing an image.

상기 카메라 모듈(110)은, 상기 한 쌍의 카메라에 의해 동시에 촬영된 제1 영상(일 예로, 상기 한 쌍의 카메라에 포함된 좌측 카메라에 의해 촬영된 좌측 영상)과 제2 영상(일 예로, 상기 한 쌍의 카메라에 포함된 우측 카메라에 의해 촬영된 우측 영상)을 수신한다.The camera module 110 may include a first image (eg, a left image taken by a left camera included in the pair of cameras) and a second image (eg, by a camera) simultaneously captured by the pair of cameras. The right image captured by the right camera included in the pair of cameras).

상기 카메라 모듈(110)은, CCD(Charge-Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등과 같은 이미지 센서일 수 있다.The camera module 110 may be an image sensor such as a charge-coupled device (CCD), a complementary metal oxide semiconductor (CMOS), or the like.

상기 차선 인식 장치(10)가 차량에 설치될 때, 상기 카메라 모듈(110)은 상기 차량의 소정 위치(예를 들면, 차량의 룸 미러)에 고정되어, 차량의 주행 방향의 전방을 촬영할 수 있다. 상기 카메라 모듈(110)은 차량의 측방, 후방 등을 촬영하도록 상기 차량의 소정 위치(예를 들면, 차량의 사이드 미러, 차량의 뒷 범퍼)에 고정되게 설치될 수도 있다.When the lane detection apparatus 10 is installed in a vehicle, the camera module 110 may be fixed to a predetermined position of the vehicle (for example, a room mirror of the vehicle) to photograph the front of the driving direction of the vehicle. . The camera module 110 may be fixed to a predetermined position of the vehicle (eg, a side mirror of the vehicle, a rear bumper of the vehicle) to photograph the side, the rear of the vehicle, and the like.

상기 제어부(120)는, 임의의 GPS 모듈(도시하지 않음)을 통해 확인되는 상기 차선 인식 장치(10)(또는, 상기 차선 인식 장치(10)가 구비된 차량)의 위치 및 상기 검출된 커브(또는, 차선)를 근거로 차선 유지와 관련된 기능(차선 이탈 경고 메시지 기능, 자동 차선 유지 기능 등 포함)을 수행한다. The controller 120 may determine the position of the lane recognizing apparatus 10 (or a vehicle provided with the lane recognizing apparatus 10) and the detected curve (recognized through an arbitrary GPS module (not shown)). Alternatively, based on the lane, a function related to lane keeping (including lane departure warning message function and automatic lane keeping function, etc.) is performed.

상기 표시부(130)는, 상기 제어부(120)의 제어에 의해 상기 저장부(140)에 포함된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시한다. 여기서, 상기 표시부(130)에 표시되는 콘텐츠는, 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다.The display unit 130 displays various contents such as various menu screens using a user interface and / or a graphic user interface included in the storage unit 140 under the control of the controller 120. Here, the content displayed on the display unit 130 includes a menu screen including various text or image data (including various information data) and data such as an icon, a list menu, a combo box, and the like.

상기 표시부(130)는, 3차원 디스플레이(3D Display) 또는 2차원 디스플레이(2D Display)를 포함한다. 또한, 상기 표시부(130)는, 액정 디스플레이(Liquid Crystal Display : LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display : TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode : OLED), 플렉시블 디스플레이(Flexible Display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수도 있다.The display unit 130 includes a 3D display or a 2D display. In addition, the display unit 130 may include a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. The display device may include at least one of a flexible display and a light emitting diode (LED).

상기 표시부(130)는, 상기 제어부(120)의 제어에 의해 상기 3차원 영상(또는, 2차원 영상)을 표시한다.The display unit 130 displays the 3D image (or 2D image) under the control of the controller 120.

상기 차선 인식 장치(10)의 구현 형태에 따라 상기 표시부(130)가 2개 이상 존재할 수 있다. 예를 들면, 상기 차선 인식 장치(10)에 복수의 표시부들이 하나의 면(동일면)에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.According to an embodiment of the lane recognizing apparatus 10, two or more display units 130 may exist. For example, the plurality of display units may be spaced apart or integrally disposed on one surface (same surface) of the lane recognizing apparatus 10, or may be disposed on different surfaces.

한편, 상기 표시부(130)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 상기 표시부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 상기 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드, 터치 패널 등의 형태를 가질 수 있다.On the other hand, when the display unit 130 and a sensor for detecting a touch operation (hereinafter, referred to as a touch sensor) form a mutual layer structure (hereinafter referred to as a touch screen), the display unit 130 outputs the touch panel. In addition to the device can also be used as an input device. The touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, or a touch panel.

상기 터치 센서는, 상기 표시부(130)의 특정 부위에 가해진 압력 또는 상기 표시부(130)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 또한, 상기 터치 센서는, 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 상기 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(도시하지 않음)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 상기 제어부(120)로 전송한다. 이로써, 상기 제어부(120)는, 상기 표시부(130)의 어느 영역이 터치되었는지 여부 등을 알 수 있게 된다.The touch sensor may be configured to convert a change in pressure applied to a specific portion of the display unit 130 or capacitance generated at a specific portion of the display unit 130 into an electrical input signal. In addition, the touch sensor may be configured to detect not only the position and area of the touch but also the pressure at the time of touch. When there is a touch input to the touch sensor, the corresponding signal (s) is sent to a touch controller (not shown). The touch controller processes the signal (s) and then transmits the corresponding data to the controller 120. As a result, the controller 120 may determine which area of the display unit 130 is touched.

상기 표시부(130)는, 근접 센서를 포함할 수 있다. 또한, 상기 근접 센서는, 터치 스크린에 의해 감싸지는 차선 인식 장치(10)의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다.The display unit 130 may include a proximity sensor. In addition, the proximity sensor may be disposed in the inner region of the lane recognizing apparatus 10 surrounded by the touch screen or near the touch screen.

상기 근접 센서는, 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 상기 근접 센서는, 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다. 상기 근접 센서의 예로는, 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.The proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using mechanical force by using an electromagnetic force or infrared rays. The proximity sensor has a longer life and higher utilization than a contact sensor. Examples of the proximity sensor include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. And to detect the proximity of the pointer by the change of the electric field along the proximity of the pointer when the touch screen is electrostatic. In this case, the touch screen (touch sensor) may be classified as a proximity sensor.

상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(Proximity Touch)"라고 칭할 수 있으며, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(Contact Touch)"라고 칭할 수 있다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치는, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.The proximity of the pointer on the touch screen without being touched to recognize that the pointer is located on the touch screen may be referred to as "Proximity Touch", and the pointer on the touch screen may The act of being contacted may be referred to as "contact touch". A position where the pointer is proximally touched on the touch screen means a position where the pointer corresponds to the touch screen vertically when the pointer is touched.

또한, 상기 근접 센서는, 근접 터치와, 근접 터치 패턴(예를 들면, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 상기 터치 스크린상에 출력될 수 있다.In addition, the proximity sensor detects a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state). Information corresponding to the sensed proximity touch operation and proximity touch pattern may be output on the touch screen.

이와 같이, 상기 표시부(130)가 입력 장치로 사용되는 경우, 사용자에 의한 버튼 조작을 입력받거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 명령 또는 제어 신호를 입력받을 수 있다.As such, when the display unit 130 is used as an input device, a command or control signal may be received by an operation such as receiving a button operation by a user or touching / scrolling the displayed screen.

본 발명의 실시예에 따른 차선 인식 장치(10)는 상기 영상 및 상기 차선을 검출하기 위한 프로그램, 실시간 또는 주기적으로 산출된 차선 폭 정보 등을 저장하는 저장부(140)를 포함할 수 있다.The lane recognizing apparatus 10 according to an exemplary embodiment of the present invention may include a storage unit 140 that stores the image and a program for detecting the lane, real-time or periodically calculated lane width information, and the like.

상기 저장부(140)는, 각종 메뉴 화면, 다양한 사용자 인터페이스(User Interface, UI) 및/또는 그래픽 사용자 인터페이스(Graphic User Interface, GUI)를 더 저장할 수 있다.The storage 140 may further store various menu screens, various user interfaces (UIs), and / or graphical user interfaces (GUIs).

상기 저장부(140)는 변환 행렬(예를 들면, 호모그래픽 행렬 등), 커브 방정식, 최소 자승법 등의 수학식을 더 저장할 수 있다.The storage unit 140 may further store equations such as transformation matrices (eg, homographic matrices), curve equations, least squares methods, and the like.

상기 저장부(140)는 상기 차선 인식 장치(10)가 동작하는데 필요한 데이터와 프로그램 등을 더 저장할 수 있다.The storage unit 140 may further store data and programs necessary for the lane recognition apparatus 10 to operate.

상기 저장부(140)는, 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 롬(Read-Only Memory : ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 램(Random Access Memory : RAM), SRAM(Static Random Access Memory), 자기 메모리, 자기 디스크, 광 디스크 중 적어도 하나의 저장 매체를 포함할 수 있다.The storage unit 140 may include a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (eg, SD or XD memory). Etc.), ROM (Read-Only Memory: ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), RAM (Random Access Memory: RAM), SRAM (Static Random Access Memory), The storage medium may include at least one of a magnetic memory, a magnetic disk, and an optical disk.

상기 차선 인식 장치(10)는, 상기 제어부(120)의 제어에 의해 임의의 단말기 또는 서버와의 통신 기능을 수행하는 통신부(도시하지 않음)를 더 포함할 수 있다. 이때, 상기 통신부는, 유/무선 통신 모듈을 포함할 수 있다. 여기서, 상기 무선 인터넷 기술은, 무선랜(Wireless LAN : WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband : Wibro), 와이맥스(World Interoperability for Microwave Access : Wimax), 고속 하향 패킷 접속(High Speed Downlink Packet Access : HSDPA), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution : LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service : WMBS) 등을 포함할 수 있고, 상기 근거리 통신(Short Range Communication) 기술은, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association : IrDA), 초광대역 무선(Ultra Wideband : UWB), 지그비(ZigBee) 등을 포함할 수 있다. 또한, 상기 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.The lane recognizing apparatus 10 may further include a communication unit (not shown) that performs a communication function with an arbitrary terminal or a server under the control of the controller 120. In this case, the communication unit may include a wired / wireless communication module. Here, the wireless Internet technology, Wireless LAN (WLAN), Wi-Fi (Wi-Fi), Wireless Broadband (Wibro), WiMAX (World Interoperability for Microwave Access (Wimax), High-speed downlink packet access (High) Speed Downlink Packet Access (HSDPA), IEEE 802.16, Long Term Evolution (LTE), and Wireless Mobile Broadband Service (WMBS), and the like, and may include the short range communication. The technology may include Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like. The wired communication technology may include universal serial bus (USB) communication.

상기 통신부는, 상기 차선 인식 장치(10)가 구비되는 임의의 차량과의 통신을 위한, CAN 통신, 차량용 이더넷, 플렉스레이(flexray), LIN(Local Interconnect Network) 등을 포함할 수 있다.The communication unit may include CAN communication, vehicle Ethernet, flexray, LIN (Local Interconnect Network), etc., for communication with any vehicle provided with the lane recognizing device 10.

상기 통신부는, 상기 제어부(120)의 제어에 의해 임의의 영상에 대해 추출된 복수의 지지점, 상기 복수의 지지점을 월드 좌표로 각각 변환한 포인트들, 상기 월드 좌표로 변환한 포인트들 중에서 커브에 해당하는 복수의 포인트들, 상기 커브에 해당하는 복수의 포인트들을 근거로 계산되는 차선의 중앙점을 추종하는 커브 정보 등을 상기 임의의 단말기 또는 서버에 전송할 수 있다.The communication unit corresponds to a curve among a plurality of support points extracted for an arbitrary image under control of the controller 120, points converted from the plurality of support points into world coordinates, and points converted into world coordinates. A plurality of points, curve information following a center point of a lane calculated based on a plurality of points corresponding to the curve, and the like may be transmitted to the arbitrary terminal or server.

상기 통신부는 상기 임의의 단말기 또는 서버로부터 전송되는 임의의 한 쌍의 스테레오 카메라를 통해 동시에 촬영된 제1 영상 및 제2 영상을 수신할 수도 있다.The communication unit may receive a first image and a second image simultaneously photographed through any pair of stereo cameras transmitted from the arbitrary terminal or server.

상기 차선 인식 장치(10)는 오디오 신호를 수신하기 위한 적어도 하나 이상의 마이크(도시하지 않음)를 포함하는 입력부(도시하지 않음)를 더 포함할 수 있다.The lane recognizing apparatus 10 may further include an input unit (not shown) including at least one microphone (not shown) for receiving an audio signal.

상기 마이크는, 통화 모드, 녹음 모드, 음성 인식 모드, 영상 회의 모드, 영상 통화 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호(사용자의 음성(음성 신호 또는 음성 정보) 포함)를 수신하여 전기적인 음성 데이터로 처리한다. 또한, 상기 처리된 음성 데이터는 음성 출력부(도시하지 않음)를 통해 출력하거나 또는, 상기 통신부를 통하여 외부 단말기로 송신 가능한 형태로 변환되어 출력될 수 있다. 또한, 상기 마이크는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수도 있다.The microphone is configured to receive an external sound signal (including a user's voice (voice signal or voice information)) by a microphone in a call mode, a recording mode, a voice recognition mode, a video conference mode, a video call mode, and the like. Process with voice data. In addition, the processed voice data may be output through a voice output unit (not shown) or converted into a form transmittable to an external terminal through the communication unit. In addition, the microphone may be implemented with various noise removal algorithms for removing noise generated in the process of receiving an external sound signal.

상기 입력부는, 사용자에 의한 버튼 조작에 따른 신호를 수신하거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 생성된 명령 또는 제어 신호를 수신한다.The input unit receives a signal according to a button operation by a user, or receives a command or a control signal generated by an operation such as touching / scrolling a displayed screen.

상기 입력부는, 사용자에 의해 입력된 정보에 대응하는 신호를 수신하며, 키보드(keyboard), 키 패드(Key Pad), 돔 스위치(Dome Switch), 터치 패드(정압/정전), 터치 스크린(touch screen), 조그 셔틀(Jog Shuttle), 조그 휠, 조그 스위치, 마우스(mouse), 스타일러스 펜(Stylus Pen), 터치 펜(Touch Pen), 레이저 포인터 등의 다양한 장치가 사용될 수 있다. 이때, 상기 입력부는, 상기 다양한 장치에 의한 입력에 대응하는 신호를 수신한다.The input unit receives a signal corresponding to information input by a user, and includes a keyboard, a key pad, a dome switch, a touch pad (static pressure / capacitance), and a touch screen. ), A jog shuttle, a jog wheel, a jog switch, a mouse, a stylus pen, a touch pen, a laser pointer, and the like may be used. In this case, the input unit receives a signal corresponding to input by the various devices.

상기 차선 인식 장치(10)는, 상기 제어부(120)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력하는 음성 출력부(도시하지 않음)를 더 포함할 수 있다. 여기서, 상기 음성 출력부는, 스피커가 될 수도 있다.The lane recognizing apparatus 10 may further include a voice output unit (not shown) which outputs voice information included in a signal processed by the controller 120 by a predetermined signal. The voice output unit may be a speaker.

본 발명의 실시예에 따른 차선 인식 장치 및 그 방법은, 상기 카메라 모듈에 의해 촬영된 영상으로부터 검출된 차선 특징점들과 서로 다른 차선 방정식들을 근거로 검출된 차선들 중에서 차선 적합도를 기초로 차선을 검출함으로써 차선을 정확히 검출할 수 있다.An apparatus and method for recognizing a lane according to an exemplary embodiment of the present invention may detect a lane based on lane suitability among lanes detected based on lane equations different from lane feature points detected from an image photographed by the camera module. By doing so, the lane can be detected accurately.

본 발명의 실시예에 따른 차선 인식 장치 및 그 방법은, 영상 내에서 차선의 후보군이 되는 지지점(특징점)을 추출하여 월드 좌표로 변환하고, 상기 변환된 월드 좌표 상에서 차선을 인식하여 카메라 정보와 월드 좌표 간의 캘리브레이션의 오차 전이에 있어서, 영상에서 직접 차선을 인식하는 방법에 비하여 누적 에러의 가능성을 줄일 수도 있다.The lane recognizing apparatus and method according to an embodiment of the present invention extracts a support point (feature point) that is a candidate group of lanes in an image and converts the image into world coordinates, and recognizes the lane on the converted world coordinates to recognize the camera information and the world. In the error transition of calibration between coordinates, the possibility of cumulative error may be reduced as compared to a method of recognizing a lane directly in an image.

본 발명의 실시예에 따른 차선 인식 장치 및 그 방법은, 월드 좌표 상에서 인식된 차선에 대한 정보를 표시하고 이를 근거로 경고 메시지를 생성 및 출력하여, 정확성/민감성을 향상시키고 사용자의 편의를 향상시킬 수도 있다. The lane recognizing apparatus and method thereof according to an embodiment of the present invention display information on a lane recognized on world coordinates and generate and output a warning message based on the information, thereby improving accuracy / sensitivity and improving user convenience. It may be.

이하에서는, 본 발명의 일 실시예에 따른 차선 인식 방법을 도 1 내지 도 8을 참조하여 상세히 설명한다.Hereinafter, a lane recognition method according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 8.

도 8은 본 발명의 일 실시예에 따른 차선 인식 방법을 나타낸 흐름도이다.8 is a flowchart illustrating a lane recognition method according to an embodiment of the present invention.

먼저, 상기 카메라 모듈(110)은, 차선 인식 장치(10)의 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치된 적어도 한 쌍의 카메라(일 예로, 스테레오 카메라 또는 스테레오코스픽 카메라)를 통해 촬영된 제1 영상 및 제2 영상을 수신하거나 또는, 단일 카메라를 통해 촬영된 영상을 수신한다. 여기서, 상기 제1 영상은, 상기 한 쌍의 카메라에 포함된 좌측 카메라에 의해 촬영된 좌측 영상이고, 상기 제2 영상은 상기 한 쌍의 카메라에 포함된 우측 카메라에 의해 촬영된 우측 영상일 수 있다. 또한, 상기 카메라 모듈(110)은, 상기 한 쌍의 카메라를 통해 촬영된 제1 영상 및 제2 영상 중에서 어느 하나의 영상을 수신할 수도 있다.First, the camera module 110 is photographed through at least one pair of cameras (for example, a stereo camera or a stereoscopic camera) spaced apart at horizontal intervals on the same central axis of the same plane of the lane recognizing apparatus 10. The first image and the second image are received, or an image photographed through a single camera is received. Here, the first image may be a left image taken by a left camera included in the pair of cameras, and the second image may be a right image taken by a right camera included in the pair of cameras. . In addition, the camera module 110 may receive any one of a first image and a second image photographed by the pair of cameras.

상기 카메라 모듈(110)은 단일 카메라를 통해 촬영된 영상(210)을 수신한다. 예를 들면, 상기 카메라 모듈(110)은 1차로, 2차로, 3차로 등에 대응하는 차선들 및/또는 백색 또는 황색 실선의 복선(double line)(또는 백색 또는 황색 실선 및 점선의 복선)을 포함하는 영상(210)을 수신할 수 있다. The camera module 110 receives an image 210 captured by a single camera. For example, the camera module 110 includes lanes corresponding to primary, secondary, tertiary, etc. and / or double lines of white or yellow solid lines (or double lines of white or yellow solid lines and dotted lines). The image 210 may be received.

상기 제어부(120)는, 상기 카메라 모듈(110)을 통해 상기 영상(210)을 수신하고(S11), 상기 영상(210)에서 차선 특징점을 검출(추출)하기 위한 미리 설정된 가이드 라인(guide line)을 근거로 상기 촬영된 영상(210) 내에서 복수의 차선의 특징점을 검출한다. 이때, 상기 가이드 라인은, 도 4에 도시한 바와 같이, 상기 영상(210)의 아래쪽은 월드 좌표로 변환되면 가까운 영역을 나타내고, 상기 영상(210)의 중간 및 위쪽은 월드 좌표로 변환되면 먼 영역을 나타내므로, 상기 영상(210)의 데이터를 월드 좌표로 변환 시 최대한 균일한 포인트 간격을 얻기 위해서, 상기 영상(210)의 아래쪽은 가이드 라인(310)의 줄간 간격을 넓게 설정하고, 상기 영상(210)의 위쪽으로 갈수록 가이드 라인(310)의 줄간 간격을 점점 좁게 설정한다. 여기서, 가이드 라인(310)의 줄간 간격의 변경폭은, 설계자의 설계에 따라 다양하게 설정할 수 있으며, 또한, 월드 좌표로 변환 시 동일한 줄간 간격을 유지하도록 설정할 수 있다. 상기 가이드 라인은, 실제 상기 영상 상에 표시되는 것이 아니라, 상기 차선 특징점들을 월드 좌표로 변환 시 최대한 균일한 포인트 간격을 얻기 위해 사용되는 가상의 라인을 의미한다.The controller 120 receives the image 210 through the camera module 110 (S11), and preset guide lines for detecting (extracting) lane feature points from the image 210. The feature points of the plurality of lanes are detected in the captured image 210 on the basis of the. At this time, the guide line, as shown in Figure 4, the lower portion of the image 210 represents a near area when converted to world coordinates, the middle and the upper portion of the image 210 is far away when converted to world coordinates In order to obtain the most uniform point spacing when converting data of the image 210 into world coordinates, the lower portion of the image 210 sets a wide space between the guide lines 310 and the image ( The interval between the lines of the guide line 310 is gradually narrowed toward the upper side of the 210. Here, the change width of the line spacing of the guide line 310 can be variously set according to the design of the designer, and can also be set to maintain the same line spacing when converting to world coordinates. The guide line means a virtual line that is not actually displayed on the image but is used to obtain the most uniform point spacing when converting the lane feature points into world coordinates.

상기 제어부(120)는, 도 5에 도시한 바와 같이, 상기 미리 설정된 가이드 라인을 근거로 상기 영상(210) 내에서 차선 특징점들을 검출하고, 표시부(130)를 통해 상기 추출된 복수의 차선 특징점(510)을 이미지 도메인 상에 표시한다. 즉, 상기 제어부(120)는 차선들(501)에 대응하는 차선 특징점들을 이미지 도메인 상에 표시한다. 여기서, 수평축(x축)을 기준으로 상기 복수의 차선 특징점들 간의 수직 방향의 간격은 상기 표시부(130)의 수직 방향의 아래쪽에서 수직 방향의 위쪽으로 갈수록 좁아진다.As illustrated in FIG. 5, the controller 120 detects lane feature points within the image 210 based on the preset guide line, and extracts the plurality of extracted lane feature points through the display unit 130. 510 is displayed on the image domain. That is, the controller 120 displays lane feature points corresponding to the lanes 501 on the image domain. Here, the vertical interval between the plurality of lane feature points based on a horizontal axis (x-axis) becomes narrower from the lower side of the display unit 130 to the upper side of the vertical direction.

상기 제어부(120)는, 상기 추출된 복수의 차선 특징점들을 월드 좌표로 변환한다. 즉, 상기 제어부(120)는 상기 저장부(140)에 미리 저장된 변환 행렬(예를 들어, 호모그래픽 행렬(homographic matrix) 등 포함)을 이용하여 상기 추출된 복수의 지지점을 월드 좌표로 변환할 수 있다.The controller 120 converts the extracted plurality of lane feature points into world coordinates. That is, the controller 120 may convert the extracted plurality of support points into world coordinates using a transformation matrix (eg, including a homographic matrix) previously stored in the storage 140. have.

일 예로, 상기 제어부(120)는, 도 6에 도시한 바와 같이, 상기 저장부(140)에 미리 저장된 호모그래픽 행렬을 근거로 상기 추출된 복수의 차선 특징점들을 월드 좌표로 변환하고, 상기 월드 좌표로 변환된 차선 특징점들(610)을 상기 표시부(130)에 표시한다. 여기서, 수평축을 기준으로 상기 월드 좌표로 변환된 복수의 차선 특징점들 간의 수직 방향의 간격은 동일한 간격을 유지하게 된다.For example, as illustrated in FIG. 6, the controller 120 converts the extracted plurality of lane feature points into world coordinates based on a homographic matrix previously stored in the storage 140, and the world coordinates. The lane feature points 610 converted to are displayed on the display unit 130. Here, the vertical intervals between the plurality of lane feature points converted to the world coordinates based on the horizontal axis maintain the same interval.

상기 제어부(120)는, 상기 월드 좌표로 변환된 차선 특징점들 및 상기 저장부(140)에 미리 저장된 커브 방정식을 근거로 차선들을 검출한다(S12). 즉, 상기 제어부(120)는, 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 커브 방정식들에 대입하여, 상기 대입 결과를 근거로 상기 월드 좌표로 변환된 차선 특징점들의 직선 또는 커브 유무를 결정(또는 확인)함으로써 차선들을 검출할 수 있다. 여기서, 상기 차선 방정식은 1차, 2차, 3차 이상의 차선 방정식일 수 있다. The controller 120 detects lanes based on the lane feature points converted into the world coordinates and a curve equation stored in the storage 140 in advance (S12). That is, the controller 120 substitutes the lane feature points converted into the world coordinates into curve equations stored in the storage 140 in advance, and the straight line of the lane feature points converted into the world coordinates based on the substitution result. Alternatively, lanes may be detected by determining (or checking) whether a curve exists. Here, the lane equation may be a first, second, third or more lane equation.

상기 제어부(120)는 상기 검출된 차선들 중에서 상기 차선 적합도를 기초로 상기 후보 차선들을 검출한다(S13). 예를 들면, 상기 제어부(120)는 상기 검출된 차선들 중에서 상기 차선 적합도가 높은(예를 들면, 차선 오차가 낮은 차선들) 차선들을 상기 후보 차선들을 검출한다. 또한, 상기 제어부(120)는 상기 카메라 모듈에 의해 촬영된 영상으로부터 검출된 차선 특징점들과 서로 다른 차선 방정식들을 근거로 검출된 차선들 중에서 임계값 이하의 차선 오차를 갖는 차선들을 상기 후보 차선들로서 검출할 수도 있다.The controller 120 detects the candidate lanes based on the lane suitability among the detected lanes (S13). For example, the controller 120 detects the candidate lanes among the detected lanes that have high lane fit (for example, lanes having a low lane error). In addition, the controller 120 detects, as candidate lanes, lanes having a lane error less than or equal to a threshold value among lanes detected based on different lane equations and lane feature points detected from an image photographed by the camera module. You may.

상기 제어부(120)는, 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 1차 차선 방정식에 대입하여 차선을 검출할 때 상기 차선 특징점들과 상기 대입 결과에 따른 차선과의 거리 오차가 미리설정된 임계값(기준 거리값) 이상이면, 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 2차 차선 방정식에 대입하여 차선을 검출하고, 상기 차선 특징점들과 상기 2차 차선 방정식 대입 결과에 따른 차선과의 거리 오차가 미리설정된 임계값 이상이면, 상기 월드 좌표로 변환된 차선 특징점들을 상기 저장부(140)에 미리 저장된 3차 차선 방정식에 대입하여 차선을 검출한다. 한편, 상기 제어부(120)는 1차 내지 3차 방정식에 대입 결과에 따른 차선과 상기 월드 좌표로 변환된 차선 특징점들과의 거리 오차들이 모두 미리설정된 임계값 이상이면, 상기 1차 내지 3차 방정식에 대입 결과에 따른 차선과 상기 월드 좌표로 변환된 차선 특징점들과의 거리 오차가 가장 작은 차선들을 상기 후보 차선들로서 결정할 수도 있다. When the controller 120 detects a lane by substituting the lane feature points converted into the world coordinates into the first lane equation previously stored in the storage unit 140, the controller 120 compares the lane feature points with the lane according to the substitution result. If the distance error is equal to or greater than a predetermined threshold value (reference distance value), the lane feature points converted into the world coordinates are substituted into the second lane equation previously stored in the storage 140 to detect the lane, and the lane feature points and If the distance error with the lane according to the secondary lane equation substitution result is greater than or equal to a predetermined threshold value, the lane feature points converted into the world coordinates are substituted into the third lane equation previously stored in the storage unit 140 to detect the lane. do. On the other hand, the controller 120 if the distance errors between the lanes according to the substitution result in the first to third order equations and the lane feature points converted into the world coordinates are more than a predetermined threshold value, the first to third equations Lanes having the smallest distance error between the lane resulting from the substitution result and the lane feature points converted into the world coordinates may be determined as the candidate lanes.

상기 제어부(120)는 상기 검출된 후보 차선들 중에서 차량의 주행 방향을 기준으로 상기 차량의 좌측에 가장 인접한 제1 차선과 상기 차량의 우측에 가장 인접한 제2 차선을 상기 차량의 주행 차선들로 결정한다(S14). The controller 120 determines the first lane closest to the left side of the vehicle and the second lane closest to the right side of the vehicle from among the detected candidate lanes as driving lanes of the vehicle. (S14).

상기 제어부(120)는 상기 검출된 주행 차선들을 상기 영상에 표시한다(S15). 예를 들면, 상기 제어부(120)는 상기 검출된 주행 차선들을 상기 이미지 도메인 상에서의 좌표로 각각 변환(또는, 매핑)하고, 상기 변환된 각각의 좌표를 상기 영상(210)에 오버랩시킨다. The controller 120 displays the detected driving lanes on the image (S15). For example, the controller 120 converts (or maps) the detected driving lanes into coordinates on the image domain, and overlaps the converted coordinates with the image 210.

이상에서 설명한 바와 같이, 본 발명의 실시예들에 따른 차선 인식 장치 및 그 방법은, 카메라 모듈에 의해 촬영된 영상으로부터 검출된 차선 특징점들과 서로 다른 차선 방정식들을 근거로 검출된 차선들 중에서 차선 적합도를 기초로 차선을 검출함으로써 차선을 정확히 검출할 수 있다.As described above, the lane recognizing apparatus and method according to the embodiments of the present invention, the lane suitability of the detected lanes based on the lane feature points and the different lane equations detected from the image captured by the camera module By detecting the lane on the basis of the above, the lane can be detected accurately.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

10: 차선 인식 장치 110: 카메라 모듈
120: 제어부 130: 표시부
140: 저장부10: lane detection device 110: camera module
120: control unit 130: display unit
140:

Claims

A camera module;
A display unit which displays an image photographed by the camera module;
Among the detected lanes based on lane feature points detected from the image captured by the camera module and different lane equations, candidate lanes are detected based on lane fit, and among the detected candidate lanes, lanes adjacent to the vehicle are detected. And a controller configured to display the current driving lanes of the vehicle on the image.

The method of claim 1, wherein the lane suitability,
And substituting the lane feature points into the different lane equations, and determining the lane feature points based on the sum of the distance errors between the lane and the lane feature points according to the substitution result.

The method of claim 2, wherein the lane suitability,
And determining the number of the lane feature points and a range in which the lane feature points are distributed.

The apparatus of claim 1,
Among the lanes detected based on the lane feature points detected from the image photographed by the camera module and different lane equations, lanes whose distance error between the lane feature points and the detected lanes is less than or equal to the threshold are selected from the candidate lanes. And lane detection apparatus.

The apparatus of claim 1,
Detecting lane feature points in the captured image and sequentially substituting the different lane equations into the detected lane feature points to detect lanes having lane errors below the threshold as the candidate lanes. Lane recognition device, characterized in that.

The apparatus of claim 1,
The lane feature points are detected from the captured image, the lane feature points are converted into world coordinates, and the lane feature points converted to the world coordinates are sequentially substituted with the different lane equations. And detecting lanes having lane errors as the candidate lanes.

The method of claim 1, wherein the different lane equations,
First, second and third lane equations, where the first lane equation is y = c ₁ x + c ₀ , where c ₁ is the heading angle of the vehicle, c ₀ is the offset between the lane and the vehicle, and The lane equation is y = c ₂ x ² + c ₁ x + c ₀ , where c ₂ is the curvature of the lane, c ₁ is the heading angle of the vehicle, C ₀ is the offset between the lane and the vehicle, and the third lane equation is y = c ₃ x ³ + c ₂ x ² + c ₁ x + c ₀ , where c ₃ is the curve derivative of the lane, c ₂ is the curvature of the lane, c ₁ is the heading angle of the vehicle, c ₀ is an offset between a lane and a vehicle.

Displaying an image captured by the camera module on a display unit;
Detecting candidate lanes based on lane suitability among lanes detected based on lane feature points different from lane feature points detected from an image photographed by the camera module;
And displaying the lanes adjacent to the vehicle among the detected candidate lanes as the current driving lanes of the vehicle on the image.

The method of claim 8, wherein the lane suitability,
And substituting the lane feature points into the different lane equations and determining the lane feature points based on the sum of the distance error between the lane and the lane feature points according to the substitution result.

The method of claim 9, wherein the lane suitability,
And determining the number of the lane feature points and a range in which the lane feature points are distributed.

The method of claim 8, wherein the detecting of the candidate lanes comprises:
Among the lanes detected based on the lane feature points detected from the image photographed by the camera module and different lane equations, lanes whose distance error between the lane feature points and the detected lanes is less than or equal to the threshold are selected from the candidate lanes. Lane recognition method comprising the step of detecting as a.

The method of claim 8, wherein the detecting of the candidate lanes comprises:
Detecting lane feature points in the captured image;
And detecting lanes having lane errors below the threshold as the candidate lanes among lanes detected by sequentially substituting the different lane equations into the detected lane feature points. .

10. The method of claim 8, further comprising: detecting the candidate lanes;
Detecting lane feature points in the captured image;
Converting the lane feature points into world coordinates;
Lane feature points converted to the world coordinates lanes having lane lanes less than or equal to the threshold value among lanes detected by sequentially substituting the different lane equations as the candidate lanes Recognition method.

The method of claim 8, wherein the different lane equations,
First, second and third lane equations, where the first lane equation is y = c ₁ x + c ₀ , where c ₁ is the heading angle of the vehicle, c ₀ is the offset between the lane and the vehicle, and The lane equation is y = c ₂ x ² + c ₁ x + c ₀ , where c ₂ is the curvature of the lane, c ₁ is the heading angle of the vehicle, C ₀ is the offset between the lane and the vehicle, and the third lane equation is y = c ₃ x ³ + c ₂ x ² + c ₁ x + c ₀ , where c ₃ is the curve derivative of the lane, c ₂ is the curvature of the lane, c ₁ is the heading angle of the vehicle, c ₀ is an offset between a lane and a vehicle.