KR20170082374A

KR20170082374A - Lane detection apparatus

Info

Publication number: KR20170082374A
Application number: KR1020160001680A
Authority: KR
Inventors: 장영준
Original assignee: 주식회사 디젠
Priority date: 2016-01-06
Filing date: 2016-01-06
Publication date: 2017-07-14
Also published as: KR102158169B1

Abstract

본 발명은 도로 차선 인식 장치에 관한 것이다. 본 발명의 도로 차선 인식장치는, 차선이 보이지 않거나 눈/흙 등이 도로에 쌓여 차선 자체를 인식하지 못하는 조건에서도 차선 인식은 물론 차량이 주행하는 차로를 판단하도록 한다. 또한, 본 발명은 GPS 정보와 도로 표지판의 정보를 같이 활용하여 차량의 현재 위치정보를 정확하게 추출/갱신하고 있다.The present invention relates to a road lane recognition apparatus. The road lane recognizing device of the present invention allows the lane recognition, as well as the lane on which the vehicle travels, to be determined even if the lane is not visible or the snow / earth is piled on the road and the lane itself is not recognized. In addition, the present invention accurately extracts / updates the current position information of the vehicle by utilizing the GPS information and the information of the road sign.

Description

[0001] LANE DETECTION APPARATUS [0002]

본 발명은 차선 인식장치에 관한 것이다. 더욱 상세하게는 악천후 및 눈길에서도 차량이 정상적으로 주행할 수 있도록 차량 전방에 장착된 적어도 하나의 카메라가 촬영하는 전방 이미지 정보의 크기 변화를 통해 차선을 가상으로 인식하도록 한 차선 인식장치에 관한 것이다.The present invention relates to a lane recognition apparatus. More particularly, to a lane recognizing device for recognizing a lane by virtue of a change in the size of the front image information captured by at least one camera mounted on the front of the vehicle so that the vehicle can travel normally in bad weather and on snowy roads.

현재 대부분의 차선 인식 방법은 카메라를 이용하여 도로면(노면)을 촬영하여 이미지 데이터를 추출하고 차선에 대한 차량의 상대적 위치를 인식하는 방식이다. 그리고 이러한 차선 정보는 운전자에게 과속 및 차선 이탈을 경고하거나 종 방향 및 횡 방향 제어를 통해 차량을 제어하거나 차선을 유지하도록 하는데 이용될 수 있다.Currently, most lane recognition methods use a camera to photograph road surface (road surface), extract image data, and recognize the relative position of the vehicle to the lane. These lane information can be used to warn the driver of overspeed and lane departure, or to control the vehicle or maintain the lane through longitudinal and lateral control.

하지만, 카메라가 노면을 촬영하는 방식이기 때문에 차선 일부가 지워졌거나 노면에 눈이 쌓여서 차선을 촬영하지 못하는 조건 등에서는 실질적으로 차선을 인식하는 것이 불가능하였다. 이럴 경우 운전자는 자신의 차량이 현재 몇 차로를 따라서 주행하고 있는지 알지 못하였고 이는 인접한 차량과의 사고 발생을 초래하였다.However, since the camera takes a picture of the road surface, it is impossible to recognize the lane in some cases, such as when a part of the lane is erased or when the lane is not photographed because the snow is piled on the road surface. In this case, the driver did not know how many lanes his / her vehicle is currently driving, which resulted in an accident with an adjacent vehicle.

특히 최근에는 운전자가 없거나 운전자가 있더라도 차량을 직접 조작하지 않고 시스템에 의해 주행, 정지, 회전, 가속 또는 감속 등의 운전 조작이 자동으로 이루어지는 자율주행 시스템기반의 지능형 차량(즉 무인 차량, 자율 차량 등)에 대한 개발이 활발하게 이루어지고 있으며 이미 실제 도로에서 주행연습이 이루어지기도 한다. 이러한 지능형 차량의 주요 과제는 주행차선의 유지, 인접 차량과의 안전거리 확보와 근접 장애물의 검출과 충돌 회피, 교통상황이나 도로 환경에 따른 차량 속도 제어 등이 있다. 그중 주행차선의 검출은 지능형 차량에서의 주요 과제를 해결하는 핵심 기술의 하나로서 많은 연구가 활발히 진행되고 있다. In recent years, an intelligent vehicle based on an autonomous driving system (i.e., an unmanned vehicle, an autonomous vehicle, or the like), in which a driving operation such as driving, stopping, rotating, accelerating or decelerating is automatically performed by the system without directly operating the vehicle, ) Is being actively developed and driving practice is already done on actual roads. The main tasks of these intelligent vehicles are to maintain driving lanes, to establish safety distances to adjacent vehicles, to detect and avoid collision obstacles, to control collision avoidance, and to control vehicle speed in response to traffic conditions and road conditions. Among them, the detection of the driving lane is one of the key technologies for solving the main problems in the intelligent vehicle, and many researches are actively conducted.

이와 같은 주행차선의 검출은 안전 운전에 지대한 영향을 미치게 되므로, 차선의 위치를 추정하고 판단하기 위해 여러 가지 센서들을 활용하여 정확한 주행차선을 검출하고 있다. 예로서, 이미지 센서, 레이더(RADAR) 또는 라이다(LIDAR) 센서 등 다양한 센서들이 차선의 검출이나 차량 전방의 물체 인식을 위해 단독 또는 융합된 형태로 지능형 차량제어 시스템 구현에 사용되고 있다. 특히, 이미지 센서에 의한 영상 기반 시스템은 저렴한 비용으로 많은 정보의 추출이 가능하고, 기존의 다양한 영상 처리 알고리즘을 활용할 수 있는 장점으로 인해 널리 활용되어 왔다. 그렇지만, 이러한 방법들 역시 앞서 설명한 바와 같이 차선을 인식하지 못하는 가혹한 주행 환경에서는 차선을 정확하게 검출할 수 있는 문제를 근본적으로 해결하지 못하였다.Since the detection of such a driving lane has a great influence on the safe driving, an accurate driving lane is detected by using various sensors in order to estimate and determine the position of the lane. For example, various sensors such as an image sensor, a RADAR, or a LIDAR sensor have been used to implement an intelligent vehicle control system, either alone or in a fused form, for lane detection or vehicle front object recognition. Especially, image based system using image sensor has been widely used because it can extract a lot of information at low cost and can utilize various image processing algorithms. However, as described above, these methods do not fundamentally solve the problem of accurately detecting the lane in a harsh driving environment that does not recognize the lane.

그리고 이렇게 차선을 인식하지 못한 환경에서는 차량의 현재 위치도 정확하게 검출하는 것이 어려웠다. 물론 GPS를 통해 차량 위치를 알 수 있지만 그 오차 범위가 크기 때문에, 주행시 정밀한 차량 위치가 필요로 한 무인 차량의 경우에서는 이를 적용할 수가 없었다.It was also difficult to accurately detect the current position of the vehicle in such a lane-free environment. Of course, it is possible to know the position of the vehicle through GPS, but the error range is so large that it could not be applied to an unmanned vehicle requiring precise vehicle position when driving.

한국공개특허공보 10-2013-0011825호(2013. 01. 30. 차선인식방법)Korean Patent Laid-Open Publication No. 10-2013-0011825 (2013. 01.30 lane recognition method)

이에, 본 발명의 목적은 노면의 차선을 인식하지 못하는 조건에서도 차량의 주행차선을 정확하게 인식할 수 있는 차선 인식장치를 제공하는 것이다. It is therefore an object of the present invention to provide a lane recognizing apparatus which can accurately recognize a driving lane of a vehicle even under a condition that the lane on the road surface is not recognized.

또한, 본 발명은 GPS 정보와 도로 표지판의 도로 정보를 이용하여 차량의 현재 위치를 정확하게 검출, 갱신하는 차량 인식장치를 제공하는 것이다.In addition, the present invention provides a vehicle recognition apparatus that accurately detects and updates a current position of a vehicle using GPS information and road information of a road sign.

상기한 목적을 달성하기 위한 본 발명의 특징에 따르면, 차량 전방에 설치된 적어도 하나의 카메라; 차량의 주행방향을 기준으로 실제 도로의 좌/우측 이미지를 저장하는 지도 DB; 그리고 차량 주행시 상기 지도 DB가 제공하는 실제 도로의 좌/우측 이미지와 비교하여 상기 카메라가 촬영한 좌/우측 이미지의 크기 변화에 따라 차선 인식 및 차량의 주행 차로를 판단하는 제어부를 포함하여 구성되는 차선 인식장치를 제공하는 것이다.According to an aspect of the present invention, there is provided a vehicle comprising: at least one camera installed in front of a vehicle; A map DB for storing left and right images of an actual road based on a running direction of the vehicle; And a control unit for determining lane recognition and driving lane of the vehicle in accordance with the size change of the left and right images taken by the camera in comparison with the left and right images of the actual road provided by the map DB when the vehicle is running, And to provide a recognition device.

여기서, 상기 차선 인식은 상기 실제 도로의 좌/우측 이미지와 상기 카메라가 촬영한 좌/우측 이미지를 비교하여 가상으로 처리하는 것이다.Here, the lane recognition is a process of comparing the left / right image of the actual road with the left / right image taken by the camera to virtually process it.

그리고 상기 제어부는 상기 카메라가 촬영한 이미지 중 상기 좌측 이미지가 가장 크면 차량은 1차로를 주행하고, 상기 좌측 이미지가 가장 작으면 가장 바깥 차로를 주행하는 것으로 판단한다. The controller determines that the vehicle travels in the first lane if the left image is the largest among the images taken by the camera, and if the left image is the smallest, the lane in the outermost lane is determined to travel.

또한, 본 발명의 실시 예에 따르면 차량의 현재 위치정보를 제공하는 GPS 수신기를 더 포함하고, 상기 제어부는 상기 GPS 수신기가 제공하는 차량의 현재 위치정보에 따라 상기 지도 DB가 지도 서버로부터 차량의 주행 방향과 일치하는 실제 도로의 좌/우측 이미지를 실시간으로 전달받도록 제어한다.According to an embodiment of the present invention, there is further provided a GPS receiver for providing current position information of a vehicle, wherein the control unit controls the map DB from the map server according to current position information of a vehicle provided by the GPS receiver, Right direction of the actual road that coincides with the direction of the road.

그리고 본 발명의 실시 예는 도로 표지판을 촬영하는 카메라와, 상기 카메라가 촬영한 도로 표지판 정보로부터 텍스트 및 이미지 정보를 추출하는 추출부를 더 포함하고, 상기 제어부는 상기 GPS 수신기가 제공하는 위치 정보와 상기 추출부에 의해 획득된 위치 정보를 이용하여 차량의 현재 위치정보를 갱신한다. According to another aspect of the present invention, there is provided a navigation system including a camera for photographing a road sign, and an extracting unit for extracting text and image information from the road signboard information photographed by the camera, And updates the current position information of the vehicle by using the position information obtained by the extracting unit.

이상과 같은 본 발명의 차선 인식장치에 의하면, 차량의 주행방향에 대한 좌/우측 이미지를 차량에 설치된 카메라가 촬영하고, 이를 미리 제공되는 기준정보와 비교하면서 그 좌/우측 이미지의 크기 변화를 확인하고 있다. 그리고 그러한 좌/우측 이미지의 크기 변화에 따라 차량이 현재 도로의 차선을 가상으로 인식하면서 차량이 몇 차로를 따라 주행하는 지를 판단할 수 있다.According to the lane identifying apparatus of the present invention as described above, the left and right images of the vehicle in the running direction are photographed by the camera installed in the vehicle, and compared with the reference information provided in advance, . Then, according to the size change of the left / right image, the vehicle recognizes the lane of the current road virtually and can determine how many lanes the vehicle travels.

그렇기 때문에, 본 발명은 도로의 차선을 인식하지 못하는 조건에서도 차량이 안전하게 주행할 수 있는 환경을 제공하는 것이다. 특히 무인차량은 주행 차선을 유지하면서 주행하기 때문에 차선을 인지하지 못하는 장소에서도 무인차량이 안정적으로 주행할 수 있는 조건을 마련하는 효과가 있다.Therefore, the present invention provides an environment in which the vehicle can safely run even under the condition that the lane of the road is not recognized. In particular, since the unmanned vehicle travels while maintaining the driving lane, the unmanned vehicle can be stably driven even in a place where the lane is not recognized.

또한, 본 발명은 GPS 정보와 도로 표지판 정보를 함께 이용하여 차량 위치정보를 검출/갱신하기 때문에, 차선 인식에 필요한 기준정보를 정확하게 제공할 수 있는 효과도 있다.In addition, since the present invention detects / updates vehicle position information using both GPS information and road sign information, there is an effect that accurate reference information required for lane recognition can be provided.

도 1은 본 발명의 바람직한 실시 예에 따른 차선 인식장치를 보인 블록 구성도
도 2는 본 발명의 차선 인식장치를 이용한 차선 인식방법을 보인 흐름도
도 3은 본 발명의 차선 인식장치에 마련된 카메라가 촬영한 도로 좌/우측 이미지의 예시 도면
도 4는 본 발명의 차선 인식장치가 차량의 현재 위치정보를 갱신하는 과정을 보인 흐름도1 is a block diagram illustrating a lane recognition apparatus according to a preferred embodiment of the present invention.
2 is a flowchart showing a lane recognition method using the lane recognition apparatus of the present invention.
FIG. 3 is a diagram showing an example of a road left / right image taken by a camera provided in the lane recognizing apparatus of the present invention
4 is a flowchart showing a process of updating the current position information of the vehicle according to the lane recognition apparatus of the present invention.

본 발명은 차량에 장착된 카메라가 촬영한 좌/우 이미지 정보의 크기 변화를 이용하여 주행 차선 정보를 가상으로 획득하고, 이를 통해 차량이 현재 몇 차선에서 주행하는 지를 인지할 수 있도록 하는 것이며, 또한 차량의 현재 위치 정보를 GPS 정보와 도로 표지판 정보를 활용하여 갱신하는 것을 기술적 특징으로 한다. The present invention is to virtually acquire driving lane information by using a change in the size of left / right image information taken by a camera mounted on a vehicle, thereby enabling the driver to recognize how many lanes the vehicle is currently traveling, And the present position information of the vehicle is updated using GPS information and road sign information.

이와 같은 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다. 도 1은 본 발명의 바람직한 실시 예에 따른 차선 인식장치를 보인 블록 구성도이다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description when read in conjunction with the accompanying drawings. 1 is a block diagram illustrating a lane recognition apparatus according to a preferred embodiment of the present invention.

이에 도시한 바와 같이 차선 인식장치(100)는 카메라(102)(104)를 포함한다. 카메라는 차량의 전방(즉, 도로 노면 및 좌/우측 전방 방향)을 촬영할 수 있도록 차량 전방의 좌/우측에 설치되는 것이 좋다. 실시 예에서는 제1 카메라(또는 좌측 카메라)(102)와 제2 카메라(또는 우측 카메라)(104)가 장착된 것으로 설명한다. 물론, 이는 실시 예에 불과하고 좌/우측에 각각 둘 이상의 카메라를 장착할 수도 있거나 또는 차량 전방의 소정 위치에 하나의 카메라만 장착하여도 상관없다. 즉 카메라가 촬영한 영상 정보를 기초로 하여 차량의 주행 방향의 좌/우측 이미지의 크기 변화를 확인할 수 있는 조건만 만족할 수 있으면 카메라의 개수는 상관없다는 것이다. 물론 카메라가 1대인 경우라면 그 카메라가 촬영한 이미지에서 좌/우측 이미지를 분할하는 이미지 분할장치(도면 미 도시)가 더 제공되어야 할 것이다. As shown, the lane recognizing apparatus 100 includes a camera 102 (104). It is preferable that the camera is installed on the left / right side of the front of the vehicle so as to photograph the front of the vehicle (i.e., the road surface and the left / right front direction). In the embodiment, it is assumed that the first camera (or the left camera) 102 and the second camera (or the right camera) 104 are mounted. Of course, this is merely an embodiment, and two or more cameras may be mounted on the left and right sides, respectively, or only one camera may be mounted on predetermined positions in front of the vehicle. That is, the number of cameras does not matter if only the conditions for checking the size change of the left and right images in the running direction of the vehicle can be satisfied based on the image information taken by the camera. Of course, if there is only one camera, an image dividing device (not shown) for dividing the left / right image in the image taken by the camera should be further provided.

차선 인식장치(100)에는 지도 DB(110)가 마련된다. 지도 DB(110)는 도로 주변에 위치한 건물이나 산, 강과 같은 경관 등에 대한 영상 정보, 그리고 차량이 주행중인 도로의 차로에 대한 정보 등이 저장되며, 본 실시 예에서는 지도 DB(110)에 저장된 데이터를 기준 정보라 하여 설명할 것이다. 이러한 기준 정보는 1차원, 2차원 및 3차원 중 어느 하나의 정보로 가공되어 저장된다. 바람직하게는 이미지의 크기 및 위치를 알 수 있는 3차원 정보로 저장될 것이다. 이처럼 기준 정보가 필요한 이유는 도로의 좌/우측 이미지가 서로 상이하기 때문이다.A lane recognition device (100) is provided with a map DB (110). The map DB 110 stores image information about a building located in the vicinity of the road, scenery such as mountains and rivers, and information about lanes of a road in which the vehicle is running. In this embodiment, data stored in the map DB 110 Will be referred to as reference information. The reference information is processed and stored as one of the one-dimensional, two-dimensional, and three-dimensional information. Preferably, it will be stored as three-dimensional information that can know the size and position of the image. The reason why the reference information is necessary is because the left and right images of the road are different from each other.

지도 DB(110)에 저장된 기준 정보는 3차원 정보로 저장될 뿐만 아니라 차량의 주행 방향에 대한 데이터 모두가 저장되어야 한다. 이는 차량이 주행 시 제1 카메라(102)와 제2 카메라(104)가 촬영한 정보를 비교할 수 있는 실제의 이미지 정보가 있어야 하기 때문이다. 이러한 이유로 지도 DB(110)는 상대적으로 큰 용량을 가질 수밖에 없다. 물론, 다른 예로 본 발명에서는 지도 DB(110)의 용량을 최소화하는 방안을 제공할 수도 있다. 즉 차량의 위치 정보를 수신하는 GPS 수신기(130)와, 그리고 차량의 진행방향에 대한 지도정보를 지도 서버(10)로부터 수신하고 순차적으로 지도 DB(110)에 저장하는 처리부(140)가 있으면 된다. 이럴 경우 지도 DB(110)는 용량을 작게 하더라도 선입선출(FIFO) 방식으로 지도정보를 수신하고 제공할 수 있어, 차선인식 방법에 지도 정보를 효율적으로 제공할 수 있게 된다. 즉 차량의 주행방향 전방의 지도는 수신하여 전달하고, 주행방향 후방의 지도는 삭제하면 되기 때문이다. The reference information stored in the map DB 110 is stored not only as three-dimensional information but also all the data on the running direction of the vehicle. This is because there must be real image information that allows the first camera 102 and the second camera 104 to compare the information captured by the vehicle when driving. For this reason, the map DB 110 has a relatively large capacity. As another example, it is possible to provide a method of minimizing the capacity of the map DB 110 in the present invention. A GPS receiver 130 for receiving vehicle position information and a processing unit 140 for receiving map information on the traveling direction of the vehicle from the map server 10 and sequentially storing the information in the map DB 110 . In this case, even if the capacity of the map DB 110 is reduced, the map information can be received and provided in a first-in first-out (FIFO) manner, and map information can be efficiently provided to the lane recognition method. That is, the map in front of the driving direction of the vehicle is received and transmitted, and the map behind the driving direction is deleted.

제1 카메라(102) 및 제2 카메라(104)가 촬영한 이미지 정보와 상기 기준 정보를 비교하는 비교기(150)가 구성된다. 비교기(150)는 지도 DB(110)에 저장되어 있는 차량 전방의 좌/우측 이미지 정보(즉, 기준 정보)와 차량 주행에 따라 상기 카메라(102)(104)가 촬영한 좌/우측 이미지 정보(즉, 대상 정보)를 비교하는 역할을 한다. And a comparator 150 for comparing the image information photographed by the first camera 102 and the second camera 104 with the reference information. The comparator 150 compares the left / right image information (i.e., reference information) stored in the map DB 110 with the left / right image information (i.e., reference information) stored in the map DB 110 and the left / right image information That is, object information).

비교기(150)의 비교결과에 따라 기준 정보 대비 대상 정보의 크기 변화를 감지하고, 차량이 주행하는 차선을 가상으로 인식하는 일련의 과정을 제어하는 제어부(160)가 구성된다. 이러한 제어부(160)는 차량의 운행과 관련된 동작을 제어하는 마이크로프로세서나 전자제어장치(electronic control unit)에 기능을 추가하거나 또는 차선 인식을 위한 장치로 별도 구성할 수도 있다. The control unit 160 controls the process of sensing a change in the size of the target information with respect to the reference information and recognizing the lane on which the vehicle is traveling, based on the comparison result of the comparator 150. The control unit 160 may be added to the microprocessor or the electronic control unit for controlling the operation of the vehicle, or may be separately configured as a device for lane recognition.

제어부(160)는 도로 사정에 따라 처리부(140) 및 및 비교기(150)의 구동을 선택적으로 온/오프 제어하기도 한다. 즉 제1 카메라(102) 및 제2 카메라(104)가 차선을 인식할 수 있는 조건에서는 기준정보를 이용하지 않아도 되기 때문이다. 제1 카메라(102) 및 제2 카메라(104)가 촬영한 차선 정보를 제어부(160)가 인식하면 된다. The control unit 160 selectively controls on / off the driving of the processing unit 140 and the comparator 150 according to the road conditions. That is, the reference information is not used under the condition that the first camera 102 and the second camera 104 can recognize the lane. The control unit 160 may recognize the lane information captured by the first camera 102 and the second camera 104. [

그리고 제어부(160)는 GPS 정보를 이용하여 획득된 정보와 도로 표지판의 정보를 이용하여 차량 위치정보를 갱신할 수도 있다. 이는 차량 주행 시에 지도DB(110)로부터 차량의 현재 위치에 대한 기준정보를 액세스해야 하기 때문이다. 이를 위해 본 발명의 실시 예에 따르면 도로 주변에 장착된 도로 표지판을 촬영하는 카메라(170)를 더 포함하여 구성할 수 있다. 물론 상기 제1 카메라(102) 또는 제2 카메라(104)가 도로 표지판을 충분히 촬영할 수 있는 조건이라면 이러한 카메라(170)는 필요하지 않을 수 있다. 다만, 본 실시 예에서는 설명의 편의를 위해 도로 표지판만을 촬영하는 제3 카메라(170)가 구비되는 것으로 가정한다. 제3 카메라(170)는 차량 앞 부분에 장착되거나 전방 유리 내측에 장착될 수 있고, 그 위치는 얼마든지 변경 가능하다. The control unit 160 may update the vehicle position information using the information obtained using the GPS information and the information of the road sign. This is because it is necessary to access the reference information on the current position of the vehicle from the map DB 110 at the time of driving the vehicle. To this end, according to an embodiment of the present invention, a camera 170 for photographing a road sign mounted on the periphery of a road may be further included. Of course, such a camera 170 may not be necessary if the first camera 102 or the second camera 104 can sufficiently photograph the road sign. However, in the present embodiment, it is assumed that a third camera 170 photographing only a road sign is provided for convenience of explanation. The third camera 170 can be mounted on the front portion of the vehicle or mounted on the inside of the front glass, and its position can be changed in any amount.

또한, 도로 표지판과 관련하여 제3 카메라(170)가 촬영한 이미지 처리된 표지판 정보로부터 텍스트 및 이미지 정보 등을 추출하는 추출부(180)가 구성된다. 추출부(180)는 색상 대비를 통해 추출 가능하다. 예컨대 도로 표지판은 일련의 배경색에 다른 색상의 텍스트나 이미지가 인쇄되어 있기 때문이다. 텍스트나 이미지의 예로서는 지명, 교차로나 휴게소 등을 나타내는 이미지, 거리 정보(Km) 등이 된다.The extracting unit 180 extracts text and image information from the image-processed signboard information captured by the third camera 170 in association with the road sign. The extracting unit 180 extracts color through contrast. For example, road signs are printed with text or images of different colors in a series of background colors. Examples of the text or image include a place name, an image indicating an intersection or a rest area, distance information (Km), and the like.

이어서는 본 발명에 따른 차선 인식방법을 설명하기로 한다. 본 발명의 실시 예에서는 도 2에 도시한 바와 같이 차량이 소정 도로를 주행하는 것으로부터 시작된다. Next, a lane recognition method according to the present invention will be described. In the embodiment of the present invention, as shown in Fig. 2, the vehicle starts from running on a predetermined road.

차량이 주행하면 제어부(160)는 제1 카메라(102) 및 제2 카메라(104)가 차선 인식이 가능한지 판단한다(S100). 판단 결과 차선 인식이 가능하면 제1 카메라(102) 및 제2 카메라(104)의 구동만으로 주행 차선을 따라 주행하게 된다(S110). 이는 일반 차량뿐 아니라 무인차량에도 적용된다. 특히 무인 차량에서는 정상적인 차선 인식이 가능하므로 차선을 유지하면서 보다 안정적인 주행이 가능할 것이다. When the vehicle is traveling, the controller 160 determines whether the first camera 102 and the second camera 104 can recognize the lane (S100). As a result of the determination, if the lane recognition is possible, the first camera 102 and the second camera 104 travel along the driving lane only at step S110. This applies not only to general vehicles but also to unmanned vehicles. Especially in unmanned vehicles, normal lane recognition is possible, so it is possible to maintain more stable driving while maintaining the lane.

반면, 제1 카메라(102) 및 제2 카메라(104)가 차선 인식을 정상적으로 수행할 수 없는 경우가 발생할 수도 있다. 이는 상술한 바와 같이 도로에 대한 유지 보수 기간이 오래되어 차선이 지워져서 인식하지 못하거나, 또는 눈이나 흙 등이 도로에 쌓여 차선 자체를 인식하지 못하는 경우 등이 해당한다. 이처럼 차선을 인식하지 못하는 경우 제어부(160)는 본 발명의 실시 예가 제공하는 차선 인식방법을 수행하게 될 것이다.On the other hand, it may happen that the first camera 102 and the second camera 104 can not normally perform the lane recognition. This is because, as described above, the maintenance period of the road is long and the lane can not be recognized because the lane is erased, or when the lane is not recognized because the snow or soil is accumulated on the road. If the lane is not recognized, the control unit 160 will perform the lane recognition method provided by the embodiment of the present invention.

즉, 차량의 주행이 이루어지면, 제1 카메라(102) 및 제2 카메라(104)는 차량의 전방을 촬영하게 된다. 바람직하게는 차량을 기준으로 좌/우측 도로 주변을 촬영할 것이고, 촬영 대상은 건물 등을 포함한다(도 3 참조). 그리고 제1 카메라(101) 및 제2 카메라(104)가 촬영한 정보는 실시간으로 비교기(150)에 전달된다(S120). That is, when the vehicle is running, the first camera 102 and the second camera 104 photograph the front of the vehicle. Preferably, the left and right roads will be photographed on the basis of the vehicle, and the object to be photographed includes a building or the like (see FIG. 3). The information captured by the first camera 101 and the second camera 104 is transmitted to the comparator 150 in real time (S120).

그리고 제어부(160)는 지도 DB(110)에서 차량의 현재 위치정보를 기초로 하여 차량의 주행방향에 대한 기준정보를 액세스하고 이를 비교기(150)에 제공하도록 제어할 것이다(S130). 이러한 과정은 제1 카메라(102)와 제2 카메라(104)의 촬영 정보가 비교기(150)로 전달되는 시점과 동일한 시점에 진행되게 된다. 이때, 지도DB(110)에 기준정보를 저장한 상태에서 차량의 현재 위치에 대한 기준정보를 액세스할 수도 있지만, 지도 서버(10)로부터 차량의 주행 방향에 해당하는 기준정보만을 실시간 전달받아 제공할 수도 있음은 상술한 바와 같다. 이는 GPS 정보를 이용하여 차량의 현재 위치 및 주행방향 정보를 알 수 있기 때문에 가능하다. Then, the controller 160 controls the map DB 110 to access the reference information about the traveling direction of the vehicle based on the current position information of the vehicle and provide the reference information to the comparator 150 (S130). This process proceeds at the same time point when the photographing information of the first camera 102 and the second camera 104 is transmitted to the comparator 150. At this time, although the reference information about the current position of the vehicle can be accessed while the reference information is stored in the map DB 110, only the reference information corresponding to the traveling direction of the vehicle is received from the map server 10 in real time The reason is as described above. This is possible because it is possible to know the present position and the traveling direction information of the vehicle by using the GPS information.

비교기(150)는 기준 정보와 상기 제1 카메라(102) 및 제2 카메라(104)가 촬영한 대상정보를 비교한다(S140). 그리고 이러한 비교 결과의 예로 기준 정보 대비 대상 정보인 좌측 이미지 및 우측 이미지의 크기 변화를 들 수 있다. 즉 기준 정보의 좌측 이미지 및 우측 이미지와 촬영된 대상 정보의 좌측 이미지 및 우측 이미지의 크기가 같거나 상이할 수 있다. The comparator 150 compares the reference information with the object information captured by the first camera 102 and the second camera 104 (S140). As an example of the comparison result, the size of the left image and the right image, which are the target information with respect to the reference information, can be mentioned. That is, the left image and the right image of the reference information and the left image and the right image of the photographed object information may be the same or different.

비교기(150)의 비교 예는 다음과 같다. 편도 2차선(즉, 왕복 4차선)의 도로에서 차량이 1차로를 따라 주행할 경우, 좌측 이미지는 더 커지고, 우측 이미지는 상대적으로 더 작아지게 된다. 반대로 2차로를 주행할 경우에는 좌측 이미지보다 우측 이미지가 더 커지게 된다. 이는 차로가 더 많을수록 이미지 크기 변화는 더 크게 나타나게 될 것이다. 이러한 예시 도면이 도 3에 도시되어 있다. 도 3을 보면 좌측 이미지(A)보다 우측 이미지(B)가 더 크게 표시됨을 확인할 수 있을 것이다. 다른 예로, 기준 정보 대비 촬영된 좌/우측 이미지의 비율 정보를 이용할 수도 있을 것이다. 예를 들어, 좌/우측 기준정보의 이미지가 100%인 경우 차로 개수(여기서는 3차로)에 따라 단계별로 좌측 이미지가 90~ 100%이면 1차로 주행, 70% 이상 90% 미만이면 2차로, 70% 미만이면 3차로를 주행하는 것으로 미리 셋팅할 수 있는 것이다. A comparative example of the comparator 150 is as follows. When a vehicle travels along a first lane on a one way lane (ie, a four-lane two-lane road), the left image becomes larger and the right image becomes relatively smaller. On the contrary, when the vehicle runs on the second lane, the image on the right side becomes larger than the image on the left side. This means that the more lanes you have, the bigger the image size change will be. Such an illustrative drawing is shown in Fig. 3, it can be seen that the image B on the right side is displayed larger than the image on the left side (A). As another example, the ratio information of the photographed left / right image relative to the reference information may be used. For example, if the image of the left / right reference information is 100%, if the left image is 90-100% in the stepwise manner according to the number of lanes (in this case, third order) %, It can be set in advance by driving the third lane.

이러한 비교기(150)의 비교결과는 제어부(160)가 전달받는다. 그리고 제어부(160)는 기준정보 대비 촬영된 좌/우측 이미지의 크기 변화를 감지하고, 차선을 가상으로 인식하면서 차량이 몇 차로를 주행하는지 판단할 수 있다(S150). 예를 들면, 도 3과 같이 기준정보와 비교하여 좌측 이미지(A)가 작게 나오고 우측 이미지(B)가 크게 나오면 차량은 적어도 1차로 아닌 2차로 밖의 차로를 따라 주행하는 것으로 인식한다. 반대로 좌측 이미지(A)가 커지고 우측 이미지(B)가 작아지면 안쪽 차선을 따라 주행하는 경우로 판단하게 된다. The comparison result of the comparator 150 is received by the controller 160. Then, the control unit 160 detects a change in size of the photographed left and right images compared to the reference information, and determines how many lanes the vehicle travels while recognizing the lane as virtual (S150). For example, when the left image A is small and the right image B is large as compared with the reference information as shown in FIG. 3, the vehicle recognizes that the vehicle travels along a lane outside the vehicle at least two times. Conversely, if the left image A becomes larger and the right image B becomes smaller, it is determined that the vehicle travels along the inner lane.

이처럼 본 발명은 노면에 있는 차선을 인식하지 못하더라도 도로의 좌/우측 이미지 정보를 활용하여 도로의 차선을 가상으로 인식하면서 차량이 몇 차로로 주행하는 것을 판단할 수 있는 것이다.As described above, according to the present invention, it is possible to determine how many lanes the vehicle travels while recognizing the lane of the road virtually by utilizing the left / right image information of the road even though the lane on the road surface is not recognized.

한편, 본 발명에서는 차량의 현재 위치정보를 정확하게 검출하는 것이 중요하다. 즉 상술한 바와 같이 본 발명은 차량의 현재 위치의 지도 정보를 이용하기 때문이다. 물론 본 발명의 실시 예에 따르면, GPS 수신기(130)를 이용하여 GPS 정보를 수신하여 차량의 현재 위치를 확인할 수도 있다. 그러나 알려진 바와 같이 GPS 정보는 어느 정도의 오차가 있다. 따라서 차선 인식을 위해 필요한 기준 정보를 정확하게 제공하지 못하는 경우가 발생하고, 이 경우 실질적인 차선을 인식하지 못하기 때문이다. 특히 본 발명은 차선을 인식하고 주행 차선을 유지하면서 주행하는 무인 차량에도 적극 적용되기 때문에, 차량의 현재 위치에 대한 정보를 확인하고 갱신하는 것이 중요하다. On the other hand, in the present invention, it is important to accurately detect the current position information of the vehicle. That is, as described above, the present invention utilizes the map information of the current position of the vehicle. Of course, according to an embodiment of the present invention, GPS information can be received using the GPS receiver 130 to confirm the current position of the vehicle. However, as is known, GPS information has some errors. Therefore, there is a case in which the reference information necessary for lane recognition is not accurately provided, and in this case, the actual lane is not recognized. Particularly, since the present invention is applied to an unmanned vehicle traveling while recognizing a lane and maintaining a driving lane, it is important to check and update information on the current position of the vehicle.

이를 위해 본 발명에서는 GPS 정보와 도로 표지판 정보를 이용하고자 한다.To this end, the present invention utilizes GPS information and road sign information.

따라서, 도 4에 도시한 바와 같이 차량 주행시 위치정보의 갱신이 필요하면(S200), 제어부(160)는 GPS 수신기(130)가 수신하는 위치 정보를 통해 차량의 현재 위치를 1차 확인한다(S120). 그리고 제어부(160)는 제3 카메라(170)가 촬영하고 추출부(180)가 추출한 도로 표지판의 정보를 이용하여 차량의 위치 정보를 추가로 획득한다(S220). 이렇게 하면 차량의 현재 위치를 더 정확하게 알 수 있게 된다.4, when it is necessary to update the position information at the time of driving the vehicle (S200), the controller 160 first confirms the current position of the vehicle through the position information received by the GPS receiver 130 (S120 ). The control unit 160 further obtains the location information of the vehicle using the information of the road sign extracted by the third camera 170 and extracted by the extracting unit 180 at step S220. This makes it possible to know the current position of the vehicle more accurately.

제어부(160)는 이처럼 GPS 정보와 도로 표지판의 정보를 이용하여 획득한 차량 위치정보를 실시간으로 갱신하게 된다(S230). 이러한 갱신 정보는 GPS만을 이용하여 갱신하는 것에 비해 훨씬 정확도가 높아지는 것은 당연할 것이다. 그리고 상기한 차량 위치정보의 갱신은 무작위로 진행되는 것이 아니고 도로 표지판을 촬영하고 관련 정보를 추출하는 시점에만 진행될 것이다. The control unit 160 updates the vehicle position information obtained using the GPS information and the road sign information in real time (S230). It will be appreciated that such update information is much more accurate than updating using only GPS. The update of the vehicle position information is not performed at random but only at the time of photographing the road sign and extracting relevant information.

이와 같은 과정을 통해 얻어진 정보를 사용하면 제어부(160)는 지도 DB(110)에서 정교한 기준 정보를 액세스하여 제공할 수 있게 되고(S240), 따라서 차선 인식방법을 효율적으로 처리할 수 있다.Using the information obtained through such a process, the control unit 160 can access and provide sophisticated reference information in the map DB 110 (S240), and thus can efficiently process the lane recognition method.

이와 같이 본 발명은 차선을 인식할 수 없는 환경에서도 카메라가 촬영한 좌우 이미지정보의 크기 변화를 통해 차선을 인지하고, 또한 도로 표지판 정보와 협력하여 차량 위치를 정확하게 검출하도록 구성됨을 알 수 있다. As described above, according to the present invention, the lane is recognized through the size change of the left and right image information captured by the camera even in an environment where the lane can not be recognized, and the vehicle position is accurately detected in cooperation with the road sign information.

이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. It will be apparent that modifications, variations and equivalents of other embodiments are possible. Therefore, the true scope of the present invention should be determined by the technical idea of the appended claims.

100: 차선 인식장치
102: 제1 카메라
104: 제2 카메라
110: 지도 DB
130: GPS 수신기
140: 처리부
150: 비교기
160: 제어부
170: 제3 카메라
180: 추출부100: lane recognition device
102: First camera
104: Second camera
110: Map DB
130: GPS receiver
140:
150: comparator
160:
170: Third camera
180:

Claims

At least one camera installed in front of the vehicle;
A map DB for storing left and right images of an actual road based on a running direction of the vehicle; And
And a controller for comparing the left and right images of the actual road provided by the map DB when the vehicle is traveling, and determining a lane recognition and a driving lane of the vehicle according to a change in size of left and right images photographed by the camera Of the lane recognition device.

The method according to claim 1,
Wherein the lane recognition device virtually compares the left / right image of the actual road with the left / right image taken by the camera.

3. The method of claim 2,
Wherein the control unit determines that the vehicle travels in the first lane if the left image is the largest among the images photographed by the camera, and determines that the vehicle travels in the outermost lane if the left image is the smallest.

The method according to claim 1,
Further comprising a GPS receiver for providing current position information of the vehicle,
Wherein the control unit controls the map DB to receive, in real time, an image of a left / right side of an actual road that coincides with a traveling direction of the vehicle from the map server, based on the current position information of the vehicle provided by the GPS receiver.

5. The method of claim 4,
A camera that takes a road sign; And
Further comprising an extracting unit for extracting text and image information from the road signboard information photographed by the camera,
Wherein the control unit updates the current position information of the vehicle using the position information provided by the GPS receiver and the position information obtained by the extracting unit.