KR102214321B1 - Lane recognizing apparatus and method thereof - Google Patents
Lane recognizing apparatus and method thereof Download PDFInfo
- Publication number
- KR102214321B1 KR102214321B1 KR1020140035802A KR20140035802A KR102214321B1 KR 102214321 B1 KR102214321 B1 KR 102214321B1 KR 1020140035802 A KR1020140035802 A KR 1020140035802A KR 20140035802 A KR20140035802 A KR 20140035802A KR 102214321 B1 KR102214321 B1 KR 102214321B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- lane
- value
- road
- color
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 19
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims description 10
- 230000000295 complement effect Effects 0.000 abstract description 5
- 239000003086 colorant Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 도로 영상을 획득하는 영상 획득부; 도로 영상에서 제1색상을 강조하여 제1영상을 생성하고, 도로 영상에서 제2색상을 강조하여 제2영상을 생성하고, 제1영상과 제2영상을 합성하여 차선을 인식하는 차선 인식부를 포함한다.
본 발명은 서로 보색 관계에 있는 노란 색의 차선과 파란 색의 차선의 인식율을 향상시킬 수 있다.
이로 인해 다양한 도로 환경에서도 차선을 효율적으로 차선을 인식할 수 있다.
또한 차선 인식의 정확도를 높일 수 있으며 이로 인해 차선 이탈 경고 시스템의 성능을 향상시킬 수 있다.The present invention includes an image acquisition unit for obtaining a road image; Includes a lane recognition unit for generating a first image by emphasizing the first color in the road image, generating a second image by emphasizing the second color in the road image, and synthesizing the first image and the second image to recognize a lane do.
The present invention can improve the recognition rate of yellow lanes and blue lanes that are complementary to each other.
This makes it possible to recognize lanes efficiently even in various road environments.
In addition, it is possible to increase the accuracy of lane recognition, thereby improving the performance of the lane departure warning system.
Description
본 발명은 차선의 인식 정확도를 향상시키기 위한 차선 인식 장치 및 그 방법에 관한 것이다.The present invention relates to a lane recognition apparatus and method for improving lane recognition accuracy.
지능형 차량이란 운전자가 차량을 직접 조작하지 않고 컴퓨터 등에 의해 주행, 정지, 회전, 가속 또는 감속 등의 운전 조작이 자동으로 이루어지는 차량을 의미한다.An intelligent vehicle refers to a vehicle in which driving operations such as driving, stopping, turning, acceleration or deceleration are automatically performed by a computer or the like without a driver directly manipulating the vehicle.
이러한 지능형 차량의 주요 과제는 주행하는 차선의 유지, 인접차량과의 안전거리 확보, 근접 장애물의 검출과 충돌 회피, 교통상황이나 도로 환경에 따른 차량속도 제어 등이 있다.The main tasks of such an intelligent vehicle include maintaining a driving lane, securing a safe distance with neighboring vehicles, detecting nearby obstacles and avoiding collisions, and controlling vehicle speed according to traffic conditions or road conditions.
최근에는 정보통신 기술의 진전에 따라 차선 이탈 경고 시스템(LDWS : Lane Departure Warning System)이나 차선유지와 같은 안전운전 보조시스템, 차량 자동 제어시스템 등이 개발되어 실용화가 급속하게 진행되고 있다.In recent years, along with the progress of information and communication technology, a Lane Departure Warning System (LDWS), a safe driving assistance system such as lane maintenance, and an automatic vehicle control system have been developed and commercialized rapidly.
특히, 차선 인식은 지능형 차량에서 핵심기술의 하나로서, 국제적인 관심 속에 많은 연구가 활발히 진행되고 있다.In particular, lane recognition is one of the core technologies in intelligent vehicles, and many studies are actively being conducted amid international interest.
차선 인식은 안전 운전에 지대한 영향을 미치게 되므로, 차선의 위치를 추정하고 판단하기 위해 여러 가지 센서들을 활용한다. Since lane recognition has a profound effect on safe driving, various sensors are used to estimate and determine the position of the lane.
즉, 이미지 센서, 레이더(Radar) 또는 라이더(Lidar) 센서 등 다양한 센서들은, 차선 인식이나 차량 전방의 물체 인식을 위해 단독 또는 융합된 형태로 지능형 차량 제어 시스템을 구현한다.That is, various sensors, such as an image sensor, a radar, or a lidar sensor, implement an intelligent vehicle control system in a single or fused form for lane recognition or object recognition in front of the vehicle.
이 중 이미지 센서를 이용한 차선 인식은 저렴한 비용으로 많은 정보를 할 수 있고, 기존의 다양한 비전 처리 알고리즘을 활용할 수 있어 널리 이용되고 있다.Among them, lane recognition using an image sensor is widely used because it can provide a lot of information at low cost and can utilize various existing vision processing algorithms.
하지만 이미지 센서를 이용하여 차선을 인식하는 경우, 획득된 도로 영상을 그레이 스케일 이미지(Gray Scale Image)로 변환하고 변환된 그레이 스케일 이미지에서 에지(Edge)를 검출함으로써 차선을 인식하는 데, 이 때 레인 마커(lane marker)가 도로 면의 색상보다 더 어둡거나 도로 면과 밝기 차이가 없으면 차선 인식이 어려운 문제점이 있다.However, when a lane is recognized using an image sensor, the lane is recognized by converting the acquired road image to a gray scale image and detecting an edge in the converted gray scale image. If the lane marker is darker than the color of the road surface or there is no difference in brightness from the road surface, it is difficult to recognize a lane.
이에 따라 이미지 센서를 이용하여 차선 인식 시 차선 인식의 정확도가 낮은 문제점이 있다.Accordingly, there is a problem in that the accuracy of lane recognition is low when the lane is recognized using an image sensor.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 서로 다른 색상의 차선을 인식하는 차선 인식 장치 및 그 방법을 제공한다.An object of the present invention for solving the above problems is to provide a lane recognition apparatus and method for recognizing lanes of different colors.
본 발명의 일 측면에 따른 차선 인식 장치는, 도로 영상을 획득하는 영상 획득부; 도로 영상에서 제1색상을 강조하여 제1영상을 생성하고, 도로 영상에서 제2색상을 강조하여 제2영상을 생성하고, 제1영상과 제2영상을 합성하여 차선을 인식하는 차선 인식부를 포함한다.An apparatus for recognizing a lane according to an aspect of the present invention includes: an image acquisition unit for obtaining a road image; Includes a lane recognition unit for generating a first image by emphasizing the first color in the road image, generating a second image by emphasizing the second color in the road image, and synthesizing the first image and the second image to recognize a lane do.
제1색상은 블루 색상이고, 제2색상은 옐로우 색상이다.The first color is blue, and the second color is yellow.
차선 인식부는, 도로 영상을 일정 크기의 픽셀로 구분하고, 구분된 일정 크기의 픽셀들의 RGB 값을 확인하고, 픽셀별로 블루 색상의 값에서 레드 색상의 값을 차감하고, 차감된 값에서 미리 설정된 상수를 합산하여 제1영상을 1차적으로 생성한다.The lane recognition unit divides the road image into pixels of a certain size, checks the RGB values of the separated pixels of a certain size, subtracts the red color value from the blue color value for each pixel, and a preset constant from the subtracted value. The first image is primarily generated by summing.
차선 인식부는, 제1영상을 필터링하고, 제1영상에서 필터링된 영상을 차감하여 제1영상을 2차적으로 생성한다.The lane recognition unit filters the first image, subtracts the filtered image from the first image, and generates a second image.
차선 인식부는, 메디안 필터를 이용하여 제1영상을 필터링한다.The lane recognition unit filters the first image using a median filter.
차선 인식부는, 도로 영상을 일정 크기의 픽셀로 구분하고, 구분된 일정 크기의 픽셀들의 RGB 값을 확인하고, 픽셀별로 레드 색상의 값에서 그린 색상의 값을 차감하고, 차감된 값을 2로 나누어 제2영상을 생성한다.The lane recognition unit divides the road image into pixels of a certain size, checks the RGB values of the separated pixels of a certain size, subtracts the value of the green color from the value of red color for each pixel, and divides the subtracted value by 2. Create a second image.
본 발명의 다른 측면에 따른 차선 인식 방법은, 도로의 도로 영상을 획득하고, 도로 영상에서 제1색상을 강조하여 제1영상을 생성하고, 도로 영상에서 제2색상을 강조하여 제2영상을 생성하고, 제1영상과 제2영상을 합성하여 차선을 인식한다.A lane recognition method according to another aspect of the present invention is to obtain a road image of a road, to generate a first image by emphasizing a first color in the road image, and to generate a second image by emphasizing a second color from the road image. Then, the lane is recognized by synthesizing the first image and the second image.
제1색상은 블루 색상이고, 제2색상은 옐로우 색상이다.The first color is blue, and the second color is yellow.
제1영상을 생성하는 것은, 도로 영상의 각 픽셀에 대하여, 블루 색상의 값에서 레드 색상의 값을 차감하고, 차감된 값에서 미리 설정된 상수를 합산하여 제1영상을 1차적으로 생성하는 것을 포함한다.Generating the first image includes first generating the first image by subtracting the red color value from the blue color value and summing a preset constant from the subtracted value for each pixel of the road image. do.
제1영상을 생성하는 것은, 제1영상을 필터링하고, 제1영상에서 필터링된 영상을 차감하여 제1영상을 2차적으로 생성하는 것을 더 포함한다.Generating the first image further includes filtering the first image and secondly generating the first image by subtracting the filtered image from the first image.
제2영상을 생성하는 것은, 도로 영상의 각 픽셀에 대하여, 레드 색상의 값에서 그린 색상의 값을 차감하고, 차감된 값을 2로 나누어 제2영상을 생성하는 것을 포함한다.Generating the second image includes generating a second image by subtracting the value of the green color from the value of the red color and dividing the subtracted value by 2 for each pixel of the road image.
본 발명에 따르면 서로 보색 관계에 있는 노란 색의 차선과 파란 색의 차선의 인식율을 향상시킬 수 있다.According to the present invention, it is possible to improve the recognition rate of yellow lanes and blue lanes that are complementary to each other.
즉, 차선의 색상은 흰색, 노란색, 파란색이 있는데 이 중 노란색과 파란색은 보색의 관계에 있고, 이 때문에 도로 영상에서 노란색을 강조하면 파란색의 차선이 어두워지고 반대로 파란색을 강조하면 노란색의 차선이 어두워지는 데, 본 발명은 각각의 색을 강조한 영상을 합성시킴으로써 도로 영상 내의 노란 색의 차선과 파란 색의 차선을 모두 용이하게 인식할 수 있다.In other words, there are white, yellow, and blue lane colors, among which yellow and blue are in a complementary color relationship, so if you emphasize yellow in the road image, the blue lane becomes dark, and if you emphasize blue, the yellow lane becomes dark. In the present invention, by synthesizing images emphasizing each color, both yellow and blue lanes in the road image can be easily recognized.
이로 인해 다양한 도로 환경에서도 차선을 효율적으로 차선을 인식할 수 있다.This makes it possible to recognize lanes efficiently even in various road environments.
또한 차선 인식의 정확도를 높일 수 있으며 이로 인해 차선 이탈 경고 시스템의 성능을 향상시킬 수 있다.In addition, it is possible to increase the accuracy of lane recognition, thereby improving the performance of the lane departure warning system.
도 1은 본 발명의 실시 예에 따른 차선 인식 장치를 가지는 차량의 구성도이다.
도 2는 본 발명의 실시 예에 따른 차선 인식 장치에서 획득된 도로 영상의 예시도이다.
도 3은 본 발명의 실시 예에 따른 차선 인식 방법의 순서도이다.
도 4는 본 발명의 실시 예에 따른 차선 인식 방법의 예시도이다.
도 5는 본 발명의 실시 예에 따른 차선 인식 방법의 필터링 예시도이다.
도 6은 본 발명의 실시 예에 따른 차선 인식 방법에서 차선 크기 설정 예시도이다.1 is a block diagram of a vehicle having a lane recognition apparatus according to an embodiment of the present invention.
2 is an exemplary diagram of a road image acquired by a lane recognition apparatus according to an embodiment of the present invention.
3 is a flowchart of a lane recognition method according to an exemplary embodiment of the present invention.
4 is an exemplary diagram of a method for recognizing a lane according to an embodiment of the present invention.
5 is an exemplary diagram illustrating filtering of a lane recognition method according to an embodiment of the present invention.
6 is an exemplary diagram of setting a lane size in a lane recognition method according to an exemplary embodiment of the present invention.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시 예에 따른 차선 인식 장치(100)를 가지는 차량의 제어 구성도이다.1 is a control configuration diagram of a vehicle having a
차선 인식 장치(100)는 차선(Lane) 인식을 위해 차선(Lane Marking)을 추출하는 과정에서, 서로 다른 색상의 차선을 모두 정확히 추출하고 그로 인해 올바른 차선 인식이 가능하게 하는 장치이다.In the process of extracting lane markings for lane recognition, the
이러한 차선 인식 장치(100)는 영상 획득부(110) 및 차선 인식부(120)를 포함한다.The
영상 획득부(110)는 실시간으로 도로의 영상을 획득하고, 획득된 도로 영상을 신호 처리하여 차선 인식부(120)에 전송한다.The
이러한 영상 획득부(110)는 도로의 영상을 획득하기 위해 차량의 전면 유리창 상부에 설치된 컬러 이미지 센서와, 도로 영상 신호를 신호 처리하는 비젼 컨트롤러 등을 포함한다. 여기서 이미지 센서는 전자 결합소자(CCD), CMOS 중 어느 하나를 포함한다.The
아울러 영상 획득부(110)는 차선 인식부(120)와 별도로 마련 가능하고, 이때 차선 인식부(120)는 영상 획득부(110)와 통신을 수행하고 영상 획득부(120)에서 획득된 도로 영상을 제공받는다.In addition, the
도 2에 도시된 바와 같이, 도로에는 동일 색상, 또는 서로 다른 색상의 차선이 마킹되어 있으며, 영상 획득부에 획득된 도로 영상은 자차가 위치하는 전방의 차로(R1)와, 전방의 차로(R1)를 중심으로 좌우의 갓길(또는 인도, R2) 또는 타 차로(R3)와, 갓길(또는 인도, R2) 또는 타 차로를 구분하기 위한 차선(LY, LB)을 포함한다.As shown in FIG. 2, lanes of the same color or different colors are marked on the road, and the road image obtained by the image acquisition unit is the lane R1 in front of the own vehicle and the lane R1 in front. ) Centered on the left and right shoulders (or sidewalks, R2) or other lanes (R3), and lanes (LY, LB) for separating the shoulders (or sidewalks, R2) or other lanes.
여기서 차선은 동일 색상 또는 서로 다른 색상일 수 있고, 화이트, 옐로우, 블루 중 적어도 하나의 색상일 수 있다.Here, the lanes may be the same color or different colors, and may be at least one of white, yellow, and blue.
차선 인식부(120)는 영상 획득부(110)에서 전송된 도로 영상을 영상 처리하여 차선을 인식한다.The
즉 차선 인식부(120)는 도로 영상에서 제1색상을 강조하여 제1영상을 생성하고, 도로 영상에서 제2색상을 강조하여 제2영상을 생성한 후 제1영상과 제2영상을 합성시키고 합성된 영상을 이용하여 차선을 인식하고 인식된 차선에 대한 정보를 제어부(140)에 전송한다.That is, the
여기서 제어부(140)는 차선 이탈 방지 제어를 위한 차선 이탈 경고 장치(미도시)의 제어부일 수 있다.Here, the
좀 더 구체적으로 차선 인식부(120)는 도로 영상의 각 픽셀에 대하여, 블루 색상의 값에서 레드 색상의 값을 차감하고, 차감된 값에서 미리 설정된 상수를 합산하여 제1영상을 1차적으로 생성한다.More specifically, for each pixel of the road image, the
차선 인식부(120)는 1차적으로 생성된 제1영상을 필터링하고, 1차적으로 생성된 제1영상에서 필터링된 영상을 차감하여 제1영상을 2차적으로 생성한다.The
이러한 차선 인식부(120)는 메디안 필터(median filter)를 포함하고, 메디안 필터를 이용하여 1차적으로 생성된 제1영상을 필터링한다.The
차선 인식부(120)는 영상의 각 픽셀별로 레드 색상의 값에서 그린 색상의 값을 합산하고, 합산된 값을 2로 나누어 제2영상을 생성하고, 2차적으로 생성된 제1영상과 제2영상을 합성하여 서로 다른 색상의 차선이 강조된 도로 영상을 획득한다.The
이러한 차선 인식부(120)는 자 차로를 포함하는 도로 영역 내의 차선 정보를 차선 이탈 경고 장치 등의 제어부(140)에 전송한다.The
차선 인식부(120)에서 차선 이탈 경고 장치에 차선 정보를 제공하는 예를 설명한다.An example in which the
여기서 차선 이탈 경고 장치(미도시)는 차선 인식부(120)에서 전송된 차선 정보에 기초하여 차선 이탈을 판단하고, 차선 이탈 시 운전자에게 차선 이탈 정보를 알려주거나 차선 이탈을 방지하는 제어를 수행한다.Here, the lane departure warning device (not shown) determines lane departure based on the lane information transmitted from the
좀 더 구체적으로, 차선 이탈 경고 장치는 입력부(130), 제어부(140), 표시부(150) 및 구동부(160)를 포함한다.More specifically, the lane departure warning device includes an
입력부(130)는 차선 이탈 경고 장치의 온, 오프 명령을 입력받는다.The
제어부(140)는 자 차량의 위치 및 진행 방향과 차선 인식부(120)에서 전송된 차선 정보에 기초하여 차선 이탈을 판단하고, 차선 이탈 시 차선 이탈 값을 검출하고 검출된 차선 이탈 값에 기초하여 표시부(150) 및 구동부(160)의 구동을 제어함으로써 운전자에게 차선 이탈이 인식되도록 하고, 스티어링 제어가 수행되도록 한다.The
여기서 자 차량의 위치 및 진행 방향은 영상 획득부(110)로부터 전송된 영상에 기초하여 획득 가능하다.Here, the location and the traveling direction of the own vehicle can be obtained based on the image transmitted from the
표시부(150)는 LED, LCD 등으로, 차선 이탈 시 제어부(140)의 제어 명령에 따라 표시등을 점등시키거나 문자를 표시한다.The
차선 이탈 경고 장치는 사운드부(미도시)를 더 포함하고, 사운드부는 알람 등으로 차선 이탈 정보를 출력하는 것도 가능하다.The lane departure warning device may further include a sound unit (not shown), and the sound unit may output lane departure information through an alarm or the like.
구동부(160)는 차선 이탈 시 제어부(140)로부터 스티어링 제어에 관한 제어 명령을 수신하하여 스티어링 장치를 구동시킨다.The driving
여기서 스티어링 장치는 도로에 관한 처리 데이터를 입력받아서 차량의 스티어링 제어를 처리한다.Here, the steering device receives processing data on the road and processes steering control of the vehicle.
도 3은 본 발명의 실시 예에 따른 차선 인식 방법의 순서도이다. 3 is a flowchart of a method for recognizing a lane according to an embodiment of the present invention.
차선 인식 장치(100)는 차선 이탈 경고 장치 등의 동작 명령이 입력되면 영상 획득부 및 차선 인식부를 활성화시킨다. The
차선 인식 장치(100)는 영상 획득부(110)를 통해 실시간으로 도로의 영상을 획득(201)하고, 획득된 도로 영상을 신호 처리한다.The
다음 차선 인식 장치(100)는 도로 영상에서 제1색상인 블루 색상을 강조하여 제1영상을 생성(202)하고, 도로 영상에서 제2영상인 옐로우 색상을 강조하여 제2영상을 생성(203)한다. 이를 도 4를 참조하여 설명한다.The next
도 4의 (a) 도시된 바와 같이, 차선 인식 장치(100)는 영상의 소실점 아래, 즉 지면에 해당되는 도로 영역을 관심영역으로 하여 차선 인식을 수행한다.As shown in (a) of FIG. 4, the
다음 도 4의 (b: b1)에 도시된 바와 같이, 각 픽셀에서 블루 색상의 값에서 레드 색상의 값을 차감하고, 차감된 값에서 미리 설정된 상수를 합산하여 제1영상을 1차적으로 생성한다.Next, as shown in (b: b1) of FIG. 4, the first image is primarily generated by subtracting the red color value from the blue color value in each pixel and summing a preset constant from the subtracted value. .
블루 색상의 차선은 주변의 차로에 비해 RGB 중 B 값이 크고 R 값이 작기 때문에, 블루 색상의 값에서 레드 색상의 값을 차감하면 도로 영상에서 차로보다 차선을 더 강조할 수 있다.Since the blue color lane has a larger B value and a smaller R value in RGB than the surrounding lanes, subtracting the red color value from the blue color value can emphasize the lane more than the lane in the road image.
이에 따라 각 픽셀에서 블루 색상의 값에서 레드 색상의 값을 차감하는 것이다.Accordingly, the value of the red color is subtracted from the value of the blue color in each pixel.
아울러, 차선 인식 장치는 제1영상을 메디안 필터링하기 전에 블루 색상의 값에서 레드 색상의 값을 차감한 값에 미리 설정된 상수를 합산하고 0보다 작은 값은 0으로 저장한다. 메디안 필터링을 하는 값들이 0보다 크거나 같아야 하기 때문이다.In addition, before median filtering the first image, the lane recognition apparatus adds a preset constant to a value obtained by subtracting the red color value from the blue color value, and stores a value less than 0 as 0. This is because median filtering values must be greater than or equal to 0.
예를 들어, 영상에서 블루 색상의 차선 위의 픽셀(도 2의 a1 참조)에 대한 RGB 값은 R: 141, G: 142, B: 138이고, 차로 위의 픽셀(도 2의 a2 참조)에 대한 RGB 값은 R: 136, G: 128, B: 110로, 블루 색상의 값에서 레드 색상의 값을 차감한 값이 차선, 차로 모두 음수가 될 수 있다.For example, the RGB values for the pixels on the blue lane in the image (see a1 in Fig. 2) are R: 141, G: 142, and B: 138, and the pixels above the lane (refer to a2 in Fig. 2) are The corresponding RGB values are R: 136, G: 128, and B: 110, and a value obtained by subtracting the value of the red color from the value of the blue color may be negative for both the lane and the lane.
이에 따라 차선 인식 장치는 차감한 값에 미리 설정된 상수를 합산한다.Accordingly, the lane recognition apparatus adds a preset constant to the subtracted value.
다음 도 4의 (b: b2)에 도시된 바와 같이, 차선 인식 장치(100)는 1차적으로 생성된 제1영상을 필터링한다.Next, as shown in FIG. 4B (b2), the
여기서 1차적으로 생성된 제1영상 필터링 시 메디안 필터(median filter)를 이용하여 필터링한다. 이를 도 5를 참조하여 설명한다.Here, when filtering the first image that is primarily generated, it is filtered using a median filter. This will be described with reference to FIG. 5.
도 5에 도시된 바와 같이 각 픽셀에 대하여 각 픽셀을 중심 픽셀로 할 때, 중심 픽셀과 그 주변을 그룹화하고, 그룹별로 메디안 필터링을 수행한다.As illustrated in FIG. 5, when each pixel is a center pixel for each pixel, the center pixel and its periphery are grouped, and median filtering is performed for each group.
그룹을 이루는 각 픽셀의 픽셀 값을 오름차순 또는 내림차순으로 정렬하고, 정렬된 픽셀 값 중 중간 값을 확인하고, 중심 픽셀 값을 중간 값으로 변환한다. The pixel values of each pixel in the group are sorted in ascending or descending order, the middle value of the sorted pixel values is checked, and the center pixel value is converted to the middle value.
즉 메디안 필터(Median filter)는 중심 픽셀과 그 주변의 픽셀들 중 빈번하게 발생하는 픽셀 값을 찾고 이 값으로 중심 픽셀을 대체하는 것이다. In other words, a median filter is to find a pixel value that occurs frequently among the center pixel and pixels around it and replace the center pixel with this value.
이와 같이, 필터링을 수행함으로써 도로 영상 중 차로 영상에서 주변 노면의 값과 차이가 큰 값들을 제거할 수 있다. 즉, 도로 영상에서 차선을 지울 수 있다.In this way, by performing filtering, values having a large difference from the value of the surrounding road surface from the road image among the road images may be removed. That is, the lane can be erased from the road image.
도 6의 (a)에 도시된 바와 같이 필터는 좁고 긴 형태의 차선 특성을 이용하여 가로 방향만을 고려하며 필터의 크기(N)는 영상의 세로 인덱스에 따라 달라진다.As shown in (a) of FIG. 6, the filter considers only the horizontal direction by using the narrow and long lane characteristics, and the size (N) of the filter varies according to the vertical index of the image.
필터의 크기는 이중 차선의 폭보다 2배 이상 큰 값을 갖도록 한다.The size of the filter should be at least twice the width of the double lane.
즉, 필터 크기: N > 2*이중차선 폭I.e. filter size: N> 2*double lane width
도 6의 (b)에 세로 인덱스에 따른 필터의 크기가 도시되어 있다.Fig. 6B shows the size of the filter according to the vertical index.
다음 도 4의 (b: b3)에 도시된 바와 같이, 1차적으로 생성된 제1영상에서 필터링된 영상을 차감하여 제1영상을 2차적으로 생성한다.Next, as shown in (b:b3) of FIG. 4, the first image is secondarily generated by subtracting the filtered image from the first image that is primarily generated.
여기서 1차적으로 생성된 제1영상에서 필터링된 영상을 차감하는 것은, 동일 위치의 픽셀 별로 픽셀 값을 차감하는 것을 의미한다.Here, subtracting the filtered image from the first image generated primarily means subtracting the pixel value for each pixel at the same location.
따라서 파란색 강조영상과 이를 메디안 필터로 통과시킨 영상의 차이는 주변보다 강한 값을 가지는 파란 차선만을 강조한 영상이 된다. Therefore, the difference between the blue-enhanced image and the image passed through the median filter becomes an image that emphasizes only the blue lane with a stronger value than the surrounding.
본 실시 예에서는 메디안 필터(median filter)를 이용하였지만 동일한 효과를 내는 다른 필터를 이용하는 것도 가능하다. In this embodiment, a median filter is used, but other filters that produce the same effect may be used.
다음 도 4의 (c)에 도시된 바와 같이, 차선 인식 장치는 도로 영상의 각 픽셀에 대하여, 레드 색상의 값에서 그린 색상의 값을 합산(R+G)하고, 합산된 값을 2로 나누어((R+G)/2) 제2영상을 생성한다.Next, as shown in (c) of FIG. 4, the lane recognition apparatus sums (R+G) the value of the green color from the value of the red color for each pixel of the road image, and divides the summed value by 2. ((R+G)/2) Generate the second image.
다음 도 4의 (d)에 도시된 바와 같이, 2차로 생성된 제1영상(도 4의 b3)과, 제2영상(도 4의 c)의 영상을 합성(204)하여 서로 다른 색상의 차선이 강조된 도로 영상을 획득한다.Next, as shown in (d) of FIG. 4, the images of the first image (b3 of FIG. 4) and the second image (c of FIG. 4), which are secondly generated, are synthesized 204 to obtain lanes of different colors. Acquire this highlighted road image.
여기서 두 영상을 합성하는 것은 동일 위치의 픽셀 별로 픽셀 값을 합산하는 것을 의미한다.Here, combining the two images means adding up pixel values for each pixel at the same location.
이와 같이, 서로 보색 관계에 있는 노란 색의 차선과 파란 색의 차선의 인식 시, 노란 색상을 강조한 영상과 파란 색상을 강조한 영상을 서로 합성함으로써 노란 색상의 차선 및 파란 색상의 차선을 모두 명확하게 인식할 수 있다.In this way, when recognizing a yellow lane and a blue lane that are complementary to each other, an image emphasizing the yellow color and the image emphasizing the blue color are combined with each other to clearly recognize both the yellow lane and the blue lane. can do.
즉, 차선의 색상은 흰색, 노란색, 파란색이 있는데 이 중 노란색과 파란색은 보색의 관계에 있고, 이 때문에 도로 영상에서 노란색을 강조하면 파란색의 차선이 어두워지고 반대로 파란색을 강조하면 노란색의 차선이 어두워질 수 있기 때문에, 각각의 색상을 강조한 영상을 합성하는 것이다. 이로 인해 다양한 도로 환경에서도 차선을 효율적으로 차선을 인식할 수 있다.In other words, there are white, yellow, and blue lane colors, among which yellow and blue are in a complementary color relationship, so if you emphasize yellow in the road image, the blue lane becomes dark, and if you emphasize blue, the yellow lane becomes dark. Because it can be lost, the image that emphasizes each color is synthesized. This makes it possible to recognize lanes efficiently even in various road environments.
또한 차선 인식의 정확도를 높일 수 있으며 이로 인해 차선 이탈 경고 시스템의 성능을 향상시킬 수 있다.In addition, it is possible to increase the accuracy of lane recognition, thereby improving the performance of the lane departure warning system.
다음 차선 인식 장치는 서로 다른 색상의 차선이 강조된 도로 영상을 차선 이탈 방지 제어를 위한 차선 이탈 경고 장치(미도시) 등으로 전송한다.The next lane recognition device transmits a road image in which lanes of different colors are highlighted to a lane departure warning device (not shown) for controlling lane departure prevention.
다음 차선 이탈 경고 장치는, 전송된 서로 다른 색상의 차선이 강조된 도로 영상에 기초하여 차선 이탈 여부를 판단하고, 차선 이탈로 판단되면 표시부(150) 등을 통해 경보를 발생시킨다. The next lane departure warning device determines whether or not the lane departure is determined based on the transmitted road image in which lanes of different colors are highlighted, and when it is determined that the lane departure is determined, an alarm is generated through the
아울러 블루 색상의 차선과 다른 색상의 차선(예를 들어 화이트 또는 옐로우 색상의 차선)이 도로에 마킹된 경우, 차선 인식 장치는 도로 영상을 획득한 후 획득된 영상에 블루 색상의 차선이 존재하는지 판단한 후 블루 색상이 강조된 제1영상과 다른 색상이 강조된 제2영상을 각각 생성하는 것도 가능하다. In addition, when a lane of a color different from that of a blue color (for example, a lane of white or yellow color) is marked on the road, the lane recognition device acquires a road image and determines whether a blue lane exists in the acquired image. Afterwards, it is possible to generate the first image in which the blue color is emphasized and the second image in which a different color is emphasized.
100 : 차선 인식 장치 110: 영상획득부
120: 차선 인식부 130: 입력부
140: 제어부 150: 표시부
160: 구동부 R1: 자 차로
R2: 갓길(또는 인도) R3: 타 차로
LY: 옐로우 차선 LB: 블루 차선 100: lane recognition device 110: image acquisition unit
120: lane recognition unit 130: input unit
140: control unit 150: display unit
160: drive unit R1: own lane
R2: Shoulder (or sidewalk) R3: By other car
LY: Yellow lane LB: Blue lane
Claims (11)
상기 도로 영상에서 블루 색상을 강조하여 제1영상을 생성하고, 상기 도로 영상에서 옐로우 색상을 강조하여 제2영상을 생성하고, 상기 제1영상과 제2영상을 합성하여 차선을 인식하는 차선 인식부를 포함하고,
상기 차선 인식부는,
상기 도로 영상의 각 픽셀들에 대하여 RGB값을 확인하고 상기 블루 색상의 값에서 레드 색상의 값을 차감하고, 상기 차감된 값에서 미리 설정된 상수를 합산하여 상기 제1영상을 1차적으로 생성하는 차선 인식 장치. An image acquisition unit that acquires a road image;
A lane recognition unit for generating a first image by emphasizing blue color in the road image, generating a second image by emphasizing yellow color in the road image, and synthesizing the first image and the second image to recognize a lane Including,
The lane recognition unit,
A lane for primarily generating the first image by checking the RGB value for each pixel of the road image, subtracting the red color value from the blue color value, and summing a preset constant from the subtracted value Recognition device.
상기 제1영상을 필터링하고, 상기 제1영상에서 상기 필터링된 영상을 차감하여 상기 제1영상을 2차적으로 생성하는 차선 인식 장치.The method of claim 1, wherein the lane recognition unit,
A lane recognition apparatus configured to generate the first image secondary by filtering the first image and subtracting the filtered image from the first image.
메디안 필터를 이용하여 상기 제1영상을 필터링하는 차선 인식 장치.The method of claim 4, wherein the lane recognition unit,
A lane recognition device for filtering the first image using a median filter.
상기 도로 영상의 각 픽셀들에 대하여 RGB값을 확인하고 레드 색상의 값에서 그린 색상의 값을 차감하고, 상기 차감된 값을 2로 나누어 상기 제2영상을 생성하는 차선 인식 장치. The method of claim 1, wherein the lane recognition unit,
A lane recognition device configured to generate the second image by checking an RGB value for each pixel of the road image, subtracting a green color value from a red color value, and dividing the subtracted value by 2.
상기 도로 영상에서 블루 색상을 강조하여 제1영상을 생성하고,
상기 도로 영상에서 옐로우 색상을 강조하여 제2영상을 생성하고,
상기 제1영상과 제2영상을 합성하여 차선을 인식하고,
상기 제1영상을 생성하는 것은,
상기 도로 영상의 각 픽셀들에 대하여 RGB값을 확인하고,
상기 각 픽셀에서 상기 블루 색상의 값에서 레드 색상의 값을 차감하고,
상기 차감된 값에서 미리 설정된 상수를 합산하여 상기 제1영상을 1차적으로 생성하는 것을 포함하는 차선 인식 방법. Acquire a road image of the road,
Emphasizing the blue color in the road image to generate a first image,
Emphasizing the yellow color in the road image to generate a second image,
The first image and the second image are combined to recognize a lane,
Generating the first image,
Checking the RGB value for each pixel of the road image,
In each of the pixels, the value of the red color is subtracted from the value of the blue color,
And first generating the first image by summing a preset constant from the subtracted value.
상기 제1영상을 필터링하고,
상기 제1영상에서 상기 필터링된 영상을 차감하여 상기 제1영상을 2차적으로 생성하는 것을 더 포함하는 차선 인식 방법. The method of claim 7, wherein generating the first image,
Filtering the first image,
The lane recognition method further comprising generating the first image secondary by subtracting the filtered image from the first image.
상기 도로 영상의 각 픽셀들에 대하여 RGB값을 확인하고,
상기 각 픽셀에서 상기 레드 색상의 값에서 그린 색상의 값을 차감하고,
상기 차감된 값을 2로 나누어 상기 제2영상을 생성하는 것을 포함하는 차선 인식 방법. The method of claim 7, wherein generating the second image,
Check the RGB value for each pixel of the road image,
Subtract the value of the green color from the value of the red color in each of the pixels,
And generating the second image by dividing the subtracted value by two.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140035802A KR102214321B1 (en) | 2014-03-27 | 2014-03-27 | Lane recognizing apparatus and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140035802A KR102214321B1 (en) | 2014-03-27 | 2014-03-27 | Lane recognizing apparatus and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150112195A KR20150112195A (en) | 2015-10-07 |
| KR102214321B1 true KR102214321B1 (en) | 2021-02-09 |
Family
ID=54343490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140035802A KR102214321B1 (en) | 2014-03-27 | 2014-03-27 | Lane recognizing apparatus and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102214321B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101864066B1 (en) | 2017-01-11 | 2018-07-05 | 숭실대학교산학협력단 | Lane marking detection device, Lane departure determination device, Lane marking detection method and Lane departure determination method |
| KR101851682B1 (en) * | 2017-11-17 | 2018-04-24 | 주식회사 사라다 | Apparatus and method for providing parking congestion information through analysis of adjacent road images |
| KR102192844B1 (en) * | 2019-08-21 | 2020-12-18 | 주식회사 만도 | Color image enhancement device for lane detection and method thereof |
| KR20220143323A (en) | 2021-04-16 | 2022-10-25 | 주식회사 에이치엘클레무브 | METHOD AND APPARATUS FOR generating training data of deep learning model for lane classification |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101362595B1 (en) | 2012-09-28 | 2014-02-13 | 주식회사 만도 | Method and system for lane detection |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100490168B1 (en) * | 2001-04-20 | 2005-05-19 | 센싱테크 주식회사 | The its Method and System for Lane departure warning using color data processing |
| KR20050119874A (en) * | 2004-06-17 | 2005-12-22 | 현대자동차주식회사 | An image pre-processing apparatus of a traffic lane departure warning system and method thereof |
| KR20140022197A (en) * | 2012-08-13 | 2014-02-24 | 주식회사 만도 | Lane detection method and lane departure warning system using same |
-
2014
- 2014-03-27 KR KR1020140035802A patent/KR102214321B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101362595B1 (en) | 2012-09-28 | 2014-02-13 | 주식회사 만도 | Method and system for lane detection |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150112195A (en) | 2015-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10730503B2 (en) | Drive control system | |
| EP2879110B1 (en) | Three-dimensional object detection device, and three-dimensional object detection method | |
| CN104021388B (en) | Barrier during backing automatic detection and method for early warning based on binocular vision | |
| KR102277018B1 (en) | Method and apparatus for vehicle driving assistance | |
| JP5966965B2 (en) | Lane boundary departure control device and lane boundary departure suppression method | |
| US8305431B2 (en) | Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images | |
| CN106647776B (en) | Method and device for judging lane changing trend of vehicle and computer storage medium | |
| JP6129167B2 (en) | Driving lane recognition method using a camera | |
| WO2014017317A1 (en) | Three-dimensional object detection device and foreign object detection device | |
| US9697421B2 (en) | Stereoscopic camera apparatus | |
| US20160180180A1 (en) | Vehicle vision system with adaptive lane marker detection | |
| KR102214321B1 (en) | Lane recognizing apparatus and method thereof | |
| CN107757479A (en) | A kind of drive assist system and method based on augmented reality Display Technique | |
| CN108447305B (en) | Pre-warning method and pre-warning system for courier pedestrian | |
| KR101922852B1 (en) | Method for Detecting Border of Grassland Using Image-Based Color Information | |
| DE102013019550B3 (en) | Method for driver assistance with regard to a traffic light circuit | |
| CN107609472A (en) | A kind of pilotless automobile NI Vision Builder for Automated Inspection based on vehicle-mounted dual camera | |
| KR101169338B1 (en) | Lane recognition apparatus and method of recognition lane thereof | |
| KR20140087622A (en) | Method of extracting traffic lanes from captured image using brightness | |
| KR101651061B1 (en) | Method and device for lane detection | |
| US9911049B2 (en) | Lane boundary line recognition apparatus | |
| JP4324179B2 (en) | Information provision device | |
| KR101461316B1 (en) | System and method for controling Automatic Guided Vehicles based on color maker using dual camera | |
| CN112364869A (en) | Lane line identification method and device | |
| KR20150092974A (en) | Recognizing apparatus and method of lane changing vehicles through recognizing surroundings lane |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |